23.07.2013 Aufrufe

Misst gut, ist gut? - Journal of business and media psychology

Misst gut, ist gut? - Journal of business and media psychology

Misst gut, ist gut? - Journal of business and media psychology

MEHR ANZEIGEN
WENIGER ANZEIGEN

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.

<strong>Journal</strong> <strong>of</strong> Business <strong>and</strong> Media Psychology (2012) 3, Heft 1, 22-29, verfügbar unter: www.journal-bmp.de<br />

ZUSAMMENFASSUNG<br />

<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>? Vergleich eines abstrakten<br />

und eines berufsbezogenen Matrizentests<br />

Nils Benit & Renate Soellner<br />

Universität Hildesheim<br />

Obwohl Intelligenztests berufliche Erfolgsindikatoren valide vorherzusagen vermögen (Kramer, 2009; Schmidt & Hunter, 1998), werden sie in<br />

deutschen Unternehmen u.a. aufgrund geringer Akzeptanz selten eingesetzt (Schuler, Hell, Trapmann, Schaar & Boramir, 2007). Die vorliegen-<br />

de Studie untersucht, ob die Akzeptanz eines Matrizentests allein durch eine berufsbezogene Symbolgestaltung erhöht werden kann und der<br />

Test trotzdem testtheoretischen Gütekriterien genügt. Der BOMAT (Hossiep, Turck & Hasella, 2001), ein valider aber abstrakter Matrizentest,<br />

wird mit dem BBM, einem für Forschungszwecke entwickelten Matrizentest mit berufsbezogenen Symbolen, kontrastiert. Beide Verfahren er-<br />

wiesen sich in der vorliegenden Stichprobe (N = 360) als reliabel und valide, insbesondere hinsichtlich hoher retrospektiver Validitäten mit den<br />

Kriterien Abiturnote (rBOMAT = -.45; rBBM = -.43) und Bachelornote (rBOMAT = -.41; rBBM = -.39). Hohe Korrelationen beider Verfahren untereinan-<br />

der sowie mit dem IST-2000R und niedrige Korrelationen mit dem NEO-FFI sprechen für Konstruktvalidität. Die berufsbezogene Gestaltung<br />

erwies sich der abstrakten Gestaltung bei gleichwertiger Messqualität, Kontrollierbarkeit und Belastungsfreiheit (AKZEPT!-L: Kersting, 2008)<br />

hinsichtlich der Augenscheinvalidität als überlegen.<br />

Schlüsselbegriffe: Akzeptanz, Matrizentest, Intelligenztest, berufliche Augenscheinvalidität, Validität<br />

1 Intelligenztests in der Personalauswahl<br />

Intelligenztests stellen in US-amerikanischen und <strong>and</strong>eren<br />

europäischen Unternehmen etablierte Instrumente zur<br />

Personalauswahl dar. Allerdings werden sie in deutschen<br />

Unternehmen vergleichsweise selten eingesetzt (Ryan,<br />

McFarl<strong>and</strong>, Baron & Page, 1999). Seit Jahrzehnten liegt<br />

die Einsatzhäufigkeit bei ca. 30% (Göhs & Dick, 2001;<br />

Sackmann & Elbe, 2000; Schuler, Frier & Kauffmann,<br />

1993; Schuler, Hell, Trapmann, Schaar & Boramir, 2007).<br />

Dieser stabile Befund verwundert, da mittlerweile in Metaanalysen<br />

übereinstimmend gezeigt werden konnte, dass<br />

Intelligenz einen überaus validen Prädiktor für Erfolgsindikatoren<br />

von Ausbildung und Beruf darstellt.<br />

Metaanalytische Befunde hierzu stammten in den letzten<br />

drei Dekaden überwiegend aus den USA (Hunter & Hunter,<br />

1984; Schmidt & Hunter, 1998). Seit diesem Jahrtausend<br />

<strong>ist</strong> jedoch eine zunehmende Forschungsaktivität<br />

auch in Deutschl<strong>and</strong> und <strong>and</strong>eren europäischen Ländern<br />

erkennbar (Hülsheger, Maier, Stumpp & Muck, 2006;<br />

Kramer, 2009; Salgado & Anderson, 2003). Somit kann<br />

die geringe Anwendungshäufigkeit von Intelligenztests in<br />

deutschen Unternehmen grundsätzlich nicht auf eine unzureichende<br />

oder länderunspezifische Befundlage zurückgeführt<br />

werden (vgl. Ackermann, 1994; Borman, Penner,<br />

Allen & Motowidlo, 2001; Salgado, Anderson, Moscoso,<br />

Bertua & de Fruyt, 2003). Ebenfalls ex<strong>ist</strong>ieren in Deutschl<strong>and</strong><br />

diverse Testverfahren zur Messung der Intelligenz,<br />

die im Rahmen von Berufseignungsprozessen erprobt<br />

wurden (vgl. Hülsheger, Maier, Stumpp & Muck, 2006;<br />

Sarges & Wottawa, 2004). Ein quantitativer Mangel an<br />

Intelligenztests scheint demnach auch nicht für die ver-<br />

gleichsweise geringe Einsatzhäufigkeit verantwortlich zu<br />

sein. Allerdings unterscheiden sich die Verfahren hinsichtlich<br />

der zugrunde liegenden Theorie von Intelligenz, ihrer<br />

Ökonomie, Qualität, beruflicher Augenscheinvalidität und<br />

Akzeptanz (Hell, 2003; Kersting, 2008).<br />

In der wissenschaftlichen Debatte wird u. a. die Akzeptanz<br />

als mögliche Ursache für die geringe Anwendungshäufigkeit<br />

von Intelligenztests in der Unternehmenspraxis angeführt<br />

(König, Klehe, Berchtold & Kleinmann, 2010; Schuler<br />

et al., 2007). Während Einstellungsinterviews oder Assessment<br />

Center von Organisationen und Bewerbern als hoch<br />

akzeptiert bewertet und häufig als Auswahlverfahren eingesetzt<br />

werden, wird Intelligenztests lediglich eine geringe<br />

Akzeptanz attestiert (Anderson & Witvliet, 2008; Hausknecht,<br />

Day & Thomas, 2004; Hell, Boramir, Schaar &<br />

Schuler, 2006; König et al., 2010; Schuler et al., 2007;<br />

Steiner & Gillil<strong>and</strong>, 1996).<br />

Die Thematik Akzeptanz von Auswahlverfahren und damit<br />

verbundene Bewerberreaktionen erfuhr in den vergangenen<br />

Jahren ein zunehmendes Forschungsinteresse (Anderson,<br />

2004; Ryan & Huth, 2008), welches in zahlreichen<br />

Forschungsarbeiten mündete (vgl. Hülsheger & Anderson,<br />

2009). Bereits in den 1990er Jahren wurden tragfähige<br />

Akzeptanz-Konzepte im internationalen und deutschsprachigen<br />

Raum vorgestellt (Gillil<strong>and</strong>, 1993; Schuler, 1990).<br />

Gillil<strong>and</strong> (1993) differenziert in seinem „Model <strong>of</strong> Applicants`<br />

Reaction to Employment Selection Systems“ zwischen<br />

der Wahrnehmung der Auswahlsituation und der<br />

Wahrnehmung der Auswahlentscheidung und erarbeitete<br />

zehn Regeln, die bei Missachtung zur Reduzierung der<br />

Akzeptanz gegenüber dem Auswahlverfahren führen kön-<br />

<strong>Journal</strong> <strong>of</strong> Business <strong>and</strong> Media Psychology (JBMP) l ISSN 2191-5814


nen. Auch Schuler (1990; Schuler & Stehle, 1983) akzentuiert<br />

im „Konzept der sozialen Validität“ insbesondere die<br />

Interaktion zwischen Bewerbern und Organisationsvertretern.<br />

Ryan und Ployhart (2000) präsentieren ein heur<strong>ist</strong>isches<br />

Modell in Anlehnung an Gillil<strong>and</strong>, differenzieren<br />

zwischen vier Bewerber-Wahrnehmung-Prozessen (applicant<br />

perceptions <strong>of</strong> the procedure/process itself, <strong>of</strong> one’s<br />

affective <strong>and</strong> cognitive state during the process, <strong>of</strong> the<br />

procedure’s outcome, <strong>of</strong> the selection process in general)<br />

und berücksichtigten zusätzlich die Vorerfahrung der Bewerber<br />

sowie potentielle Moderatoren zwischen den Vorerfahrungen<br />

und der Bewerberwahrnehmung. In jüngerer<br />

Vergangenheit findet insbesondere das erweiterte Modell<br />

von Hausknecht et al. (2004) starke Beachtung. Im Rahmen<br />

ihrer umfassenden Metaanalyse integrierten sie zusätzlich<br />

in die bestehenden Ansätze die zwei Faktoren<br />

Prüfungsangst (test anxiety) und Prüfungsmotivation (test<br />

motivation).<br />

Aus Organisationssicht erscheinen akzeptierte Auswahlverfahren<br />

besonders lohnenswert, da eine wenig akzeptierende<br />

Haltung und Wahrnehmung der Bewerber gegenüber<br />

dem Testverfahren dazu führen kann, dass Bewerber<br />

das Organisationsansehen abwerten oder ein Stellenangebot<br />

ablehnen (Hausknecht et al., 2004). Neben negativen<br />

Auswirkungen auf das Unternehmensimage (Ryan &<br />

Ployhart, 2000) oder auf das Arbeitsverhalten der eingestellten<br />

Bewerber (Gillil<strong>and</strong>, 1993) werden Widerstände<br />

von Betriebsräten sowie die Debatte um die Rechtmäßigkeit<br />

des Einsatzes von Intelligenztests zu eignungsdiagnostischen<br />

Zwecken (Hülsheger & Maier, 2008) als bedeutsame<br />

Gründe für den geringen Einsatz von Intelligenztests<br />

in deutschen Unternehmen angeführt. Weitere<br />

Befürchtungen sind, dass Bewerber, die sich im Auswahlprozess<br />

benachteiligt oder diskriminiert beh<strong>and</strong>elt fühlen,<br />

rechtliche Schritte einleiten oder schlimmstenfalls die<br />

Medien involvieren können (Anderson, 2011).<br />

Die Akzeptanz eines Verfahrens wird zudem stark durch<br />

seine berufliche Augenscheinvalidität beeinflusst. Schuler<br />

(2000) akzentuiert diesbezüglich, dass die berufliche Augenscheinvalidität<br />

lediglich ein Aspekt sozialer Validität sei<br />

und somit nicht den Hauptgütekriterien angehöre, allerdings<br />

in ihrer Bedeutung nicht zu unterschätzen sei. „Augenscheinvalidität<br />

<strong>ist</strong> somit ein relationaler Begriff, der die<br />

Wahrnehmung des Verfahrens mit der Wahrnehmung der<br />

diagnostischen Fragestellung verbindet. Ein Test hat nicht<br />

eine Augenscheinvalidität, sondern für verschiedene<br />

(wahrgenommene) Anwendungszwecke verschiedene<br />

Augenscheinvaliditäten“ (Kersting, 2008, S. 424).<br />

Eine geringe berufliche Augenscheinvalidität kann zum<br />

einen aus einer abstrakten und kontextfernen Gestaltung<br />

der Testverfahren sowie zum <strong>and</strong>eren aus dem für Bewerber<br />

und Organisationsgremien nicht eindeutig erkennbaren<br />

Bezug zu den Arbeitsanforderungen des Arbeitsplatzes<br />

resultieren (Eleftheriou & Robertson, 1999). Damit einher<br />

geht häufig eine wenig akzeptierende Haltung und Wahrnehmung<br />

gegenüber dem Testverfahren (Hausknecht et<br />

al., 2004). Smither, Reilly, Millsap, Pearlman und St<strong>of</strong>fey<br />

(1993) konnten zeigen, dass die wahrgenommene Augenscheinvalidität<br />

der Aufgaben positiv mit der Testle<strong>ist</strong>ung<br />

korrelierte. Auch Chan, Schmitt, Deshon, Clause und Delbridge<br />

(1997) unterstrichen in einem längsschnittlichen<br />

Nils Benit & Renate Soellner<br />

Design den Zusammenhang zwischen beruflicher Augenscheinvalidität<br />

eines Intelligenztests und der Testmotivation,<br />

die sich wiederum positiv auf die Testle<strong>ist</strong>ung auswirkte.<br />

Zusätzlich konnte gezeigt werden, dass eine arbeitsspezifische<br />

Testmaterialdarbietung auch zu einem Validitätsanstieg<br />

beitragen kann (Schmit, Ryan, Stierwalt &<br />

Powell, 1995; vgl. auch Bing, Whanger, Davison & Van<br />

Hook, 2004; Hunthausen, Truxillo, Bauer & Hammer,<br />

2003; Lievens, De Corte & Schollaert, 2008). In diesem<br />

Zusammenhang <strong>ist</strong> seit längerer Zeit die Forderung nach<br />

mehr wissenschaftlich fundierten Testverfahren mit hoher<br />

beruflicher Augenscheinvalidität und direktem Anforderungsbezug<br />

zu beobachten (vgl. Hülsheger & Maier, 2008;<br />

Kramer, 2009), verbunden mit der H<strong>of</strong>fnung, dass diese<br />

dann auch in deutschen Unternehmen vermehrt Einzug<br />

finden.<br />

Intelligenztests mit hoher beruflicher Augenscheinvalidität<br />

und direktem Anforderungsbezug stellen nach Kersting<br />

(2006, 2008) eher die Ausnahme als die Regel auf dem<br />

intransparenten Testmarkt dar. Jüngere Publikationen<br />

unterstreichen vermehrt die wissenschaftlichen Bemühungen,<br />

fundierte Intelligenztests mit hoher Augenscheinvalidität<br />

zu konstruieren und validieren (vgl. Analytischer<br />

Test: Ostapczuk, Musch & Lieberei, 2011; Reasoning Ability<br />

at Work Test: Krumm, Hüffmeier, Dietz, Findeisen &<br />

Dries, 2011). Ob diese Verfahren aber auch tatsächlich<br />

ihren Weg in die Unternehmenspraxis finden werden,<br />

bleibt abzuwarten.<br />

2 Untersuchungsvorhaben<br />

Ein Intelligenztest, der explizit für den Einsatzbereich der<br />

Eignungsdiagnostik und Personalentwicklung konstruiert<br />

wurde, <strong>ist</strong> der BOMAT – advanced – short version (Hossiep,<br />

Turck & Hasella, 2001). Der BOMAT entspricht in<br />

seiner Form einem Matrizentest und zielt auf die Erfassung<br />

der Allgemeinintelligenz ab. Der BOMAT wurde als<br />

sprachfreies Instrument entwickelt, dient der Erfassung<br />

der Intelligenzkapazität im höheren Le<strong>ist</strong>ungsbereich im<br />

Sinne des Spearmanschen „g-Faktors“ (Spearman, 1904)<br />

und erwies sich als hinreichend objektives, reliables sowie<br />

valides Instrument (vgl. Hossiep, Turck & Hasella, 2004).<br />

Die berufliche Augenscheinvalidität des BOMAT <strong>ist</strong> allerdings<br />

aufgrund seiner abstrakten und kontextfernen Gestaltung<br />

als gering zu bezeichnen. Seine Akzeptanz wurde<br />

bisher lediglich über Mittelwertsunterschiede nach verschiedenen<br />

Kriterien wie Geschlecht und Muttersprache<br />

empirisch überprüft.<br />

Ziel der vorliegenden Studie war es zu untersuchen, ob<br />

sich bereits eine kontext- bzw. berufsspezifische Symbolgestaltung<br />

in Matrizentests positiv auf die Akzeptanzeinschätzung<br />

auswirkt. Hierfür wurde die Akzeptanz und<br />

psychometrische Güte des BOMAT im Vergleich zu einem<br />

eigens entwickelten berufsbezogenen Matrizentest (BBM)<br />

überprüft, der auf der Grundlage der Testaufgaben des<br />

BOMAT neu entwickelt wurde. Während der BOMAT sich<br />

aus schwarz-weißen geometrischen Figuren zusammensetzt,<br />

besteht der BBM aus berufsbezogenen Symbolen<br />

aus der Automobil-Branche mit unterschiedlichen Farbausprägungen.<br />

Eine Beispielmatrize aus dem BBM, die in<br />

Anlehnung an den BOMAT konstruiert wurde, kann Abbildung<br />

1 entnommen werden. Für die Konstruktion des BBM<br />

23


wurde eine repräsentative Auswahl von Items aus beiden<br />

Parallelversionen des BOMAT getr<strong>of</strong>fen, die sowohl das<br />

Spektrum unterschiedlicher Schwierigkeitsindizes abdeckte<br />

als auch eine zufriedenstellende Trennschärfe laut<br />

Testmanual aufwies. Einige Aufgabenformate aus dem<br />

BOMAT (z.B.: „Sukzessives Folgen“) konnten nicht adäquat<br />

in ein berufsbezogenes Design überführt werden. Da<br />

hohe Akzeptanzwerte alleine noch keinen reliablen und<br />

validen Test ausmachen, wurden beide Instrumente sowohl<br />

testtheoretisch (Reliabilität, Validität) als auch hinsichtlich<br />

ihrer Akzeptanz überprüft.<br />

Beantwortet werden sollte, ob der erstmals zu Forschungszwecken<br />

eingesetzte BBM durch eine berufsbezogene<br />

Symbolgestaltung eine höhere Akzeptanz im Vergleich<br />

zum BOMAT erzielen und dessen ungeachtet eine<br />

ebenfalls zufriedenstellende psychometrische Güte aufweisen<br />

kann. Anders formuliert stellten wir uns die Fragen,<br />

ob der BBM <strong>gut</strong> misst (also ein reliables und valides Testverfahren<br />

darstellt) und aus Sicht der Prob<strong>and</strong>en auch <strong>gut</strong><br />

<strong>ist</strong> (also akzeptiert wird).<br />

Abb. 1: Kontrastierung der Symbole im BBM und BOMAT<br />

3 Methode<br />

3.1 Material<br />

3.1.1 Bochumer Matrizentest<br />

Der Bochumer Matrizentest – advanced – short version<br />

(Hossiep et al., 2001) stellt eine gekürzte Fassung des<br />

BOMAT – advanced – aus dem Jahre 1999 dar. Jede der<br />

28 Aufgaben setzt sich aus einer 15 Felder-Matrize zusammen,<br />

bei der ein Feld ausgespart <strong>ist</strong>. Im Auswahlprozess<br />

besteht die Aufgabe der Bewerberinnen und Bewerber<br />

darin, das freie Feld entsprechend des logischen Prinzips<br />

der restlichen 14 Felder zu ergänzen. Dafür stehen<br />

den Bewerbern sechs Antwortmöglichkeiten zur Auswahl,<br />

wovon lediglich eine korrekt <strong>ist</strong>. Da der BOMAT eindimensional<br />

das abstrakt-logische Denkvermögen erfassen soll,<br />

liegen keine Subtests vor.<br />

3.1.2 Berufsbezogener Matrizentest<br />

Der berufsbezogene Matrizentest (BBM) wurde ausschließlich<br />

zu Forschungszwecken konstruiert und soll wie sein<br />

Pendant, der BOMAT, eindimensional das abstraktlogische<br />

Denkvermögen messen. Der BBM besteht aus 22<br />

Items, die nach dem Aufgabenformat des BOMAT best-<br />

<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>?<br />

möglich adaptiert worden sind und einen Vergleich der<br />

beiden Matrizenformate ermöglichen sollen.<br />

3.1.3 Intelligenz-Struktur-Test 2000R<br />

Zur Überprüfung der konvergenten Validität des BBM und<br />

BOMAT wurden zusätzlich die Subtests Matrizen, Analogie<br />

und Zahlenreihe aus dem IST-2000R (Liepmann, Beauducel,<br />

Brocke & Amthauer, 2007) eingesetzt. Die Subtests<br />

setzen sich jeweils aus 20 Aufgaben zusammen und erfassen<br />

figural-räumliche, verbale bzw. numerische Intelligenzfacetten.<br />

3.1.4 NEO-Fünf-Faktoren-Inventar<br />

Zur Überprüfung der divergenten Validität des BBM und<br />

BOMAT wurde die neu normierte und vollständig überarbeitete<br />

Version des NEO-FFI (Borkenau & Ostendorf,<br />

2008) eingesetzt. Dieses Persönlichkeitsinventar erfasst<br />

mit jeweils 12 Items die fünf Dimensionen Neurotizismus,<br />

Extraversion, Offenheit für Erfahrungen, Verträglichkeit<br />

und Gewissenhaftigkeit. Die Beantwortung erfolgt auf<br />

einer 5-fach abgestuften Likert-Skala, die von starke Ablehnung<br />

bis starke Zustimmung reicht.<br />

3.1.5 Erfolgsindikatoren<br />

Zur Überprüfung der retrospektiven Kriteriumsvalidität<br />

wurden die Abiturgesamtnote sowie die Bachelor- bzw.<br />

Vordiplomgesamtnote als Erfolgsindikatoren herangezogen.<br />

3.1.6 Akzeptanzmessung<br />

Zur Akzeptanzüberprüfung sollten die Prob<strong>and</strong>en nach<br />

dem Bearbeiten des BBM und BOMAT ein Item auf einer<br />

5-stufigen Skala (1 = sehr berufsnah bis 5 = wenig berufsnah)<br />

zur beruflichen Augenscheinvalidität nach Smither<br />

et al. (1993) einschätzen. Ebenso wurde der multidimensionale<br />

Fragebogen AKZEPT!-L (Kersting, 2008) eingesetzt,<br />

der die vier Aspekte Augenscheinvalidität, Kontrollierbarkeit,<br />

Messqualität und Belastungsfreiheit mit<br />

jeweils vier Items auf einer 6-fach abgestuften Likert-<br />

Skala (trifft nicht zu bis trifft genau zu) erfasst.<br />

3.1.7 Sozio-demografische Variablen<br />

Es wurden sozio-demografische Variablen (Alter, Geschlecht,<br />

Deutsch als Muttersprache, Universität, Studium)<br />

erhoben, die zur Stichprobenbeschreibung sowie im<br />

Rahmen der Akzeptanzprüfung als Kontrollvariablen verwendet<br />

wurden.<br />

3.2 Untersuchungsvorgehen<br />

Die Studie wurde als Onlinebefragung konzipiert, mit der<br />

Unipark S<strong>of</strong>tware (http://www.unipark.info) erstellt und<br />

entsprechend gängiger Empfehlungen für Onlinestudien<br />

umgesetzt, indem bspw. rechtliche Hinweise zur Datenspeicherung<br />

gegeben wurden (Birnbaum, 2004; Kraut,<br />

Olson, Banaji, Bruckman, Cohen & Couper, 2004). Die<br />

Teilnahme war freiwillig und best<strong>and</strong> aus vier Modulen, die<br />

separat angewählt werden konnten. Alle Teilnehmerinnen<br />

und Teilnehmer mussten mit dem ersten Modul beginnen,<br />

in welchem sozio-demografische Daten und ein Zuordnungscode<br />

generiert sowie allgemeine Instruktionen und<br />

Informationen zur Testbearbeitung/-teilnahme dargestellt<br />

wurden. Zusätzlich musste in diesem Modul der BBM be-<br />

24


arbeitet sowie dessen Akzeptanz eingeschätzt werden.<br />

Das Modul 2 umfasste die drei Subtests des IST-2000R.<br />

Im dritten Modul wurde der NEO-FFI erhoben, im vierten<br />

Modul wurde der BOMAT durchgeführt und dessen Akzeptanz<br />

von den Prob<strong>and</strong>en bewertet. Um einen gemeinsamen<br />

beruflichen Kontext für die Bewertung der Aufgaben<br />

herzustellen, erhielten die Teilnehmer vor der Bearbeitung<br />

der zwei Matrizenaufgaben (BBM und BOMAT) die Instruktion,<br />

sich vorzustellen, in einem Unternehmen aus der<br />

Automobil-Branche als Fachreferent ihres jeweiligen Studienganges<br />

beschäftigt zu sein. Die Teilnehmer konnten<br />

nach dem ersten Modul frei bestimmen, welche und in<br />

welcher Reihenfolge sie die restlichen Module bearbeiten<br />

wollten. Auf eine R<strong>and</strong>omisierung der Module 2 bis 4 wurde<br />

verzichtet, da die Bearbeitungszeiten der Module stark<br />

differierten und den Prob<strong>and</strong>en durch die individuelle<br />

Modulwahl eine flexible Durchführung ermöglicht wurde.<br />

Als Anreiz zur Teilnahme erhielten die Befragten eine<br />

individuelle Ergebnisrückmeldung sowie die Möglichkeit,<br />

an einer Verlosung von 20 Gutscheinen teilzunehmen.<br />

Psychologiestudierenden wurden entsprechende Versuchspersonenstunden<br />

angerechnet.<br />

3.3 Stichprobe<br />

Die Stichprobe setzt sich aus 360 Studierenden verschiedener<br />

Studiengänge und Universitäten zusammen. Es<br />

nahmen insgesamt 176 Psychologiestudierende und 184<br />

Studierende <strong>and</strong>erer Studiengänge (Sozial- und Erziehungswissenschaften<br />

(n = 80), Informationsmanagement<br />

(n = 29), Rechts- und Wirtschaftswissenschaften (n =<br />

33), weitere Studiengänge (n = 42)) an der Studie teil.<br />

Im Durchschnitt waren die Teilnehmerinnen und Teilnehmer<br />

24.78 Jahre alt (SD = 6.50). In der Stichprobe waren<br />

zu 82% Frauen vertreten. Alle 360 Prob<strong>and</strong>en bearbeiteten<br />

das erste Modul vollständig mit einer durchschnittlichen<br />

Bearbeitungszeit von 53 Minuten. Zur Bestimmung<br />

der Retest-Reliabilität des BBM bearbeiteten 20 Personen<br />

den Test nach ca. drei Monaten ein zweites Mal. Modul 2<br />

wurde von 233 Personen (M = 48 min) und Modul 3 von<br />

229 Personen (M = 16 min) absolviert. Das vierte Modul<br />

hatte die höchste Abbrecherquote und wurde noch von 75<br />

Prob<strong>and</strong>en (M = 83 min) durchgeführt.<br />

4 Ergebnisse<br />

Da die Datenerhebung computergestützt stattf<strong>and</strong>, wurde<br />

die Auswertungsobjektivität als gegeben angesehen und<br />

auf eine Quantifizierung verzichtet (Shrout & Fleiss, 1979;<br />

Wirtz & Caspar, 2002).<br />

4.1 Itemkennwerte und Reliabilität<br />

Der BBM erwies sich in der vorliegenden Studie als hinreichend<br />

schwierig, trennscharf und reliabel. Die Schwierigkeitsindizes<br />

variierten von .09 bis .88 (M = 0.44, SD =<br />

0.42) und deckten somit unterschiedliche Schwierigkeitsbereiche<br />

ab. Die Trennschärfen lagen nach part-whole<br />

Korrektur zwischen .05 und .52 (M = 0.26, SD = 0.17).<br />

Drei Items erwiesen sich mit Trennschärfen < .10 als<br />

wenig zwischen den Prob<strong>and</strong>en differenzierend. Der BBM<br />

best<strong>and</strong> aus 22 Items und erzielte für die Gesamtstichprobe<br />

eine zufriedenstellende interne Kons<strong>ist</strong>enz mit ei-<br />

Nils Benit & Renate Soellner<br />

nem Cronbachs α = .71. Die Retestreliabilität betrug in<br />

einer Teilstichprobe (n = 20) rtt = .79.<br />

Die Itemkennwerte und Reliabilität des BOMAT bewegten<br />

sich in einem ähnlichen Bereich. So streuten die<br />

Itemschwierigkeiten von .23 bis .85 (M = 0.60, SD =<br />

0.44) bzw. die korrigierten Trennschärfen von .09 bis .64<br />

(M = 0.28, SD = 0.19) bei einer internen Kons<strong>ist</strong>enz von<br />

Cronbachs α = .75 bei 28 Items.<br />

4.2 Kriteriumsvalidität<br />

Der BBM korrelierte mit dem retrospektiven Kriterium<br />

Abiturgesamtnote moderat (r = -.43, p < .01, n = 232).<br />

Für eine Teilstichprobe (n = 93) lagen auch Daten zu dem<br />

Kriterium Bachelor- bzw. Vordiplomgesamtnote vor. Die<br />

Korrelation mit dem BBM lag hierbei etwas niedriger als<br />

für die Abiturgesamtnote. Der Zusammenhang erwies sich<br />

mit r = -.39 (p < .01) als stat<strong>ist</strong>isch signifikant. Die Korrelationen<br />

zwischen BOMAT und Abiturgesamtnote (r = -.45,<br />

p < .01, n = 66) sowie Bachelor- bzw. Vordiplomgesamtnote<br />

(r = -.41, p < .05, n = 28) waren in Richtung und<br />

Höhe vergleichbar.<br />

4.3 Konstruktvalidität<br />

Zur Prüfung der konvergenten und diskriminanten Validität<br />

wurde der BBM mit unterschiedlichen Konstrukten<br />

korrelativ in Beziehung gesetzt (vgl. Tabelle 1). Die Korrelation<br />

zwischen dem BBM und seinem Pendant BOMAT von<br />

r = .75 (p < .01) deutet darauf hin, dass beide Testverfahren<br />

substanziell dasselbe Intelligenzkonstrukt erfassten.<br />

Ebenso weisen die stat<strong>ist</strong>isch signifikanten Korrelationen<br />

mit den Subtests Matrizen (r = .51, p < .01), Analogie<br />

(r = .41, p < .01) und Zahlenreihe (r = .44, p < .01)<br />

des IST 2000-R auf eine konvergente Validität des BBM<br />

hin. Hinweise auf Divergenz le<strong>ist</strong>en die geringen Korrelationen<br />

des BBM mit den Big Five. Lediglich Offenheit (r =<br />

.20, p < .05) und Gewissenhaftigkeit (r = .31, p < .01)<br />

korrelieren mit dem BBM stat<strong>ist</strong>isch bedeutsam. Auch der<br />

BOMAT korreliert moderat mit den Subtests des IST-<br />

2000R (r = .36 bis r = .41; jeweils p < .01) und lediglich<br />

mit einer Dimension aus dem NEO-FFI signifikant (Offenheit:<br />

r = .31, p < .05).<br />

4.4 Soziale Akzeptanz<br />

64 Prob<strong>and</strong>en, die sowohl den BBM als auch den BOMAT<br />

bearbeitet und deren Akzeptanz mittels des single-items<br />

nach Smither et al. (1993) eingeschätzt haben, bewerteten<br />

den BBM mit MBBM = 2.66 (SD = 1.35) als berufsnäher<br />

im Vergleich zum BOMAT (MBOMAT = 3.33, SD = 0.94;<br />

t(63) = -4.45, p < .01). Einen detaillierteren Einblick in<br />

die Akzeptanzbewertung ermöglichten die Ergebnisse des<br />

AKZEPT!-L, deren Mittelwerte, St<strong>and</strong>ardabweichungen und<br />

Reliabilitäten sowie Korrelationen mit den Testergebnissen<br />

in Tabelle 2 aufgeführt sind. Damit der BBM als akzeptierter<br />

gelten kann, sollte er im Vergleich zum BOMAT signifikant<br />

höher hinsichtlich der Augenscheinvalidität und vergleichbar<br />

hinsichtlich der Kontrollierbarkeit, Messqualität<br />

und Belastungsfreiheit bewertet werden.<br />

25


Tabelle 1: Mittelwerte, St<strong>and</strong>ardabweichungen und Korrelationen<br />

für BBM, BOMAT und den zur Validierung eingesetzten<br />

Instrumenten & Variablen<br />

BBM BOMAT<br />

M (SD) r(BBM) N r(BOMAT) N<br />

BBM 11.13 (3.40) 1 360 .75** 75<br />

BOMAT 14.38 (5.38) .75** 66 1 75<br />

Abiturgesamtnote<br />

2.3 (0.57) -.43** 232 -.45** 67<br />

Bachelorgesamtnote<br />

1.86 (0.71) -.39** 94 -.41** 28<br />

IST-2000R<br />

Matrize 14.70 (2.86) .51** 233 .36** 66<br />

Analogie 11.53 (3.05) .41** 233 .38** 66<br />

Zahlenreihe 17.18 (3.32) .44** 233 .41** 66<br />

NEO-FFI<br />

Neurotizismus<br />

1.87 (0.67) -.05 229 -.01 66<br />

Extraversion 2.33 (0.49) -.04 229 .04 66<br />

Offenheit 2.53 (0.40) .20* 229 .31* 66<br />

Verträglichkeit<br />

2.68 (0.47) -.05 229 .07 66<br />

Gewissenhaftigkeit<br />

3.02 (0.55) .31** 229 .03 66<br />

Anmerkung. * p ≤ .05 (zweiseitig), ** p ≤ .01 (zweiseitig)<br />

Hinsichtlich der Dimension Augenscheinvalidität des AK-<br />

ZEPT!-L konnten signifikante Unterschiede zugunsten des<br />

BBM (MBBM = 3.68, SD = 0.75; MBOMAT = 2.54, SD = 0.84;<br />

t(49) = -8.83, p < .01) gefunden werden. Für beide Verfahren<br />

ließen sich darüber hinaus signifikante Korrelationen<br />

zwischen dem Testergebnis und der eingeschätzten<br />

Augenscheinvalidität des AKZEPT!-L finden (rBBM = .58, p<br />

< .01; rBOMAT = .40, p < .01). BBM und BOMAT unterschieden<br />

sich nicht stat<strong>ist</strong>isch bedeutsam in Hinsicht auf<br />

die Dimensionen Kontrollierbarkeit (MBBM = 5.00, SD =<br />

1.03; MBOMAT = 4.91, SD = 1.11; t(49) = -.87, p = .39),<br />

Messqualität (MBBM = 3.45, SD = 0.85; MBOMAT = 3.39, SD<br />

= 0.81; t(49) = -.39, p = .69) und Belastungsfreiheit<br />

(MBBM = 3.44, SD = 1.12; MBOMAT = 3.41, SD = 1.23; t(49)<br />

= -.29, p = .77). Die Reliabilitäten der Skalen des AK-<br />

ZEPT!-L bewegten sich in einem mittleren Bereich (.65 ≤<br />

α ≤ .87), was auf die geringe und somit ökonomische<br />

Itemanzahl (4 Items pro Skala) zurückzuführen sein kann.<br />

Zur Überprüfung der Testfairness wurden die Testwerte<br />

sowohl für den BBM als auch für den BOMAT hinsichtlich<br />

der Kontrollvariablen Geschlecht, Alter und Muttersprache<br />

überprüft. Es ergaben sich weder für das Geschlecht (BO-<br />

MAT: t(48) = 0.31, p < .65; BBM: t(48) = 1.34, p < .46)<br />

<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>?<br />

noch für die Muttersprache (BOMAT: t(48) = 0.60, p <<br />

.55; BBM: t(48) = -.38, p < .79) signifikante Mittelwertsunterschiede.<br />

Auch zwischen dem Alter und den beiden<br />

Testwerten wurden keine bedeutsamen Zusammenhänge<br />

(rBOMAT = -.05; p = n.s.; rBBM = .01; p = n.s.) gefunden.<br />

5 Diskussion<br />

Tabelle 2: Akzeptanzeinschätzung für BBM und BOMAT mittels AKZEPT-L! (nach Kersting, 2008), n = 50<br />

Akzeptanzdimensionen<br />

In der vorliegenden Studie wurde der BOMAT, ein nachweislich<br />

valider (Hossiep et al., 2004), aber eher abstrakter<br />

Matrizentest mit dem berufsbezogen gestalteten BBM<br />

unter besonderer Berücksichtigung des Aspekts der Akzeptanz<br />

kontrastiert. Ziel war es zu überprüfen, ob die<br />

Akzeptanz eines Matrizentests allein durch eine kontext-<br />

bzw. berufsbezogene Symbolgestaltung erhöht werden<br />

kann. Darüber hinaus sollte geprüft werden, ob eine akzeptanzfördernde<br />

Gestaltung nicht zulasten der psychometrischen<br />

Güte geht. Nur wenn ein berufsbezogen gestalteter<br />

Intelligenztest auch reliabel und valide misst,<br />

erscheint es lohnenswert, über seinen Einsatz im Vergleich<br />

zu abstrakt gestalteten Tests nachzudenken. „Es kommt<br />

nicht allein darauf an, dass die Verfahren bei den Teilnehmern<br />

<strong>gut</strong> ankommen, sondern es kommt darauf an,<br />

dass diagnostische Verfahren valide sind und zusätzlich<br />

<strong>gut</strong> ankommen“ (Kersting, 2008, S. 432).<br />

Sowohl der BOMAT als auch der BBM erwiesen sich in der<br />

vorliegenden Stichprobe als hinreichend reliabel sowie<br />

trennscharf und deckten unterschiedliche Schwierigkeitsbereiche<br />

ab. Schwierigkeits- und Trennschärfeindizes des<br />

BBM entsprachen annähernd denen des BOMAT (Hossiep<br />

et al., 2001). Trotz geringerer Itemanzahl des BBM bewegte<br />

sich die Reliabilität beider Matrizentests in einem<br />

vergleichbaren Bereich (vgl. Bortz, 2005; Osburn, 2000),<br />

wobei die niedrigere Anzahl an Items des BBM zusätzlich<br />

dem Nebengütekriterium der Ökonomie entgegen kommt.<br />

Die Befunde zur Kriteriumsvalidität für den BBM weisen<br />

auf eine akzeptable Güte sowohl für das Kriterium Abiturgesamtnote<br />

als auch für die Bachelor- bzw. Vordiplomgesamtnote<br />

hin, die den retrospektiven Validitäten des BO-<br />

MAT entsprachen. Die Koeffizienten beider Verfahren<br />

bewegten sich in einem ähnlichen Bereich wie die Ergebnisse<br />

von Hülsheger et al. (2006) und unterstreichen die<br />

Güte von Intelligenztests zur Vorhersage von Ausbildungserfolg<br />

in Deutschl<strong>and</strong>.<br />

BBM BOMAT BBM vs. BOMAT<br />

M SD α M SD α t-Wert<br />

Kontrollierbarkeit 5.00 1.03 .74 4.91 1.11 .77 t(49) = -0.87<br />

Messqualität 3.45 0.85 .67 3.39 0.81 .68 t(49) = -0.39<br />

Augenscheinvalidität 3.68 0.75 .65 2.54 0.84 .77 t(49) =-8.83**<br />

Belastungsfreiheit 3.44 1.12 .84 3.41 1.23 .87 t(49) = -0.29<br />

Anmerkung. * p ≤ .05 (zweiseitig), ** p ≤ .01 (zweiseitig), t-Test für unabhängige Stichproben.<br />

26


Die Korrelationen des BOMAT und des BBM mit den Skalen<br />

des NEO-FFI (Borkenau & Ostendorf, 2008) weisen auf<br />

eine divergente Validität hin, was einen weiteren Hinweis<br />

für Konstruktvalidität darstellt. Die signifikanten Korrelationen<br />

mit den Persönlichkeitsskalen Offenheit für neue<br />

Erfahrung und Gewissenhaftigkeit lassen sich dahin gehend<br />

interpretieren, dass Personen mit höheren Ausprägungen<br />

in diesen Dimensionen die Testaufgaben mit mehr<br />

Sorgfalt, Aufrichtigkeit sowie Interesse bearbeitet haben<br />

und dementsprechend höhere Le<strong>ist</strong>ungen erbrachten. Die<br />

Ergebnisse stehen mit bisherigen Befunden im Einklang,<br />

die positive Zusammenhänge einerseits zwischen der<br />

Testmotivation und den NEO-FFI Skalen Offenheit für<br />

neue Erfahrung und Gewissenhaftigkeit (Hunthausen et<br />

al., 2003) sowie <strong>and</strong>ererseits zwischen Testmotivation und<br />

Intelligenz (Chan et al., 1997) unterstreichen. Bis hierhin<br />

kann für den BBM attestiert werden, dass er hinsichtlich<br />

der psychometrischen Güte als reliabel und valide einzustufen<br />

<strong>ist</strong>, also <strong>gut</strong> misst.<br />

Für den BBM konnte eine aus Prob<strong>and</strong>ensicht hohe berufliche<br />

Augenscheinvalidität bestätigt werden. Die Testgestaltung<br />

beeinflusste in dieser Stichprobe die Akzeptanzeinschätzung<br />

zugunsten des BBM mit berufsbezogenen<br />

Symbolen im Vergleich zum BOMAT. Aus Prob<strong>and</strong>ensicht<br />

scheint die berufsbezogene Testgestaltung (BBM) die<br />

Augenscheinvalidität zu erhöhen und gleichzeitig wird der<br />

Test wie der BOMAT als kontrollierbar, belastungsfrei und<br />

messgenau empfunden. Der BBM misst also <strong>gut</strong> und <strong>ist</strong><br />

<strong>gut</strong> bzw. sogar besser akzeptiert hinsichtlich der beruflichen<br />

Augenscheinvalidität.<br />

Um den Gültigkeitsanspruch der Befunde zu erweitern,<br />

sollte eine Validierung von BOMAT und BBM in einem<br />

r<strong>and</strong>omisierten Design/Setting an einer berufstätigen<br />

Bewerberstichprobe realisiert werden. Dieses Vorhaben<br />

erscheint unter zweierlei Aspekten lohnenswert. Einerseits<br />

würde die Akzeptanzeinschätzung aus der Perspektive von<br />

Bewerbern unter Realbedingungen die Aussagekraft der<br />

Ergebnisse erhöhen, da bislang lediglich Studierende untersucht<br />

worden sind und die Generalisierbarkeit von<br />

Akzeptanzuntersuchungen eignungsdiagnostischer Instrumente,<br />

in der ausschließlich oder überwiegend Studierende<br />

befragt wurden, angezweifelt werden kann (vgl.<br />

Kersting, 1998). Andererseits fehlt in dieser Studie die<br />

Validierung an einem prospektiven beruflichen Erfolgskriterium.<br />

Denn gerade die prognostische Validität von Intelligenztests<br />

bei relativ kurzer Durchführungszeit macht<br />

dieses eignungsdiagnostische Verfahren für die Praxis so<br />

attraktiv. Es <strong>ist</strong> aber bereits eine Folgestudie in Kooperation<br />

mit einem deutschen Industrieunternehmen geplant, in<br />

welcher der BBM explizit mit den firmenspezifischen Symbolen<br />

des kooperierenden Unternehmens getestet werden<br />

soll. Ein weiterer Aspekt, den es in Folgeuntersuchungen<br />

zu optimieren gilt, liegt in der Versuchsplanung. Die online-basierte<br />

Testung mit dem hinsichtlich Modul 2-4 frei<br />

wählbaren Umfang ermöglichte zwar eine ökonomische<br />

und prob<strong>and</strong>enfreundliche Erhebung, jedoch variierten die<br />

Stichprobenumfänge der einzelnen Module stark. Dieses<br />

kann ein Hinweis dafür sein, dass einer Vielzahl der Prob<strong>and</strong>en<br />

eine individuelle Ergebnisrückmeldung über die<br />

Module 1 bis 3 (BBM, IST-2000R, NEO-FFI) ausreichte und<br />

eine weitere Testung ihrer kognitiven Le<strong>ist</strong>ungsfähigkeit<br />

(BOMAT) in Modul 4 redundant erschien. Die Prob<strong>and</strong>en,<br />

Nils Benit & Renate Soellner<br />

die alle Module vollständig bearbeitet haben, stellen möglicherweise<br />

eine Positivselektion hinsichtlich bestimmter<br />

Eigenschaften wie überdurchschnittliche Testmotivation<br />

oder Le<strong>ist</strong>ungsfähigkeit dar. Da studentische Stichproben<br />

jedoch grundsätzlich im oberen Fähigkeitsbereich anzusiedeln<br />

sind, sollten mögliche auf die Le<strong>ist</strong>ungsfähigkeit zurückzuführende<br />

Verzerrungen gering ausgefallen sein.<br />

Hinsichtlich der Akzeptanzmessung bleibt festzuhalten,<br />

dass durch das mehrdimensionale Instrument AKZEPT!-L<br />

(Kersting, 2008) eine differenzierte Bewertung der Akzeptanz<br />

im Vergleich zum verwendeten single-item zur berufsbezogenen<br />

Augenscheinvalidität nach Smither et al.<br />

(1993) möglich wurde. Es scheint eine lohnenswerte Aufgabe<br />

der Wissenschaft zu sein, sich über bestehende<br />

(wissenschaftlich fundierte) Inventare zur Akzeptanzmessung<br />

zu verständigen, so dass zukünftig eine einheitlichere<br />

und vergleichbare Akzeptanzforschung stattfinden<br />

kann.<br />

Bis hierhin kann konstatiert werden, dass der BBM ein<br />

zeitökonomisches, psychometrisch valides und sozial akzeptiertes<br />

Testverfahren darstellt. Anliegen dieser Studie<br />

war es zu untersuchen, ob psychologische Testverfahren<br />

durch einfache Modifikationen an Augenscheinvalidität<br />

gewinnen und so möglicherweise vermehrt Zugang in die<br />

Unternehmenspraxis erfahren können. Wenn wissenschaftlich<br />

fundierte Instrumente wie der BOMAT aus Akzeptanzgründen<br />

nicht den Weg in die Praxis finden, stellt<br />

die Konstruktion von berufsbezogenen Tests mit kontext-<br />

oder branchenspezifischen Symbolen einen lohnenswerten<br />

Lösungsweg dar. Eine akzeptanzförderliche Testgestaltung<br />

macht jedoch keinesfalls eine theoriegeleitete sowie methodisch<br />

bzw. testtheoretisch fundierte Testkonstruktion<br />

und abschließende Evaluation entbehrlich. Insbesondere<br />

für Intelligenztests <strong>and</strong>erer Formate (z.B.: IST-2000R)<br />

sollte ein eindeutig erkennbarer Bezug zu den Arbeitsanforderungen<br />

eines Arbeitsplatzes zur Akzeptanzerhöhung -<br />

wie von der DIN 33430 gefordert (Deutsches Institut für<br />

Normung e. V., 2002) - beitragen. Ein Beispiel für eine<br />

Kombination aus Arbeitsprobe und Testverfahren zur<br />

Erfassung der berufsbezogenen Intelligenz für büro- und<br />

kaufmännische Tätigkeiten stellt der AZUBI-BK (Görlich &<br />

Schuler, 2010) dar, der empirisch nachweislich <strong>gut</strong> misst<br />

und aus Sicht der Bewerber auch <strong>gut</strong> <strong>ist</strong>. Damit schlussendlich<br />

Intelligenztests auch in deutschen Unternehmen<br />

vermehrt Einzug in die Eignungsdiagnostik finden, sollte<br />

neben einem stärkeren Austausch zwischen Praxis und<br />

Wissenschaft auch die Konstruktion von validen, berufs-<br />

und anforderungsbezogenen Intelligenztest Aufgabe zukünftiger<br />

Forschung sein.<br />

6 Danksagung<br />

Wir bedanken uns herzlichst bei den Testautoren des<br />

BOMAT, Rüdiger Hossiep und Michele Leidorf (ehemals<br />

Hasella), sowie dem Cheflektor des Hogrefe Verlags, Jörg<br />

Hampe, für die freundliche und unkomplizierte Unterstützung<br />

unseres Forschungsvorhabens.<br />

27


7 Literaturverzeichnis<br />

Ackerman, P. L. (1994). Intelligence, attention, <strong>and</strong> learning:<br />

Maximal <strong>and</strong> typical performance. In D. K. Detterman<br />

(Ed.). Theories <strong>of</strong> Intelligence (Current Topics in<br />

Human Intelligence, Vol. 4, pp. 1–27). Norwood: Ablex<br />

Publishing Corporation.<br />

Anderson, N. (2004). Editorial – The Dark Side <strong>of</strong> the<br />

Moon: Applicant perspectives, negative psychological<br />

effects (NPEs), <strong>and</strong> c<strong>and</strong>idate decision making in selection.<br />

International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />

12, 1–8.<br />

Anderson, N. (2011). Perceived job discrimination: Toward<br />

a model <strong>of</strong> applicant propensity to case initiation in<br />

selection. International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />

19, 229-244.<br />

Anderson, N. & Witvliet, C. (2008). Fairness Reactions to<br />

Personnel Selection Methods: An international comparison<br />

between the Netherl<strong>and</strong>s, the United States,<br />

France, Spain, Portugal, <strong>and</strong> Singapore. International<br />

<strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment, 16, 1–13.<br />

Bing, M. N., Whanger, J. C., Davison, H. K. & Van Hook, J.<br />

B. (2004). Incremental Validity <strong>of</strong> the Frame-<strong>of</strong>-<br />

Reference Effect in Personality Scale Scores: A Replication<br />

<strong>and</strong> Extension. <strong>Journal</strong> <strong>of</strong> Applied Psychology, 89,<br />

150–157.<br />

Birnbaum, M. H. (2004). Human Research <strong>and</strong> Data Collection<br />

via the Internet. Annual Review <strong>of</strong> Psychology,<br />

55, 803-832.<br />

Borkenau, P. & Ostendorf, F. (Hrsg.) (2008). NEO-Fünf-<br />

Faktoren Inventar nach Costa und McCrae (NEO-FFI) (2.<br />

Aufl.). Göttingen: Hogrefe.<br />

Borman, W. C., Penner, L. A., Allen, T. D. & Motowidlo, S.<br />

J. (2001). Personality Predictors <strong>of</strong> Citizenship Performance.<br />

International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />

9, 52-69.<br />

Bortz, J. (2005). Stat<strong>ist</strong>ik für Human- und Sozialwissenschaftler<br />

(6. Aufl.). Wien: Springer.<br />

Chan, D., Schmitt, N., DeShon, R. P., Clause, C. S. &<br />

Delbridge, K. (1997). Reactions to cognitive ability<br />

tests: The relationships between race, test performance,<br />

face validity perceptions, <strong>and</strong> test-taking motivation.<br />

<strong>Journal</strong> <strong>of</strong> Applied Psychology, 82, 300-310.<br />

Deutsches Institut für Normung e. V. (Hrsg.) (2002). DIN<br />

33430: Anforderungen an Verfahren und deren Einsatz<br />

bei berufsbezogenen Eignungsbeurteilungen. Berlin:<br />

Beuth.<br />

Eleftheriou, A. & Robertson, I. (1999). A Survey <strong>of</strong> Management<br />

Selection Practices in Greece. International<br />

<strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment, 7, 203-208.<br />

Gillil<strong>and</strong>, S. W. (1993). The Perceived Fairness <strong>of</strong> Selection<br />

Systems: An Organizational Justice Perspective.<br />

The Academy <strong>of</strong> Management Review, 18, 694-734.<br />

Göhs, N. & Dick, J. (2001). Testverfahren bei der Personalauswahl<br />

- Qualitätssuche im intransparenten Markt.<br />

Personal - Zeitschrift für Human Resource Management,<br />

53, 46-48.<br />

<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>?<br />

Görlich, Y. & Schuler H. (2010). Arbeitsprobe zur berufsbezogenen<br />

Intelligenz - Technische und h<strong>and</strong>werkliche<br />

Tätigkeiten (AZUBI-TH) (2. Auflage). Göttingen: Hogrefe.<br />

Hausknecht, J. P., Day, D. V. & Thomas, S. C. (2004).<br />

Applicant Reactions to Selection Procedures: An Updated<br />

Model <strong>and</strong> Meta-Analysis. Personnel Psychology, 57,<br />

639-683.<br />

Hell, B. (2003). Kognitive Le<strong>ist</strong>ungsfähigkeit in der<br />

Berufsdiagnostik: Forschungsüberblick und Entwicklung<br />

eines neuen Instruments zur Erfassung Schlussfolgernden<br />

und Kreativen Denkens. Berlin: dissertation.de.<br />

Hell, B., Boramir, I., Schaar, H. & Schuler, H. (2006).<br />

Interne Personalauswahl und Personalentwicklung in<br />

deutschen Unternehmen. Wirtschaftspsychologie, 8, 2-<br />

22.<br />

Hossiep, R., Turck, D. & Hasella, M. (Hrsg.) (2001). Bochumer<br />

Matrizentest - advanced - short version (BOMAT<br />

- A). Göttingen: Hogrefe.<br />

Hossiep, R., Turck, D. & Hasella, M. (2004). Bochumer<br />

Matrizentest - advanced - short version (BOMAT-A). In<br />

W. Sarges & H. Wottawa (Hrsg.). H<strong>and</strong>buch wirtschaftspsychologischer<br />

Testverfahren. B<strong>and</strong> I: Personalpsychologische<br />

Instrumente (2. Aufl., S. 167–172). Lengerich:<br />

Pabst Science Publishers.<br />

Hülsheger , U. R. & Anderson, N. (2009). Applicant perspectives<br />

in selection: Going beyond preference reactions.<br />

International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />

17, 335-345.<br />

Hülsheger, U. R. & Maier, G. W. (2008). Persönlichkeitseigenschaften,<br />

Intelligenz und Erfolg im Beruf: Eine Best<strong>and</strong>saufnahme<br />

internationaler und nationaler Forschung.<br />

Psychologische Rundschau, 59, 108-122.<br />

Hülsheger, U. R., Maier, G. W., Stumpp, T. & Muck, P. M.<br />

(2006). Vergleich kriteriumsbezogener Validitäten verschiedener<br />

Intelligenztests zur Vorhersage von Ausbildungserfolg<br />

in Deutschl<strong>and</strong>. Zeitschrift für Personalpsychologie,<br />

5, 145-162.<br />

Hunthausen, J. M., Truxillo, D. M., Bauer, T. N., & Hammer,<br />

L. B. (2003). A field study <strong>of</strong> frame-<strong>of</strong>-reference<br />

effects on personality test validity. <strong>Journal</strong> <strong>of</strong> Applied<br />

Psychology, 88, 545–551.<br />

Hunter, J. E. & Hunter, R. F. (1984). Validity <strong>and</strong> utility <strong>of</strong><br />

alternative predictors <strong>of</strong> job performance. Psychological<br />

Bulletin, 96, 340-362.<br />

Kersting, M. (1998). Differentielle Aspekte der sozialen<br />

Akzeptanz von Intelligenztests und Problemlöseszenarien<br />

als Personalauswahlverfahren. Zeitschrift für Arbeits-<br />

und Organisationspsychologie, 42, 61-75.<br />

Kersting, M. (2006). Zur Beurteilung der Qualität von<br />

Tests: Resümee und Neubeginn. Psychologische Rundschau,<br />

57, 243-253.<br />

Kersting, M. (2008). Zur Akzeptanz von Intelligenz- und<br />

Le<strong>ist</strong>ungstests. Report Psychologie, 33, 420-433.<br />

König, C. J., Klehe, U.-C., Berchtold, M. & Kleinmann, M.<br />

(2010). Reasons for being selective when choosing per-<br />

28


sonnel selection procedures. International <strong>Journal</strong> <strong>of</strong> Selection<br />

<strong>and</strong> Assessment, 18, 17-27.<br />

Kramer, J. (2009). Allgemeine Intelligenz und beruflicher<br />

Erfolg in Deutschl<strong>and</strong>: Vertiefende und weiterführende<br />

Metaanalysen. Psychologische Rundschau, 60, 82-98.<br />

Kraut, R., Olson, J., Banaji, M., Bruckman, A., Cohen, J. &<br />

Couper, M. (2004). Psychological Research Online: Report<br />

<strong>of</strong> Board <strong>of</strong> Scientific Affairs' Advisory Group on the<br />

Conduct <strong>of</strong> Research on the Internet. American Psycholog<strong>ist</strong>,<br />

59, 105-117.<br />

Krumm, S., Hüffmeier, J., Dietz, F., Findeisen, A. & Dries,<br />

C. (2011). Towards Positive Test Takers’ Reactions to<br />

Cognitive Ability Assessments: Development <strong>and</strong> Initial<br />

Validation <strong>of</strong> the Reasoning Ability at Work Test. <strong>Journal</strong><br />

<strong>of</strong> Business <strong>and</strong> Media Psychology, 2, 11-18.<br />

Liepmann, D., Beauducel, A., Brocke, B. & Amthauer, R.<br />

(Hrsg.) (2007). Intelligenz-Struktur-Test 2000 R (I-S-T<br />

2000 R) (2. Aufl.). Göttingen: Hogrefe.<br />

Lievens, F., De Corte, W. & Schollaert, E. (2008). A closer<br />

look at the frame-<strong>of</strong>-reference effect in personality scale<br />

scores <strong>and</strong> validity. <strong>Journal</strong> <strong>of</strong> Applied Psychology, 93,<br />

268-279.<br />

Osburn, H. G. (2000). Coefficient Alpha <strong>and</strong> Related Internal<br />

Cons<strong>ist</strong>ency Reliability Coefficients. Psychological<br />

Methods, 5, 343-355.<br />

Ostapczuk, M., Musch, J. & Lieberei, W. (2011). Der „Analytische<br />

Test": Validierung eines neuen eignungsdiagnostischen<br />

Instruments zur Erfassung von schlussfolgerndem<br />

Denken (AT). Zeitschrift für Arbeits- und Organisationspsychologie,<br />

55, 1-16.<br />

Ryan, A. M. & Huth, M. (2008). Not Much More than Platitudes?<br />

A critical look at the utility <strong>of</strong> applicant reactions<br />

research. Human Resource Management Review, 18,<br />

119–132.<br />

Ryan, A. M., McFarl<strong>and</strong>, L., Baron, H. & Page, R. (1999).<br />

An international look at selection practices: Nation <strong>and</strong><br />

culture as explanations for validity in practice. Personnel<br />

Psychology, 52, 359-392.<br />

Ryan, A. M. & Ployhart, R. E. (2000). Applicants’ Perceptions<br />

<strong>of</strong> Selection Procedures <strong>and</strong> Decisions: A Critical<br />

Review <strong>and</strong> Agenda for the Future. <strong>Journal</strong> <strong>of</strong> Management,<br />

26, 565-606.<br />

Sackmann, S. & Elbe, M. (2000). Tendenzen und Ergebnisse<br />

empirischer Personalforschung der 90er Jahre in<br />

West-Deutschl<strong>and</strong>. Zeitschrift für Personalforschung, 14,<br />

131-157.<br />

Salgado, J. F. & Anderson, N. (2003). Validity generalization<br />

<strong>of</strong> GMA tests across countries in the European<br />

Community. European <strong>Journal</strong> <strong>of</strong> Work <strong>and</strong> Organizational<br />

Psychology, 12, 1-17.<br />

Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C. & de<br />

Fruyt, F. (2003). International validity generalization <strong>of</strong><br />

GMA <strong>and</strong> cognitive abilities: A european community meta-analysis.<br />

Personnel Psychology, 56, 573-605.<br />

Sarges, W. & Wottawa, H. (Hrsg.). (2004). H<strong>and</strong>buch<br />

wirtschaftspsychologischer Testverfahren: B<strong>and</strong> I: Per-<br />

Nils Benit & Renate Soellner<br />

sonalpsychologische Instrumente (2. Aufl.). Lengerich:<br />

Pabst Science Publishers.<br />

Schmidt, F. L. & Hunter, J. E. (1998). The validity <strong>and</strong><br />

utility <strong>of</strong> selection methods in personnel <strong>psychology</strong>:<br />

Practical <strong>and</strong> theoretical implications <strong>of</strong> 85 years <strong>of</strong> research<br />

findings. Psychological Bulletin, 124, 262-274.<br />

Schmit, M. J., Ryan, A. M., Stierwalt, S. L. & Powell, A. B.<br />

(1995). Frame-<strong>of</strong>-reference effects on personality scale<br />

scores <strong>and</strong> criterion-related validity. <strong>Journal</strong> <strong>of</strong> Applied<br />

Psychology, 80, 607–620.<br />

Schuler, H. (1990). Personalauswahl aus der Sicht der<br />

Bewerber: Zum Erleben eignungsdiagnostischer Situationen.<br />

Zeitschrift für Arbeits- und Organisationspsychologie,<br />

34, 184-191.<br />

Schuler, H. (2000). Psychologische Personalauswahl:<br />

Einführung in die Eignungsdiagnostik (3. Aufl.). Göttingen:<br />

Verlag für Angew<strong>and</strong>te Psychologie.<br />

Schuler, H., Frier, D. & Kauffmann, M. (Hrsg.) (1993).<br />

Personalauswahl im europäischen Vergleich (Beiträge<br />

zur Organisationspsychologie, Bd. 13). Göttingen: Verlag<br />

für Angew<strong>and</strong>te Psychologie.<br />

Schuler, H., Hell, B., Trapmann, S., Schaar, H. & Boramir,<br />

I. (2007). Die Nutzung psychologischer Verfahren der<br />

externen Personalauswahl in deutschen Unternehmen.<br />

Ein Vergleich über 20 Jahre. Zeitschrift für Personalpsychologie,<br />

6, 60-70.<br />

Schuler, H. & Stehle, W. (1983). Neue Entwicklungen des<br />

Assessment-Center-Ansatzes beurteilt unter dem Aspekt<br />

der sozialen Validität. Zeitschrift für Arbeits- und Organisationspsychologie,<br />

27, 33-44.<br />

Shrout, P. E. & Fleiss, J. L. (1979). Intraclass correlations:<br />

Uses in assessing rater reliability. Psychological Bulletin,<br />

86, 420-428.<br />

Smither, J. W., Reilly, R. R., Millsap, R. E., Pearlman, K. &<br />

St<strong>of</strong>fey, R. W. (1993). Applicant Reactions to Selection<br />

Procedures. Personnel Psychology, 46, 49-76.<br />

Spearman, C. (1904). "General Intelligence”, Objectively<br />

Determined <strong>and</strong> Measured. The American <strong>Journal</strong> <strong>of</strong><br />

Psychology, 15, 201-292.<br />

Steiner, D. D. & Gillil<strong>and</strong>, S. W. (1996). Fairness reactions<br />

to personnel selection techniques in France <strong>and</strong> the<br />

United States. <strong>Journal</strong> <strong>of</strong> Applied Psychology, 81, 134-<br />

141.<br />

Wirtz, M. A. & Caspar, F. (2002). Beurteilerübereinstimmung<br />

und Beurteilerreliabilität: Methoden zur Bestimmung<br />

und Verbesserung der Zuverlässigkeit von Einschätzungen<br />

mittels Kategoriensystemen und Ratingskalen.<br />

Göttingen: Hogrefe.<br />

Korrespondenzadresse:<br />

MSc Psych., Nils Benit<br />

University <strong>of</strong> Hildesheim<br />

Department <strong>of</strong> Psychology<br />

Marienburger Platz 22<br />

D – 31141 Hildesheim<br />

GERMANY<br />

nils.benit@uni-hildesheim.de<br />

29

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!