Misst gut, ist gut? - Journal of business and media psychology
Misst gut, ist gut? - Journal of business and media psychology
Misst gut, ist gut? - Journal of business and media psychology
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
<strong>Journal</strong> <strong>of</strong> Business <strong>and</strong> Media Psychology (2012) 3, Heft 1, 22-29, verfügbar unter: www.journal-bmp.de<br />
ZUSAMMENFASSUNG<br />
<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>? Vergleich eines abstrakten<br />
und eines berufsbezogenen Matrizentests<br />
Nils Benit & Renate Soellner<br />
Universität Hildesheim<br />
Obwohl Intelligenztests berufliche Erfolgsindikatoren valide vorherzusagen vermögen (Kramer, 2009; Schmidt & Hunter, 1998), werden sie in<br />
deutschen Unternehmen u.a. aufgrund geringer Akzeptanz selten eingesetzt (Schuler, Hell, Trapmann, Schaar & Boramir, 2007). Die vorliegen-<br />
de Studie untersucht, ob die Akzeptanz eines Matrizentests allein durch eine berufsbezogene Symbolgestaltung erhöht werden kann und der<br />
Test trotzdem testtheoretischen Gütekriterien genügt. Der BOMAT (Hossiep, Turck & Hasella, 2001), ein valider aber abstrakter Matrizentest,<br />
wird mit dem BBM, einem für Forschungszwecke entwickelten Matrizentest mit berufsbezogenen Symbolen, kontrastiert. Beide Verfahren er-<br />
wiesen sich in der vorliegenden Stichprobe (N = 360) als reliabel und valide, insbesondere hinsichtlich hoher retrospektiver Validitäten mit den<br />
Kriterien Abiturnote (rBOMAT = -.45; rBBM = -.43) und Bachelornote (rBOMAT = -.41; rBBM = -.39). Hohe Korrelationen beider Verfahren untereinan-<br />
der sowie mit dem IST-2000R und niedrige Korrelationen mit dem NEO-FFI sprechen für Konstruktvalidität. Die berufsbezogene Gestaltung<br />
erwies sich der abstrakten Gestaltung bei gleichwertiger Messqualität, Kontrollierbarkeit und Belastungsfreiheit (AKZEPT!-L: Kersting, 2008)<br />
hinsichtlich der Augenscheinvalidität als überlegen.<br />
Schlüsselbegriffe: Akzeptanz, Matrizentest, Intelligenztest, berufliche Augenscheinvalidität, Validität<br />
1 Intelligenztests in der Personalauswahl<br />
Intelligenztests stellen in US-amerikanischen und <strong>and</strong>eren<br />
europäischen Unternehmen etablierte Instrumente zur<br />
Personalauswahl dar. Allerdings werden sie in deutschen<br />
Unternehmen vergleichsweise selten eingesetzt (Ryan,<br />
McFarl<strong>and</strong>, Baron & Page, 1999). Seit Jahrzehnten liegt<br />
die Einsatzhäufigkeit bei ca. 30% (Göhs & Dick, 2001;<br />
Sackmann & Elbe, 2000; Schuler, Frier & Kauffmann,<br />
1993; Schuler, Hell, Trapmann, Schaar & Boramir, 2007).<br />
Dieser stabile Befund verwundert, da mittlerweile in Metaanalysen<br />
übereinstimmend gezeigt werden konnte, dass<br />
Intelligenz einen überaus validen Prädiktor für Erfolgsindikatoren<br />
von Ausbildung und Beruf darstellt.<br />
Metaanalytische Befunde hierzu stammten in den letzten<br />
drei Dekaden überwiegend aus den USA (Hunter & Hunter,<br />
1984; Schmidt & Hunter, 1998). Seit diesem Jahrtausend<br />
<strong>ist</strong> jedoch eine zunehmende Forschungsaktivität<br />
auch in Deutschl<strong>and</strong> und <strong>and</strong>eren europäischen Ländern<br />
erkennbar (Hülsheger, Maier, Stumpp & Muck, 2006;<br />
Kramer, 2009; Salgado & Anderson, 2003). Somit kann<br />
die geringe Anwendungshäufigkeit von Intelligenztests in<br />
deutschen Unternehmen grundsätzlich nicht auf eine unzureichende<br />
oder länderunspezifische Befundlage zurückgeführt<br />
werden (vgl. Ackermann, 1994; Borman, Penner,<br />
Allen & Motowidlo, 2001; Salgado, Anderson, Moscoso,<br />
Bertua & de Fruyt, 2003). Ebenfalls ex<strong>ist</strong>ieren in Deutschl<strong>and</strong><br />
diverse Testverfahren zur Messung der Intelligenz,<br />
die im Rahmen von Berufseignungsprozessen erprobt<br />
wurden (vgl. Hülsheger, Maier, Stumpp & Muck, 2006;<br />
Sarges & Wottawa, 2004). Ein quantitativer Mangel an<br />
Intelligenztests scheint demnach auch nicht für die ver-<br />
gleichsweise geringe Einsatzhäufigkeit verantwortlich zu<br />
sein. Allerdings unterscheiden sich die Verfahren hinsichtlich<br />
der zugrunde liegenden Theorie von Intelligenz, ihrer<br />
Ökonomie, Qualität, beruflicher Augenscheinvalidität und<br />
Akzeptanz (Hell, 2003; Kersting, 2008).<br />
In der wissenschaftlichen Debatte wird u. a. die Akzeptanz<br />
als mögliche Ursache für die geringe Anwendungshäufigkeit<br />
von Intelligenztests in der Unternehmenspraxis angeführt<br />
(König, Klehe, Berchtold & Kleinmann, 2010; Schuler<br />
et al., 2007). Während Einstellungsinterviews oder Assessment<br />
Center von Organisationen und Bewerbern als hoch<br />
akzeptiert bewertet und häufig als Auswahlverfahren eingesetzt<br />
werden, wird Intelligenztests lediglich eine geringe<br />
Akzeptanz attestiert (Anderson & Witvliet, 2008; Hausknecht,<br />
Day & Thomas, 2004; Hell, Boramir, Schaar &<br />
Schuler, 2006; König et al., 2010; Schuler et al., 2007;<br />
Steiner & Gillil<strong>and</strong>, 1996).<br />
Die Thematik Akzeptanz von Auswahlverfahren und damit<br />
verbundene Bewerberreaktionen erfuhr in den vergangenen<br />
Jahren ein zunehmendes Forschungsinteresse (Anderson,<br />
2004; Ryan & Huth, 2008), welches in zahlreichen<br />
Forschungsarbeiten mündete (vgl. Hülsheger & Anderson,<br />
2009). Bereits in den 1990er Jahren wurden tragfähige<br />
Akzeptanz-Konzepte im internationalen und deutschsprachigen<br />
Raum vorgestellt (Gillil<strong>and</strong>, 1993; Schuler, 1990).<br />
Gillil<strong>and</strong> (1993) differenziert in seinem „Model <strong>of</strong> Applicants`<br />
Reaction to Employment Selection Systems“ zwischen<br />
der Wahrnehmung der Auswahlsituation und der<br />
Wahrnehmung der Auswahlentscheidung und erarbeitete<br />
zehn Regeln, die bei Missachtung zur Reduzierung der<br />
Akzeptanz gegenüber dem Auswahlverfahren führen kön-<br />
<strong>Journal</strong> <strong>of</strong> Business <strong>and</strong> Media Psychology (JBMP) l ISSN 2191-5814
nen. Auch Schuler (1990; Schuler & Stehle, 1983) akzentuiert<br />
im „Konzept der sozialen Validität“ insbesondere die<br />
Interaktion zwischen Bewerbern und Organisationsvertretern.<br />
Ryan und Ployhart (2000) präsentieren ein heur<strong>ist</strong>isches<br />
Modell in Anlehnung an Gillil<strong>and</strong>, differenzieren<br />
zwischen vier Bewerber-Wahrnehmung-Prozessen (applicant<br />
perceptions <strong>of</strong> the procedure/process itself, <strong>of</strong> one’s<br />
affective <strong>and</strong> cognitive state during the process, <strong>of</strong> the<br />
procedure’s outcome, <strong>of</strong> the selection process in general)<br />
und berücksichtigten zusätzlich die Vorerfahrung der Bewerber<br />
sowie potentielle Moderatoren zwischen den Vorerfahrungen<br />
und der Bewerberwahrnehmung. In jüngerer<br />
Vergangenheit findet insbesondere das erweiterte Modell<br />
von Hausknecht et al. (2004) starke Beachtung. Im Rahmen<br />
ihrer umfassenden Metaanalyse integrierten sie zusätzlich<br />
in die bestehenden Ansätze die zwei Faktoren<br />
Prüfungsangst (test anxiety) und Prüfungsmotivation (test<br />
motivation).<br />
Aus Organisationssicht erscheinen akzeptierte Auswahlverfahren<br />
besonders lohnenswert, da eine wenig akzeptierende<br />
Haltung und Wahrnehmung der Bewerber gegenüber<br />
dem Testverfahren dazu führen kann, dass Bewerber<br />
das Organisationsansehen abwerten oder ein Stellenangebot<br />
ablehnen (Hausknecht et al., 2004). Neben negativen<br />
Auswirkungen auf das Unternehmensimage (Ryan &<br />
Ployhart, 2000) oder auf das Arbeitsverhalten der eingestellten<br />
Bewerber (Gillil<strong>and</strong>, 1993) werden Widerstände<br />
von Betriebsräten sowie die Debatte um die Rechtmäßigkeit<br />
des Einsatzes von Intelligenztests zu eignungsdiagnostischen<br />
Zwecken (Hülsheger & Maier, 2008) als bedeutsame<br />
Gründe für den geringen Einsatz von Intelligenztests<br />
in deutschen Unternehmen angeführt. Weitere<br />
Befürchtungen sind, dass Bewerber, die sich im Auswahlprozess<br />
benachteiligt oder diskriminiert beh<strong>and</strong>elt fühlen,<br />
rechtliche Schritte einleiten oder schlimmstenfalls die<br />
Medien involvieren können (Anderson, 2011).<br />
Die Akzeptanz eines Verfahrens wird zudem stark durch<br />
seine berufliche Augenscheinvalidität beeinflusst. Schuler<br />
(2000) akzentuiert diesbezüglich, dass die berufliche Augenscheinvalidität<br />
lediglich ein Aspekt sozialer Validität sei<br />
und somit nicht den Hauptgütekriterien angehöre, allerdings<br />
in ihrer Bedeutung nicht zu unterschätzen sei. „Augenscheinvalidität<br />
<strong>ist</strong> somit ein relationaler Begriff, der die<br />
Wahrnehmung des Verfahrens mit der Wahrnehmung der<br />
diagnostischen Fragestellung verbindet. Ein Test hat nicht<br />
eine Augenscheinvalidität, sondern für verschiedene<br />
(wahrgenommene) Anwendungszwecke verschiedene<br />
Augenscheinvaliditäten“ (Kersting, 2008, S. 424).<br />
Eine geringe berufliche Augenscheinvalidität kann zum<br />
einen aus einer abstrakten und kontextfernen Gestaltung<br />
der Testverfahren sowie zum <strong>and</strong>eren aus dem für Bewerber<br />
und Organisationsgremien nicht eindeutig erkennbaren<br />
Bezug zu den Arbeitsanforderungen des Arbeitsplatzes<br />
resultieren (Eleftheriou & Robertson, 1999). Damit einher<br />
geht häufig eine wenig akzeptierende Haltung und Wahrnehmung<br />
gegenüber dem Testverfahren (Hausknecht et<br />
al., 2004). Smither, Reilly, Millsap, Pearlman und St<strong>of</strong>fey<br />
(1993) konnten zeigen, dass die wahrgenommene Augenscheinvalidität<br />
der Aufgaben positiv mit der Testle<strong>ist</strong>ung<br />
korrelierte. Auch Chan, Schmitt, Deshon, Clause und Delbridge<br />
(1997) unterstrichen in einem längsschnittlichen<br />
Nils Benit & Renate Soellner<br />
Design den Zusammenhang zwischen beruflicher Augenscheinvalidität<br />
eines Intelligenztests und der Testmotivation,<br />
die sich wiederum positiv auf die Testle<strong>ist</strong>ung auswirkte.<br />
Zusätzlich konnte gezeigt werden, dass eine arbeitsspezifische<br />
Testmaterialdarbietung auch zu einem Validitätsanstieg<br />
beitragen kann (Schmit, Ryan, Stierwalt &<br />
Powell, 1995; vgl. auch Bing, Whanger, Davison & Van<br />
Hook, 2004; Hunthausen, Truxillo, Bauer & Hammer,<br />
2003; Lievens, De Corte & Schollaert, 2008). In diesem<br />
Zusammenhang <strong>ist</strong> seit längerer Zeit die Forderung nach<br />
mehr wissenschaftlich fundierten Testverfahren mit hoher<br />
beruflicher Augenscheinvalidität und direktem Anforderungsbezug<br />
zu beobachten (vgl. Hülsheger & Maier, 2008;<br />
Kramer, 2009), verbunden mit der H<strong>of</strong>fnung, dass diese<br />
dann auch in deutschen Unternehmen vermehrt Einzug<br />
finden.<br />
Intelligenztests mit hoher beruflicher Augenscheinvalidität<br />
und direktem Anforderungsbezug stellen nach Kersting<br />
(2006, 2008) eher die Ausnahme als die Regel auf dem<br />
intransparenten Testmarkt dar. Jüngere Publikationen<br />
unterstreichen vermehrt die wissenschaftlichen Bemühungen,<br />
fundierte Intelligenztests mit hoher Augenscheinvalidität<br />
zu konstruieren und validieren (vgl. Analytischer<br />
Test: Ostapczuk, Musch & Lieberei, 2011; Reasoning Ability<br />
at Work Test: Krumm, Hüffmeier, Dietz, Findeisen &<br />
Dries, 2011). Ob diese Verfahren aber auch tatsächlich<br />
ihren Weg in die Unternehmenspraxis finden werden,<br />
bleibt abzuwarten.<br />
2 Untersuchungsvorhaben<br />
Ein Intelligenztest, der explizit für den Einsatzbereich der<br />
Eignungsdiagnostik und Personalentwicklung konstruiert<br />
wurde, <strong>ist</strong> der BOMAT – advanced – short version (Hossiep,<br />
Turck & Hasella, 2001). Der BOMAT entspricht in<br />
seiner Form einem Matrizentest und zielt auf die Erfassung<br />
der Allgemeinintelligenz ab. Der BOMAT wurde als<br />
sprachfreies Instrument entwickelt, dient der Erfassung<br />
der Intelligenzkapazität im höheren Le<strong>ist</strong>ungsbereich im<br />
Sinne des Spearmanschen „g-Faktors“ (Spearman, 1904)<br />
und erwies sich als hinreichend objektives, reliables sowie<br />
valides Instrument (vgl. Hossiep, Turck & Hasella, 2004).<br />
Die berufliche Augenscheinvalidität des BOMAT <strong>ist</strong> allerdings<br />
aufgrund seiner abstrakten und kontextfernen Gestaltung<br />
als gering zu bezeichnen. Seine Akzeptanz wurde<br />
bisher lediglich über Mittelwertsunterschiede nach verschiedenen<br />
Kriterien wie Geschlecht und Muttersprache<br />
empirisch überprüft.<br />
Ziel der vorliegenden Studie war es zu untersuchen, ob<br />
sich bereits eine kontext- bzw. berufsspezifische Symbolgestaltung<br />
in Matrizentests positiv auf die Akzeptanzeinschätzung<br />
auswirkt. Hierfür wurde die Akzeptanz und<br />
psychometrische Güte des BOMAT im Vergleich zu einem<br />
eigens entwickelten berufsbezogenen Matrizentest (BBM)<br />
überprüft, der auf der Grundlage der Testaufgaben des<br />
BOMAT neu entwickelt wurde. Während der BOMAT sich<br />
aus schwarz-weißen geometrischen Figuren zusammensetzt,<br />
besteht der BBM aus berufsbezogenen Symbolen<br />
aus der Automobil-Branche mit unterschiedlichen Farbausprägungen.<br />
Eine Beispielmatrize aus dem BBM, die in<br />
Anlehnung an den BOMAT konstruiert wurde, kann Abbildung<br />
1 entnommen werden. Für die Konstruktion des BBM<br />
23
wurde eine repräsentative Auswahl von Items aus beiden<br />
Parallelversionen des BOMAT getr<strong>of</strong>fen, die sowohl das<br />
Spektrum unterschiedlicher Schwierigkeitsindizes abdeckte<br />
als auch eine zufriedenstellende Trennschärfe laut<br />
Testmanual aufwies. Einige Aufgabenformate aus dem<br />
BOMAT (z.B.: „Sukzessives Folgen“) konnten nicht adäquat<br />
in ein berufsbezogenes Design überführt werden. Da<br />
hohe Akzeptanzwerte alleine noch keinen reliablen und<br />
validen Test ausmachen, wurden beide Instrumente sowohl<br />
testtheoretisch (Reliabilität, Validität) als auch hinsichtlich<br />
ihrer Akzeptanz überprüft.<br />
Beantwortet werden sollte, ob der erstmals zu Forschungszwecken<br />
eingesetzte BBM durch eine berufsbezogene<br />
Symbolgestaltung eine höhere Akzeptanz im Vergleich<br />
zum BOMAT erzielen und dessen ungeachtet eine<br />
ebenfalls zufriedenstellende psychometrische Güte aufweisen<br />
kann. Anders formuliert stellten wir uns die Fragen,<br />
ob der BBM <strong>gut</strong> misst (also ein reliables und valides Testverfahren<br />
darstellt) und aus Sicht der Prob<strong>and</strong>en auch <strong>gut</strong><br />
<strong>ist</strong> (also akzeptiert wird).<br />
Abb. 1: Kontrastierung der Symbole im BBM und BOMAT<br />
3 Methode<br />
3.1 Material<br />
3.1.1 Bochumer Matrizentest<br />
Der Bochumer Matrizentest – advanced – short version<br />
(Hossiep et al., 2001) stellt eine gekürzte Fassung des<br />
BOMAT – advanced – aus dem Jahre 1999 dar. Jede der<br />
28 Aufgaben setzt sich aus einer 15 Felder-Matrize zusammen,<br />
bei der ein Feld ausgespart <strong>ist</strong>. Im Auswahlprozess<br />
besteht die Aufgabe der Bewerberinnen und Bewerber<br />
darin, das freie Feld entsprechend des logischen Prinzips<br />
der restlichen 14 Felder zu ergänzen. Dafür stehen<br />
den Bewerbern sechs Antwortmöglichkeiten zur Auswahl,<br />
wovon lediglich eine korrekt <strong>ist</strong>. Da der BOMAT eindimensional<br />
das abstrakt-logische Denkvermögen erfassen soll,<br />
liegen keine Subtests vor.<br />
3.1.2 Berufsbezogener Matrizentest<br />
Der berufsbezogene Matrizentest (BBM) wurde ausschließlich<br />
zu Forschungszwecken konstruiert und soll wie sein<br />
Pendant, der BOMAT, eindimensional das abstraktlogische<br />
Denkvermögen messen. Der BBM besteht aus 22<br />
Items, die nach dem Aufgabenformat des BOMAT best-<br />
<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>?<br />
möglich adaptiert worden sind und einen Vergleich der<br />
beiden Matrizenformate ermöglichen sollen.<br />
3.1.3 Intelligenz-Struktur-Test 2000R<br />
Zur Überprüfung der konvergenten Validität des BBM und<br />
BOMAT wurden zusätzlich die Subtests Matrizen, Analogie<br />
und Zahlenreihe aus dem IST-2000R (Liepmann, Beauducel,<br />
Brocke & Amthauer, 2007) eingesetzt. Die Subtests<br />
setzen sich jeweils aus 20 Aufgaben zusammen und erfassen<br />
figural-räumliche, verbale bzw. numerische Intelligenzfacetten.<br />
3.1.4 NEO-Fünf-Faktoren-Inventar<br />
Zur Überprüfung der divergenten Validität des BBM und<br />
BOMAT wurde die neu normierte und vollständig überarbeitete<br />
Version des NEO-FFI (Borkenau & Ostendorf,<br />
2008) eingesetzt. Dieses Persönlichkeitsinventar erfasst<br />
mit jeweils 12 Items die fünf Dimensionen Neurotizismus,<br />
Extraversion, Offenheit für Erfahrungen, Verträglichkeit<br />
und Gewissenhaftigkeit. Die Beantwortung erfolgt auf<br />
einer 5-fach abgestuften Likert-Skala, die von starke Ablehnung<br />
bis starke Zustimmung reicht.<br />
3.1.5 Erfolgsindikatoren<br />
Zur Überprüfung der retrospektiven Kriteriumsvalidität<br />
wurden die Abiturgesamtnote sowie die Bachelor- bzw.<br />
Vordiplomgesamtnote als Erfolgsindikatoren herangezogen.<br />
3.1.6 Akzeptanzmessung<br />
Zur Akzeptanzüberprüfung sollten die Prob<strong>and</strong>en nach<br />
dem Bearbeiten des BBM und BOMAT ein Item auf einer<br />
5-stufigen Skala (1 = sehr berufsnah bis 5 = wenig berufsnah)<br />
zur beruflichen Augenscheinvalidität nach Smither<br />
et al. (1993) einschätzen. Ebenso wurde der multidimensionale<br />
Fragebogen AKZEPT!-L (Kersting, 2008) eingesetzt,<br />
der die vier Aspekte Augenscheinvalidität, Kontrollierbarkeit,<br />
Messqualität und Belastungsfreiheit mit<br />
jeweils vier Items auf einer 6-fach abgestuften Likert-<br />
Skala (trifft nicht zu bis trifft genau zu) erfasst.<br />
3.1.7 Sozio-demografische Variablen<br />
Es wurden sozio-demografische Variablen (Alter, Geschlecht,<br />
Deutsch als Muttersprache, Universität, Studium)<br />
erhoben, die zur Stichprobenbeschreibung sowie im<br />
Rahmen der Akzeptanzprüfung als Kontrollvariablen verwendet<br />
wurden.<br />
3.2 Untersuchungsvorgehen<br />
Die Studie wurde als Onlinebefragung konzipiert, mit der<br />
Unipark S<strong>of</strong>tware (http://www.unipark.info) erstellt und<br />
entsprechend gängiger Empfehlungen für Onlinestudien<br />
umgesetzt, indem bspw. rechtliche Hinweise zur Datenspeicherung<br />
gegeben wurden (Birnbaum, 2004; Kraut,<br />
Olson, Banaji, Bruckman, Cohen & Couper, 2004). Die<br />
Teilnahme war freiwillig und best<strong>and</strong> aus vier Modulen, die<br />
separat angewählt werden konnten. Alle Teilnehmerinnen<br />
und Teilnehmer mussten mit dem ersten Modul beginnen,<br />
in welchem sozio-demografische Daten und ein Zuordnungscode<br />
generiert sowie allgemeine Instruktionen und<br />
Informationen zur Testbearbeitung/-teilnahme dargestellt<br />
wurden. Zusätzlich musste in diesem Modul der BBM be-<br />
24
arbeitet sowie dessen Akzeptanz eingeschätzt werden.<br />
Das Modul 2 umfasste die drei Subtests des IST-2000R.<br />
Im dritten Modul wurde der NEO-FFI erhoben, im vierten<br />
Modul wurde der BOMAT durchgeführt und dessen Akzeptanz<br />
von den Prob<strong>and</strong>en bewertet. Um einen gemeinsamen<br />
beruflichen Kontext für die Bewertung der Aufgaben<br />
herzustellen, erhielten die Teilnehmer vor der Bearbeitung<br />
der zwei Matrizenaufgaben (BBM und BOMAT) die Instruktion,<br />
sich vorzustellen, in einem Unternehmen aus der<br />
Automobil-Branche als Fachreferent ihres jeweiligen Studienganges<br />
beschäftigt zu sein. Die Teilnehmer konnten<br />
nach dem ersten Modul frei bestimmen, welche und in<br />
welcher Reihenfolge sie die restlichen Module bearbeiten<br />
wollten. Auf eine R<strong>and</strong>omisierung der Module 2 bis 4 wurde<br />
verzichtet, da die Bearbeitungszeiten der Module stark<br />
differierten und den Prob<strong>and</strong>en durch die individuelle<br />
Modulwahl eine flexible Durchführung ermöglicht wurde.<br />
Als Anreiz zur Teilnahme erhielten die Befragten eine<br />
individuelle Ergebnisrückmeldung sowie die Möglichkeit,<br />
an einer Verlosung von 20 Gutscheinen teilzunehmen.<br />
Psychologiestudierenden wurden entsprechende Versuchspersonenstunden<br />
angerechnet.<br />
3.3 Stichprobe<br />
Die Stichprobe setzt sich aus 360 Studierenden verschiedener<br />
Studiengänge und Universitäten zusammen. Es<br />
nahmen insgesamt 176 Psychologiestudierende und 184<br />
Studierende <strong>and</strong>erer Studiengänge (Sozial- und Erziehungswissenschaften<br />
(n = 80), Informationsmanagement<br />
(n = 29), Rechts- und Wirtschaftswissenschaften (n =<br />
33), weitere Studiengänge (n = 42)) an der Studie teil.<br />
Im Durchschnitt waren die Teilnehmerinnen und Teilnehmer<br />
24.78 Jahre alt (SD = 6.50). In der Stichprobe waren<br />
zu 82% Frauen vertreten. Alle 360 Prob<strong>and</strong>en bearbeiteten<br />
das erste Modul vollständig mit einer durchschnittlichen<br />
Bearbeitungszeit von 53 Minuten. Zur Bestimmung<br />
der Retest-Reliabilität des BBM bearbeiteten 20 Personen<br />
den Test nach ca. drei Monaten ein zweites Mal. Modul 2<br />
wurde von 233 Personen (M = 48 min) und Modul 3 von<br />
229 Personen (M = 16 min) absolviert. Das vierte Modul<br />
hatte die höchste Abbrecherquote und wurde noch von 75<br />
Prob<strong>and</strong>en (M = 83 min) durchgeführt.<br />
4 Ergebnisse<br />
Da die Datenerhebung computergestützt stattf<strong>and</strong>, wurde<br />
die Auswertungsobjektivität als gegeben angesehen und<br />
auf eine Quantifizierung verzichtet (Shrout & Fleiss, 1979;<br />
Wirtz & Caspar, 2002).<br />
4.1 Itemkennwerte und Reliabilität<br />
Der BBM erwies sich in der vorliegenden Studie als hinreichend<br />
schwierig, trennscharf und reliabel. Die Schwierigkeitsindizes<br />
variierten von .09 bis .88 (M = 0.44, SD =<br />
0.42) und deckten somit unterschiedliche Schwierigkeitsbereiche<br />
ab. Die Trennschärfen lagen nach part-whole<br />
Korrektur zwischen .05 und .52 (M = 0.26, SD = 0.17).<br />
Drei Items erwiesen sich mit Trennschärfen < .10 als<br />
wenig zwischen den Prob<strong>and</strong>en differenzierend. Der BBM<br />
best<strong>and</strong> aus 22 Items und erzielte für die Gesamtstichprobe<br />
eine zufriedenstellende interne Kons<strong>ist</strong>enz mit ei-<br />
Nils Benit & Renate Soellner<br />
nem Cronbachs α = .71. Die Retestreliabilität betrug in<br />
einer Teilstichprobe (n = 20) rtt = .79.<br />
Die Itemkennwerte und Reliabilität des BOMAT bewegten<br />
sich in einem ähnlichen Bereich. So streuten die<br />
Itemschwierigkeiten von .23 bis .85 (M = 0.60, SD =<br />
0.44) bzw. die korrigierten Trennschärfen von .09 bis .64<br />
(M = 0.28, SD = 0.19) bei einer internen Kons<strong>ist</strong>enz von<br />
Cronbachs α = .75 bei 28 Items.<br />
4.2 Kriteriumsvalidität<br />
Der BBM korrelierte mit dem retrospektiven Kriterium<br />
Abiturgesamtnote moderat (r = -.43, p < .01, n = 232).<br />
Für eine Teilstichprobe (n = 93) lagen auch Daten zu dem<br />
Kriterium Bachelor- bzw. Vordiplomgesamtnote vor. Die<br />
Korrelation mit dem BBM lag hierbei etwas niedriger als<br />
für die Abiturgesamtnote. Der Zusammenhang erwies sich<br />
mit r = -.39 (p < .01) als stat<strong>ist</strong>isch signifikant. Die Korrelationen<br />
zwischen BOMAT und Abiturgesamtnote (r = -.45,<br />
p < .01, n = 66) sowie Bachelor- bzw. Vordiplomgesamtnote<br />
(r = -.41, p < .05, n = 28) waren in Richtung und<br />
Höhe vergleichbar.<br />
4.3 Konstruktvalidität<br />
Zur Prüfung der konvergenten und diskriminanten Validität<br />
wurde der BBM mit unterschiedlichen Konstrukten<br />
korrelativ in Beziehung gesetzt (vgl. Tabelle 1). Die Korrelation<br />
zwischen dem BBM und seinem Pendant BOMAT von<br />
r = .75 (p < .01) deutet darauf hin, dass beide Testverfahren<br />
substanziell dasselbe Intelligenzkonstrukt erfassten.<br />
Ebenso weisen die stat<strong>ist</strong>isch signifikanten Korrelationen<br />
mit den Subtests Matrizen (r = .51, p < .01), Analogie<br />
(r = .41, p < .01) und Zahlenreihe (r = .44, p < .01)<br />
des IST 2000-R auf eine konvergente Validität des BBM<br />
hin. Hinweise auf Divergenz le<strong>ist</strong>en die geringen Korrelationen<br />
des BBM mit den Big Five. Lediglich Offenheit (r =<br />
.20, p < .05) und Gewissenhaftigkeit (r = .31, p < .01)<br />
korrelieren mit dem BBM stat<strong>ist</strong>isch bedeutsam. Auch der<br />
BOMAT korreliert moderat mit den Subtests des IST-<br />
2000R (r = .36 bis r = .41; jeweils p < .01) und lediglich<br />
mit einer Dimension aus dem NEO-FFI signifikant (Offenheit:<br />
r = .31, p < .05).<br />
4.4 Soziale Akzeptanz<br />
64 Prob<strong>and</strong>en, die sowohl den BBM als auch den BOMAT<br />
bearbeitet und deren Akzeptanz mittels des single-items<br />
nach Smither et al. (1993) eingeschätzt haben, bewerteten<br />
den BBM mit MBBM = 2.66 (SD = 1.35) als berufsnäher<br />
im Vergleich zum BOMAT (MBOMAT = 3.33, SD = 0.94;<br />
t(63) = -4.45, p < .01). Einen detaillierteren Einblick in<br />
die Akzeptanzbewertung ermöglichten die Ergebnisse des<br />
AKZEPT!-L, deren Mittelwerte, St<strong>and</strong>ardabweichungen und<br />
Reliabilitäten sowie Korrelationen mit den Testergebnissen<br />
in Tabelle 2 aufgeführt sind. Damit der BBM als akzeptierter<br />
gelten kann, sollte er im Vergleich zum BOMAT signifikant<br />
höher hinsichtlich der Augenscheinvalidität und vergleichbar<br />
hinsichtlich der Kontrollierbarkeit, Messqualität<br />
und Belastungsfreiheit bewertet werden.<br />
25
Tabelle 1: Mittelwerte, St<strong>and</strong>ardabweichungen und Korrelationen<br />
für BBM, BOMAT und den zur Validierung eingesetzten<br />
Instrumenten & Variablen<br />
BBM BOMAT<br />
M (SD) r(BBM) N r(BOMAT) N<br />
BBM 11.13 (3.40) 1 360 .75** 75<br />
BOMAT 14.38 (5.38) .75** 66 1 75<br />
Abiturgesamtnote<br />
2.3 (0.57) -.43** 232 -.45** 67<br />
Bachelorgesamtnote<br />
1.86 (0.71) -.39** 94 -.41** 28<br />
IST-2000R<br />
Matrize 14.70 (2.86) .51** 233 .36** 66<br />
Analogie 11.53 (3.05) .41** 233 .38** 66<br />
Zahlenreihe 17.18 (3.32) .44** 233 .41** 66<br />
NEO-FFI<br />
Neurotizismus<br />
1.87 (0.67) -.05 229 -.01 66<br />
Extraversion 2.33 (0.49) -.04 229 .04 66<br />
Offenheit 2.53 (0.40) .20* 229 .31* 66<br />
Verträglichkeit<br />
2.68 (0.47) -.05 229 .07 66<br />
Gewissenhaftigkeit<br />
3.02 (0.55) .31** 229 .03 66<br />
Anmerkung. * p ≤ .05 (zweiseitig), ** p ≤ .01 (zweiseitig)<br />
Hinsichtlich der Dimension Augenscheinvalidität des AK-<br />
ZEPT!-L konnten signifikante Unterschiede zugunsten des<br />
BBM (MBBM = 3.68, SD = 0.75; MBOMAT = 2.54, SD = 0.84;<br />
t(49) = -8.83, p < .01) gefunden werden. Für beide Verfahren<br />
ließen sich darüber hinaus signifikante Korrelationen<br />
zwischen dem Testergebnis und der eingeschätzten<br />
Augenscheinvalidität des AKZEPT!-L finden (rBBM = .58, p<br />
< .01; rBOMAT = .40, p < .01). BBM und BOMAT unterschieden<br />
sich nicht stat<strong>ist</strong>isch bedeutsam in Hinsicht auf<br />
die Dimensionen Kontrollierbarkeit (MBBM = 5.00, SD =<br />
1.03; MBOMAT = 4.91, SD = 1.11; t(49) = -.87, p = .39),<br />
Messqualität (MBBM = 3.45, SD = 0.85; MBOMAT = 3.39, SD<br />
= 0.81; t(49) = -.39, p = .69) und Belastungsfreiheit<br />
(MBBM = 3.44, SD = 1.12; MBOMAT = 3.41, SD = 1.23; t(49)<br />
= -.29, p = .77). Die Reliabilitäten der Skalen des AK-<br />
ZEPT!-L bewegten sich in einem mittleren Bereich (.65 ≤<br />
α ≤ .87), was auf die geringe und somit ökonomische<br />
Itemanzahl (4 Items pro Skala) zurückzuführen sein kann.<br />
Zur Überprüfung der Testfairness wurden die Testwerte<br />
sowohl für den BBM als auch für den BOMAT hinsichtlich<br />
der Kontrollvariablen Geschlecht, Alter und Muttersprache<br />
überprüft. Es ergaben sich weder für das Geschlecht (BO-<br />
MAT: t(48) = 0.31, p < .65; BBM: t(48) = 1.34, p < .46)<br />
<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>?<br />
noch für die Muttersprache (BOMAT: t(48) = 0.60, p <<br />
.55; BBM: t(48) = -.38, p < .79) signifikante Mittelwertsunterschiede.<br />
Auch zwischen dem Alter und den beiden<br />
Testwerten wurden keine bedeutsamen Zusammenhänge<br />
(rBOMAT = -.05; p = n.s.; rBBM = .01; p = n.s.) gefunden.<br />
5 Diskussion<br />
Tabelle 2: Akzeptanzeinschätzung für BBM und BOMAT mittels AKZEPT-L! (nach Kersting, 2008), n = 50<br />
Akzeptanzdimensionen<br />
In der vorliegenden Studie wurde der BOMAT, ein nachweislich<br />
valider (Hossiep et al., 2004), aber eher abstrakter<br />
Matrizentest mit dem berufsbezogen gestalteten BBM<br />
unter besonderer Berücksichtigung des Aspekts der Akzeptanz<br />
kontrastiert. Ziel war es zu überprüfen, ob die<br />
Akzeptanz eines Matrizentests allein durch eine kontext-<br />
bzw. berufsbezogene Symbolgestaltung erhöht werden<br />
kann. Darüber hinaus sollte geprüft werden, ob eine akzeptanzfördernde<br />
Gestaltung nicht zulasten der psychometrischen<br />
Güte geht. Nur wenn ein berufsbezogen gestalteter<br />
Intelligenztest auch reliabel und valide misst,<br />
erscheint es lohnenswert, über seinen Einsatz im Vergleich<br />
zu abstrakt gestalteten Tests nachzudenken. „Es kommt<br />
nicht allein darauf an, dass die Verfahren bei den Teilnehmern<br />
<strong>gut</strong> ankommen, sondern es kommt darauf an,<br />
dass diagnostische Verfahren valide sind und zusätzlich<br />
<strong>gut</strong> ankommen“ (Kersting, 2008, S. 432).<br />
Sowohl der BOMAT als auch der BBM erwiesen sich in der<br />
vorliegenden Stichprobe als hinreichend reliabel sowie<br />
trennscharf und deckten unterschiedliche Schwierigkeitsbereiche<br />
ab. Schwierigkeits- und Trennschärfeindizes des<br />
BBM entsprachen annähernd denen des BOMAT (Hossiep<br />
et al., 2001). Trotz geringerer Itemanzahl des BBM bewegte<br />
sich die Reliabilität beider Matrizentests in einem<br />
vergleichbaren Bereich (vgl. Bortz, 2005; Osburn, 2000),<br />
wobei die niedrigere Anzahl an Items des BBM zusätzlich<br />
dem Nebengütekriterium der Ökonomie entgegen kommt.<br />
Die Befunde zur Kriteriumsvalidität für den BBM weisen<br />
auf eine akzeptable Güte sowohl für das Kriterium Abiturgesamtnote<br />
als auch für die Bachelor- bzw. Vordiplomgesamtnote<br />
hin, die den retrospektiven Validitäten des BO-<br />
MAT entsprachen. Die Koeffizienten beider Verfahren<br />
bewegten sich in einem ähnlichen Bereich wie die Ergebnisse<br />
von Hülsheger et al. (2006) und unterstreichen die<br />
Güte von Intelligenztests zur Vorhersage von Ausbildungserfolg<br />
in Deutschl<strong>and</strong>.<br />
BBM BOMAT BBM vs. BOMAT<br />
M SD α M SD α t-Wert<br />
Kontrollierbarkeit 5.00 1.03 .74 4.91 1.11 .77 t(49) = -0.87<br />
Messqualität 3.45 0.85 .67 3.39 0.81 .68 t(49) = -0.39<br />
Augenscheinvalidität 3.68 0.75 .65 2.54 0.84 .77 t(49) =-8.83**<br />
Belastungsfreiheit 3.44 1.12 .84 3.41 1.23 .87 t(49) = -0.29<br />
Anmerkung. * p ≤ .05 (zweiseitig), ** p ≤ .01 (zweiseitig), t-Test für unabhängige Stichproben.<br />
26
Die Korrelationen des BOMAT und des BBM mit den Skalen<br />
des NEO-FFI (Borkenau & Ostendorf, 2008) weisen auf<br />
eine divergente Validität hin, was einen weiteren Hinweis<br />
für Konstruktvalidität darstellt. Die signifikanten Korrelationen<br />
mit den Persönlichkeitsskalen Offenheit für neue<br />
Erfahrung und Gewissenhaftigkeit lassen sich dahin gehend<br />
interpretieren, dass Personen mit höheren Ausprägungen<br />
in diesen Dimensionen die Testaufgaben mit mehr<br />
Sorgfalt, Aufrichtigkeit sowie Interesse bearbeitet haben<br />
und dementsprechend höhere Le<strong>ist</strong>ungen erbrachten. Die<br />
Ergebnisse stehen mit bisherigen Befunden im Einklang,<br />
die positive Zusammenhänge einerseits zwischen der<br />
Testmotivation und den NEO-FFI Skalen Offenheit für<br />
neue Erfahrung und Gewissenhaftigkeit (Hunthausen et<br />
al., 2003) sowie <strong>and</strong>ererseits zwischen Testmotivation und<br />
Intelligenz (Chan et al., 1997) unterstreichen. Bis hierhin<br />
kann für den BBM attestiert werden, dass er hinsichtlich<br />
der psychometrischen Güte als reliabel und valide einzustufen<br />
<strong>ist</strong>, also <strong>gut</strong> misst.<br />
Für den BBM konnte eine aus Prob<strong>and</strong>ensicht hohe berufliche<br />
Augenscheinvalidität bestätigt werden. Die Testgestaltung<br />
beeinflusste in dieser Stichprobe die Akzeptanzeinschätzung<br />
zugunsten des BBM mit berufsbezogenen<br />
Symbolen im Vergleich zum BOMAT. Aus Prob<strong>and</strong>ensicht<br />
scheint die berufsbezogene Testgestaltung (BBM) die<br />
Augenscheinvalidität zu erhöhen und gleichzeitig wird der<br />
Test wie der BOMAT als kontrollierbar, belastungsfrei und<br />
messgenau empfunden. Der BBM misst also <strong>gut</strong> und <strong>ist</strong><br />
<strong>gut</strong> bzw. sogar besser akzeptiert hinsichtlich der beruflichen<br />
Augenscheinvalidität.<br />
Um den Gültigkeitsanspruch der Befunde zu erweitern,<br />
sollte eine Validierung von BOMAT und BBM in einem<br />
r<strong>and</strong>omisierten Design/Setting an einer berufstätigen<br />
Bewerberstichprobe realisiert werden. Dieses Vorhaben<br />
erscheint unter zweierlei Aspekten lohnenswert. Einerseits<br />
würde die Akzeptanzeinschätzung aus der Perspektive von<br />
Bewerbern unter Realbedingungen die Aussagekraft der<br />
Ergebnisse erhöhen, da bislang lediglich Studierende untersucht<br />
worden sind und die Generalisierbarkeit von<br />
Akzeptanzuntersuchungen eignungsdiagnostischer Instrumente,<br />
in der ausschließlich oder überwiegend Studierende<br />
befragt wurden, angezweifelt werden kann (vgl.<br />
Kersting, 1998). Andererseits fehlt in dieser Studie die<br />
Validierung an einem prospektiven beruflichen Erfolgskriterium.<br />
Denn gerade die prognostische Validität von Intelligenztests<br />
bei relativ kurzer Durchführungszeit macht<br />
dieses eignungsdiagnostische Verfahren für die Praxis so<br />
attraktiv. Es <strong>ist</strong> aber bereits eine Folgestudie in Kooperation<br />
mit einem deutschen Industrieunternehmen geplant, in<br />
welcher der BBM explizit mit den firmenspezifischen Symbolen<br />
des kooperierenden Unternehmens getestet werden<br />
soll. Ein weiterer Aspekt, den es in Folgeuntersuchungen<br />
zu optimieren gilt, liegt in der Versuchsplanung. Die online-basierte<br />
Testung mit dem hinsichtlich Modul 2-4 frei<br />
wählbaren Umfang ermöglichte zwar eine ökonomische<br />
und prob<strong>and</strong>enfreundliche Erhebung, jedoch variierten die<br />
Stichprobenumfänge der einzelnen Module stark. Dieses<br />
kann ein Hinweis dafür sein, dass einer Vielzahl der Prob<strong>and</strong>en<br />
eine individuelle Ergebnisrückmeldung über die<br />
Module 1 bis 3 (BBM, IST-2000R, NEO-FFI) ausreichte und<br />
eine weitere Testung ihrer kognitiven Le<strong>ist</strong>ungsfähigkeit<br />
(BOMAT) in Modul 4 redundant erschien. Die Prob<strong>and</strong>en,<br />
Nils Benit & Renate Soellner<br />
die alle Module vollständig bearbeitet haben, stellen möglicherweise<br />
eine Positivselektion hinsichtlich bestimmter<br />
Eigenschaften wie überdurchschnittliche Testmotivation<br />
oder Le<strong>ist</strong>ungsfähigkeit dar. Da studentische Stichproben<br />
jedoch grundsätzlich im oberen Fähigkeitsbereich anzusiedeln<br />
sind, sollten mögliche auf die Le<strong>ist</strong>ungsfähigkeit zurückzuführende<br />
Verzerrungen gering ausgefallen sein.<br />
Hinsichtlich der Akzeptanzmessung bleibt festzuhalten,<br />
dass durch das mehrdimensionale Instrument AKZEPT!-L<br />
(Kersting, 2008) eine differenzierte Bewertung der Akzeptanz<br />
im Vergleich zum verwendeten single-item zur berufsbezogenen<br />
Augenscheinvalidität nach Smither et al.<br />
(1993) möglich wurde. Es scheint eine lohnenswerte Aufgabe<br />
der Wissenschaft zu sein, sich über bestehende<br />
(wissenschaftlich fundierte) Inventare zur Akzeptanzmessung<br />
zu verständigen, so dass zukünftig eine einheitlichere<br />
und vergleichbare Akzeptanzforschung stattfinden<br />
kann.<br />
Bis hierhin kann konstatiert werden, dass der BBM ein<br />
zeitökonomisches, psychometrisch valides und sozial akzeptiertes<br />
Testverfahren darstellt. Anliegen dieser Studie<br />
war es zu untersuchen, ob psychologische Testverfahren<br />
durch einfache Modifikationen an Augenscheinvalidität<br />
gewinnen und so möglicherweise vermehrt Zugang in die<br />
Unternehmenspraxis erfahren können. Wenn wissenschaftlich<br />
fundierte Instrumente wie der BOMAT aus Akzeptanzgründen<br />
nicht den Weg in die Praxis finden, stellt<br />
die Konstruktion von berufsbezogenen Tests mit kontext-<br />
oder branchenspezifischen Symbolen einen lohnenswerten<br />
Lösungsweg dar. Eine akzeptanzförderliche Testgestaltung<br />
macht jedoch keinesfalls eine theoriegeleitete sowie methodisch<br />
bzw. testtheoretisch fundierte Testkonstruktion<br />
und abschließende Evaluation entbehrlich. Insbesondere<br />
für Intelligenztests <strong>and</strong>erer Formate (z.B.: IST-2000R)<br />
sollte ein eindeutig erkennbarer Bezug zu den Arbeitsanforderungen<br />
eines Arbeitsplatzes zur Akzeptanzerhöhung -<br />
wie von der DIN 33430 gefordert (Deutsches Institut für<br />
Normung e. V., 2002) - beitragen. Ein Beispiel für eine<br />
Kombination aus Arbeitsprobe und Testverfahren zur<br />
Erfassung der berufsbezogenen Intelligenz für büro- und<br />
kaufmännische Tätigkeiten stellt der AZUBI-BK (Görlich &<br />
Schuler, 2010) dar, der empirisch nachweislich <strong>gut</strong> misst<br />
und aus Sicht der Bewerber auch <strong>gut</strong> <strong>ist</strong>. Damit schlussendlich<br />
Intelligenztests auch in deutschen Unternehmen<br />
vermehrt Einzug in die Eignungsdiagnostik finden, sollte<br />
neben einem stärkeren Austausch zwischen Praxis und<br />
Wissenschaft auch die Konstruktion von validen, berufs-<br />
und anforderungsbezogenen Intelligenztest Aufgabe zukünftiger<br />
Forschung sein.<br />
6 Danksagung<br />
Wir bedanken uns herzlichst bei den Testautoren des<br />
BOMAT, Rüdiger Hossiep und Michele Leidorf (ehemals<br />
Hasella), sowie dem Cheflektor des Hogrefe Verlags, Jörg<br />
Hampe, für die freundliche und unkomplizierte Unterstützung<br />
unseres Forschungsvorhabens.<br />
27
7 Literaturverzeichnis<br />
Ackerman, P. L. (1994). Intelligence, attention, <strong>and</strong> learning:<br />
Maximal <strong>and</strong> typical performance. In D. K. Detterman<br />
(Ed.). Theories <strong>of</strong> Intelligence (Current Topics in<br />
Human Intelligence, Vol. 4, pp. 1–27). Norwood: Ablex<br />
Publishing Corporation.<br />
Anderson, N. (2004). Editorial – The Dark Side <strong>of</strong> the<br />
Moon: Applicant perspectives, negative psychological<br />
effects (NPEs), <strong>and</strong> c<strong>and</strong>idate decision making in selection.<br />
International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />
12, 1–8.<br />
Anderson, N. (2011). Perceived job discrimination: Toward<br />
a model <strong>of</strong> applicant propensity to case initiation in<br />
selection. International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />
19, 229-244.<br />
Anderson, N. & Witvliet, C. (2008). Fairness Reactions to<br />
Personnel Selection Methods: An international comparison<br />
between the Netherl<strong>and</strong>s, the United States,<br />
France, Spain, Portugal, <strong>and</strong> Singapore. International<br />
<strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment, 16, 1–13.<br />
Bing, M. N., Whanger, J. C., Davison, H. K. & Van Hook, J.<br />
B. (2004). Incremental Validity <strong>of</strong> the Frame-<strong>of</strong>-<br />
Reference Effect in Personality Scale Scores: A Replication<br />
<strong>and</strong> Extension. <strong>Journal</strong> <strong>of</strong> Applied Psychology, 89,<br />
150–157.<br />
Birnbaum, M. H. (2004). Human Research <strong>and</strong> Data Collection<br />
via the Internet. Annual Review <strong>of</strong> Psychology,<br />
55, 803-832.<br />
Borkenau, P. & Ostendorf, F. (Hrsg.) (2008). NEO-Fünf-<br />
Faktoren Inventar nach Costa und McCrae (NEO-FFI) (2.<br />
Aufl.). Göttingen: Hogrefe.<br />
Borman, W. C., Penner, L. A., Allen, T. D. & Motowidlo, S.<br />
J. (2001). Personality Predictors <strong>of</strong> Citizenship Performance.<br />
International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />
9, 52-69.<br />
Bortz, J. (2005). Stat<strong>ist</strong>ik für Human- und Sozialwissenschaftler<br />
(6. Aufl.). Wien: Springer.<br />
Chan, D., Schmitt, N., DeShon, R. P., Clause, C. S. &<br />
Delbridge, K. (1997). Reactions to cognitive ability<br />
tests: The relationships between race, test performance,<br />
face validity perceptions, <strong>and</strong> test-taking motivation.<br />
<strong>Journal</strong> <strong>of</strong> Applied Psychology, 82, 300-310.<br />
Deutsches Institut für Normung e. V. (Hrsg.) (2002). DIN<br />
33430: Anforderungen an Verfahren und deren Einsatz<br />
bei berufsbezogenen Eignungsbeurteilungen. Berlin:<br />
Beuth.<br />
Eleftheriou, A. & Robertson, I. (1999). A Survey <strong>of</strong> Management<br />
Selection Practices in Greece. International<br />
<strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment, 7, 203-208.<br />
Gillil<strong>and</strong>, S. W. (1993). The Perceived Fairness <strong>of</strong> Selection<br />
Systems: An Organizational Justice Perspective.<br />
The Academy <strong>of</strong> Management Review, 18, 694-734.<br />
Göhs, N. & Dick, J. (2001). Testverfahren bei der Personalauswahl<br />
- Qualitätssuche im intransparenten Markt.<br />
Personal - Zeitschrift für Human Resource Management,<br />
53, 46-48.<br />
<strong>Misst</strong> <strong>gut</strong>, <strong>ist</strong> <strong>gut</strong>?<br />
Görlich, Y. & Schuler H. (2010). Arbeitsprobe zur berufsbezogenen<br />
Intelligenz - Technische und h<strong>and</strong>werkliche<br />
Tätigkeiten (AZUBI-TH) (2. Auflage). Göttingen: Hogrefe.<br />
Hausknecht, J. P., Day, D. V. & Thomas, S. C. (2004).<br />
Applicant Reactions to Selection Procedures: An Updated<br />
Model <strong>and</strong> Meta-Analysis. Personnel Psychology, 57,<br />
639-683.<br />
Hell, B. (2003). Kognitive Le<strong>ist</strong>ungsfähigkeit in der<br />
Berufsdiagnostik: Forschungsüberblick und Entwicklung<br />
eines neuen Instruments zur Erfassung Schlussfolgernden<br />
und Kreativen Denkens. Berlin: dissertation.de.<br />
Hell, B., Boramir, I., Schaar, H. & Schuler, H. (2006).<br />
Interne Personalauswahl und Personalentwicklung in<br />
deutschen Unternehmen. Wirtschaftspsychologie, 8, 2-<br />
22.<br />
Hossiep, R., Turck, D. & Hasella, M. (Hrsg.) (2001). Bochumer<br />
Matrizentest - advanced - short version (BOMAT<br />
- A). Göttingen: Hogrefe.<br />
Hossiep, R., Turck, D. & Hasella, M. (2004). Bochumer<br />
Matrizentest - advanced - short version (BOMAT-A). In<br />
W. Sarges & H. Wottawa (Hrsg.). H<strong>and</strong>buch wirtschaftspsychologischer<br />
Testverfahren. B<strong>and</strong> I: Personalpsychologische<br />
Instrumente (2. Aufl., S. 167–172). Lengerich:<br />
Pabst Science Publishers.<br />
Hülsheger , U. R. & Anderson, N. (2009). Applicant perspectives<br />
in selection: Going beyond preference reactions.<br />
International <strong>Journal</strong> <strong>of</strong> Selection <strong>and</strong> Assessment,<br />
17, 335-345.<br />
Hülsheger, U. R. & Maier, G. W. (2008). Persönlichkeitseigenschaften,<br />
Intelligenz und Erfolg im Beruf: Eine Best<strong>and</strong>saufnahme<br />
internationaler und nationaler Forschung.<br />
Psychologische Rundschau, 59, 108-122.<br />
Hülsheger, U. R., Maier, G. W., Stumpp, T. & Muck, P. M.<br />
(2006). Vergleich kriteriumsbezogener Validitäten verschiedener<br />
Intelligenztests zur Vorhersage von Ausbildungserfolg<br />
in Deutschl<strong>and</strong>. Zeitschrift für Personalpsychologie,<br />
5, 145-162.<br />
Hunthausen, J. M., Truxillo, D. M., Bauer, T. N., & Hammer,<br />
L. B. (2003). A field study <strong>of</strong> frame-<strong>of</strong>-reference<br />
effects on personality test validity. <strong>Journal</strong> <strong>of</strong> Applied<br />
Psychology, 88, 545–551.<br />
Hunter, J. E. & Hunter, R. F. (1984). Validity <strong>and</strong> utility <strong>of</strong><br />
alternative predictors <strong>of</strong> job performance. Psychological<br />
Bulletin, 96, 340-362.<br />
Kersting, M. (1998). Differentielle Aspekte der sozialen<br />
Akzeptanz von Intelligenztests und Problemlöseszenarien<br />
als Personalauswahlverfahren. Zeitschrift für Arbeits-<br />
und Organisationspsychologie, 42, 61-75.<br />
Kersting, M. (2006). Zur Beurteilung der Qualität von<br />
Tests: Resümee und Neubeginn. Psychologische Rundschau,<br />
57, 243-253.<br />
Kersting, M. (2008). Zur Akzeptanz von Intelligenz- und<br />
Le<strong>ist</strong>ungstests. Report Psychologie, 33, 420-433.<br />
König, C. J., Klehe, U.-C., Berchtold, M. & Kleinmann, M.<br />
(2010). Reasons for being selective when choosing per-<br />
28
sonnel selection procedures. International <strong>Journal</strong> <strong>of</strong> Selection<br />
<strong>and</strong> Assessment, 18, 17-27.<br />
Kramer, J. (2009). Allgemeine Intelligenz und beruflicher<br />
Erfolg in Deutschl<strong>and</strong>: Vertiefende und weiterführende<br />
Metaanalysen. Psychologische Rundschau, 60, 82-98.<br />
Kraut, R., Olson, J., Banaji, M., Bruckman, A., Cohen, J. &<br />
Couper, M. (2004). Psychological Research Online: Report<br />
<strong>of</strong> Board <strong>of</strong> Scientific Affairs' Advisory Group on the<br />
Conduct <strong>of</strong> Research on the Internet. American Psycholog<strong>ist</strong>,<br />
59, 105-117.<br />
Krumm, S., Hüffmeier, J., Dietz, F., Findeisen, A. & Dries,<br />
C. (2011). Towards Positive Test Takers’ Reactions to<br />
Cognitive Ability Assessments: Development <strong>and</strong> Initial<br />
Validation <strong>of</strong> the Reasoning Ability at Work Test. <strong>Journal</strong><br />
<strong>of</strong> Business <strong>and</strong> Media Psychology, 2, 11-18.<br />
Liepmann, D., Beauducel, A., Brocke, B. & Amthauer, R.<br />
(Hrsg.) (2007). Intelligenz-Struktur-Test 2000 R (I-S-T<br />
2000 R) (2. Aufl.). Göttingen: Hogrefe.<br />
Lievens, F., De Corte, W. & Schollaert, E. (2008). A closer<br />
look at the frame-<strong>of</strong>-reference effect in personality scale<br />
scores <strong>and</strong> validity. <strong>Journal</strong> <strong>of</strong> Applied Psychology, 93,<br />
268-279.<br />
Osburn, H. G. (2000). Coefficient Alpha <strong>and</strong> Related Internal<br />
Cons<strong>ist</strong>ency Reliability Coefficients. Psychological<br />
Methods, 5, 343-355.<br />
Ostapczuk, M., Musch, J. & Lieberei, W. (2011). Der „Analytische<br />
Test": Validierung eines neuen eignungsdiagnostischen<br />
Instruments zur Erfassung von schlussfolgerndem<br />
Denken (AT). Zeitschrift für Arbeits- und Organisationspsychologie,<br />
55, 1-16.<br />
Ryan, A. M. & Huth, M. (2008). Not Much More than Platitudes?<br />
A critical look at the utility <strong>of</strong> applicant reactions<br />
research. Human Resource Management Review, 18,<br />
119–132.<br />
Ryan, A. M., McFarl<strong>and</strong>, L., Baron, H. & Page, R. (1999).<br />
An international look at selection practices: Nation <strong>and</strong><br />
culture as explanations for validity in practice. Personnel<br />
Psychology, 52, 359-392.<br />
Ryan, A. M. & Ployhart, R. E. (2000). Applicants’ Perceptions<br />
<strong>of</strong> Selection Procedures <strong>and</strong> Decisions: A Critical<br />
Review <strong>and</strong> Agenda for the Future. <strong>Journal</strong> <strong>of</strong> Management,<br />
26, 565-606.<br />
Sackmann, S. & Elbe, M. (2000). Tendenzen und Ergebnisse<br />
empirischer Personalforschung der 90er Jahre in<br />
West-Deutschl<strong>and</strong>. Zeitschrift für Personalforschung, 14,<br />
131-157.<br />
Salgado, J. F. & Anderson, N. (2003). Validity generalization<br />
<strong>of</strong> GMA tests across countries in the European<br />
Community. European <strong>Journal</strong> <strong>of</strong> Work <strong>and</strong> Organizational<br />
Psychology, 12, 1-17.<br />
Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C. & de<br />
Fruyt, F. (2003). International validity generalization <strong>of</strong><br />
GMA <strong>and</strong> cognitive abilities: A european community meta-analysis.<br />
Personnel Psychology, 56, 573-605.<br />
Sarges, W. & Wottawa, H. (Hrsg.). (2004). H<strong>and</strong>buch<br />
wirtschaftspsychologischer Testverfahren: B<strong>and</strong> I: Per-<br />
Nils Benit & Renate Soellner<br />
sonalpsychologische Instrumente (2. Aufl.). Lengerich:<br />
Pabst Science Publishers.<br />
Schmidt, F. L. & Hunter, J. E. (1998). The validity <strong>and</strong><br />
utility <strong>of</strong> selection methods in personnel <strong>psychology</strong>:<br />
Practical <strong>and</strong> theoretical implications <strong>of</strong> 85 years <strong>of</strong> research<br />
findings. Psychological Bulletin, 124, 262-274.<br />
Schmit, M. J., Ryan, A. M., Stierwalt, S. L. & Powell, A. B.<br />
(1995). Frame-<strong>of</strong>-reference effects on personality scale<br />
scores <strong>and</strong> criterion-related validity. <strong>Journal</strong> <strong>of</strong> Applied<br />
Psychology, 80, 607–620.<br />
Schuler, H. (1990). Personalauswahl aus der Sicht der<br />
Bewerber: Zum Erleben eignungsdiagnostischer Situationen.<br />
Zeitschrift für Arbeits- und Organisationspsychologie,<br />
34, 184-191.<br />
Schuler, H. (2000). Psychologische Personalauswahl:<br />
Einführung in die Eignungsdiagnostik (3. Aufl.). Göttingen:<br />
Verlag für Angew<strong>and</strong>te Psychologie.<br />
Schuler, H., Frier, D. & Kauffmann, M. (Hrsg.) (1993).<br />
Personalauswahl im europäischen Vergleich (Beiträge<br />
zur Organisationspsychologie, Bd. 13). Göttingen: Verlag<br />
für Angew<strong>and</strong>te Psychologie.<br />
Schuler, H., Hell, B., Trapmann, S., Schaar, H. & Boramir,<br />
I. (2007). Die Nutzung psychologischer Verfahren der<br />
externen Personalauswahl in deutschen Unternehmen.<br />
Ein Vergleich über 20 Jahre. Zeitschrift für Personalpsychologie,<br />
6, 60-70.<br />
Schuler, H. & Stehle, W. (1983). Neue Entwicklungen des<br />
Assessment-Center-Ansatzes beurteilt unter dem Aspekt<br />
der sozialen Validität. Zeitschrift für Arbeits- und Organisationspsychologie,<br />
27, 33-44.<br />
Shrout, P. E. & Fleiss, J. L. (1979). Intraclass correlations:<br />
Uses in assessing rater reliability. Psychological Bulletin,<br />
86, 420-428.<br />
Smither, J. W., Reilly, R. R., Millsap, R. E., Pearlman, K. &<br />
St<strong>of</strong>fey, R. W. (1993). Applicant Reactions to Selection<br />
Procedures. Personnel Psychology, 46, 49-76.<br />
Spearman, C. (1904). "General Intelligence”, Objectively<br />
Determined <strong>and</strong> Measured. The American <strong>Journal</strong> <strong>of</strong><br />
Psychology, 15, 201-292.<br />
Steiner, D. D. & Gillil<strong>and</strong>, S. W. (1996). Fairness reactions<br />
to personnel selection techniques in France <strong>and</strong> the<br />
United States. <strong>Journal</strong> <strong>of</strong> Applied Psychology, 81, 134-<br />
141.<br />
Wirtz, M. A. & Caspar, F. (2002). Beurteilerübereinstimmung<br />
und Beurteilerreliabilität: Methoden zur Bestimmung<br />
und Verbesserung der Zuverlässigkeit von Einschätzungen<br />
mittels Kategoriensystemen und Ratingskalen.<br />
Göttingen: Hogrefe.<br />
Korrespondenzadresse:<br />
MSc Psych., Nils Benit<br />
University <strong>of</strong> Hildesheim<br />
Department <strong>of</strong> Psychology<br />
Marienburger Platz 22<br />
D – 31141 Hildesheim<br />
GERMANY<br />
nils.benit@uni-hildesheim.de<br />
29