Validität kognitiver Tests als Funktion der Valenz von Test- und ...

Validität kognitiver Tests alsFunktion der Valenz von Test-und StudiensituationHermann BrandstätterJohannes-Kepler-Universität LinzReferat zur Fachtagung Studierendenauswahl undStudienentscheidung in Hohenheim, März 2007

Ist die Validität kognitiver Leistungstests in derPrognose des Studienerfolgs davon abhängig,wie Test- und Studiensituationen erlebt werden?

Hypothese 1Die Validität der Tests ist umso höher,je positiver Test- und Studiensituationbewertet werden

Hypothese 2Die Validität der Tests ist umso höher,je ähnlicher Test- und Studiensituationbewertet werden

Begründung von Hypothese 2 (Ähnlichkeitshypothese)Die Validität der Tests ist umso höher, je ähnlicher Test- undStudiensituation bewertet werden Die Bewertungen der Test- und Studiensituation sind einesubjektive Widerspiegelung der jeweils erzielten Leistungen. Die Test- und Studienleistungen basieren auf den gleichenkognitiven und motivationalen/emotionalen Eigenschaftenund Zuständen. Wenn mindestens eine der beiden Bedingungen erfüllt ist,gilt: Je ähnlicher die beiden Leistungssituationen emotionalbewertet werden, desto höher ist die Korrelation zwischenTest- und Studienleistung.

Studie 1 - StichprobeN =598 Beratungsteilnehmer/innen (davon 280 Frauen) derMaturajahrgänge 1993 bis 1998, die spätestens ein Jahr nachder Reifeprüfung ein Studium an der Universität Linzaufgenommen, mindestens eine Prüfung abgelegt und 4 bis12 Semester nach Studienbeginn den Fragebogen zu denStudienerfahrungen beantwortet haben.

Studie 1 – InstrumenteStudienfeldspezifische kognitive Leistungstests (SFT)BIS VerarbeitungskapazitätSituationsbeschreibende Adjektive (SITAD)Persönlichkeits-Adjektiv-Skalen (16PA)Problembelastung der StudienwahlAufgabenspezifisches SelbstvertrauenArbeitsverhaltenStudienerfolg (Durchschnitt aller Prüfungsnoten, umgepolt)

Studie 1 - Statistische Modelle Vergleich der Validitätskoeffizienten zwischen dreiValenzkombinationen (beide Situationen positiv, ungleich, beidenegativ bewertet) Strukturgleichungsmodelle für die drei Valenzkombinationen Moderierte Regressionsanalyse mit Produkten Leistung*Valenzder Leistungssituation

Bewertung der Test- und Studiensituation mit demSITAD98TestStudium7654321langweilig - interessantentmutigend - ermutigendschön - hässlichimprovisiert - vorbereiteteintönig - abwechslungsreichreizvoll - ödegeordnet - ungeordnetbelastend - entspannendbedrückend - aufmunterndfremdartig - vertrauterfrischend - ermüdendunangenehm - angenehmneuartig - altbekanntanstrengend - erholsamerfreulich - ärgerlichschmerzlich - wohltuendvielfältig - einförmigverworren - klarleicht - schwierigbefreiend - einengendgeplant - ungeplantentwürdigend - aufbauendüberschaubar - verwirrendverletzend - schonendvertrauenerweckend - misstrauischstimmendverständlich - unverständlichbedenklich - harmloskompliziert - einfach

Studie 1 –ErgebnisseKlärung des Valenzkonstrukts Die Korrelation zwischen Test- und Studienvalenz istniedrig (r(= .17; N = 584). Die Testvalenz korreliert höher mit Vertrauen in die eigenenkognitiven Fähigkeiten, die Studienvalenz korreliert höhermit intrinsischer Motivation. Ängstlich Introvertierte haben den negativsten Wert inTestvalenz, ängstlich Extravertierte dagegen inStudienvalenz.Fazit: Negative Bewertung der Testsituation(Studiensituation) indiziert Fähigkeitszweifel(Motivationsprobleme). Korrelationsmuster spricht fürValenzhypothese

Studie 1 - ErgebnisseKorrelationsvergleichValenz der Leistungssituationenbeide negativungleichbeide positivValidität (N).18 (173).32 (268).44 (143

Studie 1 - ErgebnisseModell A: Die Regression des Studienerfolgs auf die Testleistung (latente. Konstrukte) variiert mit der Situationsvalenz.Modell B: Die Regression des Studienerfolgs auf die Testleistung ist inallen drei Valenzgruppen gleich.Fit-Indizes sprechen eindeutig gegen Modell B (p p = .000).SituationsbewertungenbS. E.betabeide negativ (N = 173)Ungleich (N = 268)beide positiv (N = 143).25.56.59.14.12.15.20.43.53

Studie 1 - ErgebnisseModerierte RegressionStudienerfolg = .19*Testleistung + .47*Schulerfolg - .07*Valenz + .06*Testleistung*Valenz + FehlerTestvalidität als Funktion der Situationsvalenz0,400,30Valenz negativValenz positivStudienerfolg0,200,100,00-0,10-0,20-0,30-0,40niedrighochTestleistung

Studie 2- StichprobeN = 789 Studienbewerber (davon 365 Frauen) einerwirtschaftlich ausgerichteten Fachhochschule, die inden Jahren 2000 bis 2004 an Studieneignungsteststeilgenommen und ein Studium begonnen haben.

Studie 2 – Instrumente BISdgp Verarbeitungskapazität und zwei komplexeKenntnis- und Verständnistests Situationsbeschreibende Adjektive (SITAD) Persönlichkeits-Adjektiv-Skalen (16PA) Problembelastung der Studienwahl Aufgabenspezifisches Selbstvertrauen Arbeitsverhalten Studienerfolg (Durchschnitt aller Prüfungsnoten, umgepolt)

Studie 2- Statistische ModelleVergleich der Validitätskoeffizienten zwischen drei Valenzkombinationen(beide Situationen positiv, ungleich, beide negativ bewertet)Strukturgleichungsmodelle für die drei ValenzkombinationenModerierte Regressionsanalyse mit Produkten Leistung*Valenz derLeistungssituation

Studie 2 - ErgebnisseKorrelationsvergleichValenz der Leistungssituationenbeide negativungleichbeide positivValidität (N).27 (221).37 (340).44 (242)

Studie 2- ErgebnisseModell A: Die Regression des Studienerfolgs auf die Testleistung (latente. Konstrukte) variiert mit der Situationsvalenz.Modell B: Die Regression des Studienerfolgs auf die Testleistung ist inallen drei Valenzgruppen gleich.Fit-Indizes sprechen eindeutig gegen Modell B (p p = .000).SituationsbewertungenbS. E.betabeide negativ (N = 407)Ungleich (N = 640)beide positiv (N = 424).36.38.45.08.06.07.50.58.61

Studie 2 - ErgebnisseModerierte RegressionStudienerfolg = .29*Testleistung + .31*Schulerfolg + .03*Valenz + .06*Testleistung*Valenz + FehlerTestvalidität als Funktion der SituationsvalenzStudienerfolg0,400,300,200,100,00-0,10-0,20-0,30-0,40Valenz Valenz positivniedrigTestleistunghochpositiv

Diskussion – offene Fragen Welche Prozesse bewirken eine Minderung der Testvaliditätals Folge negativer Valenz der Test- bzw. Studiensituation? Wie können diese Prozesse gemessen und nicht nurerschlossen werden? Sind die Erlebens- und Verhaltensmessungen bei negativerSituationsvalenz generell (unabhängig von der Art derSituationen) mit mehr Störvarianz überlagert?

Diskussion – Praxisrelevanz Die durch kognitive Tests erklärte Varianz desStudienerfolgs nimmt mit Einbeziehung des Moderatorssignifikant (etwa um 1%) zu. Dies begründet den Vorschlag, in der Studienwahlberatungdie Erfolgsprognosen mit individuellen Vertrauensgrenzenrückzumelden. Für die Auswahl von Studienbewerbern sollte der unterEinbeziehung des Moderators prognostizierte Erfolg nurdann anstelle der Testleistung herangezogen werden, wennein solches Verfahren rechtlich abgesichert ist.

Studienwahlberatung der Universität Linz1991 bis 2007unter Beteiligung von ….Christian BergmannHermann BrandstätterFerdinand EderAlois FarthoferLudwig GrillichUrsula Neubauer

Brandstätter, H. (1996). Studienerfolg = Intelligenz x Willensdisziplin. InM. Jirasko, J. Glück & B. Rollett (Hrsg.), Perspektiven psychologischerForschung in Österreich. (S. 201-204). Wien: WUV-Universitäts-Verlag.Brandstätter, H. (1997). Die Entscheidung für ein Studium als Start derberuflichen Karriere. In L. v. Rosenstiel & T. v. Wins (Hrsg.),Perspektiven der Karriere (S. 85-100). Stuttgart: Schäffer-Poeschel.Brandstätter, H., Farthofer, A. & Grillich, L. (2001). Die Stabilität derStudienwahl als Funktion von Interessenkongruenz, Selbstkontrolle undintellektueller Leistungsfähigkeit. Psychologie in Erziehung undUnterricht, 48, 200-218.Brandstätter, H. & Neubauer, U. (2001). Test anxiety as a function ofexamination stress and emotional stability. In K. W. Kallus, Posthumus,N. & Jiménez, P. (Eds.) (2001). Current psychological research in Austria(pp. 193-196). Graz: Akademische Druck- und Verlagsanstalt.Brandstätter, H., Grillich, L. & Farthofer, A. (2002). Studienverlauf nachStudienberatung. Zeitschrift für Pädagogische Psychologie, 16, 15 - 28.

Brandstätter, H. (2003). Der bildungsökonomische Nutzen des LinzerModells der Studienwahlberatung. In Pracher, C. & Strunz, H.(Hrsg.). Wissenschaft um der Menschen willen. Festschrift für KlausZapotoczky zum 65. Geburtstag (S. 85-96). Berlin: Duncker &Humblot.Brandstätter, H. & Farthofer, A. (2003). Erste Prüfungen – weitererStudienerfolg. Psychologie in Erziehung und Unterricht, 50, 58 - 70.Brandstätter, H. & Farthofer, A. (2003). Einfluss von Erwerbstätigkeitauf den Studienerfolg. Zeitschrift für Arbeits- undOrganisationspsychologie, 47, 134-145.Brandstätter, H. & Farthofer, A. (2003). Studienerfolgsprognose –konfigurativ oder linear additiv? Zeitschrift für Differentielle undDiagnostische Psychologie, 23, 381 – 391.Brandstätter, H., Grillich, L. & Farthofer, A. (2006) Prognose desStudienabbruchs. Zeitschrift für Entwicklungspsychologie undPädagogische Psychologie, 38, 121-131