Das Rating im Schulmodellversuch KOMET (Prof. Dr. Bernd Haasler)

berufliche.bildung.hessen.de

Das Rating im Schulmodellversuch KOMET (Prof. Dr. Bernd Haasler)

Bernd Haasler

Rating

im Schulmodellversuch KOMET

Abschlusstagung KOMET-Projekt

Ludwig-Geißler-Schule, Hanau

02.11.2010

Prof. Dr.

Bernd Haasler


Was braucht man grundsätzlich zur Kompetenzmessung?

• Kompetenzmodell

• Testaufgaben

• Auswertungsverfahren

Prof. Dr.

Bernd Haasler


Rating gestaltungsoffener Testaufgaben

Ratings als Dreh- und Angelpunkt von

Kompetenzmessverfahren.

• Bewertung von Lösungen, die einen großen

Gestaltungsspielraum abdecken und damit eine Vielzahl

verschiedener Lösungsvarianten unterschiedlicher Tiefe und

Breite ermöglichen.

• Es gibt nicht die eine »richtige« oder die »falsche« Lösung,

sondern anforderungsbezogene Varianten die bewertet

werden müssen.

Prof. Dr.

Bernd Haasler


Ziele der Rater-Schulungen

• Sicherstellung höchstmöglicher Urteils-Übereinstimmung

• Verständigung auf einen gemeinsamen Anforderungshorizont

• Diskursive Validierung der Bewertungen und ihrer Maßstäbe

• Arbeit am empirischen Material (Test-Ratings)

Prof. Dr.

Bernd Haasler


Interrater-Reliabilität

1. Testrating 2008 Ad-Hoc

Item 1 2 3 4 5 6 7 8 9 10

Hans 0,425 0,600 0,500 0,542 0,600 0,675 0,600 0,675 0,500 0,467

Sabine 1,000 0,675 0,767 1,000 0,600 0,500 0,600 0,675 0,500 0,542

Stefan 0,524 0,752 0,752 0,657 0,657 0,657 0,867 0,524 0,467 0,467

Item 11 12 13 14 15 16 17 18 19 20

Hans 0,542 0,475 0,475 0,508 0,408 0,475 0,875 0,675 0,767 0,175

Sabine 0,500 0,675 0,758 0,575 0,550 0,675 0,425 0,500 0,458 0,133

Stefan 0,524 0,524 0,743 0,752 0,743 0,581 0,400 0,486 0,410 0,210

Item 21 22 23 24 25 26 27 28 29 30

Hans 0,875 0,767 0,767 0,758 0,675 0,233 0,300 0,175 0,550 0,083

Sabine 0,758 0,600 0,758 0,550 0,467 0,758 0,675 0,650 0,758 0,258

Stefan 0,638 0,752 0,638 0,743 0,467 0,629 0,410 0,743 0,362 0,352

Item 31 32 33 34 35 36 37 38 39 40

Hans 0,600 0,500 0,467 0,650 1,000 0,425 0,758 0,550 0,500 0,767

Sabine 0,542 0,558 0,383 0,300 0,500 0,483 0,758 0,175 0,542 0,758

Stefan 0,524 0,629 0,438 0,429 0,524 0,552 0,867 0,210 0,657 0,743

Prof. Dr.

Bernd Haasler


Ablauf der Rater-Schulungen

Arbeitsphase Ort

1. Jeder Rater bewertet die Lösung individuell (Ad-Hoc-

Rating).

2. Raterergebnisse werden in den Arbeitsgruppen verglichen.

Die unterschiedlichen Bewertungen werden analysiert.

3. Gruppenrating. Schwierigkeiten beim Finden gemeinsamer

Bewertungen werden in einem Kurzprotokoll festgehalten.

4. Die Ergebnisse des Ratings (individuell und Gruppe)

werden elektronisch zur Datenauswertung erfasst.

• Präsentation der Rating-Ergebnisse der Arbeitsgruppen und

der beim Rating aufgetretenen Schwierigkeiten.

• Analyse aller Rating-Ergebnisse im Plenum. Dabei werden

auffällige Ratingwerte (von einzelnen Ratern bzw. zu einzelnen

Items) analysiert und diskutiert.

Prof. Dr.

Bernd Haasler

Arbeitsgruppe

Plenum


Interrater-Reliabilität nach der Rater-Schulung 2008

Proband Aufgabe

Intra-Class-

Koeffizient (ICC)

H0124 Dachfenstersteuerung .852

H0265 Dachfenstersteuerung .902

H0225 Signalanlage .930

H0282 Signalanlage .879

H0176 Trockenraum .819

H0234 Trockenraum .851

H0134 Kieselaufbereitungsanlage .799

H0047 Kieselaufbereitungsanlage .929

Prof. Dr.

Bernd Haasler


Prof. Dr.

Bernd Haasler


Interrater-Reliabilität im Rating 2009

Proband Aufgabe Intra-Class-Koeffizient

H0004 Dachfenstersteuerung .843

H0006 Signalanlage .859

H0008 Dachfenstersteuerung .794

H0105 Signalanlage .876

H0128 Trockenraum .790

H0262 Kieselaufbereitungsanlage .867

H0424 Kieselaufbereitungsanlage .704

H0523 Trockenraum .889

H0845 Dachfenstersteuerung ,839

H0850 Trockenraum ,812

H0865 Kieselaufbereitungsanlage ,781

H0866 Signalanlage ,779

Prof. Dr.

Bernd Haasler


• Einschleichen einseitiger Rating-Tendenzen zur „Strenge“

oder „Milde“

1. zu positiv (Rating als „Lehrer“ mit sehr wohlwollendem

didaktischem Verständnis für die Schüler).

2. zu streng (Lösungsraum gleichgesetzt/verwechselt mit

idealtypischer Musterlösung, oft aus

ingenieurwissenschaftlicher Perspektive).

Ausweg:

Prototypische Rating-Fehler

Diskursive Validierung des Erwartungshorizontes in der

Rating-Gruppe

Prof. Dr.

Bernd Haasler


Transfer

Rater-Schulung Peking 2009

Tag

1

Tag 2

vormitta

gs

Tag 2

nachmitt

ags

Tag 3

vormittags

Finn unjust

H0282 Signalanlage .41 .82

H0225 Signalanlage .54 .79

H0176 Trockenraum .80 .84

H0234 Trockenraum .75 .80

H0265 Dachfenstersteuerung .84 .82

H0102 Dachfenstersteuerung .82 .83

H0336 Kieselaufbereitungsanlage .86 .85

H0047 Kieselaufbereitungsanlage .79 .79

Prof. Dr.

Bernd Haasler

Tag 3

nachmi

ttags


Transfer über den Schulmodellversuch hinaus

• Verstetigung

• Landesweite Berufsfeldgruppen

• Einsatz Selbstevaluation von Projekten durch die Schüler

• Diskursive Validierung im Team

• Feedbackkultur

Prof. Dr.

Bernd Haasler

Weitere Magazine dieses Users
Ähnliche Magazine