WS-5 Kompetenzbewertung - Modellversuch TUSKO

GliederungTeil 1• Begründung und Ausarbeitung eines Verfahrens zurBeurteilung von Team- und Selbstlernkompetenz in TUSKO• Anwendung des Verfahrens sowie Auswertung,Interpretation und Beurteilung der ErgebnisseTeil 2• Transfer des Verfahrens auf eine Nutzung imAlltagsunterricht• Ausblick auf technologiebasierte Effizienzsteigerung beiErfassung und AuswertungBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg2

Zielsetzungena) TUSKO-intern• Beurteilung der Team- und Selbstlernkompetenzbestimmter Schülergruppen zu verschiedenen Zeitpunkten• Überprüfung der Wirksamkeit spezifischer Maßnahmenb) Zur Schülerbeurteilung• Möglichst genaues und ökonomisches Instrument zurKompetenzbeurteilung des einzelnen Schülers• normative (Note) und formative Rückmeldung(Kompetenzprofil) KompetenzförderungBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg3

Ziele und Problematik der Beurteilungnicht-fachlicher KompetenzenBedeutung nicht-fachlicher Kompetenzen (insbesondere TK undSLK) zur Entwicklung „beruflicher Handlungskompetenz“„Qualität von Bildungssystemen“, „Output-Orientierung“, EFQM,Q2E, ...TK und SLK können nicht direkt gemessen werden (nur indirektanhand von Kriterien, aus denen Rückschlüsse gezogen werden)1.Schritt:Entwicklung eines Kompetenzmodells (mehrdimensionalesKompetenzstrukturmodell mit dem Ziel einer differenzierterenDiagnostik)BerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg4

Beurteilungsmethoden für nicht-fachlicheKompetenzenFremdeinschätzung Selbsteinschätzung• Fragebogen• Beobachtung• Interview• Peer-Evaluation• Gruppenaufgaben• Rollenspiel / Gruppendiskussion• Assessment-CenterBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg5

Einzelarbeit fürs Team (Team-Fit)Bibb Modellversuch MIDo53 Einzelkriterien auf 7 BeurteilungsbögenBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg6

Einschätzung SelbstlernkompetenzArnold, Gómez Tutor, Kammerer, KL-SLK, 2001BerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg7

Einschätzung Selbstlernkompetenz„MethodischeFähigkeiten“,Straka, 200223 ItemsBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg8

Zielsetzung für BeurteilungQualitätskriterien:• Validität• Reliabilität• ObjektivitätÖkonomieBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg9

Dimensionen der TeamkompetenzDimension1 BereitschaftKompetenzbeschreibungBereitschaft, konstruktiv in einem Team mitzuarbeiten und das eigeneVerhalten im Team zu reflektieren2 Engagement Engagement und Zuverlässigkeit der Mitarbeit im Team3 Regelkenntnis4 Kommunikation5 Kritik6 Konflikte7Qualität derBeiträge8 RegelbeachtungKenntnisse über kritische Ereignisse der Gruppenarbeit (Machtspiele,Akzeptanzprobleme, persönliche Konflikte...) sowie über Regeln und Normenbei der TeamarbeitKommunikationskompetenz, sowohl Ausdrucks- und Auffassungsfähigkeit alsauch Beachtung von KommunikationsregelnKritikfähigkeit, sachlich Kritik äußern bzw. auf Kritik anderer TeammitgliedereingehenKonfliktfähigkeit, Konflikterkennung und Anwendung von Strategien zurKonfliktbewältigungProblemlösen im Team, Erkennung von aufgabenbezogenen Problemen,eigene bzw. fremde Vorschläge zur Problemlösung aufgreifenAber auch Qualität der Einzelbeiträge im Sinne von konstruktiver MitarbeitRegeln und Normen im Team achten und anwenden, Verantwortung undRollen im Team übernehmenBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg10

Items zur Erfassung der TeamkompetenzNr Kategorie Der/die Schüler/in ...Trifftnichtzu (1)Trifftkaumzu (2)Trifftzu(3)Trifftsehrzu (4)1 Bereitschaft... besitzt die Bereitschaft, konstruktiv im Teammitzuarbeiten2 Kenntnisse... besitzt Kenntnisse über Regeln und Normenim Team... besitzt Kenntnisse über Teamarbeit3 Engagement... arbeitet zuverlässig für das Teamergebnismit und leistet zielfördernde Beiträge4 Kommunikation5 Konflikte6 Kritik7 Problemlösen8 Regeln... kann sich in Gruppengesprächenverständlich ausdrücken... ist kompromissbereit und trägt zurKonfliktlösung bei... weist sachlich auf Kritikpunkte oder Fehlerhin... kann aufgabenbezogene Probleme erkennenund verdeutlichen... beachtet die Regeln und Normen vonGruppenarbeit und achtet seineTeamkollegenBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg11

Selbsteinschätzung derSelbstlernkompetenzBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg12

EvaluationKlassenbezogene Auswertung:a) Klassenindexb) KompetenzprofilPrüfungsstrategienPsychologieB6: Selbsteinschätzung SelbstlernkompetenzPlanung, Ziele3.53.02.52.01.51.00.50.0VerarbeitungQuellenauswahlRelevanz fürs LernenbeurteilenLernorganisationSelbstkontrolleBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg13

Durchführung SelbsteinschätzungErstbefragungZwischenbefr.Abschlussbefr.NachbefragungZeitraum07-11/200506-12/200603-07/200709/2007Beteiligte Schüler37426129838BeteiligteKlassen2718202Aufgrund des erhöhten Aufwands deutlich geringere Beteiligungbei der FremdbeurteilungBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg14

Ergebnisse Vergleich FremdeinschätzungFremdeinschätzung SelbstlernkompetenzPsychologiePlanung, Ziele4.03.53.02.52.01.51.00.50.0VerarbeitungPrüfungsstrategienQuellenausw ahlSelbstkontrolleLernorganisation2006 2007FIS05B, Th., 7 u. 4 BewertungenBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg16

Vergleich Selbsteinschätzung GesamtProbleme erkennenAchtung der RegelnC6: Selbsteinschätzung TeamkompetenzEngagement4,03,53,02,52,01,51,00,50,0BereitschaftRegelkenntnisKritikäußerungAusdrucksfähigkeitKonfliktfähigkeitErstbefragung Zwischenbefragung AbschlussbefragungThüringen Gesamt, rund 200 SchülerBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg17

InterpretationUneinheitliches Bild, lässt kaum Rückschlüsse zuohne Kenntnisse des Kontexts.Gründe?• Zunehmende Sensibilität?• Zunehmende Verdichtung führt zu Annäherungder Kurven• Fehlende Vergleichsmaßstäbe, BezugspunkteBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg18

AusblickVerbesserungspotential:• Maßstäbe entwickeln(Kompetenzniveaumodell)• höhere Genauigkeit• ...Eignung für Einsatz zur Schülerbeurteilung• Anpassung der Bewertungsskala• Technologische Unterstützung, dadurchEffizienzsteigerungBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg19

Teil 2: Nutzung im SchulalltagLaut curricularer Vorgaben sind auch nichtfachlicheKompetenzen bei der Beurteilung zu berücksichtigen.• BBiG, Ausbildungsrahmenpläne: „Zu vermittelnde Fertigkeiten,Kenntnisse und Fähigkeiten“• Thüringer Schulgesetz (1993,2003,2005): „Schriftliche, mündlicheund praktische Leistungen“Nur wie messen?BerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg20

Schema zur LernerfolgsbeurteilungTeamkompetenzKompetenzdimensionenProblemsituationBewältigen derSituationBeurteilungskriterienBeobachtung desVerhaltensEvaluationBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg21

Schaffung einer Beobachtungssituation• Wahl einer geeigneten Lern- und Arbeitsaufgabe• Gestaltung eines entsprechenden Umfelds• Explizit zum Zweck der Erfassung von TeamoderSelbstlernkompetenz Aufwand• Implizit im Rahmen einer Fachaufgabe kontinuierliche BeobachtungBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg22

Beobachtungsbogen TKNr BeurteilungsUngenügend sehr gut6 5 4 3 2 11 Bereitschaft zur Teamarbeit23Konstruktive und zuverlässigeTeamarbeitsbeiträgeKenntnisse über Regeln und Rollen in derTeamarbeit4 Kommunikationsfähigkeit im Team5 Kritik in der Teamarbeit üben und aufnehmen678Konflikte in der Teamarbeit erkennen undbewältigenArbeitsbezogene Probleme erkennen und imTeam lösenTeamarbeitsregeln achten, TeamverantwortungübernehmenBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg23

Auswertung mit Excel-MakrosBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg24

Auswertung mit Excel-MakrosBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg25

Auswertung mit Excel-MakrosTeamkompetenzBereitschaft4.0Regeleinhaltung3.0Kenntnisse2.01.0Problemlösefähigkeit0.0EngagementKritikfähigkeitKommunikationsfähigkeitKonfliktfähigkeitBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg26

Erfassung mit Pocket PCBerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg27

Profil TeamkompetenzFremdbeurteilung der Azubis zur TeamkompetenzBereitschaft zur Teamarbeit undReflektion zum eigenenTeamverhalten1Teamarbeitsregeln achtenTeamverantwortung übernehmenKritik in der Teamarbeitüben und aufnehmen23456Kenntnisse über Regeln undRollen in der TeamarbeitKenntnisse und Fähigkeitenzur Kommunikation im TeamKonflikte in der Teamarbeiterkennen und bewältigenKonstruktive und zuverlässigeTeamarbeitsbeiträgeAzubi B (fremd): Note 2.38Arbeitsbezogene Problemeerkennen und im Team lösenTusko, biat 2007BerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg28

SelbsteinschätzungSelbstbewertung der Azubis zur TeamkompetenzBereitschaft zur Teamarbeit undReflektion zum eigenenTeamverhalten1Teamarbeitsregeln achtenTeamverantwortung übernehmenKritik in der Teamarbeitüben und aufnehmen23456Kenntnisse über Regeln undRollen in der TeamarbeitKenntnisse und Fähigkeitenzur Kommunikation im TeamKonflikte in der Teamarbeiterkennen und bewältigenKonstruktive und zuverlässigeTeamarbeitsbeiträgeArbeitsbezogene Problemeerkennen und im Team lösenAzubi B (selbst): Note 1.63 Tusko, biat 2007BerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg29

Vergleichende Darstellung(z.B. für Beurteilungsgespräch)Gegenüberstellung der Beurteilungen zur TeamkompetenzBereitschaft zur Teamarbeit undReflektion zum eigenenTeamverhalten1Teamarbeitsregeln achtenTeamverantwortung übernehmenKritik in der Teamarbeitüben und aufnehmen23456Kenntnisse über Regeln undRollen in der TeamarbeitKenntnisse und Fähigkeitenzur Kommunikation im TeamKonflikte in der Teamarbeiterkennen und bewältigenKonstruktive und zuverlässigeTeamarbeitsbeiträgeArbeitsbezogene Problemeerkennen und im Team lösenAzubi B (selbst): Note 1.63 Azubi B (fremd): Note 2.38 Tusko, biat 2007BerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg30

Weiterführende Fragen• Unter welchen Bedingungen kann dieIntegration in den Alltagsunterricht gelingen?• Können Bezugsnormen (welche?) dieGenauigkeit der Einschätzung erhöhen?• Führt das nicht zwangsläufig zu einem höherenErfassungsaufwand?• Geht die Berücksichtigung der nicht-fachlichenKompetenzen zu Lasten des Fachunterrichts?(„teaching to the test“)BerufsbildungsinstitutArbeit und TechnikBodo Reiner, biat – Berufsbildungsinstitut Arbeit und Technik, Universität Flensburg31