Abstractband - GMA 2012

Windows) als auch auf gängigen Tablet-Betriebssystemen
wie iOS oder Android einsetzbar und ermöglicht somit dem
Verbund maximale Flexibilität. Der aktuelle Stand des
Projektes, die technischen Vorrausetzungen sowie die
weiteren Möglichkeiten Tablet-basierter Prüfungen werden
vorgestellt und erörtert.
Bitte zitieren als: Heid J, Brass K, Haag M, Wojtanowski T, Kurtz W,
Feister L, Lindner M, Möltner A, Hochlehnert A, Schultz JH, Jünger
J. Kostengünstige, elektronische Prüfungen im Verbund: Der
Einsatz von Tablets bei studienbegleitenden Examen. In:
Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA).
Aachen, 27.-29.09.2012. Düsseldorf: German Medical Science
GMS Publishing House; 2012. DocV581.
DOI: 10.3205/12gma211, URN: urn:nbn:de:0183-12gma2110
Frei verfügbar unter:
http://www.egms.de/en/meetings/gma2012/12gma211.shtml
V582
Identifizierung von formalen Fehlern durch
automatische Reviewalgorithmen
Achim Hochlehnert 1 , Andreas Möltner 2 , Konstantin Brass 2 , Tobias
Wojtanowski 2 , Winfried Kurtz 2 , Lars Feistner 2 , Marcus Lindner 2 ,
Jobst-Hendrik Schultz 2 , Jana Jünger 2
1 Universitätsklinikum Heidelberg, Heidelberg, Deutschland
2 Kompetenzzentrum für Prüfungen in der Medizin in Baden-
Württemberg, Heidelberg, Deutschland
Nach den Richtlinien der GMA ist die Begutachtung und
Bewertung von Prüfungsinhalten ein wesentlicher Baustein
der Qualitätssicherung studienbegleitender Prüfungen.
Diese werden oftmals von einer Gruppe von fachinternen
und -externen Experten (Review-Komitee) im Rahmen
eines gemeinsamen Treffens durchgeführt.
Hierbei scheitert der zeit- und kostenintensive Review-
Prozess, der vor allem auf inhaltlicher Basis stattfinden
sollte, häufig schon an formalen Unstimmigkeiten der
Items. Da die Überprüfung formaler Aspekte unabhängig
von einer inhaltlichen Kontrolle erfolgen kann, wurden von
uns für das Item-Management-System (IMS) automatisierte
Review-Algorithmen entwickelt, die den Autor bereits
während der Eingabe der Frage auf formale Diskrepanzen
hinweisen.
Diese Algorithmen umfassen unter anderem die
Identifizierung von signifikanten Längenunterschieden und
Ähnlichkeiten von Antworten, doppelten Verneinungen im
Fragetext oder Wortwiederholungen. In ersten Versuchen
zeigte sich bei den Anwendern eine hohe Akzeptanz für
diese Funktionalität. Die integrierten Algorithmen stellen
ein wirksames Hilfsmittel bei der Eingabe der Fragen und
damit bei der Vorauswahl der Fragen für die inhaltliche
Begutachtung durch das Review-Komitee dar.
Bitte zitieren als: Hochlehnert A, Möltner A, Brass K, Wojtanowski
T, Kurtz W, Feistner L, Lindner M, Schultz JH, Jünger J.
Identifizierung von formalen Fehlern durch automatische
Reviewalgorithmen. In: Jahrestagung der Gesellschaft für
Medizinische Ausbildung (GMA). Aachen, 27.-29.09.2012.
Düsseldorf: German Medical Science GMS Publishing House;
2012. DocV582.
DOI: 10.3205/12gma212, URN: urn:nbn:de:0183-12gma2123
Frei verfügbar unter:
http://www.egms.de/en/meetings/gma2012/12gma212.shtml
108
V578
Weshalb schlechte Studierende so gut für die
Reliabilität von Prüfungen sind: Einfluss von
Ausreißern und Korrekturverfahren
Andreas Möltner 1 , Jana Jünger 2 , Jobst-Hendrik Schultz 2
1 Universitätsklinikum Heidelberg, Kompetenzzentrum für
Prüfungen in der Medizin, Heidelberg, Deutschland
2 Universität Heidelberg, Heidelberg, Deutschland
Fragestellung: Zur Qualitätssicherung von Prüfungen
gehört die Kontrolle ihrer Messzuverlässigkeit (Realibilität).
Entsprechende Kennmaße, wie z. B. die interne Konsistenz
(Cronbachs α) sind jedoch wenig robust. Einzelne wenige
Teilnehmer – in der Praxis meist außergewöhnlich
schlechte Studierende – beeinflussen diese erheblich [1],
[2], was häufig zu einer unrealistischen Überschätzung der
Reliabilität führt. Dies wiederum erschwert eine zeitlich
"kontinuierliche“ Kontrolle der Prüfungsqualität eines
Fachs. Ziel der Studie war die Entwicklung einer
Vorgehensweise, die bei den üblichen in medizinischen
Prüfungen auftretenden Bedingungen eine stabile
Schätzung von Kenngrößen der Reliabilität erlaubt.
Methode: Aus der Literatur bekannte Verfahren zur
Ausreißeridentifikation [3] werden einem Verfahren
gegenüber gestellt, welches eine Gewichtung der Daten auf
Annahme einer eingipfligen Punkteverteilung vornimmt.
Eigenschaften der Verfahren werden an theoretischen und
empirischen Beispielen (Beta-Binomial-Verteilungen bzw.
Klausuren an der Medizinischen Fakultät Heidelberg)
dargestellt und verglichen.
Ergebnisse: Verfahren, die implizit symmetrisch verteilte
Punktwerte annehmen, identifizieren zu viele Daten als
Ausreißer und unterschätzen dadurch die Reliabilität.
Andere Verfahren, die auf lokalen Dichteschätzungen
beruhen, sind jedoch erst bei hohen Teilnehmerzahlen
anwendbar. Das vorgestellte Gewichtungsverfahren liefert
dagegen bereits bei mittelgroßen Teilnehmerzahlen (ab 30-
40) befriedigende Resultate.
Schlussfolgerung: Das vorgestellte Gewichtungsverfahren
ist im Vergleich zu allgemeinen Methoden der
Ausreißeridentifikation besser geeignet, robuste
Schätzungen der Messzuverlässigkeit zu gewinnen.
Literatur
1. Christmann A, van Aelst S. Robust estimation of Cronbach's
alpha. J Multi Anal. 2006;97(7):1660-1674. DOI:
10.1016/j.jmva.2005.05.012
2. Liu Y, Wu AD, Zumbo BD. The impact of outliers on Cronbach's
coefficient alpha estimate of reliability: Ordinal/rating scale item
responses. Educ Psychol Measure. 2010;70(1):5-21. DOI:
10.1177/0013164409344548
3. Wobbe P. Zijlstra WP, van der Ark LA, Sijtsma K. Outliers in
questionnaire data: can they be detected and should they be
removed? J Educ Behavl Stat. 2011;36(2):186-212. DOI:
10.3102/1076998610366263
Bitte zitieren als: Möltner A, Jünger J, Schultz JH. Weshalb
schlechte Studierende so gut für die Reliabilität von Prüfungen
sind: Einfluss von Ausreißern und Korrekturverfahren. In:
Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA).
Aachen, 27.-29.09.2012. Düsseldorf: German Medical Science
GMS Publishing House; 2012. DocV578.
DOI: 10.3205/12gma213, URN: urn:nbn:de:0183-12gma2134
Frei verfügbar unter:
http://www.egms.de/en/meetings/gma2012/12gma213.shtml