JÄzyki Obce w Szkole - Biblioteka Cyfrowa OÅrodka Rozwoju Edukacji

More documents

Recommendations

Info

Języki Obce W Szkole n r 5/2008 l i s t o p a d/g r u d z i e ń Język Wersja A Wersja B Wersja C Wersja D Wersja E Łącznie Angielski 1690 1768 1735 1696 — 6889 Niemiecki 1464 1381 1477 1440 — 5762 Francuski 861 817 708 827 — 3213 Rosyjski — 1167 1185 1165 1177 4694 Hiszpański 273 222 288 — — 783 Włoski 46 10 34 — — 90 Tabela 1. Rozkład arkuszy w zależności od języka i wersji testu (źródło: Jakubowski i Pokropek 2008). Procedury badawcze Zebrano niezwykle bogaty materiał empiryczny, na podstawie którego opracowano szczegółowy raport zawierający kilkaset stron analiz statystycznych i opisu zebranych danych (por. Jakubowski 2008, Pokropek 2008). Przygotowano osobne raporty dla każdego języka omawiające różnice między wersjami testów i analizujące zadania oraz strukturę testu w każdej wersji. Podczas pilotażu sprawdzono 22 różne testy z sześciu języków obcych na próbie ok. 22 tysięcy uczniów. Pilotaż objął po cztery wersje egzaminu z języka angielskiego, francuskiego, niemieckiego i rosyjskiego oraz po trzy wersje testów z języka hiszpańskiego i włoskiego. Łącznie, pod kątem poprawności pomiarowej, przeanalizowano 1056 pytań. Zbadano ich trudność, moc dyskryminacyjną, spójność z resztą pytań w danej wersji, a także spójność trzech obszarów umiejętności: czytania i słuchania ze zrozumieniem oraz reagowania językowego. Do analiz wykorzystano miary oparte na klasycznej teorii testów oraz modelowanie IRT (Item Response Theory) (por. Jakubowski i Pokropek 2008). Przeprowadzanie pilotażu miało na celu wytypowanie pytań, które z różnych powodów (pomyłek merytorycznych, niewłaściwych sformułowań, błędów drukarskich w arkuszach, słabego związku z programem nauczania lub innymi pytaniami w teście) mogły spowodować znaczące problemy w ostatecznym pomiarze. Spośród 1056 zadań 2 zdecydowanie niekorzystnie oceniono około 50, a kolejne kilkadziesiąt zarekomendowano jako zadania o słabych właściwościach pomiarowych i zaproponowano ich zmianę lub usunięcie. Wszystkie wersje testów zostały porównane ze względu na ich trudność, kształt rozkładu oraz zawartość informacyjną za pomocą oszacowań modelami IRT. Analizy te mają na celu wyrównać poziomy trudności i wartość informacyjną różnych wersji testów oraz arkuszy egzaminów z poszczególnych języków przez modyfikację problematycznych zadań testowych. Warto zaznaczyć, że analiza nie polegała jedynie na odnalezieniu zadań słabych pod względem pomiarowym, bowiem w każdym teście zostały wyszczególnione także grupy zadań o bardzo dobrych właściwościach pomiarowych. Wskazano ich zalety i zaproponowano głębszą analizę merytoryczną, która umożliwiłaby w przyszłości konstruowanie zadań – lub całych ich wiązek – charakteryzujących się dobrymi właściwościami pomiarowymi. Analiza zadań i wersji testów egzaminacyjnych Przypomnijmy, że każdy z wylosowanych uczniów rozwiązywał dwie wersje egzaminu z języka, którego uczył się jako obowiązkowego w danym gimnazjum. Przypisanie szkołom i uczniom określonych wersji testów miało charakter w pełni losowy, dzięki czemu próbę uczniów poddanych każdemu z 22 testów można traktować jako reprezentatywną dla uczących się danego języka. W ten sposób prawomocne jest porównywanie poziomów trudności różnych wersji egzaminu z każdego języka. Średnio uczniowie biorący udział w pilotażu rozwiązali 55 proc. zadań, przy czym należy pamiętać, że do tego wskaźnika zaliczają się również pytania, które z różnych przyczyn okazały się słabe pomiarowo, a nawet powinny być 2 Za zadanie rozumiemy tu każde pytanie lub stwierdzenie, które było punktowane w teście. 66
n r 5/2008 l i s t o p a d/g r u d z i e ń Języki Obce W Szkole z testu usunięte. Można jednak stwierdzić, że dla wersji egzaminów poddanych pilotażowi uczniowie rozwiązywali od 40 proc. do 73 proc. zadań. Dokładne dane są podane w tabeli 2. Język/wersja A B C D Angielski 64 52 62 66 Niemiecki 40 56 52 48 Rosyjski 67 67 61 66 Francuski 53 54 51 57 Hiszpański 69 73 59 — Włoski 40 54 43 — Tabela 2. Procent poprawnie rozwiązanych zadań (źródło: Jakubowski i Pokropek 2008). Średnio około 8 proc. uczniów nie rozwiązało więcej niż 30 proc. zadań, ale w różnych wersjach testów liczba ta wahała się od 1 proc. do 29 proc. uczniów. Poszczególne wyniki, w rozbiciu na języki i wersje testów, zostały przedstawione w tabeli 3. Oczywiście, tak jak wcześniej, wyniki te uwzględniają wszystkie, nawet błędnie skonstruowane pytania. Język/wersja A B C D E Angielski 6 12 5 5 — Niemiecki 29 6 7 14 — Rosyjski 3 — 5 5 7 6 Francuski 7 9 22 10 — Hiszpański 4 3 1 8 — — Włoski 4 15 10 10 — — Tabela 3. Procent poprawnie rozwiązanych zadań (źródło: Jakubowski i Pokropek 2008). Subiektywna ocena arkusza egzaminacyjnego Ankieta uczniowska zawierała pytania o postrzeganą trudność i zrozumiałość sformułowań każdego zadania. Stwierdzono znaczną wariancję ocen trudności i zrozumiałości zadań, a także całych wersji arkusza egzaminacyjnego. Okazało się także, że oceny trudności zadań są ściśle powiązane z oceną zrozumiałości poleceń. Ankieta uczniowska zawierała także pytania o czas przeznaczony na rozwiązanie zadań z zakresu odbioru tekstu słuchanego oraz całego testu. Także w tym przypadku oceny okazały się powiązane ze sobą. Można więc powiedzieć, że trudność zadań, zrozumiałość sformułowań i ocena czasu na wykonanie testu są mocno skorelowane, a – jak wykazała analiza wyników testów uczniowskich i odpowiedzi w ankietach uczniowskich – są także mocno powiązane z rzeczywistym poziomem umiejętności uczniów. Uczniowie postrzegający zadania jako trudne, mający problemy ze zrozumieniem sformułowań oraz wskazujący, że zbyt mało czasu przeznaczono na rozwiązanie zadań, uzyskiwali przeciętnie niższe wyniki z testów. Pokazuje to, że z jednej strony uczniowie trafnie oceniają swój poziom umiejętności, a z drugiej zrozumiałość zadań i czas potrzebny na wykonanie testu także silnie zależą od poziomu umiejętności. W szczegółowym raporcie z ankiet uczniowskich przedstawiono rozkłady ocen dla każdego zadania wszystkich wersji testów, podając proste statystyki, dzięki którym można określić, jakie pytania uczniowie postrzegali jako trudne lub łatwe, a przede wszystkim, które zadania były według nich sformułowane w sposób niezrozumiały (por. Jakubowski 2008). Stanowi to doskonały materiał do korekty i ewentualnej modyfikacji przygotowanych wersji egzaminów. Podsumowanie Przygotowanie pilotażowego egzaminu z języka obcego w gimnazjum wiąże się z profesjonalizacją wielu działań (por. Jarząbek 2007, 2008a, Obidniak 2007). Jednym z nich jest standaryzacja arkuszy egzaminacyjnych. Dokonano jej na szeroką skalę, wykorzystując reprezentatywną próbę badawczą. Ogrom tego przedsięwzięcia pozwolił odpowiedzieć na założone cele badawcze. Szczegółowa analiza statystyczna została przeprowadzona dla zadań z każdej wersji testu i zawarta jest w sześciu odrębnych raportach dla każdego 3 Egzamin z języka rosyjskiego był przeprowadzony w wersjach B, C, D i E. 4 W przypadku języka hiszpańskiego i włoskiego należy zachować szczególną ostrożność w interpretacji tych wskaźników ze względu na małą liczbę przebadanych uczniów. 67
Page 1 and 2:
PL ISSN 0446-7965 CZASOPISMO DLA NA
Page 3 and 4:
Nr 5/2008 • listopad/grudzień Ro
Page 5 and 6:
n r 5/2008 l i s t o p a d/g r u d
Page 7 and 8:
Page 9 and 10:
Page 11 and 12:
Page 13 and 14:
Page 15 and 16:
Page 17 and 18: n r 5/2008 l i s t o p a d/g r u d
Page 67: n r 5/2008 l i s t o p a d/g r u d
Page 119 and 120:
Page 121 and 122:
Page 123 and 124:
Page 125 and 126:
Page 127 and 128:
Page 129 and 130:
Page 131 and 132:
Page 133 and 134:
Page 135 and 136:
Page 137 and 138:
Page 139 and 140:
Page 141 and 142:
Page 143 and 144:
Page 145 and 146:
Page 147 and 148:
Page 149 and 150:
Page 151 and 152:
Page 153 and 154:
Page 155 and 156:
Page 157 and 158:
Page 159 and 160:
Page 161 and 162:
Page 163 and 164:
Page 165 and 166:
Page 167 and 168:
Page 169 and 170:
Page 171 and 172:
Page 173 and 174:
Page 175 and 176:
Page 177 and 178:
Page 179 and 180:
Page 181 and 182:
Page 183 and 184:
Page 185 and 186:
Page 187 and 188:
Page 189 and 190:
Page 191 and 192:
Page 193 and 194:
Page 195 and 196:
Page 197 and 198:
Page 199 and 200:
Page 201 and 202:
Page 203 and 204:
Page 205 and 206:
Page 207:
skie, według których chcielibyśm
show all

JÄzyki Obce w Szkole - Biblioteka Cyfrowa OÅrodka Rozwoju Edukacji

Create successful ePaper yourself

Delete template?

Save as template?

JÄzyki Obce w Szkole - Biblioteka Cyfrowa OÅrodka Rozwoju Edukacji