Approfondimento 4.5 Valutazione statistica della ... - Ateneonline
Approfondimento 4.5 Valutazione statistica della ... - Ateneonline
Approfondimento 4.5 Valutazione statistica della ... - Ateneonline
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
<strong>Approfondimento</strong> <strong>4.5</strong><br />
<strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme<br />
delle risposte nei distrattori a un item di prestazione massima<br />
La valutazione <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte nei distrattori ad un item di pre-<br />
stazione massima è una caso particolare del test del chi-quadrato per un campione. Supponiamo di<br />
aver ottenuto una distribuzione di frequenza delle risposte come quelle riportate in Tabella 4.3.1<br />
Tabella 4.3.1 Distribuzioni di frequenza delle risposte alle alternative di un item (item1). La cella grigiata<br />
indica la frequenza <strong>della</strong> risposta corretta.<br />
Item1<br />
A 14<br />
B 55<br />
C 28<br />
D 3<br />
Nel caso dell’item in Tabella 4.3.1 osserviamo che 45 soggetti non hanno risposto correttamente<br />
all’item. Questo significa che dovremmo attenderci che, se la distribuzione delle frequenze di rispo-<br />
sta nei distrattori fosse uniforme, ogni distrattore dovrebbe avere frequenza uguale a 15, ossia 45<br />
diviso 3. Per verificare <strong>statistica</strong>mente se questa ipotesi è verosimile, si esegue un test del chi-<br />
quadrato per un campione. Le ipotesi sono:<br />
H0: la distribuzione delle frequenze nei distrattori è uniforme<br />
H1: la distribuzione delle frequenze nei distrattori non è uniforme<br />
Se possiamo rifiutare l’ipotesi nulla, ci dovrebbe essere almeno un distrattore in cui lo scostamento<br />
fra frequenza osservata e attesa sotto ipotesi di uniformità di distribuzione è <strong>statistica</strong>mente diverso<br />
da zero. Utilizziamo allora i test post-hoc per il test del chi-quadrato per un campione per approfon-<br />
dire l’analisi. Nella Tabella 4.3.2 sono riportati i calcoli necessari per il caso dell’Item 1<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 2<br />
Tabella 4.3.2 Riepilogo dei test omnibus e post-hoc per la distribuzione di frequenza dei distrattori -<br />
item 1<br />
Test Alternativa fo fa<br />
X<br />
2<br />
calcolato<br />
( f o − f a )<br />
=<br />
f<br />
Post-hoc A 14 15 0,07 X 2 (1) = 5,02<br />
Post-hoc C 28 15 11,27 X 2 (1) = 5,02<br />
Post-hoc D 3 15 9,60 X 2 (1) = 5,02<br />
Omnibus Somma 45 45 20,93 X 2 (2) = 5,99<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia<br />
a<br />
2<br />
X 2 (gdl) critico Decisione<br />
Scostamento non significativo<br />
Scostamento significativo<br />
Scostamento significativo<br />
Scostamento significativo<br />
Il test omnibus verifica l’ipotesi di uniformità <strong>della</strong> distribuzione. Il valore del chi-quadrato critico<br />
riportato in Tabella 4.3.2 è quello per α = .05 e gradi di libertà uguale al numero di distrattori meno<br />
uno, ossia 2. Per ottenere questo valore possono essere consultate le tavole di chi-quadrato in un<br />
qualunque manuale di <strong>statistica</strong> o utilizzare la funzione di Excel =inv.chi(,05;2).<br />
La regola di decisione è:<br />
se X 2 calcolato > X 2 critico → è troppo improbabile che i dati osservati siano il risultato del fatto<br />
che H0 è vera, per cui la rifiutiamo → la distribuzione non è uniforme<br />
se X 2 calcolato ≤ X 2 critico → non è così improbabile che i dati osservati siano il risultato del fatto<br />
che H0 è vera, per cui la accettiamo → la distribuzione è uniforme<br />
Dato che il chi-quadrato calcolato (20,93) è maggiore di quello critico (5,99) possiamo rifiutare<br />
l’ipotesi nulla di uniformità <strong>della</strong> distribuzione. A livello statistico, quindi, le frequenze di risposta<br />
errata non appaiono distribuite uniformemente nei distrattori.<br />
Per verificare in quale o quali distrattori lo scostamento dall’uniformità sia maggiore ese-<br />
guiamo i test post-hoc. In questo caso il valore del livello di significatività α va diviso per il numero<br />
di gradi di libertà (numero distrattori − 1) per controllare l’inflazione dell’errore di I tipo (si veda a<br />
questo proposito Chiorri, 2010, <strong>Approfondimento</strong> 4.1). Se abbiamo fissato a α = .05, avremo che<br />
α/2 = ,025. Ogni confronto fra frequenze osservate e attese ha 1 grado di libertà. Il valore di chi-<br />
quadrato critico per α = ,025 e gdl = 1 [in Excel =inv.chi(,025;1)] è 5,02. La regola di decisione è:
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 3<br />
se X 2 calcolato > X 2 critico → lo scostamento è significativo<br />
se X 2 calcolato ≤ X 2 critico → lo scostamento non è significativo<br />
Nel caso <strong>della</strong> Tabella 4.3.2 abbiamo che lo scostamento non è significativo per l’alternativa di ri-<br />
sposta A, mentre lo è per le alternative di risposta C e D. In base ai dati delle frequenze osservate e<br />
attese riportate in Tabella 4.3.2 è facile osservare come l’alternativa C sia stata scelta più di quanto<br />
ci si sarebbe aspettati, mentre l’alternativa D è stata scelta con minore frequenza di quanto atteso.<br />
Poiché la procedura appena presentata è basata su un test del chi-quadrato, è consigliabile calcolare<br />
sempre la dimensione dell’effetto per evitare distorsioni nelle decisioni legate ad ampiezze campio-<br />
narie troppo ampie o troppo basse. La dimensione dell’effetto w di un test chi-quadrato si ottiene<br />
con la seguente formula (Cohen, 1988):<br />
w =<br />
X<br />
n<br />
2<br />
dove X 2 è il valore del chi-quadrato calcolato e n il numero di soggetti. La Tabella 4.3.3 riporta le<br />
linee guida per l’interpretazione di w.<br />
Tabella 4.3.3 Interpretazione <strong>della</strong> dimensione dell’effetto w per il test chi-quadrato<br />
Valore di w Dimensione dell’effetto<br />
w < 0,10 Trascurabile<br />
0,10 < w < 0,30 Debole<br />
0,30 < w < 0,50 Moderata<br />
w > 0,50 Grande<br />
20,<br />
93<br />
Nel caso che stiamo considerando, la dimensione dell’effetto generale è w = = 0,<br />
68 , e dun-<br />
45<br />
que è una dimensione dell’effetto grande.<br />
In base a questi risultati possiamo concludere che le risposte errate non sembrano ben distri-<br />
buite nei distrattori. Se invece la distribuzione nei distrattori fosse stata quella di Tabella 4.3.4, la<br />
conclusione sarebbe stata diversa:<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 4<br />
Tabella 4.3.4 Distribuzioni di frequenza delle risposte alle alternative di un item (item 2). La cella grigiata<br />
indica la frequenza <strong>della</strong> risposta corretta.<br />
I risultati sono riassunti nella Tabella 4.3.5.<br />
Item2<br />
A 8<br />
B 11<br />
C 70<br />
D 11<br />
Tabella 4.3.5 Riepilogo dei test omnibus e post-hoc per la distribuzione di frequenza dei distrattori -<br />
item 2<br />
Test Alternativa fo fa<br />
X<br />
2<br />
calcolato<br />
( f o − f a )<br />
=<br />
f<br />
Post-hoc A 8 10 0,40 X 2 (1) = 5,02<br />
Post-hoc B 11 10 0,10 X 2 (1) = 5,02<br />
Post-hoc D 11 10 0,10 X 2 (1) = 5,02<br />
Omnibus Somma 30 30 0,60 X 2 (2) = 5,99<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia<br />
a<br />
2<br />
X 2 (gdl) critico Decisione<br />
Scostamento non significativo<br />
Scostamento non significativo<br />
Scostamento non significativo<br />
Scostamento non significativo<br />
In questo caso il chi-quadrato calcolato è inferiore a quello critico sia per il test omnibus (0,60 <<br />
5,99), sia per tutte e tre le categorie di distrattori. La dimensione dell’effetto risulta<br />
0,<br />
60<br />
w = = 0,<br />
14 , dunque nella gamma debole. Possiamo quindi concludere che le risposte errate<br />
30<br />
sono sostanzialmente equidistribuite nei distrattori.<br />
Eseguire la valutazione <strong>statistica</strong> <strong>della</strong> distribuzione uniforme dei distrattori con<br />
Excel<br />
Nel file POLITOMICI.xls troviamo le risposte a 10 item di un test di prestazione massima in cui le<br />
risposte sono codificate con la lettera corrispondente alla risposta data dal soggetto o con BLANK<br />
nel caso di risposta omessa o multipla (Figura 4.3.1)
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 5<br />
Figura 4.3.1 Dataset con item di prestazione massima in cui sono possibili risposte omesse o multiple<br />
(BLANK)<br />
Nella prima riga di Figura 4.3.1, nelle celle a sfondo giallo, abbiamo la chiave di risposta, ossia le<br />
risposte corrette. Per quanto la procedura che sta per essere illustrata possa essere realizzata anche<br />
con SPSS (vedi Strumenti Informatici 4.1), con Excel in alcuni casi può essere più rapida.<br />
Nelle celle accanto a quelle contenenti i dati incolliamo, dopo averla copiata (Selezione delle<br />
celle → Tasto Destro del Mouse → Copia), la riga con i nomi degli item (Figura 4.3.2)<br />
Figura 4.3.2 Preparazione del foglio di Excel per lo scoring<br />
Nella cella vuota sotto stp01 sulla destra, scriviamo la formula che permette di fare lo scoring in ba-<br />
se al seguente criterio: +1 risposta corretta, -0,25 risposta errata, 0 se BLANK. Utilizziamo la fun-<br />
zione di Excel SE ed espresso in parole il concetto è il seguente:<br />
Se la cella che contiene la risposta del soggetto è uguale alla chiave di risposta, allora 1; altrimenti<br />
se è uguale a BLANK uguale 0, altrimenti -0,25.<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 6<br />
Che nella funzione di Excel diventa:<br />
=SE(A3=A$1;1;SE(A3=”BLANK”;0;-0,25))<br />
dove A3 è la cella che contiene la risposta del primo soggetto, e A1 è la cella che contiene la rispo-<br />
sta corretta. L’espressione A$1 indica che la riga 1 va mantenuta fissa, in quanto la procedura di<br />
riempimento per trascinamento farebbe sì che il riferimento alla cella che contiene la risposta cor-<br />
retta venga cambiata per ogni soggetto. L’1 dopo il primo punto e virgola indica che cosa deve esse-<br />
re visualizzato se l’uguaglianza è vera. Ciò che viene dopo il secondo punto e virgola indica invece<br />
cosa succede se la risposta inserita non è corretta: se è uguale a BLANK viene visualizzato 0, altri-<br />
menti la risposta è errata, per cui -0,25. Si noti che se la condizione riguarda un numero basta inseri-<br />
re il numero, se è un dato testuale occorre indicarlo fra virgolette. Inoltre occorre prima assicurarsi<br />
che le risposte del dataset siano solo lettere da A ad E e BLANK. Una volta insrita la formula nella<br />
cella L3 e premuto INVIO si ottiene il risultato, che è 1, perché il soggetto ha risposto correttamente<br />
(Figura 4.3.3)<br />
Figura 4.3.3 Risultato <strong>della</strong> procedura di scoring<br />
Adesso selezioniamo la cella con la formula, spostiamo il puntatore sul quadratino nero in basso a<br />
destra <strong>della</strong> cella, e quando l’indicatore diventa la crocetta nera, premiamo il Tasto Sinistro del<br />
Mouse. Tenendo premuto il tasto del mouse ci spostiamo verso destra fino a riempire le celle corri-<br />
spondenti ad ogni item. Rilasciando il tasto del mouse si ottiene l’estensione <strong>della</strong> formula a tutte le<br />
celle (Figura 4.3.4).<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 7<br />
Figura 4.3.4 Risultato dell’estensione <strong>della</strong> formula di scoring agli altri item<br />
Conviene sempre controllare che la formula sia stata estesa in modo corretto: in questo caso sì, per-<br />
ché a stp03 c’è un BLANK e il punteggio assegnato è 0, la risposta alla domanda stp04 è errata e<br />
infatti è stato assegnato -0,25, e così via. Ad ogni modo, andando su ogni cella dove è stato generato<br />
lo scoring è possibile controllare la formula corrispondente <strong>della</strong> riga:<br />
Si presti sempre attenzione a che i riferimenti <strong>della</strong> chiave di risposta siano quelli corretti.<br />
Selezioniamo ora la prima riga di celle con lo scoring, e con lo stesso procedimento di estensione<br />
delle formule visto prima e riempiamo le righe sottostanti, così da ottenere i punteggi per tutti i sog-<br />
getti. Si ottiene così lo scoring completo (Figura 4.3.5)<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 8<br />
Figura 4.3.5 Completamento dello scoring<br />
A questo punto è anche facile ottenere il punteggio al test mediante la funzione Somma. Scriviamo<br />
“Punteggio” in una delle colonne accanto all’ultimo item e scriviamo =SOMMA( e una volta scritta<br />
questa espressione (senza premere INVIO), è possibile selezionare direttamente col mouse la riga di<br />
celle che contiene i punteggi del soggetto. Una volta chiusa la parentesi e premuto invio si otterrà il<br />
punteggio totale per il soggetto (Figura 4.3.6)<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 9<br />
Figura 4.3.6 Calcolo del punteggio totale<br />
Di nuovo, con la procedura di estensione <strong>della</strong> formula verso il basso è possibile rapidamente otte-<br />
nere il punteggio per tutti i soggetti. Per sicurezza controllate sempre che i conti tornino per tutti i<br />
soggetti.<br />
Potremmo poi essere interessati a determinare, soggetto per soggetto, lo stile risposta, inteso<br />
come numero di risposte corrette, errate o sbagliate. Scriviamo allora “Corrette”, “Errate” ed “O-<br />
messe” a destra di “Punteggio” (Figura 4.3.7) e con la funzione CONTA.SE andiamo a calcolare<br />
questi dati:<br />
Figura 4.3.7 Preparazione del foglio di Excel per il calcolo del numero di risposte corrette, errate e<br />
omesse<br />
Sotto a “Corrette” scriviamo:<br />
=CONTA.SE(L3:U3;1)<br />
che vuol dire: “Conta quante celle nell’intervallo che va da L3 a U3 contengono il valore 1”. E poi<br />
Invio. Selezioniamo la cella sotto a Errate e ripetiamo lo stesso procedimento per le risposte errate:<br />
=CONTA.SE(L3:U3;-0,25)<br />
Infine, selezioniamo la cella sotto a Omesse e ripetiamo lo stesso procedimento per le risposte o-<br />
messe:<br />
=CONTA.SE(L3:U3;0)<br />
A questo punto selezioniamo le tre celle ed estendiamo le formule a tutti i soggetti (Figura 4.3.8)<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 10<br />
Figura 4.3.8 Calcolo del numero di risposte corrette, errate ed omesse per tutti i soggetti<br />
In base a queste informazioni potremmo anche calcolare, indipendentemente dallo scoring iniziale,<br />
il punteggio corretto per guessing (vedi <strong>Approfondimento</strong> 4.7) mediante la formula:<br />
β<br />
α C = α −<br />
k −1<br />
dove:<br />
• αC = punteggio corretto per l’effetto di guessing<br />
• α = numero grezzo di risposte esatte<br />
• β = numero di risposte errate<br />
• k = numero di alternative<br />
Nel nostro caso k = 5<br />
Scriviamo allora in una delle celle sulla destra “Guessing” e impostiamo la formula:<br />
=Y3-(Z3/4)<br />
dove Y3 contiene il numero di risposte corrette del primo soggetto, e Z3 il numero di risposte errate<br />
(Figura 4.3.9)<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 11<br />
Figura 4.3.9 Calcolo <strong>della</strong> correzione per guessing<br />
Il fatto che il punteggio corretto per guessing sia identico al punteggio ottenuto con lo scoring che<br />
abbiamo visto non è casuale. Infatti estendendo la formula a tutti i soggetti i punteggi coincidono<br />
sempre: del resto, forse avevate già intuito che la procedura di scoring che abbiamo adottato è equi-<br />
valente alla formula <strong>della</strong> correzione per guessing. Ad ogni modo, abbiamo visto un’altra procedura<br />
che può esserci utile.<br />
Se adesso dovessimo realizzare la classifica dei punteggi, occorrerebbe determinare il rango<br />
di ogni punteggio all’interno di quelli ottenuti. Scriviamo allora “Rango” in una delle celle a destra<br />
(Figura 4.3.10)<br />
Figura 4.3.10 Preparazione del foglio di Excel per il calcolo del rango<br />
Nella cella sotto a “Rango” scriviamo:<br />
=RANGO(AC3;$AC$3:$AC$200;0)<br />
che vuole dire: “determina il rango del punteggio in AC3 all’interno del set di dati compreso da<br />
AC3 a AC200, in ordine discendente (vogliamo che il più bravo abbia rango = 1)”. Se avessimo vo-<br />
luto un ordine ascendente, avremmo dovuto inserire 1 al posto 0 prima dell’ultima parentesi. I sim-<br />
boli del dollaro ($) servono per “bloccare” l’insieme di celle che funge da riferimento per la deter-<br />
minazione del rango (o posizione in classifica). Premendo Invio si ottiene il rango del soggetto, e la<br />
formula può essere estesa a tutti gli altri soggetti come visto in precedenza.<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 12<br />
Passiamo ora a lavorare sugli item. Ci interesserà vedere per ogni item quante volte è stata scelta<br />
una certa alternativa di risposta, ed eventualmente valutare la distribuzione di frequenza nelle alter-<br />
native errate. Anche questo compito può essere eseguito con SPSS, ma con Excel può essere più<br />
pratico.<br />
Innanzitutto aggiungiamo una colonna alla sinistra <strong>della</strong> prima nel set di dati. Selezioniamo la prima<br />
colonna, Tasto Destro del Mouse, Inserisci. Poi andiamo in basso fino alla fine del dataset e sempre<br />
nella prima colonna scriviamo le possibili alternative di risposta (Figura 4.3.11)<br />
Figura 4.3.11 Preparazione del foglio di Excel per il calcolo delle frequenze di scelta di ogni alternativa<br />
di risposta<br />
Nella cella accanto a quella di A, scriviamo la formula che ci permette di contare quante volte la ri-<br />
sposta A è stata fornita nella colonna che contiene le risposte all’item stp01<br />
=CONTA.SE(B$3:B$200;$A202)<br />
dove A202 è la cella che contiene il valore “A”. Così facendo, quando scorreremo verso il basso le<br />
celle, Excel considererà ogni volta una nuova alternativa di risposta (B, C, D, etc.). Inoltre, bloc-<br />
chiamo le celle da 3 a 200 perché poi ci servirà di estendere le formule verso il basso e la colonna A<br />
perché ci servirà ad estendere le celle verso destra. Dopo aver premuto Invio avremo il risultato. E-<br />
stendendo le formule verso destra calcoliamo quante volte è stato risposto A per ognuno degli item.<br />
Estendendo adesso questa selezione verso il basso otteniamo il riempimento del resto dei dati. Con-<br />
viene riportare sopra ad ogni colonna il nome dell’item (Figura 4.3.12).<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 13<br />
Figura 4.3.12 Calcolo del numero di volte che ogni alternativa di risposta è stata scelta per ogni item<br />
Adesso sappiamo per ogni item quante volte è comparsa ogni alternativa di risposta. A questo pun-<br />
to, ci serve di sapere, al netto delle BLANK, come si sono distribuite le risposte errate. Un risultato<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 14<br />
che deporrebbe a favore dell’adeguatezza dell’item e in particolare delle sue alternative di risposta<br />
sarebbe quello per cui le risposte errate sono distribuite uniformemente nelle alternative sbagliate (o<br />
distrattori). Intanto calcoliamo tramite Excel la percentuale di risposte corrette, errate ed omesse<br />
(BLANK). Copiamo la riga delle risposte corrette in una riga a “portata di mano” e scriviamo le eti-<br />
chette delle righe (Figura 4.3.13)<br />
Figura 4.3.13 Preparazione del foglio di Excel per il calcolo del numero di risposte giuste, sbagliate<br />
ed omesse per ogni item<br />
Nella cella corrispondente a Giuste <strong>della</strong> colonna di stp01 chiederemo di contare tutte le celle<br />
dell’intera colonna che contengono la lettera E, mentre nella cella corrispondente a Omesse chiede-<br />
remo di riportare il già calcolato numero di celle che contengono l’esito BLANK. La frequenza nel-<br />
la cella corrispondente a Sbagliate sarà uguale alla differenza fra il totale dei soggetti e la somma<br />
fra Giuste e Omesse (Figura 4.3.14).<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 15<br />
Figura 4.3.14 Calcolo del numero di risposte giuste, sbagliate ed omesse per il primo item<br />
A questo punto estendiamo le formule a tutte le celle verso destra e otteniamo i valori desiderati per<br />
ogni item (Figura 4.3.15).<br />
Figura 4.3.15 Calcolo del numero di risposte giuste, sbagliate ed omesse per ogni item<br />
Per trasformare i dati di frequenza in proporzioni, dobbiamo dividere le frequenze per il totale dei<br />
soggetti (in questo caso 198). Estendiamo poi le formule prima verso destra e poi verso il basso,<br />
completando la tabella (Figura 4.3.16).<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 16<br />
Figura 4.3.15 Calcolo <strong>della</strong> percentuale di risposte giuste, sbagliate ed omesse per ogni item<br />
Volendo, le celle in esame possono essere formattate come percentuali.<br />
La procedura in Excel per eseguire il test del chi-quadrato per l’uniformità <strong>della</strong> distribuzio-<br />
ne di frequenza nei distrattori potrà ora apparire un po’ elaborata, per così dire, ma con un po’ di<br />
pazienza si raggiunge lo scopo.<br />
Per prima cosa otteniamo, item per item, la distribuzione di frequenza delle risposte sbagliate. Scri-<br />
viamo le cinque alternative di risposta sulla colonna all’estrema sinistra (Figura 4.3.16)<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 17<br />
Figura 4.3.16 Preparazione del foglio di Excel per l’analisi dell’uniformità dei distrattori<br />
A questo punto chiediamo ad Excel di eseguire quanto segue: se la cella con l’alternativa di risposta<br />
in esame è quella <strong>della</strong> risposta corretta, non visualizzare niente (“”), altrimenti restituisci la fre-<br />
quenza osservata:<br />
=SE($A221=B$210;””;B203)<br />
In questo modo avremo un valore solo se l’alternativa di risposta è quella sbagliata. Estendiamo poi<br />
la formula verso il basso e verso destra, in modo da ottenere la distribuzione di frequenza delle al-<br />
ternative errate per tutti gli item (Figura 4.3.17).<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 18<br />
Figura 4.3.17 Generazione <strong>della</strong> distribuzione di frequenza dei distrattori<br />
Adesso abbiamo bisogno di calcolare le frequenze attese, il che significa la somma delle frequenze<br />
delle risposte errate diviso per il numero di alternative errate, che è quattro. Prepariamo una nuova<br />
tabella sotto alle frequenze osservate (Figura 4.3.18).<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 19<br />
Figura 4.3.18 Preparazione del foglio di Excel per il calcolo delle frequenze attese nei distrattori<br />
La formula è: se la cella è vuota, non restituire niente; altrimenti, il restituire il totale delle errate di-<br />
viso per quattro:<br />
=SE(B221=””;””;B$212/4)<br />
Estendiamo poi le formule verso il basso e a destra (Figura 4.3.19)<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 20<br />
Figura 4.3.19 Calcolo delle frequenze attese nei distrattori<br />
Calcoliamo ora i termini del chi-quadrato, sempre in base al ragionamento: se la cella è vuota, la-<br />
( fO<br />
− f<br />
sciare vuota; altrimenti calcolare<br />
f<br />
=SE(B221=””;””;(B221-B228)^2/B228)<br />
Di nuovo estendiamo le formule per righe e per colonne (Figura 4.3.20)<br />
A<br />
A<br />
)<br />
2<br />
:<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 21<br />
Figura 4.3.20 Calcolo delle componenti del chi-quadrato<br />
Non ci resta ora che calcolare il chi-quadrato, associargli i gradi di libertà (gdlche sono sempre 3) e<br />
quindi la probabilità p che i dati osservati siano il risultato di un’ipotesi nulla vera. Il foglio di Excel<br />
deve essere preparato come in Figura 4.3.21<br />
Figura 4.3.21 Preparazione del foglio di Excel per il calcolo del chi-quadrato<br />
Per ottenere il chi-quadrato occorre sommare le cinque celle corrispondenti alle alternative di rispo-<br />
sta (quella vuota tanto non viene considerata). Il valore dei gradi di libertà è sempre 3, per cui basta<br />
inserirlo. Per il valore di p utilizziamo la funzione di Excel DISTRIB.CHI. Dobbiamo scrivere:<br />
=DISTRIB.CHI e poi, nella parentesi, vanno indicati valore di chi-quadrato e gradi di libertà, sepa-<br />
rati dal punto e virgola:<br />
=DISTRIB.CHI(B241;3)<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 22<br />
Per calcolare il coefficiente di contingenza C, utilizziamo la formula<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia<br />
C<br />
= 2<br />
2<br />
X<br />
. A partire da C<br />
X + n<br />
2<br />
C<br />
è possibile calcolare la dimensione dell’effetto w con la formula w = . Infine, e chiediamo<br />
2<br />
1 − C<br />
che venga scritta l’interpretazione <strong>della</strong> dimensione dell’effetto in base ai vincoli: se w inferiore a<br />
,10, allora scrivere “Trascurabile”; altrimenti, se inferiore a ,30, allora scrivere “Piccolo”; altrimen-<br />
ti, se inferiore a ,50, allora scrivere “Moderato”; altrimenti, scrivere “Grande”. Attenzione alle pa-<br />
rentesi. Estendiamo infine le formule verso destra e otteniamo i valori desiderati per tutti gli item.<br />
Tutto questo procedimento è illustrato in Figura 4.3.22.
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 23<br />
Figura 4.3.22 Preparazione del foglio di Excel per il calcolo del chi-quadrato<br />
Si può osservare come il valore di p sia particolarmente basso in buona parte degli item (attenzione<br />
a ,000: non è “uguale a zero” ma “inferiore a ,001”, per cui andrà riportato < ,001), tranne che in<br />
stp07, stp09 e stp10, dove p > ,05. In tutti questi casi, in effetti, la dimensione dell’effetto risulta<br />
“Piccola” o “Moderata”. Se in questi item, quindi, è rispettata l’assunzione dell’uniformità <strong>della</strong> di-<br />
stribuzione delle frequenze di risposta alle alternative errate, nelle altre no. I test post-hoc ci diranno<br />
quale alternativa è stata scelta con maggiore frequenza rispetto alle altre. Abbiamo visto prima co-<br />
me per ogni alternativa di risposta vada calcolato un valore di chi-quadrato critico che ha 1 grado di<br />
libertà e un valore di probabilità uguale a ,05 diviso il numero di alternative errate meno 1. Nel no-<br />
stro caso abbiamo 4 alternative di risposta errate, per cui dobbiamo dividere ,05 per 3. Otteniamo<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 24<br />
quindi ,0167. A questo punto utilizziamo una formula di Excel per ottenere il valore di chi-quadrato<br />
critico per ogni alternativa, che sarà:<br />
=INV.CHI(,0167;1)<br />
Il risultato è 5,73. Adesso, prepariamo il file con le alternative di risposta e nella cella accanto alla<br />
prima alternativa scriviamo:<br />
=SE(B234=””;””;se(B234
<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 25<br />
Figura 4.3.23 Esecuzione dei post-hoc per il test del chi-quadrato<br />
Adesso siamo in grado di stabilire per quali item e per quali alternative di risposta non vi è unifor-<br />
mità di distribuzione delle frequenze nei distrattori.<br />
Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />
Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia