21.06.2013 Views

Approfondimento 4.5 Valutazione statistica della ... - Ateneonline

Approfondimento 4.5 Valutazione statistica della ... - Ateneonline

Approfondimento 4.5 Valutazione statistica della ... - Ateneonline

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

<strong>Approfondimento</strong> <strong>4.5</strong><br />

<strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme<br />

delle risposte nei distrattori a un item di prestazione massima<br />

La valutazione <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte nei distrattori ad un item di pre-<br />

stazione massima è una caso particolare del test del chi-quadrato per un campione. Supponiamo di<br />

aver ottenuto una distribuzione di frequenza delle risposte come quelle riportate in Tabella 4.3.1<br />

Tabella 4.3.1 Distribuzioni di frequenza delle risposte alle alternative di un item (item1). La cella grigiata<br />

indica la frequenza <strong>della</strong> risposta corretta.<br />

Item1<br />

A 14<br />

B 55<br />

C 28<br />

D 3<br />

Nel caso dell’item in Tabella 4.3.1 osserviamo che 45 soggetti non hanno risposto correttamente<br />

all’item. Questo significa che dovremmo attenderci che, se la distribuzione delle frequenze di rispo-<br />

sta nei distrattori fosse uniforme, ogni distrattore dovrebbe avere frequenza uguale a 15, ossia 45<br />

diviso 3. Per verificare <strong>statistica</strong>mente se questa ipotesi è verosimile, si esegue un test del chi-<br />

quadrato per un campione. Le ipotesi sono:<br />

H0: la distribuzione delle frequenze nei distrattori è uniforme<br />

H1: la distribuzione delle frequenze nei distrattori non è uniforme<br />

Se possiamo rifiutare l’ipotesi nulla, ci dovrebbe essere almeno un distrattore in cui lo scostamento<br />

fra frequenza osservata e attesa sotto ipotesi di uniformità di distribuzione è <strong>statistica</strong>mente diverso<br />

da zero. Utilizziamo allora i test post-hoc per il test del chi-quadrato per un campione per approfon-<br />

dire l’analisi. Nella Tabella 4.3.2 sono riportati i calcoli necessari per il caso dell’Item 1<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 2<br />

Tabella 4.3.2 Riepilogo dei test omnibus e post-hoc per la distribuzione di frequenza dei distrattori -<br />

item 1<br />

Test Alternativa fo fa<br />

X<br />

2<br />

calcolato<br />

( f o − f a )<br />

=<br />

f<br />

Post-hoc A 14 15 0,07 X 2 (1) = 5,02<br />

Post-hoc C 28 15 11,27 X 2 (1) = 5,02<br />

Post-hoc D 3 15 9,60 X 2 (1) = 5,02<br />

Omnibus Somma 45 45 20,93 X 2 (2) = 5,99<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia<br />

a<br />

2<br />

X 2 (gdl) critico Decisione<br />

Scostamento non significativo<br />

Scostamento significativo<br />

Scostamento significativo<br />

Scostamento significativo<br />

Il test omnibus verifica l’ipotesi di uniformità <strong>della</strong> distribuzione. Il valore del chi-quadrato critico<br />

riportato in Tabella 4.3.2 è quello per α = .05 e gradi di libertà uguale al numero di distrattori meno<br />

uno, ossia 2. Per ottenere questo valore possono essere consultate le tavole di chi-quadrato in un<br />

qualunque manuale di <strong>statistica</strong> o utilizzare la funzione di Excel =inv.chi(,05;2).<br />

La regola di decisione è:<br />

se X 2 calcolato > X 2 critico → è troppo improbabile che i dati osservati siano il risultato del fatto<br />

che H0 è vera, per cui la rifiutiamo → la distribuzione non è uniforme<br />

se X 2 calcolato ≤ X 2 critico → non è così improbabile che i dati osservati siano il risultato del fatto<br />

che H0 è vera, per cui la accettiamo → la distribuzione è uniforme<br />

Dato che il chi-quadrato calcolato (20,93) è maggiore di quello critico (5,99) possiamo rifiutare<br />

l’ipotesi nulla di uniformità <strong>della</strong> distribuzione. A livello statistico, quindi, le frequenze di risposta<br />

errata non appaiono distribuite uniformemente nei distrattori.<br />

Per verificare in quale o quali distrattori lo scostamento dall’uniformità sia maggiore ese-<br />

guiamo i test post-hoc. In questo caso il valore del livello di significatività α va diviso per il numero<br />

di gradi di libertà (numero distrattori − 1) per controllare l’inflazione dell’errore di I tipo (si veda a<br />

questo proposito Chiorri, 2010, <strong>Approfondimento</strong> 4.1). Se abbiamo fissato a α = .05, avremo che<br />

α/2 = ,025. Ogni confronto fra frequenze osservate e attese ha 1 grado di libertà. Il valore di chi-<br />

quadrato critico per α = ,025 e gdl = 1 [in Excel =inv.chi(,025;1)] è 5,02. La regola di decisione è:


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 3<br />

se X 2 calcolato > X 2 critico → lo scostamento è significativo<br />

se X 2 calcolato ≤ X 2 critico → lo scostamento non è significativo<br />

Nel caso <strong>della</strong> Tabella 4.3.2 abbiamo che lo scostamento non è significativo per l’alternativa di ri-<br />

sposta A, mentre lo è per le alternative di risposta C e D. In base ai dati delle frequenze osservate e<br />

attese riportate in Tabella 4.3.2 è facile osservare come l’alternativa C sia stata scelta più di quanto<br />

ci si sarebbe aspettati, mentre l’alternativa D è stata scelta con minore frequenza di quanto atteso.<br />

Poiché la procedura appena presentata è basata su un test del chi-quadrato, è consigliabile calcolare<br />

sempre la dimensione dell’effetto per evitare distorsioni nelle decisioni legate ad ampiezze campio-<br />

narie troppo ampie o troppo basse. La dimensione dell’effetto w di un test chi-quadrato si ottiene<br />

con la seguente formula (Cohen, 1988):<br />

w =<br />

X<br />

n<br />

2<br />

dove X 2 è il valore del chi-quadrato calcolato e n il numero di soggetti. La Tabella 4.3.3 riporta le<br />

linee guida per l’interpretazione di w.<br />

Tabella 4.3.3 Interpretazione <strong>della</strong> dimensione dell’effetto w per il test chi-quadrato<br />

Valore di w Dimensione dell’effetto<br />

w < 0,10 Trascurabile<br />

0,10 < w < 0,30 Debole<br />

0,30 < w < 0,50 Moderata<br />

w > 0,50 Grande<br />

20,<br />

93<br />

Nel caso che stiamo considerando, la dimensione dell’effetto generale è w = = 0,<br />

68 , e dun-<br />

45<br />

que è una dimensione dell’effetto grande.<br />

In base a questi risultati possiamo concludere che le risposte errate non sembrano ben distri-<br />

buite nei distrattori. Se invece la distribuzione nei distrattori fosse stata quella di Tabella 4.3.4, la<br />

conclusione sarebbe stata diversa:<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 4<br />

Tabella 4.3.4 Distribuzioni di frequenza delle risposte alle alternative di un item (item 2). La cella grigiata<br />

indica la frequenza <strong>della</strong> risposta corretta.<br />

I risultati sono riassunti nella Tabella 4.3.5.<br />

Item2<br />

A 8<br />

B 11<br />

C 70<br />

D 11<br />

Tabella 4.3.5 Riepilogo dei test omnibus e post-hoc per la distribuzione di frequenza dei distrattori -<br />

item 2<br />

Test Alternativa fo fa<br />

X<br />

2<br />

calcolato<br />

( f o − f a )<br />

=<br />

f<br />

Post-hoc A 8 10 0,40 X 2 (1) = 5,02<br />

Post-hoc B 11 10 0,10 X 2 (1) = 5,02<br />

Post-hoc D 11 10 0,10 X 2 (1) = 5,02<br />

Omnibus Somma 30 30 0,60 X 2 (2) = 5,99<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia<br />

a<br />

2<br />

X 2 (gdl) critico Decisione<br />

Scostamento non significativo<br />

Scostamento non significativo<br />

Scostamento non significativo<br />

Scostamento non significativo<br />

In questo caso il chi-quadrato calcolato è inferiore a quello critico sia per il test omnibus (0,60 <<br />

5,99), sia per tutte e tre le categorie di distrattori. La dimensione dell’effetto risulta<br />

0,<br />

60<br />

w = = 0,<br />

14 , dunque nella gamma debole. Possiamo quindi concludere che le risposte errate<br />

30<br />

sono sostanzialmente equidistribuite nei distrattori.<br />

Eseguire la valutazione <strong>statistica</strong> <strong>della</strong> distribuzione uniforme dei distrattori con<br />

Excel<br />

Nel file POLITOMICI.xls troviamo le risposte a 10 item di un test di prestazione massima in cui le<br />

risposte sono codificate con la lettera corrispondente alla risposta data dal soggetto o con BLANK<br />

nel caso di risposta omessa o multipla (Figura 4.3.1)


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 5<br />

Figura 4.3.1 Dataset con item di prestazione massima in cui sono possibili risposte omesse o multiple<br />

(BLANK)<br />

Nella prima riga di Figura 4.3.1, nelle celle a sfondo giallo, abbiamo la chiave di risposta, ossia le<br />

risposte corrette. Per quanto la procedura che sta per essere illustrata possa essere realizzata anche<br />

con SPSS (vedi Strumenti Informatici 4.1), con Excel in alcuni casi può essere più rapida.<br />

Nelle celle accanto a quelle contenenti i dati incolliamo, dopo averla copiata (Selezione delle<br />

celle → Tasto Destro del Mouse → Copia), la riga con i nomi degli item (Figura 4.3.2)<br />

Figura 4.3.2 Preparazione del foglio di Excel per lo scoring<br />

Nella cella vuota sotto stp01 sulla destra, scriviamo la formula che permette di fare lo scoring in ba-<br />

se al seguente criterio: +1 risposta corretta, -0,25 risposta errata, 0 se BLANK. Utilizziamo la fun-<br />

zione di Excel SE ed espresso in parole il concetto è il seguente:<br />

Se la cella che contiene la risposta del soggetto è uguale alla chiave di risposta, allora 1; altrimenti<br />

se è uguale a BLANK uguale 0, altrimenti -0,25.<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 6<br />

Che nella funzione di Excel diventa:<br />

=SE(A3=A$1;1;SE(A3=”BLANK”;0;-0,25))<br />

dove A3 è la cella che contiene la risposta del primo soggetto, e A1 è la cella che contiene la rispo-<br />

sta corretta. L’espressione A$1 indica che la riga 1 va mantenuta fissa, in quanto la procedura di<br />

riempimento per trascinamento farebbe sì che il riferimento alla cella che contiene la risposta cor-<br />

retta venga cambiata per ogni soggetto. L’1 dopo il primo punto e virgola indica che cosa deve esse-<br />

re visualizzato se l’uguaglianza è vera. Ciò che viene dopo il secondo punto e virgola indica invece<br />

cosa succede se la risposta inserita non è corretta: se è uguale a BLANK viene visualizzato 0, altri-<br />

menti la risposta è errata, per cui -0,25. Si noti che se la condizione riguarda un numero basta inseri-<br />

re il numero, se è un dato testuale occorre indicarlo fra virgolette. Inoltre occorre prima assicurarsi<br />

che le risposte del dataset siano solo lettere da A ad E e BLANK. Una volta insrita la formula nella<br />

cella L3 e premuto INVIO si ottiene il risultato, che è 1, perché il soggetto ha risposto correttamente<br />

(Figura 4.3.3)<br />

Figura 4.3.3 Risultato <strong>della</strong> procedura di scoring<br />

Adesso selezioniamo la cella con la formula, spostiamo il puntatore sul quadratino nero in basso a<br />

destra <strong>della</strong> cella, e quando l’indicatore diventa la crocetta nera, premiamo il Tasto Sinistro del<br />

Mouse. Tenendo premuto il tasto del mouse ci spostiamo verso destra fino a riempire le celle corri-<br />

spondenti ad ogni item. Rilasciando il tasto del mouse si ottiene l’estensione <strong>della</strong> formula a tutte le<br />

celle (Figura 4.3.4).<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 7<br />

Figura 4.3.4 Risultato dell’estensione <strong>della</strong> formula di scoring agli altri item<br />

Conviene sempre controllare che la formula sia stata estesa in modo corretto: in questo caso sì, per-<br />

ché a stp03 c’è un BLANK e il punteggio assegnato è 0, la risposta alla domanda stp04 è errata e<br />

infatti è stato assegnato -0,25, e così via. Ad ogni modo, andando su ogni cella dove è stato generato<br />

lo scoring è possibile controllare la formula corrispondente <strong>della</strong> riga:<br />

Si presti sempre attenzione a che i riferimenti <strong>della</strong> chiave di risposta siano quelli corretti.<br />

Selezioniamo ora la prima riga di celle con lo scoring, e con lo stesso procedimento di estensione<br />

delle formule visto prima e riempiamo le righe sottostanti, così da ottenere i punteggi per tutti i sog-<br />

getti. Si ottiene così lo scoring completo (Figura 4.3.5)<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 8<br />

Figura 4.3.5 Completamento dello scoring<br />

A questo punto è anche facile ottenere il punteggio al test mediante la funzione Somma. Scriviamo<br />

“Punteggio” in una delle colonne accanto all’ultimo item e scriviamo =SOMMA( e una volta scritta<br />

questa espressione (senza premere INVIO), è possibile selezionare direttamente col mouse la riga di<br />

celle che contiene i punteggi del soggetto. Una volta chiusa la parentesi e premuto invio si otterrà il<br />

punteggio totale per il soggetto (Figura 4.3.6)<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 9<br />

Figura 4.3.6 Calcolo del punteggio totale<br />

Di nuovo, con la procedura di estensione <strong>della</strong> formula verso il basso è possibile rapidamente otte-<br />

nere il punteggio per tutti i soggetti. Per sicurezza controllate sempre che i conti tornino per tutti i<br />

soggetti.<br />

Potremmo poi essere interessati a determinare, soggetto per soggetto, lo stile risposta, inteso<br />

come numero di risposte corrette, errate o sbagliate. Scriviamo allora “Corrette”, “Errate” ed “O-<br />

messe” a destra di “Punteggio” (Figura 4.3.7) e con la funzione CONTA.SE andiamo a calcolare<br />

questi dati:<br />

Figura 4.3.7 Preparazione del foglio di Excel per il calcolo del numero di risposte corrette, errate e<br />

omesse<br />

Sotto a “Corrette” scriviamo:<br />

=CONTA.SE(L3:U3;1)<br />

che vuol dire: “Conta quante celle nell’intervallo che va da L3 a U3 contengono il valore 1”. E poi<br />

Invio. Selezioniamo la cella sotto a Errate e ripetiamo lo stesso procedimento per le risposte errate:<br />

=CONTA.SE(L3:U3;-0,25)<br />

Infine, selezioniamo la cella sotto a Omesse e ripetiamo lo stesso procedimento per le risposte o-<br />

messe:<br />

=CONTA.SE(L3:U3;0)<br />

A questo punto selezioniamo le tre celle ed estendiamo le formule a tutti i soggetti (Figura 4.3.8)<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 10<br />

Figura 4.3.8 Calcolo del numero di risposte corrette, errate ed omesse per tutti i soggetti<br />

In base a queste informazioni potremmo anche calcolare, indipendentemente dallo scoring iniziale,<br />

il punteggio corretto per guessing (vedi <strong>Approfondimento</strong> 4.7) mediante la formula:<br />

β<br />

α C = α −<br />

k −1<br />

dove:<br />

• αC = punteggio corretto per l’effetto di guessing<br />

• α = numero grezzo di risposte esatte<br />

• β = numero di risposte errate<br />

• k = numero di alternative<br />

Nel nostro caso k = 5<br />

Scriviamo allora in una delle celle sulla destra “Guessing” e impostiamo la formula:<br />

=Y3-(Z3/4)<br />

dove Y3 contiene il numero di risposte corrette del primo soggetto, e Z3 il numero di risposte errate<br />

(Figura 4.3.9)<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 11<br />

Figura 4.3.9 Calcolo <strong>della</strong> correzione per guessing<br />

Il fatto che il punteggio corretto per guessing sia identico al punteggio ottenuto con lo scoring che<br />

abbiamo visto non è casuale. Infatti estendendo la formula a tutti i soggetti i punteggi coincidono<br />

sempre: del resto, forse avevate già intuito che la procedura di scoring che abbiamo adottato è equi-<br />

valente alla formula <strong>della</strong> correzione per guessing. Ad ogni modo, abbiamo visto un’altra procedura<br />

che può esserci utile.<br />

Se adesso dovessimo realizzare la classifica dei punteggi, occorrerebbe determinare il rango<br />

di ogni punteggio all’interno di quelli ottenuti. Scriviamo allora “Rango” in una delle celle a destra<br />

(Figura 4.3.10)<br />

Figura 4.3.10 Preparazione del foglio di Excel per il calcolo del rango<br />

Nella cella sotto a “Rango” scriviamo:<br />

=RANGO(AC3;$AC$3:$AC$200;0)<br />

che vuole dire: “determina il rango del punteggio in AC3 all’interno del set di dati compreso da<br />

AC3 a AC200, in ordine discendente (vogliamo che il più bravo abbia rango = 1)”. Se avessimo vo-<br />

luto un ordine ascendente, avremmo dovuto inserire 1 al posto 0 prima dell’ultima parentesi. I sim-<br />

boli del dollaro ($) servono per “bloccare” l’insieme di celle che funge da riferimento per la deter-<br />

minazione del rango (o posizione in classifica). Premendo Invio si ottiene il rango del soggetto, e la<br />

formula può essere estesa a tutti gli altri soggetti come visto in precedenza.<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 12<br />

Passiamo ora a lavorare sugli item. Ci interesserà vedere per ogni item quante volte è stata scelta<br />

una certa alternativa di risposta, ed eventualmente valutare la distribuzione di frequenza nelle alter-<br />

native errate. Anche questo compito può essere eseguito con SPSS, ma con Excel può essere più<br />

pratico.<br />

Innanzitutto aggiungiamo una colonna alla sinistra <strong>della</strong> prima nel set di dati. Selezioniamo la prima<br />

colonna, Tasto Destro del Mouse, Inserisci. Poi andiamo in basso fino alla fine del dataset e sempre<br />

nella prima colonna scriviamo le possibili alternative di risposta (Figura 4.3.11)<br />

Figura 4.3.11 Preparazione del foglio di Excel per il calcolo delle frequenze di scelta di ogni alternativa<br />

di risposta<br />

Nella cella accanto a quella di A, scriviamo la formula che ci permette di contare quante volte la ri-<br />

sposta A è stata fornita nella colonna che contiene le risposte all’item stp01<br />

=CONTA.SE(B$3:B$200;$A202)<br />

dove A202 è la cella che contiene il valore “A”. Così facendo, quando scorreremo verso il basso le<br />

celle, Excel considererà ogni volta una nuova alternativa di risposta (B, C, D, etc.). Inoltre, bloc-<br />

chiamo le celle da 3 a 200 perché poi ci servirà di estendere le formule verso il basso e la colonna A<br />

perché ci servirà ad estendere le celle verso destra. Dopo aver premuto Invio avremo il risultato. E-<br />

stendendo le formule verso destra calcoliamo quante volte è stato risposto A per ognuno degli item.<br />

Estendendo adesso questa selezione verso il basso otteniamo il riempimento del resto dei dati. Con-<br />

viene riportare sopra ad ogni colonna il nome dell’item (Figura 4.3.12).<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 13<br />

Figura 4.3.12 Calcolo del numero di volte che ogni alternativa di risposta è stata scelta per ogni item<br />

Adesso sappiamo per ogni item quante volte è comparsa ogni alternativa di risposta. A questo pun-<br />

to, ci serve di sapere, al netto delle BLANK, come si sono distribuite le risposte errate. Un risultato<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 14<br />

che deporrebbe a favore dell’adeguatezza dell’item e in particolare delle sue alternative di risposta<br />

sarebbe quello per cui le risposte errate sono distribuite uniformemente nelle alternative sbagliate (o<br />

distrattori). Intanto calcoliamo tramite Excel la percentuale di risposte corrette, errate ed omesse<br />

(BLANK). Copiamo la riga delle risposte corrette in una riga a “portata di mano” e scriviamo le eti-<br />

chette delle righe (Figura 4.3.13)<br />

Figura 4.3.13 Preparazione del foglio di Excel per il calcolo del numero di risposte giuste, sbagliate<br />

ed omesse per ogni item<br />

Nella cella corrispondente a Giuste <strong>della</strong> colonna di stp01 chiederemo di contare tutte le celle<br />

dell’intera colonna che contengono la lettera E, mentre nella cella corrispondente a Omesse chiede-<br />

remo di riportare il già calcolato numero di celle che contengono l’esito BLANK. La frequenza nel-<br />

la cella corrispondente a Sbagliate sarà uguale alla differenza fra il totale dei soggetti e la somma<br />

fra Giuste e Omesse (Figura 4.3.14).<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 15<br />

Figura 4.3.14 Calcolo del numero di risposte giuste, sbagliate ed omesse per il primo item<br />

A questo punto estendiamo le formule a tutte le celle verso destra e otteniamo i valori desiderati per<br />

ogni item (Figura 4.3.15).<br />

Figura 4.3.15 Calcolo del numero di risposte giuste, sbagliate ed omesse per ogni item<br />

Per trasformare i dati di frequenza in proporzioni, dobbiamo dividere le frequenze per il totale dei<br />

soggetti (in questo caso 198). Estendiamo poi le formule prima verso destra e poi verso il basso,<br />

completando la tabella (Figura 4.3.16).<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 16<br />

Figura 4.3.15 Calcolo <strong>della</strong> percentuale di risposte giuste, sbagliate ed omesse per ogni item<br />

Volendo, le celle in esame possono essere formattate come percentuali.<br />

La procedura in Excel per eseguire il test del chi-quadrato per l’uniformità <strong>della</strong> distribuzio-<br />

ne di frequenza nei distrattori potrà ora apparire un po’ elaborata, per così dire, ma con un po’ di<br />

pazienza si raggiunge lo scopo.<br />

Per prima cosa otteniamo, item per item, la distribuzione di frequenza delle risposte sbagliate. Scri-<br />

viamo le cinque alternative di risposta sulla colonna all’estrema sinistra (Figura 4.3.16)<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 17<br />

Figura 4.3.16 Preparazione del foglio di Excel per l’analisi dell’uniformità dei distrattori<br />

A questo punto chiediamo ad Excel di eseguire quanto segue: se la cella con l’alternativa di risposta<br />

in esame è quella <strong>della</strong> risposta corretta, non visualizzare niente (“”), altrimenti restituisci la fre-<br />

quenza osservata:<br />

=SE($A221=B$210;””;B203)<br />

In questo modo avremo un valore solo se l’alternativa di risposta è quella sbagliata. Estendiamo poi<br />

la formula verso il basso e verso destra, in modo da ottenere la distribuzione di frequenza delle al-<br />

ternative errate per tutti gli item (Figura 4.3.17).<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 18<br />

Figura 4.3.17 Generazione <strong>della</strong> distribuzione di frequenza dei distrattori<br />

Adesso abbiamo bisogno di calcolare le frequenze attese, il che significa la somma delle frequenze<br />

delle risposte errate diviso per il numero di alternative errate, che è quattro. Prepariamo una nuova<br />

tabella sotto alle frequenze osservate (Figura 4.3.18).<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 19<br />

Figura 4.3.18 Preparazione del foglio di Excel per il calcolo delle frequenze attese nei distrattori<br />

La formula è: se la cella è vuota, non restituire niente; altrimenti, il restituire il totale delle errate di-<br />

viso per quattro:<br />

=SE(B221=””;””;B$212/4)<br />

Estendiamo poi le formule verso il basso e a destra (Figura 4.3.19)<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 20<br />

Figura 4.3.19 Calcolo delle frequenze attese nei distrattori<br />

Calcoliamo ora i termini del chi-quadrato, sempre in base al ragionamento: se la cella è vuota, la-<br />

( fO<br />

− f<br />

sciare vuota; altrimenti calcolare<br />

f<br />

=SE(B221=””;””;(B221-B228)^2/B228)<br />

Di nuovo estendiamo le formule per righe e per colonne (Figura 4.3.20)<br />

A<br />

A<br />

)<br />

2<br />

:<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 21<br />

Figura 4.3.20 Calcolo delle componenti del chi-quadrato<br />

Non ci resta ora che calcolare il chi-quadrato, associargli i gradi di libertà (gdlche sono sempre 3) e<br />

quindi la probabilità p che i dati osservati siano il risultato di un’ipotesi nulla vera. Il foglio di Excel<br />

deve essere preparato come in Figura 4.3.21<br />

Figura 4.3.21 Preparazione del foglio di Excel per il calcolo del chi-quadrato<br />

Per ottenere il chi-quadrato occorre sommare le cinque celle corrispondenti alle alternative di rispo-<br />

sta (quella vuota tanto non viene considerata). Il valore dei gradi di libertà è sempre 3, per cui basta<br />

inserirlo. Per il valore di p utilizziamo la funzione di Excel DISTRIB.CHI. Dobbiamo scrivere:<br />

=DISTRIB.CHI e poi, nella parentesi, vanno indicati valore di chi-quadrato e gradi di libertà, sepa-<br />

rati dal punto e virgola:<br />

=DISTRIB.CHI(B241;3)<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 22<br />

Per calcolare il coefficiente di contingenza C, utilizziamo la formula<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia<br />

C<br />

= 2<br />

2<br />

X<br />

. A partire da C<br />

X + n<br />

2<br />

C<br />

è possibile calcolare la dimensione dell’effetto w con la formula w = . Infine, e chiediamo<br />

2<br />

1 − C<br />

che venga scritta l’interpretazione <strong>della</strong> dimensione dell’effetto in base ai vincoli: se w inferiore a<br />

,10, allora scrivere “Trascurabile”; altrimenti, se inferiore a ,30, allora scrivere “Piccolo”; altrimen-<br />

ti, se inferiore a ,50, allora scrivere “Moderato”; altrimenti, scrivere “Grande”. Attenzione alle pa-<br />

rentesi. Estendiamo infine le formule verso destra e otteniamo i valori desiderati per tutti gli item.<br />

Tutto questo procedimento è illustrato in Figura 4.3.22.


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 23<br />

Figura 4.3.22 Preparazione del foglio di Excel per il calcolo del chi-quadrato<br />

Si può osservare come il valore di p sia particolarmente basso in buona parte degli item (attenzione<br />

a ,000: non è “uguale a zero” ma “inferiore a ,001”, per cui andrà riportato < ,001), tranne che in<br />

stp07, stp09 e stp10, dove p > ,05. In tutti questi casi, in effetti, la dimensione dell’effetto risulta<br />

“Piccola” o “Moderata”. Se in questi item, quindi, è rispettata l’assunzione dell’uniformità <strong>della</strong> di-<br />

stribuzione delle frequenze di risposta alle alternative errate, nelle altre no. I test post-hoc ci diranno<br />

quale alternativa è stata scelta con maggiore frequenza rispetto alle altre. Abbiamo visto prima co-<br />

me per ogni alternativa di risposta vada calcolato un valore di chi-quadrato critico che ha 1 grado di<br />

libertà e un valore di probabilità uguale a ,05 diviso il numero di alternative errate meno 1. Nel no-<br />

stro caso abbiamo 4 alternative di risposta errate, per cui dobbiamo dividere ,05 per 3. Otteniamo<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 24<br />

quindi ,0167. A questo punto utilizziamo una formula di Excel per ottenere il valore di chi-quadrato<br />

critico per ogni alternativa, che sarà:<br />

=INV.CHI(,0167;1)<br />

Il risultato è 5,73. Adesso, prepariamo il file con le alternative di risposta e nella cella accanto alla<br />

prima alternativa scriviamo:<br />

=SE(B234=””;””;se(B234


<strong>Approfondimento</strong> <strong>4.5</strong> – <strong>Valutazione</strong> <strong>statistica</strong> <strong>della</strong> distribuzione uniforme delle risposte 25<br />

Figura 4.3.23 Esecuzione dei post-hoc per il test del chi-quadrato<br />

Adesso siamo in grado di stabilire per quali item e per quali alternative di risposta non vi è unifor-<br />

mità di distribuzione delle frequenze nei distrattori.<br />

Carlo Chiorri, Teoria e tecnica psicometrica. Costruire un test psicologico<br />

Copyright © 2011 The McGraw-Hill Companies S.r.l., Publishing Group Italia

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!