Università degli Studi di Roma “La Sapienza” - Padis

L’indice, dunque, più comunemente usato per l’accordo è il kappa di Cohen (1960), il quale
tiene conto della probabilità di accordo dovuta al caso. Il kappa è un indice che caratterizza
l’accordo tra le applicazioni di uno schema di codifica da parte di due osservatori. Varia da 0
(nessun accordo) a 1 (accordo perfetto). L’espressione con cui viene calcolato K è:
K = (Pobs – Pexp) / (1 – Pexp)
nella quale Pobs è la proporzione di accordo realmente osservata e Pexp è la proporzione di
accordo dovuta al caso. La probabilità di accordo per caso si ricava dalla probabilità di
occorrenza congiunta di due eventi indipendenti, che è data dal prodotto delle probabilità
semplici. In sostanza K esprime la proporzione di varianza vera rispetto a quella totale,
correggendo per il caso. Questo indice è particolarmente adatto quando si vogliono confrontare
tra loro le rilevazioni effettuate da due osservatori utilizzando uno schema di codifica
multicategoriale.
Per l’accordo tra osservatori la pura significatività (K = 1) è quasi sempre uno standard
troppo alto; bisogna, piuttosto, fare riferimento alla grandezza assoluta. Una volta ottenuto il
valore di K, secondo Fleiss (1981) si considera un K tra .40 e .60 come medio, tra .60 e .75 buono
e superiore a .75 eccellente, mentre Bakeman e Gottman (1997) suggeriscono la regola di
considerare un valore di K < .75 in qualche modo problematico.
Poiché la presenza di accordo non indica necessariamente attendibilità, oltre ai calcoli del
kappa è possibile approfondire le analisi delle misure sull’attendibilità, analizzando più
formalmente l’attendibilità delle misure riassuntive. Un approccio standard è quello basato sulla
teoria della generalizzabilità (Cronbach, et al., 1972).
Diversi approcci alla stima dell’attendibilità inter-osservatori condividono il comune difetto
di produrre un solo indice, ignorando così la molteplicità delle potenziali fonti di errore delle
misure dell’osservazione (Pedhazur e Schmelkin, 1991), come ad esempio l’errore sistematico.
Spesso i dati osservati, essendo troppo numerosi, vengono presentati in maniera ridotta con
statistiche riassuntive. Di conseguenza i metodi che valutano l’attendibilità delle misure
riassuntive, le quali sono gli indici utilizzati di fatto nella ricerca, sono la base migliore per
valutare l’accuratezza delle misure.
La teoria della generalizzabilità può essere intesa come un’estensione e un miglioramento
del modello dell’errore casuale (Ercolani, Perugini, 1997). Mentre nella teoria classica c’è un
unico errore indifferenziato, per la teoria della generalizzabilità ci sono tanti errori quante sono le
sfaccettature (facets) implicate nell’operazione specifica di misurazione; nel caso della ricerca
osservativa, queste dimensioni (facets) sono gli osservatori. La variabilità complessiva di un
punteggio viene pertanto scomposta in tante fonti distinte quanti sono i fattori implicati.
Riprendendo la formula di base della teoria classica, Xt = X∞ + Xe, considerando per
esempio tre sfaccettature A, B e C, possiamo riscrivere la formula come:
Xt= VA + VB +VC + Xe
Non c’è un solo punteggio vero, ma tanti punteggi veri quante sono le sfaccettature. La
porzione di errore perciò sarà minore della porzione di errore che si ottiene con il modello
classico, perché le altre porzioni di punteggio vero in parte sono una suddivisione del punteggio
vero, in parte catturano l’errore del modello classico.
E’ stato dimostrato (Pedhazur, Schmelkin, 1991) che la teoria della generalizzabilità, con la
sua capacità di distinguere tra le differenti fonti di variabilità (per esempio osservatori, soggetti,
occasioni) è altamente appropriata per stimare l’attendibilità interosservatori; per quanto riguarda
l’attendibilità di un sistema di categorie, l’analisi di generalizzabilità sulle misure riassuntive
32