Psicometria-Menesesetal

Editorial UOC 133 Capítulo II. Fiabilidad
Inmediatamente después de que los jueces han realizado sus valoraciones, se
presentan a todo el panel de expertos los resultados de cada uno de los miembros
y se procede a discutir las razones de las posibles diferencias. En esta fase se
promueve una discusión abierta entre los jueces para que defiendan y razonen
el porqué de sus valoraciones. El objetivo es que la discusión facilite el consenso
entre los evaluadores que permita una convergencia en el punto de corte. Una
vez finalizada la discusión, se les ofrece la oportunidad de volver a valorar cada
una de las secciones del test. Por último, una vez recogidos los datos de la segunda
valoración, se comentan en una segunda ronda las diferentes puntuaciones
para intentar una mayor convergencia en el punto de corte del test.
Se solicitó a cuatro jueces que valoraran una prueba de psicometría de 60 ítems. La
prueba se dividió en cuatro secciones (análisis de los ítems, fiabilidad, validez y transformación
de puntuaciones) y cada sección presentaba un número diferente de ítems.
En la tabla siguiente se presenta por columnas el número de ítems que cada juez considera
que contestará correctamente un sujeto con conocimientos mínimos para superar
la prueba. En la última fila se recoge el sumatorio de ítems de cada experto, que
representa su punto de corte recomendado para la prueba. En las dos últimas columnas
se muestran las medias y desviaciones típicas (DT) de estas valoraciones y el porcentaje
de ítems que serían contestados correctamente en cada sección.
Tabla 17. Ejemplo hipotético del método del consenso directo
Evaluadores
A B C D
Secciones
Número de ítems con-testados
correctamente
Media
y DT
%
Anàlisis de los ítems
(14 ítems)
8 7 8 8 7,75
(0,5)
Evaluadores
A B C D
64,58
Secciones
Número de ítems con-testados
correctamente
Media
y DT
%
Fiabilidad (20 ítems) 14 12 13 10 12,25
(1,71)
Validez (16 ítems) 10 11 10 11 10,50
(0,58)
68,06
65,63
Transformación de
puntuaciones (10 ítems)
6 7 8 7 7,00
(0,82)
70
Sumatorio 38 37 39 36 37,5 62,50