Sobre Estándares y Evaluaciones en América Latina. - Observatorio ...

88SOBRE ESTÁNDARES Y EVALUACIONES EN AMÉRICA LATINAEtapa 3.Revisión de ítems que se incluirán en las pruebas• En general, en la Región el desarrollo y validación de las pruebasempleadas han sido limitados, pues no se ha puesto la debida atencióna los procesos de comprobación de la calidad de la estructura de losítems y a establecer claramente la relación de cada ítem con el contenidoque pretende medir Esto es particularmente serio para efectos deestablecer la evidencia de validez necesaria para la interpretación yuso del resultado de la medición. La revisión de los ítems deberladividirse en dos aspectos: (i) una revisión estructural sistemática, hechapor jueces especialistas que dominen la disciplina para la que seescribieron los ítems y tengan amplia experiencia en la escritura deítems de selección múltiple; y (ii) una comprobación de la relaciónentre el ítem y el contenido que se supone que este mide, también através de jueces que tengan una experiencia reciente en la enseñanzaen el nivel en el que se aplicará la prueba y dominio de los conocimientosde la disciplina. Ellos trabajarán independientemente, juzgandosi cada ítem mide o no el contenido que se supone que mide.Una mayoría calificada de los jueces (alrededor de un 75%) tendráque mostrar acuerdo en la relación de cada ítem con un contenido.Etapa 4.Aplicación de prueba pilotoEn esta etapa se observan dos debilidades básicas:• Casi nunca se establece como objetivo de la aplicación de la pruebapiloto la obtención de retroalimentación sobre la prueba por parte delos estudiantes y de los docentes. La recolección de información cualitativaacerca del contenido que cubren las preguntas de la prueba ysobre la claridad y comprensión de los ítems sería de vital importanciapara el esfuerzo por acumular evidencia de validez. Esto podríalograrse mediante una discusión con los estudiantes y una conversacióncon el maestro.• La selección de los ítems que formarán las pruebas definitivas sobrela base de las preguntas que muestran una dificultad cercana al 50%y una discriminación de 0.4, como se suele hacer, tiene algunas02-Ravela y otros 888/1/07, 19:31