Sobre Estándares y Evaluaciones en América Latina. - Observatorio ...

LOS PRÓXIMOS PASOS91asignatura y de dos personas más seleccionadas entre el grupo de escritores de ítems, yacapacitados, que tiene el DPN. Estas dos personas adicionales por asignatura fueron profesoresde educación primaria que en ocasiones anteriores habían probado su habilidad para escribirítems de selección múltiple.A continuación se llevaron a cabo dos procesos de vital importancia:1.La revisión estructural de los ítems. Para ello se contrataron dos personas en cada asignatura.Estos profesionales tenían la doble característica de poseer una gran experiencia en la preparacióny revisión de ítems de selección múltiple, y un reconocido dominio de la materia. Para quesirviera de base al trabajo de estos pares de jueces, se preparó una hoja de cotejo que resumía lasprincipales características de la estructura de los ítems que ellos debieron examinar. Comoproducto de esta revisión se modificaron algunos ítems y se desecharon unos pocos.2.El establecimiento del indice de la congruencia de cada uno de los ítems con su objetivoamplificado. Para esto se contrataron 10 jueces por asignatura, quienes tenían un probadodominio de la materia y alguna experiencia de enseñanza en la Educación Primaria. Seprepararon formularios en los cuales los jueces vertieron su juicio independiente y se acondicionóun local para facilitar su trabajo y el control que sobre ese trabajo tuvieron querealizar los especialistas del equipo del DPN. Mediante la lectura óptica de los formulariosempleados por los jueces, se capturó la información producida en esta fase de juicio. Con unprograma de cómputo apropiado se calculó el índice de congruencia para cada ítem. Losítemes con índices de congruencia menores a 0,75 fueron desechados.En cada asignatura, con los ítems que presentaban índices de congruencia iguales o mayoresa 0,75 se constituyeron folletos o cuadernillos de prueba con 40 ítems cada uno; cuatro ítemspor cada objetivo amplificado. Se constituyeron seis cuardenillos diferentes, puesto que setenían 20 objetivos amplificados y hasta 12 ítems por objetivo. En los casos en que sehubiesen desechado ítems por los procesos antes descritos, y no se tuvieran los 12 ítems porobjetivo, se repetían ítems en algunos de los diferentes cuadernillos. Se seleccionó unamuestra no aleatoria de escuelas de diferentes características geográficas, sociales, de tamañoy de financiamiento (públicas-privadas-subvencionadas). La meta era que un mínimo de200 estudiantes respondieran cada formulario de cada asignatura. Además, se planificó larecolección de información cualitativa sobre los ítems, mediante las discusiones que setuvieron con los estudiantes acerca de la claridad y comprensión de los ítems. A los maestrosde los grupos de estudiantes a los que se les aplicaron los cuadernillos de prueba, también seles solicitó y se registró su opinión acerca de los ítems. Esta información cualitativa sirviópara detectar deficiencias de lenguaje en los ítems y se utilizó para modificarlos. Con lasrespuestas a los ítems y empleando los programas de cómputo apropiados, se calcularon ladificultad y la discriminación de Brenann para cada ítem.Para cada objetivo amplificado se hizo un banco de ítems con aquellos ítems que presentaban losindices de congruencia de más alto valor y que, además, tuvieran un valor de discriminacióncercano a cero y una dificultad mayor al 50% (el índice de dificultad señala el porcentaje dealumnos que contesta correctamente, lo que significa que si es mayor al 50% es un ítem relativamentefácil). De este banco de ítems se seleccionaron aleatoriamente cuatro ítemes para medir cadaobjetivo amplificado. De acuerdo con la definición de prueba en la medición referida a criterios,estos cuatro ítems constituían una prueba. En cada asignatura, se constituyeron dos folletos ocuadernillos, y en cada uno de ellos se reunieron 40 ítems pertenecientes a 10 objetivos amplificados.De esta manera se cubrieron los 20 objetivos amplificados para los que se desarrollaron ítems.Los folletos o cuadernillos se aplicaron a muestras de estudiantes seleccionados aleatoriamente oestratificadas por región educativa, tamaño de escuela y zona geográfica.Una vez analizada la información, se escribieron varios tipos de informes. A las escuelas yautoridades técnicas regionales y centrales se les hizo llegar uno en que se ofrecía el porcentajede estudiantes que había dominado cada uno de los objetivos fundamentales, de acuerdocon los diferentes niveles de las variables en que se estratificó la muestra.02-Ravela y otros 918/1/07, 19:31