100. Sistemas de evaluación de aprendizajes en América Latina

Sistemas de Evaluación deAprendizajes en América LatinaBalance y Desafíos© PrealAutor:Guillermo FerrerPrimera edición:1.000 ejemplaresMarzo 2006Registro de Propiedad Intelectual:Nº 153.429I.S.B.N. 956-8109-01-3Impresión:Alfabeta Artes GráficasCarmen 1985Fono Fax: 551 5657

INTRODUCCIÓN5ÍndiceIntroducción.......................................................................................................... 7Aspectos metodológicos de este trabajo ..........................................................10PRIMERA PARTEI. ALGUNAS CONDICIONES Y PROCESOS DESEABLES PARA ELFORTALECIMIENTO Y LEGITIMACIÓN DE LOS SISTEMAS DEMEDICIÓN EN AMÉRICA LATINA ..............................................................13II.PRINCIPALES AVANCES Y DIFICULTADES EN EL DESARROLLO DELOS SISTEMAS NACIONALES DE EVALUACIÓN Y MEDICIÓN DE LACALIDAD EDUCATIVA DE AMÉRICA LATINA ...........................................19Fines y propósitos del sistema ..........................................................................20Marco institucional de las agencias o unidades de medición ........................20La medición de aprendizajes y su relación con el desarrollocurricular y de estándares ..................................................................................24Tipos de instrumentos de medición: Características y validación.................28– Cobertura general de las evaluaciones ................................................28– Diseño de instrumentos .........................................................................29– Validación técnica y adecuación lingüística .......................................33Formas de reporte de los resultados .................................................................35– Reportes a autoridades de gobierno y alta dirección sectorial ..........35– Reportes a actores educativos locales .................................................37– Informes específicos para padres de familia .......................................41– Seguimientos cualitativos .....................................................................42

6 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNDifusión y uso de los resultados de las mediciones....................................... 43– Uso para toma de decisiones de política o para el diseño deprogramas de mejoramiento ................................................................ 45– Uso pedagógico local ........................................................................... 46– Uso de altas implicancias .................................................................... 48– Responsabilización política ................................................................. 49Pruebas internacionales comparadas de aprendizaje ......................................... 50III. DISCUSIÓN Y SÍNTESIS .............................................................................. 51SEGUNDA PARTEDescripción de casos nacionales y subnacionales ......................................... 59Argentina ................................................................................................... 60Bolivia ........................................................................................................ 65Brasil .......................................................................................................... 69Chile ........................................................................................................... 74Colombia .................................................................................................... 80Costa Rica .................................................................................................. 85Cuba ........................................................................................................... 90Ecuador ...................................................................................................... 94El Salvador ................................................................................................ 98Guatemala ................................................................................................ 103Honduras .................................................................................................. 107México ..................................................................................................... 112Nicaragua ................................................................................................. 118Panamá ..................................................................................................... 121Paraguay................................................................................................... 125Perú........................................................................................................... 129República Dominicana ........................................................................... 133Uruguay.................................................................................................... 138Venezuela ................................................................................................. 144Minas Gerais, Brasil ............................................................................... 147Paraná, Brasil .......................................................................................... 152São Paulo, Brasil ..................................................................................... 157Bogotá, Colombia ................................................................................... 162Aguascalientes, México .......................................................................... 166Referencias bibliográficas ...................................................................... 172Entrevistas ............................................................................................... 172

ÍNDICE7IntroducciónEl Grupo de Trabajo sobre Evaluación y Estándares (GTEE) del PREAL–Programa para la Promoción de la Reforma Educativa en América Latina yel Caribe– viene realizando desde el año 2000 varios estudios sobre el estadode situación de la medición y evaluación de la calidad educativa enAmérica Latina, así como del avance de los países de la Región en lapropuesta y definición de expectativas claras de aprendizaje, las que en estedocumento serán denominadas “estándares”. Tres de estos estudios sientanlas bases conceptuales de este informe sobre la situación actual de los sistemasnacionales de evaluación y desarrollo de estándares en la Región, yserán citados frecuentemente a lo largo del texto. Esos informes son:“¿Cómo presentan sus resultados los sistemas nacionales de evaluación educativaen América Latina?” (PREAL, 2001);“Los próximos pasos: ¿Hacia dónde y cómo avanzar en la evaluación deaprendizajes en América Latina?” (PREAL, 2001); y“Aspectos del curriculum prescrito en América Latina: Revisión de tendenciascontemporáneas en curriculum, indicadores de logro, estándares y otrosinstrumentos” (PREAL, http://www.preal.cl/GTEE/pdf/Ferrer.pdf, 1999).El presente informe del GTEE apunta a dar un paso más allá en ladocumentación de los avances de América Latina y el Caribe en cuanto al

8 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNestablecimiento, consolidación, perfeccionamiento y utilidad de los sistemasnacionales y subnacionales de medición de aprendizajes, asícomo de los esfuerzos realizados en la Región para el desarrollo deestándares de logro académico en la educación básica.En la primera parte de este documento se discute el progreso delos países latinoamericanos en sus esfuerzos por establecer expectativasclaras de aprendizaje, desarrollar herramientas de medición y evaluaciónadecuadas para informar sobre el logro efectivo de esas expectativas,comunicar a los actores educativos y a la sociedad civil sobrela calidad de los sistemas públicos de educación en términos de aprendizajeslogrados, y diseñar y ajustar políticas educativas para el mejoramientode esos aprendizajes sobre la base de las informaciones recogidasen las evaluaciones.Los esfuerzos iniciales de indagación estuvieron orientados a sistematizarla información disponible sobre los sistemas nacionales de medición,concretamente en relación a las agencias responsables de laevaluación en cada país, el tipo de instrumentos desarrollados, las poblacionesestudiantiles evaluadas y el tipo de uso que se da a los datosrecogidos por esos sistemas. Para esa tarea se recurrió a los datos recogidospor otros investigadores 1 en los últimos años, y sobre esa base seamplió y actualizó la información mediante entrevistas y análisis documentalesrealizados en casi todos los países de la Región.El informe busca aportar una visión crítica y conceptual sustentadasobre esas acciones. Para facilitar la comprensión de esa visión, sepropone en la primera sección una síntesis del tipo de procesos ycondiciones que, según este GTEE, y tal como se ha avanzado enestudios anteriores, contribuirían al fortalecimiento de una culturaevaluativa sólida y legitimada en los países de América Latina, y a unmayor impacto en la toma de decisiones de política y en la prácticapedagógica para el mejoramiento del logro académico de los estudiantes.Se presenta también una ampliación y profundización de cada unade las categorías de análisis seleccionadas para este estudio de lossistemas nacionales de evaluación, y un resumen narrativo de algunosde los casos nacionales y subnacionales que pueden servir como ejemploilustrativo de las diferentes modalidades técnicas y organizaciona-1Rojas, C. y Esquivel, J.M. (1998); Wolff, L. (1998).

INTRODUCCIÓN9les de evaluación desarrolladas en la Región. En general, se optó porpresentar en esta sección los casos más institucionalizados, o los másinnovadores, aunque ocasionalmente se hace referencia a sistemas nacionalesque sirven de contraejemplo para ilustrar las problemáticasque suelen enfrentarse en cada uno de los aspectos de la evaluaciónaquí analizados.Luego se ofrece un apartado de discusión, a modo de resumen, delos avances y dificultades más importantes observados en los sistemasde evaluación regionales.En la segunda parte del informe se presenta un resumen individualpara cada caso nacional y subnacional de evaluación de aprendizajes,siguiendo las mismas categorías de análisis utilizadas en la primeraparte del documento. A estos resúmenes individuales podrá referirse ellector para acceder a informaciones más detalladas sobre los casosmencionados a lo largo del documento, o para comparar las característicasde los sistemas entre países.Es conveniente remarcar que a lo largo del proceso de elaboraciónde este informe, los sistemas nacionales de evaluación han sufridocambios de tipo institucional y metodológico, coincidentes amenudo con los recambios frecuentes de autoridades políticas sectoriales.En algunos casos se trata de ajustes parciales en la metodologíao cobertura de las evaluaciones, mientras que en otros se han realizadocambios estructurales e institucionales de considerable magnitud.En todos los casos se ha intentado ofrecer la información más actualizadadisponible al momento de esta publicación, aunque esposible que algunos cambios recientes no estén debidamente registrados.De todas maneras, se invita al lector a considerar este análisiscomo un “retrato dinámico” que abarca principalmente el desarrollo delos sistemas nacionales de evaluación a lo largo de los años noventa, yalgunos de los cambios más importantes introducidos recientementecomo respuesta a las problemáticas enfrentadas en los diferentes paísesa lo largo de ese período.Claramente, la descripción presentada podría ser actualizada a diario,considerando especialmente la inestabilidad institucional que experimentanmuchos de los sistemas de evaluación y ministerios de educaciónde la Región, pero esperamos que este trabajo sirva al propósitoprincipal de mostrar las principales tendencias, avances y problemáticasque se ha podido observar en los últimos diez años de evaluaciónestandarizada de aprendizajes.

10 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNASPECTOS METODOLÓGICOS DE ESTE TRABAJOTodas las informaciones presentadas en este informe, tanto en laprimera como en la segunda parte, se basan en fuentes bibliográficas ydocumentales consultadas, así como en casi 60 entrevistas realizadas arepresentantes de las unidades de medición y expertos en evaluación de19 países de la Región y cinco sistemas subnacionales. Otras informacionesadicionales fueron recogidas por medio de comunicaciones electrónicascon esos representantes nacionales, quienes agregaron, modificaron oactualizaron los datos que el autor les hizo llegar para su revisión.Cada tema o categoría de análisis considerado fue desglosado en unconjunto de subtemas, tal como se describe en el siguiente cuadro:Categorías de análisisMarco institucionalCurrículo yestándaresInstrumentosReportesSubtemasAdecuación según marco político y capacidades técnicas:– Estabilidad– Financiamiento y autonomía administrativa– Recursos humanos– Autonomía y capacidad para la difusión de resultados– Transparencia– Disponibilidad, adecuación y utilización de marcos curricularesnacionales para el diseño de instrumentos demedición.– Desarrollo y validación de estándares alineados con elcurrículo vigente.– Marco conceptual sólido y explícito para la elaboraciónde matrices de referencia.– Validación de matrices de referencia e instrumentos.– Tipos de ítemes o reactivos.– Adecuación cultural y lingüística (EBI).– Cobertura muestral o censal coherente con objetivos dela evaluación.– Estudio de contexto escolar y extraescolar para análisisde factores asociados al rendimiento.– Coherencia entre tipos de reporte y usos esperados(desarrollo curricular, pedagogía, focalización deapoyos, capacitación docente, selección de alumnos,etc.).– Adecuación de reportes a distintos tipos de destinata-

INTRODUCCIÓN11Por tratarse también de un análisis crítico, y no meramente descriptivo,de los sistemas nacionales de evaluación, este informe contieneapreciaciones personales del autor sobre las características de esos sistemasy sobre el grado de desarrollo e impacto que han logrado en losúltimos años. Sin embargo, las afirmaciones realizadas están basadasen el análisis de todas las fuentes disponibles para cada caso nacional ysubnacional, e intentan incorporar las voces de diferentes actores delproceso evaluativo, tanto dentro como fuera de los órganos oficiales degestión.También fue necesario realizar comparaciones entre las versionesde actores gubernamentales pertenecientes a diferentes períodos de adrios(claridad, guías de interpretación, sensibilización,etc.).– Informaciones sobre factores asociados y modelos devalor agregado.Difusión y usosDevolución:– Tiempos– Alcance– PeriodicidadImpacto:– Uso escolar– Toma de decisiones de política/diseño de programas– Responsabilización políticaAltas implicancias:– Escuelas– Docentes– AlumnosSistemassubnacionalesPruebasinternacionalesDiferencias principales con sistemas nacionales:– Estándares– Cobertura censal– Participación de actores locales– Tiempos y formas de devolución de resultados– Uso centrado en el mejoramiento pedagógico– Desarrollo de capacidades técnicas– Difusión de resultados e impacto en la opinión pública– Usos específicos de los resultados

PRIMERA PARTE13Primera parteI. ALGUNAS CONDICIONES Y PROCESOS DESEABLES PARA ELFORTALECIMIENTO Y LEGITIMACIÓN DE LOS SISTEMAS DE MEDICIÓNEN AMÉRICA LATINAEs claro que los modelos y sistemas 2 de medición y evaluación deldesempeño académico de los estudiantes deben diseñarse sobre la basede las condiciones políticas y de las capacidades técnicas y operativas,actuales o potenciales, de cada país. Sin embargo, la experiencia enevaluación acumulada hasta el presente en la Región, así como la experienciaganada en países más desarrollados, permite avanzar un conjuntode condiciones que pueden considerarse deseables o recomendables paracualquier país que esté planificando o ajustando su sistema de medicióny evaluación de resultados de aprendizaje. Entre ellas, merecen mencionarselas siguientes:2En teoría, el término “sistema” da cuenta de una organización y articulación relativamentecomplejas entre las partes de un todo. En este trabajo mantendremos la denominaciónde “sistema” para todos los programas nacionales de evaluación de aprendizajes,aunque el lector observará que en algunos casos esos programas no lograron articularsecon otros esfuerzos de política sectorial, o bien lo hicieron pero durante períodos detiempo acotados, por lo cual podría considerárseles “proyectos de medición” y no estrictamentesistemas.

16ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNmentos adecuados para esos fines, lo que requerirá tomar decisionessobre, por ejemplo, el modelo de medición utilizado para medir ellogro de competencias de complejidad creciente, si los reactivos (ítemes)de las pruebas exigirán respuestas de opción múltiple, respuestasabiertas, demostraciones prácticas de laboratorio, o una combinaciónentre estas alternativas u otras que se propongan, el grado decobertura del currículo que tendrán las pruebas, etc.– Todos los instrumentos de las evaluaciones requieren ser validadosen forma experimental, es decir, mediante aplicaciones piloto en elcampo, antes de elaborar su versión definitiva.– En algunos países será necesario realizar validaciones específicascuando se decida evaluar poblaciones cuya lengua materna sea diferentede la lengua oficial. En estos casos, la validación técnica de losinstrumentos involucrará aspectos lingüísticos (traducciones adecuadaso elaboración de reactivos en lenguas nativas), así como aspectosculturales generales para asegurar que los ítemes no contengan sesgosque dificulten las respuestas de manera discriminatoria.– Si además de medir los aprendizajes se considera necesario o convenientemedir los factores escolares y extraescolares –“asociables” alrendimiento académico de los estudiantes– esto es, medir variablesque pueden estar incidiendo o estar vinculadas con el desempeñoescolar y analizar sus relaciones con este, es necesario utilizar procedimientostécnicos sólidos para la recolección de datos y su posterioranálisis estadístico. Asimismo, pueden diseñarse instrumentos estandarizados(guías de entrevistas u observación, análisis de videograbacionesde aula, etc.) para la realización de seguimientos cualitativossistemáticos sobre los procesos pedagógicos e institucionalesque puedan contribuir a explicar los diferentes resultados de aprendizajeobtenidos en las mediciones cuantitativas.– La forma en que se reportan los resultados de las evaluaciones debeguardar coherencia con los objetivos de las mediciones y debe teneren cuenta las necesidades concretas de información de los usuarios.Por ejemplo, si lo que se desea es brindar información sobre el logrode los estudiantes en algunas capacidades específicas de áreas curricularesrecientemente implementadas, de manera tal que las escuelaspuedan realizar ajustes allí donde se detecten dificultades, es pocoútil reportar los resultados en forma agregada con un porcentaje brutode logro para el total de cada área curricular o disciplina. De lamisma manera, si lo que se busca es mayor involucramiento de los

PRIMERA PARTE17padres en los procesos de aprendizaje de sus hijos, será necesariobrindarles información no solamente sobre el nivel de logro de sushijos en ciertas capacidades académicas, sino también una descripcióny ejemplos del tipo de desempeño que se espera de ellos en elnivel educativo en que se encuentran.– Si lo que se desea es emitir juicios sobre la calidad de las escuelas entérminos de los logros académicos de sus estudiantes, y no solo compararo establecer un ranking de resultados por institución o ámbitosgeográficos, es necesario reportar los resultados de las evaluacionesdistinguiendo el nivel económico y sociocultural de la población estudiantilcon que esas escuelas trabajan, así como las condiciones deinfraestructura, equipamiento y recursos humanos con que cuentan.De esa manera, será posible comparar los niveles de logro de cadaescuela con el conjunto de escuelas que trabajan en condiciones similaresy así evitar conclusiones injustas sobre la calidad de cadaestablecimiento 5 . Si las mediciones se realizan siguiendo un modelode “valor agregado”, es decir, calculando el progreso académico delos estudiantes respecto de sí mismos en el tiempo, y en comparacióncon alumnos de niveles socioeconómicos similares, también podránreportarse datos y realizarse inferencias más justas sobre la capacidadde cada centro educativo para ofrecer oportunidades adecuadasde aprendizaje.– Las mediciones orientadas a recabar información que permita unaintervención remedial para elevar los resultados de aprendizaje debenser acompañadas con programas fuertes, focalizados o integrales,que apoyen el mejoramiento de la gestión y los procesos pedagógicosen las escuelas. En última instancia, los sistemas de evaluación solose consolidarán y legitimarán socialmente en la medida en que losactores perciban que la medición es, en efecto, una herramienta parael mejoramiento de la calidad de la educación y no un ejercicio solodiagnóstico o eventualmente punitivo.– Si los esfuerzos de evaluación están orientados a movilizar la opiniónpública y las fuerzas de la sociedad civil en relación al mejoramientode la calidad educativa, es necesario diseñar estrategias comunicacionalesefectivas. La eficacia de esas estrategias depende nosolamente de la capacidad del sistema para llegar a diferentes au-5Para un tratamiento más detallado, y adecuadamente ejemplificado, sobre este aspecto dela medición de aprendizajes se recomienda la lectura de Ravela, 2002.

18ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNdiencias por medio de documentos y publicaciones masivas, sinotambién del grado de involucramiento de actores y organizacionesclave de la comunidad educativa y de la sociedad civil en el procesoevaluativo. En la medida en que esos actores, como porejemplo representantes de los sindicatos docentes, empresarios oprofesionales de los medios de prensa, sean partícipes de los procesosy del diseño de las estrategias comunicacionales, se lograráun mayor alcance e impacto de la información derivada de lasmediciones. Aun cuando la difusión de los resultados quiera hacersesolo en forma local y focalizada, como por ejemplo a escuelaso municipios, será también necesario consultar ampliamente arepresentantes de esos sectores en particular para determinar conmayor precisión cuál será la mejor estrategia comunicativa a utilizarse.– En cualquier caso, independientemente de cuáles audiencias sedesee alcanzar con prioridad, es muy importante realizar la devoluciónde los datos en forma oportuna, periódica, y asegurando lallegada a la mayor cantidad posible de individuos e instituciones.– Los esfuerzos de evaluación en cada país requieren de la iniciativay voluntad política central (nacional) para establecerse, consolidarsey lograr impactos significativos, pero también es convenientefacilitar y promover las iniciativas subnacionales (zonales,jurisdiccionales) de evaluación externa. En los países en vías dedesarrollo, la cooperación entre unidades técnico-políticas centralesy locales es una estrategia clave para ganar espacios de experimentación,legitimación y de mayor impacto de las prácticas evaluativas.– Donde se decida participar en pruebas internacionales comparadasde rendimiento académico, y al igual que con las pruebas nacionales,es necesario definir claramente cuáles serán los objetivos nacionalesespecíficos de la evaluación para poder diseñar estrategiasde comunicación y líneas de intervención que fortalezcan elimpacto de las informaciones recabadas mediante la medición 6 .6Un tratamiento en profundidad de este tema puede encontrarse en Ferrer y Arregui(2002).

PRIMERA PARTE21noventa. Algunos países, como Chile y Colombia, vienen realizando desdehace muchos años aplicaciones continuas de pruebas de rendimientoacadémico y las unidades de medición a cargo gozan de altos grados delegitimidad y continuidad técnica a pesar de los “vaivenes” políticos quese producen periódicamente por los cambios de gobierno nacional. Otrossistemas, como los de Ecuador, Guatemala, Bolivia o Perú han sido másvulnerables a las voluntades políticas de turno, lo cual ha determinadoque las informaciones del sistema no siempre sean difundidas de modopúblico, o que los equipos técnicos se recambien de manera repentina,con el consecuente impacto sobre la calidad de los instrumentos, de losoperativos, o del diseño e implementación de estrategias apropiadas parala difusión de los datos.Durante estas dos últimas décadas los países han ensayado diferentesmarcos institucionales para la administración de los sistemas de evaluacióneducativa. El avance radica, precisamente, en ese ensayo, en labúsqueda de la forma que mejor acomode a los intereses y metas de laspolíticas de Estado en educación. En general, puede afirmarse que apesar de los cambios y de algunos casos de fuerte inestabilidad política,ha habido una tendencia a sostener los sistemas de evaluación nacionales,y a reinstaurarlos o recomponerlos cuando sus actividades fuerondiscontinuadas en algún momento.En varios países, los arreglos institucionales más estables resultaronser los que se instalaron fuera de la estructura orgánica de los ministeriosde educación. Estos sistemas, por lo general denominados “institutos”,poseen mayor autonomía administrativa y técnica que otros órganos delínea y suelen llevar a cabo sus tareas de medición y devolución deresultados con más agilidad y consistencia que los sistemas dependientesde los ministerios.Dos ejemplos de este tipo de forma institucional son los del ICFESen Colombia y el INEP en Brasil. En Colombia, si bien existe una unidadde evaluación dentro del Ministerio de Educación Nacional, el protagonismotécnico y operativo en la realización de diferentes evaluacionesnacionales lo ha tenido el ICFES, Instituto Colombiano de Fomento a laEducación Superior. Este organismo, si bien no es totalmente independientedel Ministerio, ya que este último lo financia y preside, goza deamplia discreción y autonomía en la toma de decisiones técnicas conrespecto a algunas de las pruebas nacionales, como por ejemplo el Examende Estado para el ingreso a la educación superior. En Brasil, por suparte, las evaluaciones nacionales de aprendizajes son realizadas por el

PRIMERA PARTE23to dentro del Ministerio de Educación no parece haberle restado alsistema autonomía o estabilidad en sus funciones 8 .Pero no todos los casos de transferencia de responsabilidades alos ministerios de educación resultan exitosos o convenientes. EnEcuador, por ejemplo, la terminación del programa de evaluaciónAPRENDO, que fuera financiado enteramente con fondos de cooperacióninternacional, significó el final de los operativos. Si bien seplanificó la transición del sistema a la administración pública ministerial,la ausencia de recursos materiales y profesionales especializadosen el Ministerio impidió la continuidad de las evaluaciones talcomo venían realizándose antes, y tampoco se han diseñado nuevosprogramas de medición.Este fenómeno es común a casi todos los países que iniciaron sussistemas de evaluación con financiamiento y apoyo técnico de losorganismos de cooperación internacional, principalmente el BID y elBanco Mundial. Sin embargo, existen excepciones, como Uruguay yArgentina, que hoy financian con fondos del presupuesto ordinariosus sistemas de medición dentro de la estructura orgánica ministerialy la continuidad de los operativos no se ha visto amenazada de maneraimportante 9 .Otro factor que parece contribuir a la estabilidad y permanenciade los sistemas de medición es la existencia de leyes nacionales queordenen su creación y sostenimiento. Valga como ejemplo el sistemade Pruebas Nacionales en República Dominicana, que si bien funcionaen condiciones organizacionales relativamente precarias, los operativosanuales de evaluación siguen realizándose en forma regular,tal como indica la Ley General de Educación y un conjunto de ordenanzasnacionales específicas. Esto mismo podría ocurrir en Perú, porejemplo, donde la nueva Ley General de Educación prescribe la crea-8La legitimidad ganada por el SIMCE, vale notar, podría atribuirse a que los resultados delas pruebas no han dado indicios de mejoras sustanciales en la calidad de los aprendizajesdurante la última década. Desde el punto de vista político, esto hace del SIMCE unaherramienta “crítica” de los resultados de las políticas educativas del gobierno nacional.Cabría preguntarse si esa legitimidad pudiera verse afectada si los resultados fueranmejorando y el SIMCE comenzara a ser percibido como un instrumento de “validación”de las políticas educativas en curso.9Está pendiente la revisión sobre la cantidad exacta de países que discontinuaron programasde evaluación debido a problemas de financiamiento externo o interno.

24ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNción y sostenimiento permanente de un Instituto Peruano de Evaluación,Acreditación y Certificación Educativa.Los sistemas subnacionales de medición de aprendizajes analizadosen este trabajo, por su parte, se administran enteramente desde lassecretarías estaduales o distritales de educación, y este arreglo institucionalparece funcionar adecuadamente en esos contextos. Solo elcaso del SARESP, São Paulo, muestra un arreglo institucional diferente,donde el protagonismo técnico lo tiene una institución independientedel gobierno. Quizás por la escala de estos sistemas educativos,más pequeña y más fácilmente administrable, los sistemas de evaluaciónlogran mayores grados de comunicación y trabajo orgánico con otrasoficinas sectoriales, facilitando así el flujo de datos y magnificando lasposibilidades de impacto en la toma de decisiones de política educativa –fenómeno que, en muchos países, no se da en los niveles centrales de laadministración del sector–. Son sistemas, también, que logran mayoresgrados de participación de los actores locales, en especial docentes, padresde familia y organizaciones académicas vinculadas a la formacióndocente 10 .La medición de aprendizajes y su relación con el desarrollo curriculary de estándaresUna de las preocupaciones mayores de quienes tienen a su cargo eldiseño de instrumentos de medición es que cuentan con currículos nacionalesque ofrecen definiciones poco claras, y apenas operacionales, de loque se espera que los alumnos puedan realizar con los conocimientosconceptuales contenidos en esos currículos. Casi siempre la matriz curricularpara el desarrollo de los instrumentos de evaluación se realiza medianteel diseño de una “tabla de especificaciones” que permite construirlos ítemes de las pruebas cubriendo un número determinado de objetivosprioritarios, aunque estos no representen la totalidad o complejidad delcurrículo oficial. La implicancia negativa de esta situación es, naturalmente,que el marco de interpretación de los resultados es débil puesto que norefleja un acuerdo profesional y social sobre qué deben saber y saber hacercon sus conocimientos los estudiantes del sistema. A esto se suma, también,el problema de que a menudo se prioriza los contenidos que pueden10La descripción de varios de estos casos subnacionales ha sido incluida en la segundaparte de este documento.

PRIMERA PARTE25ser medidos con facilidad, y no necesariamente los más importantes segúnlos supuestos acuerdos entre actores del sistema.Esta problemática se agrava por la débil comunicación que con frecuenciaexiste entre las unidades de evaluación y las dedicadas al diseñoy desarrollo curricular a nivel nacional, por razones que incluyen, entreotras, el diferente origen profesional de sus integrantes. Esto, junto conla poca claridad de las metas de aprendizaje propuestas oficialmente,suele ser uno de los mayores obstáculos para que las actividades deevaluación sean coherentes con esas metas y puedan de hecho facilitar suconsecución.Sin embargo, en algunos países se está avanzando en dirección delestablecimiento de algunas especificaciones, consensuadas entre los mismosevaluadores, sobre esas expectativas de aprendizaje, aun cuando losprocesos de desarrollo curricular del país no estén alineados con esetrabajo. Visto en forma optimista, puede decirse que muchos de los paísesde la Región cuentan con equipos de profesionales de la evaluacióndedicados al establecimiento o especificación de metas curriculares clarasque les permitan diseñar pruebas más enfocadas, a la vez que avanzanel trabajo, y a veces el debate, sobre qué resultados de aprendizajeconcretos se espera prioritariamente de los estudiantes. Ante la falta demovimientos resueltos a favor del desarrollo de estándares de contenidoy desempeño académico, el trabajo de las unidades de medición se constituyeen una instancia de avance importante en esa dirección. Algunoscasos representativos de esta tendencia son Uruguay, Colombia 11 y Ecuador,así como los sistemas subnacionales de medición como de Aguascalientesy Bogotá.En Colombia, donde el currículo oficial se plantea como lineamientosgenerales y orientadores, pero con especificaciones poco claras dedesempeño, se ha adelantado este tipo de trabajo en al menos tres frentes.En primer lugar están las competencias en matemática y lenguajedefinidas por los equipos de evaluación del Ministerio de EducaciónNacional, y que supuestamente habrían de orientar las mediciones de unprograma integral de seguimiento a realizarse anualmente entre 1996 y2005. Este programa, sin embargo, fue discontinuado luego de una fuerte11Tanto el ICFES como la unidad de evaluación del MEN, así como la Secretaría deEducación de Bogotá, han realizado esfuerzos considerables por definir competenciascomplejas y operacionales que permitan una mejor evaluación e interpretación de losresultados educativos.

26ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNreestructuración del Ministerio de Educación. En otro frente, el ICFESdefinió un conjunto importante de competencias complejas de aprendizajeen varias áreas curriculares comprendidas en el Examen de Estado.Estas competencias, que permiten evaluar aprendizajes en diferentes yclaramente definidos niveles de logro, ofrecen un marco de interpretaciónde los resultados mucho más sólido del que resultaría de evaluacionesdiseñadas sobre la base de una típica tabla de especificaciones.Adicionalmente, existe un esfuerzo reciente del Ministerio de EducaciónNacional por establecer un conjunto de estándares nacionales entres áreas curriculares que fueron presentados públicamente a la comunidadeducativa y a la población en general en el año 2003. Si bien esprematuro juzgar la validez e impacto potencial de esos estándares, valeinformar que su sola presentación ya ha generado cierto nivel de debateentre los círculos profesionales disciplinares y la movilización de algunasopiniones en los medios de prensa.En Ecuador se vivió una experiencia similar a la de Colombia, aunqueen menor escala. Dada la incertidumbre sobre el currículo que finalmentehabría de oficializarse a mediados de los años noventa, el equipotécnico de APRENDO decidió llevar a cabo la definición de un conjuntode destrezas académicas básicas que luego permitieron el diseño de instrumentosde medición referidos a criterios. Las pruebas plantean cuatroítemes por destreza, y se considera que al menos tres deben ser respondidoscorrectamente para considerar esa destreza alcanzada. A mediados de2001, el Ministro de Educación de Ecuador planeaba utilizar esta definicióny evaluación de destrezas para establecer un sistema público decomunicación sobre los alcances de los alumnos y del sistema, mediantela decisión sobre una “línea de corte” que actuara como horizonte delogro y que pudiera ir elevándose año a año en la medida en que losresultados nacionales fueran mejorando. Sin embargo, las evaluacioneshan sido discontinuadas luego del último cambio de autoridades en laadministración sectorial y no se han realizado declaraciones sobre el usoque pueda darse en el futuro a las matrices curriculares definidas por losequipos de medición de APRENDO.En Uruguay, donde el currículo nacional largamente vigente presentaobstáculos técnicos importantes para la definición de matrices de referencia,el proceso de elaboración y aplicación de pruebas ha resultadouna instancia interesante de debate curricular. Concretamente, los ítemesde evaluación requieren la demostración de conocimientos y capacidadescognitivas que resultan pertinentes y deseables, pero que están ausentes

PRIMERA PARTE27en forma explícita en el currículo nacional. La validación de los ítemesde evaluación, y la valoración que los docentes hacen de ellos, ha promovidogrados importantes de reflexión sobre el currículo prescrito ysobre su práctica en el ámbito escolar.Para las evaluaciones distritales de aprendizajes que realiza la Secretaríade Educación de la Ciudad de Bogotá, se estableció también unconjunto de competencias alineadas con los lineamientos curricularesnacionales. Las pruebas, al igual que las del Examen de Estado nacional,ofrecen un marco conceptual explícito y definiciones operacionales paracada una de las competencias evaluadas, lo cual permite reportar y ejemplificardiferentes niveles de desempeño estudiantil de manera más claraque lo que permitiría el uso de los lineamientos curriculares nacionalespara ese fin. Desde los puntos de vista técnico y político, las competenciasbásicas propuestas pueden ser consideradas como estándares de currículo,en tanto proporcionan una herramienta de comunicación efectivaentre todos los actores sectoriales sobre las expectativas de aprendizajepara todos los estudiantes del sistema 12 .Interesa también el caso del estado de Aguascalientes en Méxicodonde, si bien la matriz de referencia para la evaluación no involucra unapropuesta curricular distinta a la nacional, los objetivos de aprendizajeseleccionados para la evaluación constituyen un esfuerzo decidido porpriorizar un conjunto de contenidos que se consideran básicos y quedebieran ser aprehendidos por todos los estudiantes del sistema. El valorde esta selección curricular radica en que todas las acciones de mejoramientopropuestas desde las escuelas y desde la Secretaría de Educaciónsobre la base de los resultados de las evaluaciones se realizan, con prioridad,en función del alcance de ese conjunto de saberes. Procesos similareshan ocurrido en los sistemas subnacionales de Paraná, Minas Geraisy São Paulo, aunque en esos casos los estados cuentan con marcoscurriculares propios desarrollados a partir de los Parámetros CurricularesNacionales.En la mayor parte de los casos, sin embargo, convendría avanzar másenérgicamente en la propuesta de ejemplificaciones que muestren quédeberían saber y cómo deberían desempeñarse académicamente losalumnos al término de algunos niveles educativos, de manera tal que losestándares no solo prescriban los contenidos de aprendizaje sino que12Para más detalles sobre los procesos de desarrollo curricular y evaluación en Bogotá,consultar Ferrer, 2004.

28ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNademás arrojen luz, mediante ejemplos seleccionados de las respuestasde los estudiantes a las pruebas, sobre el tipo y niveles de desempeñoque se espera de ellos. De esa manera, podría orientarse mejor no solo laactividad pedagógica y el desarrollo de mejores prácticas evaluativas enel ámbito escolar, sino también estimular la participación y demanda delos beneficiarios del sistema por mejores resultados de aprendizaje. Enesa dirección están dando ya pasos iniciales Argentina, El Salvador, Perúy varios otros países de la Región.Chile está avanzando quizás con más claridad e ímpetu en esta dirección.Con el asesoramiento técnico de Australia, el Ministerio de Educaciónestá elaborando estándares de contenido y desempeño y mapas deprogreso en aprendizajes para estudiantes desde primer grado hasta elcuarto año de enseñanza media en las áreas de Lenguaje, Matemáticas,Historia y Ciencias Sociales, Ciencias (Biología, Química y Física) eInglés como segunda lengua. También ha encargado la elaboración deestándares para la educación infantil. Se espera, a partir de la elaboraciónde estos instrumentos, que las pruebas nacionales puedan reportarpuntajes de rendimiento referidos a logros de aprendizaje esperados, establecidosclaramente y con antelación a la aplicación de las medicionesy, por supuesto, a tiempo de influir en la enseñanza. Hasta el momento,el SIMCE no ha podido reportar resultados según criterios claros sobrecuál es el nivel de rendimiento aceptable o suficiente, ni sobre cuántosalumnos lo logran. Si la medición se vincula a logros esperados, el puntajepodrá adquirir mayor significado, toda vez que profesores, padres yalumnos podrán conocer cuánto sabe el estudiante y qué debe enseñar eldocente para lograr las metas. La primera medición sobre la base delogros esperados se aplicará en el año 2006.Tipos de instrumentos de medición: Características y validaciónCobertura general de las evaluacionesLa mayor parte de los sistemas de evaluación nacionales miden resultadosen las áreas curriculares de matemáticas, lenguaje y comunicación,ciencias sociales y ciencias naturales. En algunos casos se evalúanlogros en lenguas extranjeras, en particular en inglés y francés. Complementariamente,en países multilingües como Perú, Bolivia y Guatemala,se aplican pruebas traducidas en lenguas vernáculas. En educación mediaes común que el área de ciencias naturales sea evaluada diferencialmente

PRIMERA PARTE29en biología, física y química, mientras que el área de ciencias sociales seevalúa con pruebas diferentes para historia, geografía y educación cívica13 .Casi todos los países que tienen sistemas nacionales de evaluaciónmiden logros de aprendizaje en educación primaria y secundaria. Enambos casos, las pruebas tienden a ser aplicadas al término de cicloseducativos de dos o tres años, bajo la lógica de que algunos aprendizajesno pueden lograrse al cabo de un año académico, sino luego de períodosmás largos que coinciden con etapas etarias y de desarrollo cognitivo, ode secuenciación curricular multianual. Adicionalmente, algunos países,como Chile, República Dominicana o Costa Rica, aplican pruebas “desalida” del nivel de educación media o secundaria (algunas de ellas denominadas“pruebas de Bachillerato”), como requisito de graduación ocomo criterio de selección para el ingreso a la educación superior. México,por su parte, aplica este tipo de pruebas también como instancia degraduación de la educación primaria y acceso a la educación media superior,aunque el uso que se da a los datos es por lo general diagnóstico yno selectivo.Diseño de instrumentosUna de las primeras instancias de validación técnica durante el diseñode los sistemas de evaluación estandarizada consiste en la toma dedecisiones sobre el tipo de cobertura poblacional y curricular de losinstrumentos de medición. Tales decisiones, que refieren en especial alas poblaciones y a los contenidos de aprendizaje evaluados, deben estarligadas coherentemente al tipo de uso que se hará con posterioridad delos resultados 14 .En cuanto a la cobertura poblacional, es necesario distinguir entre lospaíses que aplican pruebas muestrales y los que realizan medicionescensales. Ambos tipos de pruebas sirven propósitos diferentes. Como seexplicó anteriormente, las pruebas censales, aplicadas al universo de estudiantesen ciertos niveles de escolaridad, arrojan resultados por establecimiento,o por alumnos, que permite establecer sistemas de incenti-13La educación ciudadana, o educación para la ciudadanía y la democracia, también vacobrando mayor protagonismo dentro de los currículos nacionales y algunos sistemas handiseñado instrumentos específicos para su evaluación.14Un análisis exhaustivo de estas instancias de validación para el diseño puede hallarse enRavela (Ed.), 2001.

30ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNvos o sanciones de acuerdo a los logros obtenidos (altas implicancias), obien pueden facilitar la focalización de apoyos centrales a aquellos centroseducativos que presentan mayores necesidades y dificultades de rendimientoacadémico. Las aplicaciones muestrales, por su parte, apuntan arecabar informaciones sobre diferentes grupos o poblaciones del sistema,para así poder detectar problemas generales de aprendizaje y, supuestamente,diseñar estrategias integrales de apoyo a todas las escuelas yestudiantes de un determinado grupo social, o una determinada regióndel país, en concreto, aquellas que más lo necesitan.La cobertura y análisis de logro curricular que se pretenda realizardeterminará, en especial, si las pruebas estarán referidas a normas oreferidas a criterios. La selección de uno u otro tipo de pruebas serealiza, o debiera realizarse, de acuerdo a los fines y usos que se pretendedar a los resultados. Las pruebas referidas a normas son aquellas quebuscan comparar los logros entre diferentes grupos de estudiantes, sinpretender un análisis muy profundo del tipo y profundidad de conocimientosadquiridos por los estudiantes. Las pruebas referidas a criterios,por su parte, suponen el establecimiento de acuerdos sobre cuáles competenciaso capacidades académicas básicas debieran lograr TODOS losestudiantes, luego definen una “línea de corte” o marca de logro mínimoo suficiente, y miden si los alumnos del sistema educativo alcanzan o noesa marca, y en qué medida lo hacen, como resultado de su experienciaescolar.No se supone deba existir una correspondencia automática entre tiposde cobertura poblacional y curricular. Las pruebas referidas a criteriospueden ser aplicadas muestral o censalmente, y lo mismo ocurre con laspruebas referidas a normas. Sin embargo, y tal como se explica con minuciosidaden trabajos anteriores de este Grupo de Trabajo (Ravela, ed., op.cit.) una mayor cobertura poblacional puede restringir la capacidad de losinstrumentos para recabar datos de aprendizaje con mayor profundidad, yviceversa. La decisión sobre qué tipo de cobertura priorizar depende, nuevamente,del tipo de usos que quiera darse a la información.Los sistemas nacionales que aplican pruebas referidas a criteriosofrecen, en general, fundamentaciones conceptuales y descripciones operacionalesmás sólidas sobre los aprendizajes y niveles de desempeñoesperados. Las pruebas referidas a normas, por el contrario, se diseñancon frecuencia mediante un modelo de medición que selecciona los ítemesde evaluación de acuerdo al índice de discriminación que mostraronen los pilotajes de campo, pero que no refleja necesariamente la relevan-

PRIMERA PARTE31cia de los contenidos evaluados ni asegura que estos representen el universocurricular de referencia.En el caso de Uruguay, las pruebas aplicadas son referidas a criterios.La selección de los ítemes no se realiza de acuerdo al índice dedificultad y de discriminación, sino que se hace por el “valor” de losítemes, es decir, buscando aquellos que reflejan, según criterios profesionales,los tipos de capacidades que el sistema educativo considera debenser desarrolladas antes del término de ciertos niveles de escolaridad. Unavez diseñados los instrumentos se establece, previa consulta a expertoscurriculares y pedagogos de campo, una “línea de corte”, que para elcaso de Uruguay es el 60% de respuestas correctas del total de los ítemes.Al reportarse los resultados, se describe el porcentaje de alumnosque alcanzó esa línea de corte, así como el porcentaje de alumnos quelograron niveles inferiores (insuficientes) de desempeño.Los Exámenes de Estado que diseña el ICFES en Colombia, originalmentereferidos a normas, se elaboran al presente según un modelo criterial.La iniciativa para esta transición se debió a un renovado equipo detécnicos que aportaron nuevas visiones, y a las demandas de la poblaciónestudiantil y de la comunidad educativa en general por un tipo de pruebasque se centrara menos en capacidades simples de memorización dedatos y más en el desarrollo de habilidades cognitivas complejas, a lavez que reflejaran conocimientos conceptuales disciplinares más actualizados.Esa actualización suponía un mejor alineamiento con los contenidosde los lineamientos curriculares oficiales, con estándares internacionalesde “alfabetización científica” 15 , y con concepciones formativas queponen de relieve la necesidad de educar ciudadanos democráticos y participativos.Los exámenes evalúan competencias de tipo interpretativo,argumentativo y propositivo, las cuales son consideradas “modos fundamentalesde participación y construcción de lo social” (MEN-ICFES,2000).También en Colombia, la Secretaría de Educación de Bogotá aplicapruebas criteriales y “casi censales” (80 por ciento de cobertura en losgrados evaluados). Los criterios consisten en una serie de competenciasdefinidas localmente sobre la base de los lineamientos curriculares nacionales.Los resultados se reportan en forma de porcentaje promediode respuestas correctas por tipos de competencia, más específicamentepor niveles de desempeño para cada una de ellas. Las respuestas abier-15Del inglés, scientific literacy.

32ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNtas, por ejemplo de producción de texto, se califican y reportan segúnniveles de competencia preestablecidos que guían la corrección y lainterpretación que hacen los docentes de los resultados al recibir losinformes escolares.Varios de los países que comenzaron aplicando pruebas referidas anormas han optado por realizar un reporte de resultados según criteriosdefinidos a posteriori. Tales son los casos de Chile, Argentina, Costa Ricay Brasil. Esto no significa que las pruebas estén estrictamente referidas acriterios, pues el modelo de medición es normativo, pero se establecencriterios y líneas de corte para el reporte con la intención de informarmejor a los usuarios del sistema. Esta estrategia, sin embargo, albergaciertos riesgos para la validez de las interpretaciones puesto que los ítemesseleccionados según su índice de discriminación pueden no representarfielmente el logro de las competencias o saberes evaluados, a menos que elespectro de ítemes utilizados sea lo suficientemente amplio.La cobertura poblacional de las pruebas varía de país en país. Cercade nueve países aplican o han aplicado pruebas en forma solo muestral,otros dos en forma exclusivamente censal, y ocho han experimentadocon ambos tipos de pruebas. Todos los sistemas subnacionales analizadosen este trabajo aplican pruebas censales. En general, se observa un importantegrado de coherencia entre la cobertura poblacional realizada yel tipo de uso que se da a los datos. Es decir, se evita hacer inferenciasde resultados sobre instrumentos que no lo permiten, aunque también escierto que, en general, se evidencia una alarmante subutilización de losdatos para el diseño de estrategias de mejoramiento de la calidad de losaprendizajes y, en oportunidades, interpretaciones insuficientemente sustentadaso generalizaciones no del todo válidas.En cuanto al formato de las pruebas de aprendizaje, todos los paísesutilizan en especial preguntas cerradas de opción múltiple, y varios deellos complementan los instrumentos con preguntas abiertas para la producciónde textos, en particular en el área de lenguaje y comunicación.La corrección de respuestas abiertas ha presentado problemas técnicospara algunos países al momento de definir o utilizar criterios homogéneosde evaluación entre correctores. En otros países el proceso resultómás exitoso y las correcciones arrojan datos pedagógicamente muy útilespara los docentes. Es digno de destacar que en muchos países se estárecurriendo más y más al uso de respuestas abiertas, pese a su mayorcosto y dificultad de revisión y codificación, por ser estas de mayorutilidad para la identificación de los procesos correctos o equívocos que

PRIMERA PARTE33siguen los alumnos en sus esfuerzos por responder a las preguntas yproblemas que les plantean las pruebas y, por consiguiente, para desarrollarpropuestas para el mejoramiento de la enseñanza y el aprendizaje deciertos contenidos y el desarrollo de competencias.Validación técnicaPor último, resta mencionar la validación técnica que se supone debehacerse de los ítemes o reactivos de las pruebas. Este es un elementocrítico y técnicamente delicado en el proceso de construcción de instrumentos,y sobre el cual no existen descripciones suficientemente detalladasen los informes técnicos nacionales. La teoría de medición internacionalofrece un conjunto importante de lineamientos y estándares decalidad para la validación de los reactivos de pruebas, pero no se disponede información suficiente para juzgar en qué medida esos estándares serespetan en la construcción de pruebas nacionales en América Latina.Los informes técnicos mencionan, en muchos casos, que la validación serealizó con la participación de docentes y expertos disciplinares, pero nose indica, por ejemplo, qué criterios específicos se utilizaron para juzgarla validez de los ítemes (Ej. sesgos culturales, “ruido” o superposiciónde contenidos entre disciplinas, pertinencia curricular, comparabilidadinteranual, etc.) La calidad de los instrumentos es un tema que ameritaestudios en profundidad y que será materia de análisis en trabajos futurosde este Grupo de Trabajo.Adecuación lingüísticaTres países de la Región aplican pruebas en lenguas maternas originarias.Perú lo hace en quechua y aimara, Bolivia en quechua, aimara yguaraní, mientras que Guatemala ha evaluado estudiantes en las cuatrolenguas mayas predominantes, que representan al 84% de la poblaciónguatemalteca. En este último caso, sin embargo, no fue posible materializarel operativo en su totalidad pues existe un alto grado de deserciónescolar en escuelas de población mayahablante.Factores asociados al rendimiento académicoOtro aspecto destacable de casi todos los programas de medición enla Región es que las pruebas de logro académico suelen ir acompañadas

34ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNde la aplicación de cuestionarios a diversos actores de la comunidadeducativa, normalmente alumnos, docentes, directores y padres de familia,para recoger información sobre los factores escolares y extraescolaresque pueden “asociarse” estadísticamente al rendimiento o desempeñode los estudiantes. Los factores escolares suelen serindicadores sobre las condiciones de infraestructura, equipamiento didáctico,recursos profesionales del establecimiento escolar, actitudes delos alumnos hacia las disciplinas evaluadas, tipos de prácticas pedagógicasy grados de implementación del currículo oficial en aula 16 . Losfactores extraescolares estudiados, por su parte, dicen relación en particularcon el nivel económico y sociocultural de los alumnos, según lainformación que las familias aportan sobre sus ingresos, grados de escolaridadde los padres y hermanos del estudiante, servicios básicos deenergía y agua potable en el hogar, y ciertos recursos culturales y deinformación en el hogar, tales como TV, radio, libros, periódicos yrevistas.El valor de la información contextual extraescolar radica en que lossistemas de medición pueden reportar los resultados de las pruebas deacuerdo al nivel socioeconómico y cultural de los estudiantes, y de esamanera hacer afirmaciones más justas sobre la calidad de las escuelas,de acuerdo al grado de vulnerabilidad social de los estudiantes con quetrabajan. Dentro de este modelo de análisis, destacan los esfuerzosexperimentales por medir “valor agregado” que han realizado algunossistemas subnacionales, como la provincia de Buenos Aires en Argentina.Tal modelo de análisis permite, mediante pruebas de rendimientoaplicadas en dos momentos en el tiempo, medir el progreso en aprendizajesque una cohorte de estudiantes del mismo contexto socioeconómicologra respecto de sí misma al cabo de un lapso determinado.Lamentablemente, este operativo en Argentina ha sido discontinuado yno se han realizado publicaciones de los resultados obtenidos en lasmediciones.16A pesar de los esfuerzos técnicos en este sentido, los datos recogidos mediante estosinstrumentos no siempre resultan útiles para el análisis estadístico de factores asociados,en parte debido a que la información se recolecta a modo de encuestas pero no comoparte de un modelo estadístico lo suficientemente sólido como para permitir análisisrigurosos posteriores, y también porque la “medición” de prácticas pedagógicas y otrasvariables relevantes es de difícil realización a gran escala.

PRIMERA PARTE35Formas de reporte de los resultadosSe distinguen tres grupos principales de audiencias o destinatariosde los datos e informaciones producidos por los sistemas nacionales ysubnacionales de medición de aprendizajes. El primer grupo está conformadopor las autoridades políticas de gobierno, en los poderes Ejecutivoy Legislativo, y por la alta dirección del sector educativo decada país. El segundo grupo de destinatarios es el público general, yorganizaciones académicas y no gubernamentales. El tercer grupo estáintegrado por los actores educativos locales, principalmente docentes,directores y supervisores de escuelas, alumnos, padres y madres defamilia.A lo largo de la última década los sistemas nacionales de mediciónfueron desarrollando formatos diferentes para el reporte de los datosobtenidos con la intención de hacerlos más útiles según los tipos dedestinatarios que se busca informar. En general, se observa una evoluciónhacia formas de reporte que apuntan crecientemente a la devoluciónde resultados en los niveles escolares, y con particular énfasis enla presentación de datos curricular y pedagógicamente útiles. Esto contrastacon la tendencia inicial de algunos países, sobre todo los queiniciaron sus sistemas de evaluación a principios de los años noventa,de producir informes generales que presentaban datos muy “gruesos”,en términos de porcentajes globales de rendimiento por asignatura ycomparativos entre las diferentes subpoblaciones estudiantiles evaluadas,cuya utilidad estaba en especial limitada a la selección de grupos osectores en los cuales podría focalizarse algún tipo de intervención o,lo que ha sido más común, para movilizar a la opinión pública sobre eldeficiente nivel de logros educacionales.Reportes a autoridades de gobierno y alta dirección sectorialTodos los países de la Región producen informes generales, a modode resumen ejecutivo, sobre el rendimiento académico de los estudiantesevaluados. Estos informes tienen como finalidad principal la deinformar a las autoridades políticas y técnicas superiores del sector, yasí facilitar la toma de decisiones de política educativa sobre la base deindicadores relacionados con los procesos y los resultados de la educación,que actúan como complemento de los indicadores tradicionalessobre insumos educativos tales como salarios, infraestructura o equipa-

36ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNmiento, u otros productos del sistema, como por ejemplo tasas de ingreso,repitencia, deserción y graduación.Los informes a autoridades superiores ofrecen en general una descripcióncomparativa de resultados entre las diferentes poblaciones evaluadas.Para tal fin, se presentan los datos de rendimiento académico enforma agregada, por asignatura y grado de escolaridad al nivel nacional,y luego en forma desagregada por regiones geográficas o administrativasy por tipos de escuelas (públicas-privadas, urbanas-rurales, unidocentespolidocentes,bilingües-monolingües, etc.). En algunos casos, los informesdesagregan los datos según el nivel económico o sociocultural de lapoblación evaluada. La presentación de los datos suele hacerse en formagráfica (barras, tablas) y forma narrativa muy resumida. En casi todoslos casos se ofrece algún tipo de conclusiones generales, de tipo comparativoentre subpoblaciones pero evitando cifras específicas. En conclusión,aunque no en todos los casos, se presenta un conjunto de recomendacionessobre líneas de acción posibles para el mejoramiento de losprocesos educativos o de la equidad en el acceso al conocimiento.Tales conclusiones y recomendaciones suelen basarse en el análisisde variables escolares y extraescolares asociadas estadísticamente al rendimientoacadémico. Sin embargo, existen limitaciones respecto a la validezde las interpretaciones que puedan hacerse sobre la base de estosanálisis. Como bien nota Ravela (2001) en su trabajo sobre informesnacionales de resultados, las interpretaciones sobre los factores asociadosal rendimiento pierden validez si se realizan solo en función deanálisis bivariados, puesto que estos no toman en consideración otrosfactores que afectan simultáneamente el rendimiento y moderan el efectode las demás variables.Respecto a las informaciones de difusión pública (sociedad civil), elescenario es menos consistente pues parece no haberse invertido tiempoy recursos suficientes para el desarrollo de formatos específicos para estefin. Los sistemas de medición de altas implicancias, por su responsabilidadde informar de modo sistemático a los usuarios directos de los datos,hacen públicos los resultados por escuela o por alumnos. Tales son loscasos del SIMCE en Chile o del ICFES en Colombia. En los paísesdonde las pruebas no tienen consecuencias directas para los actores locales,los esfuerzos por presentar los resultados a la sociedad civil han sidoesporádicos y el acceso a los datos depende mayormente de la voluntad ycapacidad de los medios de prensa por hacer una cobertura más o menosperiódica de los resultados.

PRIMERA PARTE39instituciones o individuos, lo hace con la intención de ofrecer insumosde información que permitan a los actores locales reflexionar sobre eldesempeño de los estudiantes y elaborar estrategias de mejoramientoante las dificultades observadas. Algunos países y sistemas subnacionaleshan desarrollado formatos elaborados con diligencia para estos propósitos,entre los cuales merecen mención los de Uruguay, Bolivia,Aguascalientes, Minas Gerais, Bogotá, Paraná y São Paulo.En Uruguay, la información desagregada por escuelas es entregadaconfidencialmente a cada establecimiento, presentando los resultados desus estudiantes y los de estudiantes en otras escuelas de contexto socioeconómicosemejante. La presentación de datos sobre niveles de suficienciaen el desempeño académico se basa en una línea de corte (nivelsatisfactorio) equivalente a la respuesta correcta al 60% del total de losítemes, y en el porcentaje de alumnos que alcanza ese nivel de rendimiento.Los informes sobre 6º grado de primaria presentan también comparacionesinteranuales, cubriendo períodos de tres años, sobre el progresode la población estudiantil en el logro de las competenciasevaluadas. Tales datos se expresan en forma de puntos porcentuales dediferencia entre los resultados de las aplicaciones comparadas (año 1 yaño 3) para el total de la población evaluada, y en forma desagregada portipo de contexto socioeconómico. Quizás el valor más importante deestas devoluciones radica en la presentación de una selección de ítemesde la prueba para que puedan ser reaplicados en forma autónoma por losdocentes durante el año escolar, siguiendo las pautas de corrección explicadasen los informes. De esa manera, las escuelas no participantes de lamuestra nacional pueden obtener una medida más objetiva del nivel dedesempeño de sus alumnos, a la vez que acceden a nuevas formas deevaluación, a la posibilidad de realizar reflexiones más sistemáticas sobreel currículo y sobre los procesos de enseñanza-aprendizaje y, asimismo,como se verá más adelante, a oportunidades de desarrollar iniciativasy recibir apoyo para mejorar sus planes y programas institucionales.El SIMECAL de Bolivia, tanto para el caso de las pruebas censalescomo las muestrales, devuelve los resultados a las escuelas por medio deun informe institucional sobre el rendimiento de sus alumnos que incluyeel puntaje promedio institucional, una descripción operacional de losniveles de logro definidos para cada área y el porcentaje de alumnos dela escuela ubicados en cada nivel. Luego presenta una descripción de lasfortalezas y debilidades del conjunto de alumnos por cada eje temáticoen cada área curricular. También distribuye un folleto con análisis de

40ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNítemes seleccionados y propuestas metodológicas para mejorar los resultadosen relación a esos ítemes. Para el caso de los bachilleres egresantes,se ofrece un informe individual por alumno con su desempeño encada eje temático evaluado por área curricular. Para el conjunto de escuelasy de equipos técnicos locales, se distribuye un folleto con indicadoresde eficacia escolar según los datos recogidos con las pruebas ycuestionarios de contexto. Los factores asociados al rendimiento que sepublican refieren a las características del alumnado y sus familias (educaciónprevia, NES familiar y actitudes, vivienda), procesos pedagógicosy recursos materiales escolares. Si bien se cuenta con información sobrelas características socioeconómicas y culturales de las familias, no sehan definido estratos específicos que permitan desagregar los resultadossegún esta variable.En el estado de Aguascalientes, en México, los informes de las pruebasestaduales se reportan por niveles de desempeño logrados en cada área.Los niveles definidos se corresponden con una partición en cuartos de unaescala de 1 a 100 y se clasifican en crítico e insuficiente (no dominio), yen aceptable y deseable (dominio). Los resultados hacia el fin de cada añoacadémico se presentan en términos de “ganancia educativa”, en una escalade -4 a 4, dependiendo de los avances o retrocesos que muestra lacomparación entre pruebas inicial y final. Por ejemplo, si un alumno comenzóel año en un nivel insuficiente y culminó el año en un nivel deseable,la ganancia, según la fórmula utilizada, se calcula en 3 puntos sobre 4.Si el resultado fue inverso, es decir, que comenzó en un nivel deseable ydecreció a un nivel insuficiente, la “ganancia” se expresa en forma negativa,esto es, como -3 puntos en la escala. Estos datos se presentan agregadosal nivel estadual, y desagregados a los niveles de zona educativa,escuela, grupo (curso) y alumno en forma individual.En los informes que distribuye la Secretaría de Educación de Bogotáa cada escuela, los resultados para cada asignatura se reportan desagregadospor competencias, por niveles de desempeño alcanzados para cadauna de ellas, y se expresa el valor esperado (expectativa oficial) y elvalor promedio logrado por los alumnos del plantel en una escala de 0 a306. Se ofrece además un análisis de patrones de error de una selecciónde ítemes (para el conjunto de escuelas), y una serie de materiales conrecomendaciones pedagógicas sustentadas en los datos presentados.En Minas Gerais, también cada escuela recibe un informe individual.Los informes presentan gráficos separados para cada grado y área curricularevaluada, y cada uno de ellos muestra el porcentaje de alumnos que

PRIMERA PARTE41se ubica en cada uno de los tres niveles de desempeño (proficiencia)predeterminados (crítico, intermedio y suficiente). Los porcentajes sedesagregan al nivel de las diferentes capacidades que conforman cadauna de las competencias evaluadas en cada área curricular. Además, seofrece un gráfico de barras comparando el desempeño promedio de laescuela respecto del municipio correspondiente, la superintendencia regionaly el estado. Los informes se complementan con una revista explicativapara orientar a los profesores en la lectura e interpretación de losdatos.En los estados de São Paulo y Paraná, además de presentar datos yanálisis de resultados comparables a los de los casos anteriores, se promuevela participación de las escuelas en la elaboración de los informes.Para esto, cada centro educativo se responsabiliza por el procesamientoprimario de los datos (conteo de respuestas, estadísticas descriptivas básicas,etc.) según el formato y las pautas indicadas desde la unidad deevaluación de la Secretaría. Posteriormente, esos datos son elevados a laadministración central donde son procesados de nuevo y verificados. Porúltimo, son devueltos a las escuelas con un nuevo formato y con guíasmetodológicas para la interpretación de los resultados. En el caso deParaná en particular, cada escuela tiene a su cargo la tarea de elaborar un“boletín escolar” que incluye, además de los datos de las evaluaciones deaprendizajes, un conjunto de datos institucionales complementarios, talescomo tasas de aprobación, reprobación y deserción, y el perfil profesionalde los docentes. Todos esos datos también son reprocesados por launidad de medición y devueltos a las escuelas en un nuevo formato quepermite la comparación de los resultados y del perfil institucional conlos de las demás escuelas del municipio y del estado en su totalidad.Informes específicos para padres de familiaEste grupo de destinatarios de la información sobre aprendizajes es,en casi todos los países de la Región, el menos atendido por los sistemasde medición y evaluación. Quizás la razón principal que justifica estadebilidad es la creencia por parte de las autoridades políticas sectorialesque este tipo de informaciones puede conducir a las comparaciones y a lacompetencia entre escuelas por captar matrícula. Otras de las razonesque a menudo se esgrimen es que los padres de familia no están losuficientemente preparados para comprender las informaciones que sepodrían ofrecer, y que por lo tanto no se justifica el esfuerzo de difusión

PRIMERA PARTE43nes son de uso interno para el diseño de políticas curriculares desde elMinisterio, pero no se han divulgado entre miembros o instituciones dela comunidad académica.En México, la Dirección General de Evaluación de la SEP tambiénrealizó en años anteriores seguimientos cualitativos sobre las escuelasparticipantes en la muestra nacional. Los resultados de esos seguimientosfueron devueltos a las escuelas mediante informes que describen lascaracterísticas organizacionales y pedagógicas de las escuelas que muestranmejoras de sus resultados en el tiempo, así como de aquellas cuyorendimiento ha sido decreciente. También se ofrecen orientaciones metodológicaspara replicar esas investigaciones en cada centro, a modo deautoevaluación, y se presenta un conjunto de recomendaciones pedagógicasy organizacionales para elevar la calidad de los aprendizajes.Difusión y uso de los resultados de las medicionesEste aspecto constituye uno de los problemas centrales de la evaluaciónde aprendizajes en la Región. Dado que los sistemas nacionales demedición se han creado con la explícita intención de hacer más transparenteslos resultados de la gestión y de la práctica educativa en cada país,y proveer a los profesionales del sistema herramientas útiles para elmejoramiento de sus prácticas, las administraciones nacionales de educaciónhan asumido para sí una responsabilidad de gran envergadura queno siempre se cumple en tiempo y forma adecuados.Como se explicó antes, el uso de los resultados de las pruebas esvariado y puede clasificarse, a grandes rasgos, en usos de altas o bajasimplicancias, dependiendo del tipo de consecuencias o grado de responsabilizacióndirecta que implique para los actores locales o centrales delsistema. El tipo de difusión que se planea dar a los datos, así como lasestrategias para lograrlo, depende básicamente del tipo de impacto quese espera esos datos tengan. Idealmente, se espera que, cualesquiera seanlas audiencias y las estrategias para llegar a ellas, los resultados de lasevaluaciones dejen de ser simplemente datos para transformarse en informaciónsustantiva sobre los logros de aprendizaje de los alumnos.Esto significa que quienes tienen a su cargo la difusión de los datosdeben asumir la responsabilidad de interpretarlos, reorganizarlos y presentarlosde una manera clara y diferenciada de acuerdo al uso que sesupone diferentes audiencias darán a la información. En otras palabras,los datos se transforman en información cuando comunican a los actores

PRIMERA PARTE45Uso para toma de decisiones de política o para el diseño de programasde mejoramiento 19En el nivel nacional, son pocos los países que han realizado un usoespecífico de los datos de las evaluaciones de aprendizaje para la tomade decisiones de política educativa. Entre ellos puede mencionarse aChile, México y Uruguay.En Chile, el uso de las evaluaciones SIMCE para la focalización depolíticas de mejoramiento se materializa en al menos tres frentes deacción: 1) El uso de los resultados como uno de los dos indicadores másimportantes en la selección de las escuelas que ingresan al Programa delas 900 escuelas (P-900, actualmente atendiendo alrededor de 1.500 instituciones);2) La utilización de los datos para la asignación de fondosconcursables para los Proyectos de Mejoramiento Educativo en las escuelas;y 3) El uso de los datos como uno de los indicadores principalespara otorgar incentivos docentes mediante el SNED, Sistema Nacionalde Evaluación del Desempeño de los Establecimientos Educacionales.En México, recientemente se ha impulsado un programa de mejoramientoescolar en centros educativos urbano-marginales denominadoPEC, Programas de Escuelas de Calidad 20 , y varios de los estados hanrealizado la selección de las escuelas participantes en el Programa enfunción del contexto socioeconómico en el que laboran, así como de susresultados en pruebas de aprendizaje nacionales o estaduales. Esas mismaspruebas son utilizadas, entre otros indicadores y evaluaciones deaprendizajes diseñadas ad hoc, para monitorear el progreso de las escuelasparticipantes.Las evaluaciones en Uruguay, por su parte, fueron utilizadas hacepoco para fundamentar la continuación y ampliación de un programa deequidad para Escuelas de Tiempo Completo. Por el tipo de modelo deevaluación que se realiza en este país, los datos sirvieron para demostrarque este tipo de escuelas logran mejores resultados que otras en contextossocioeconómicos semejantes.19Quedan excluidos de esta sección los usos de la evaluación para la acreditación o selecciónde estudiantes, o para la selección de escuelas por parte de estudiantes y familias.20Este programa se coordina federalmente con la participación de equipos de investigaciónen cada uno de los estados, y consiste en la indagación cualitativa en escuelas sobre losaspectos institucionales que favorecen o dificultan los resultados académicos de los estudiantes.El Programa requiere que las escuelas realicen una propuesta de mejoramiento, ala cual se le da seguimiento en forma de análisis cualitativo durante su ejecución.

46ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNEn el nivel subnacional, la toma de decisiones de política en funciónde los resultados de las evaluaciones es un fenómeno más extendido,especialmente para el diseño de programas de capacitación pedagógica yde gestión escolar. Destacan en este sentido los sistemas de evaluaciónde Bogotá, São Paulo y Paraná, que en todos los casos han puesto enmarcha programas integrales y continuos de capacitación docente y dedirectivos escolares para elevar el rendimiento académico demostradopor los alumnos en las pruebas estandarizadas locales.En Bogotá, adicionalmente, se reporta que muchas de las decisionessobre inversión en infraestructura escolar, programas alimentarios escolaresy otros insumos se realizan teniendo en cuenta los resultados de lasevaluaciones de aprendizaje. De la misma manera, los datos son utilizadospara seleccionar y monitorear a las escuelas privadas que alberganmatrícula pública mediante subvenciones per cápita.Uso pedagógico localLos sistemas de medición de aprendizajes en América Latina quebuscan ofrecer herramientas pedagógicas útiles a las escuelas para elmejoramiento del desempeño académico de los estudiantes lo hacen,principalmente, mediante la elaboración de informes analíticos de losresultados de cada aplicación de pruebas y cuestionarios de contexto, ymediante la devolución de resultados en formas de talleres informativosy de discusión.En la sección anterior se explicó con cierto grado de detalle algunosde los casos nacionales y subnacionales donde se ha puesto especialénfasis al diseño y distribución de ese tipo de informes escolares. Encuanto a la devolución presencial de los datos y la discusión sobre susimplicancias pedagógicas, valgan como ejemplos los casos de Uruguay,Colombia (Examen de Estado), y Bogotá.En Uruguay los resultados se entregan con frecuencia en el contextode talleres de presentación en los que se procura generar discusión entrelos profesionales en torno a los resultados sobre diferentes ítemes de laprueba, e incluso en torno a la validez de esos ítemes. El trabajo dedevolución se ha orientado no solo al mejoramiento de los puntajes sinoa que esos puntajes sean el reflejo de una concepción pedagógica diferentey renovada. Luego de las evaluaciones censales o muestrales sedistribuyen manuales de interpretación junto con una copia de la pruebacompleta que se aplicó. De esta manera se permite que los docentes

PRIMERA PARTE47reapliquen la prueba administrada centralmente y que practiquen conindividualidad el ejercicio de corrección. Tener posesión sobre esaspruebas les permite también diseñar instrumentos similares en formaindependiente. Para el equipo de medición es importante que los docentesreciban la devolución de los datos poco tiempo después de laaplicación, lo cual por lo común demora unas dos semanas.Para la devolución de los resultados del Examen de Estado, enColombia, se han realizado talleres de capacitación en interpretaciónde resultados para 1.400 colegios. Según informaciones recogidas en2001, se planeaba una extensión del programa a 6.600 colegios másde todo el país. Los talleres se centran en la capacitación para lainterpretación de los informes institucionales y para la identificaciónde fortalezas y debilidades de cada centro educativo. Los talleres durandos horas y se ofrecen a representantes de 80 colegios por vez.Antes de la aplicación del nuevo modelo de evaluación referido acriterios, se realizaron 12 talleres con representantes de 11.000 colegiospara explicar a los docentes el nuevo marco conceptual y laestructura de las pruebas.En el sistema de medición subnacional de Bogotá, la difusión delos resultados comienza antes de la aplicación de las pruebas, enforma de explicación y sensibilización a los docentes. En principio,antes de la primera aplicación general, se realizó una primera aplicaciónpiloto para motivar y generar interés. Una vez obtenidos losresultados de las primeras pruebas generales, se realizaron talleres yseminarios de devolución e interpretación de resultados para 6.000docentes (por cada escuela del distrito participa el director, 2 ó 3docentes y el coordinador académico) 21 . Para presentar los resultadosa la comunidad educativa y civil se utilizan videos y equipos deDVD.En cuanto al uso específico de los datos obtenidos de las pruebas,la Secretaría de Educación de Bogotá ha diseñado dos programas deintervención. Uno se denomina “Nivelación para la Excelencia”, medianteel cual se brinda apoyo en la gestión, en la infraestructura y enlos recursos pedagógicos a las escuelas de más bajos resultados. Paraestas intervenciones, especialmente en el componente pedagógico, se21El alcance y resultado de los seminarios se evalúa con encuestas sobre la satisfacción delpúblico. Según encuestas recientes, los beneficiarios de los cursos demuestran altos nivelesde conformidad pues logran comprender el contenido de los reportes.

48ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNcontratan universidades como agencias oferentes de la capacitación,quienes trabajan “in situ” con los docentes y directores. La capacitaciónse realiza mediante visitas periódicas a las escuelas durante unaño completo. En cuanto al efecto de estas capacitaciones, y según lasmediciones últimas, las escuelas participantes crecieron un 35% en rendimientoacadémico entre 1998 y 2000, cuando el promedio para todoBogotá solo creció en 11 puntos porcentuales. El otro programa deintervención es el de “Acción para la Excelencia”, a través del cual lasescuelas públicas con resultados más altos (decil superior) compartenexperiencias entre ellas, se recoge información sobre sus prácticas yluego se realiza y distribuye a las escuelas publicaciones sobre esasexperiencias.Uso de altas implicanciasAlgunos de los casos de evaluación de altas implicancias fueron explicadosen la sección anterior, principalmente los que regulan el ingresoa la educación superior o la graduación de los alumnos de la educaciónbásica secundaria. Otros sistemas de evaluación son utilizados tambiénpara el establecimiento de incentivos docentes, para la adjudicación derecursos financieros extraordinarios, o para monitorear y regular la promociónde los estudiantes a niveles superiores dentro de la escolaridadbásica.Tanto Chile como México hacen uso de los resultados de las evaluacionesa estudiantes como indicadores complementarios para la asignaciónde incentivos docentes. En el caso de Chile, se hace mediante elSNED, Sistema Nacional de Evaluación del Desempeño de los EstablecimientosEducacionales Subvencionados, que otorga una bonificaciónanual al equipo docente de las escuelas que logran, entre otros desempeñosprofesionales, elevar el rendimiento académico de sus estudiantesrespecto de mediciones anteriores. Los resultados del SIMCE también seutilizan para seleccionar y monitorear los logros de las escuelas solicitany obtienen financiamiento para los PME, Proyectos de MejoramientoEducativo, un sistema de fondos concursables para desarrollar y ejecutarpropuestas de mejoramiento institucional. En México, los docentes puedenpostularse voluntariamente al programa de Carrera Magisterial, unsistema de incentivos salariales que también utiliza los resultados de laspruebas de aprendizaje nacionales como uno de los indicadores de desempeñoprofesional.

PRIMERA PARTE49En cuanto al uso de los resultados para promoción de estudiantes, seregistra el caso del estado de São Paulo, donde los datos censales delSARESP constituyen un indicador determinante para acceder al ciclosiguiente de escolaridad básica. Un desempeño insuficiente en las pruebasdel SARESP (menos de 50% de acierto) puede ser revisado por lasautoridades si el rendimiento del estudiante ha sido muy bueno duranteel ciclo y se presume que por alguna razón especial no pudo rendir alnivel de su potencial el día de la aplicación. En ese caso, el alumno tieneuna segunda oportunidad para presentarse a la prueba 22 .Responsabilización políticaCon frecuencia se cita en los documentos oficiales de evaluacióneducativa el propósito de hacer de los resultados de las mediciones unainstancia de responsabilización política y administrativa por los avancesy logros del sistema. Sin embargo, en la práctica son escasos los ejemplosde auténtica rendición de cuentas del Estado frente a la sociedad yante la comunidad educativa por los resultados de la educación en términosde desempeño académico. Existen algunas razones legítimas para nodifundir masivamente los resultados de aprendizaje en forma de indicadorcrítico sobre el éxito de la administración sectorial. Entre esas razones,vale mencionar que los resultados se ven condicionados por factoresque no pueden ser intervenidos por el sistema educativo, así como elhecho de que los datos obtenidos en un momento en el tiempo reflejanlos resultados de un proceso educacional ocurrido durante ciclos másextensos de lo que dura por lo normal un período presidencial o degestión ministerial. Aun así, los modelos evaluativos más modernos tienenla capacidad de medir el progreso de los aprendizajes de año en año,controlando por las variables extraescolares. Sin embargo, son varios lospaíses de la Región en que los resultados raramente se ponen a disposiciónen formatos o medios que faciliten el escrutinio público.Al menos dos casos escapan a esta tendencia. Uno es el de Chile,donde los resultados publicados cada año por el SIMCE suelen tener unaalta repercusión política, la cual se manifiesta principalmente en formade artículos académicos y de opinión que utilizan los resultados y las22Al momento de esta publicación, el uso de las evaluaciones del SARESP con fines debonificación salarial y promoción de estudiantes estaba siendo reconsiderado por lasautoridades de la Secretaría de Educación.

PRIMERA PARTE51zación para la Cooperación y el Desarrollo Económico), el LaboratorioLatinoamericano para la Evaluación de la Educación (LLECE), dependientede UNESCO-OREALC, o SACMEQ (Consorcio de África del Surpara la Evaluación de la Calidad Educacional). Las pruebas de la IEA ode la OCDE son de cobertura mundial, mientras que otras, como las delLLECE o SACMEQ, son de cobertura regional. En la actualidad existenno menos de 10 pruebas internacionales que miden el logro estudiantilen diferentes áreas de conocimiento. Los países que ya han participado,o están participando, en una o más pruebas internacionales de aprendizajeson Argentina, Bolivia, Brasil, Chile, Colombia, Cuba, Honduras,México, Paraguay, Uruguay, República Dominicana, Perú y Venezuela.La experiencia de participación ha sido variada, y los países se hanbeneficiado en mayor o menor grado de esa participación dependiendode las capacidades técnicas con que ingresaron al proyecto, y también delas condiciones políticas que acompañaron el proceso. Esas condiciones,concretamente la voluntad política de hacer públicos los resultados y laestabilidad de las autoridades políticas y técnicas del sector, han determinadocon vehemencia el tipo de impacto que tienen los resultadossobre las decisiones de política y las prácticas educativas en las escuelas.En general, ese impacto en América Latina ha sido muy débil, debidotambién a la falta de estrategias adecuadas de comunicación y utilizaciónde los resultados, así como a la insuficiente definición de los propósitosy objetivos de las evaluaciones, como se vio anteriormente.III. DISCUSIÓN Y SÍNTESISTeniendo en cuenta las informaciones presentadas en este informesobre casos nacionales y subnacionales, pueden adelantarse algunas conclusionessobre los avances y dificultades más significativos en materiade medición y evaluación de la calidad educativa en América Latina.Un primer aspecto considerado en este estudio ha sido el de la determinaciónclara y consensuada de los objetivos de los sistemas nacionalesde medición. Concretamente, a quiénes se evalúa, con qué fines yqué tipos de pruebas se aplican para lograrlos. En general, y de acuerdo alos ejemplos revisados, pareciera haberse logrado bastante coherenciaentre las decisiones sobre las poblaciones a ser evaluadas y los tipos dedecisiones de política y pedagógicas que se busca informar por medio delas evaluaciones. Por ejemplo, se aprecia que los países que aplican

52ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNpruebas muestrales solo pretenden entender algunos aspectos del rendimientodel sistema, tanto como para diseñar algunas medidas generalesde política, o bien promover la responsabilización política por el mejoramientode los aprendizajes (bajas implicancias). Por otro lado, los sistemasque aplican evaluaciones censales apuntan a dos tipos de objetivosprincipales. Por un lado, promover la responsabilización escolar, profesionaly estudiantil mediante sistemas de incentivos o desincentivos, omediante mecanismos de acreditación, que afectan directamente a losactores locales del sistema educativo (altas implicancias). Por el otro,ofrecer insumos de información en extremo desagregados sobre desempeñoestudiantil para facilitar la planificación de estrategias puntuales deintervención curricular y pedagógica. Sin embargo, persiste aun la necesidadde revisar más profundamente en cada país si las decisiones que sehan tomado en esta materia hasta el momento de verdad reflejan lasnecesidades pedagógicas y de desarrollo curricular del sistema en todasu intensidad y diversidad. Específicamente, convendría revisar en cadacaso si se prefiere lograr con cada evaluación una mayor cobertura curricularo una más amplia cobertura poblacional, asumiendo que el aumentoen un tipo de cobertura restringe las posibilidades de amplitud en laotra 23 , y que ambas alternativas servirían propósitos diferentes.En segundo lugar, merece destacarse el ensayo sobre diferentes alternativasinstitucionales para la organización y administración delas unidades de medición en los diferentes países. Los tipos de organizaciónmás frecuentes son las unidades dependientes directamente de losMinisterios de Educación, los organismos semiautónomos (institutos), ylas universidades contratadas por el gobierno. Como se explicó antes, noes posible afirmar que una forma de organización sea más adecuada queotras. La elección depende del contexto político y de las capacidadestécnicas y financieras para la evaluación a gran escala en cada país. Elavance radica, en especial, en la experimentación de formas alternativasde gestión de la evaluación, lo cual indica que existe una fuerte voluntadde sostener y perfeccionar los sistemas de medición, aun cuando susimpactos en algunos países no hayan sido de gran magnitud hasta elpresente. Vale destacar que la administración de los sistemas de medicióndesde los órganos propios del Estado, es decir sin mediación deinstitutos u organizaciones semiautónomas, parece ser más viable y efectivaen los sistemas educativos subnacionales (estados, provincias). Sin23Ver capítulo 1 de Ravela et al. (2000).

PRIMERA PARTE53embargo, algunos sistemas nacionales han logrado altos grados de institucionalizaciónsiendo administrados directamente por los ministerios deeducación.En tercer lugar, se aprecia un esfuerzo considerable por establecerexpectativas más claras y operacionales sobre el tipo de competenciasacadémicas que han de desarrollar los estudiantes, y que seránluego evaluadas. Los mayores esfuerzos en este sentido han estado enmanos de los equipos mismos de evaluación, los que ante la falta dereferentes curriculares claros (Ferrer, 1999; 2004) han optado por proponermarcos conceptuales e indicadores de logro más específicos que facilitenuna interpretación sustantiva de los resultados de las mediciones 24 .El aspecto más débil observado en este terreno es el de la escasa vinculaciónque aun existe entre los equipos de evaluación y los equipos dedesarrollo curricular en las sedes ministeriales del sector. Es de esperarque, en la medida en que otros grupos de profesionales, como los demedición, continúen proponiendo alternativas más elaboradas en cuantoal tipo de expectativas de aprendizaje a ser evaluadas, mayor será lamotivación para que los equipos técnicos de currículo participen con suspropias propuestas de actualización y especificación curricular.En cuarto lugar, se observa que la forma en que se reportan losdatos recogidos durante las mediciones no siempre resultan totalmenteútiles a las audiencias para quienes están destinados. En particular, debenmencionarse los casos de los países que informan sobre los logros dediferentes poblaciones sin tener en cuenta sus características económicasy socioculturales. En otras palabras, resulta injusto comparar el rendimientoacadémico de las escuelas o localidades sin distinguir que algunasde ellas trabajan con poblaciones altamente desfavorecidas y que porlo tanto deben recorrer un camino más arduo para obtener resultadoscomparables al de las escuelas más favorecidas. Es necesario, entonces,rescatar el esfuerzo que ya están haciendo varios países por reportar losdatos de manera tal que las escuelas puedan compararse con institucionessemejantes y así obtener una medida más justa sobre la eficiencia desu labor pedagógica. Debe recordarse también que, aunque muy inci-24Vale recordar que, desde la perspectiva del movimiento de estándares, la definiciónde expectativas de logro por parte de los evaluadores no es suficiente. Esas expectativasdeberían ser conocidas ampliamente por todos los actores, y los niveles esperableso anticipados de desempeño deberían ser fijados dentro de un marco de políticacurricular más amplio, no solamente para el diseño de un modelo de medición deaprendizajes.

54ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNpientemente aun, existen algunas iniciativas para medir esas diferenciasde forma estadística mediante el uso de modelos de valor agregado. Porúltimo, es necesario alertar sobre la necesidad de mejorar las estrategiaspara comunicar a los profesionales y beneficiarios del sistema no solosobre los niveles de logro alcanzados por los estudiantes sino tambiénsobre los tipos de desempeños concretos, debidamente ejemplificados,que se espera de los alumnos. Si bien los padres suelen tener dificultaden expresar las demandas de aprendizaje que tienen con respecto al sistema,hay cierta evidencia de que ellos están en realidad interesados ensaber más sobre las expectativas curriculares de las escuelas.En cuanto a las estrategias de difusión y uso de los resultados,tanto en el caso de las pruebas nacionales como de las internacionales,se aprecia que si bien existen diferentes formas de reporte, es un aunmuy débil el “contrato” de información entre las agencias evaluadorasy los usuarios del sistema. Es decir, aún falta elaborar estrategias decomunicación que permitan involucrar a los usuarios de la información–léase decisores de política, docentes y directores de centro, padres defamilia, medios de comunicación, asociaciones profesionales y representantesde la sociedad civil, entre otros– en las instancias de elaboraciónde las pruebas, de diseño de los reportes y de definición de lasestrategias de difusión a utilizarse. Esto permitiría que los datos setransformen en información sustantiva y de interés para diferentes audiencias,quienes a su vez responderían mejor a la información si fuerandebidamente sensibilizadas desde los primeros momentos del procesoevaluativo.A pesar de esta debilidad, es importante destacar que los países cuyossistemas de evaluación son de altas implicancias poseen estrategiasde difusión más sólidas y hacen esfuerzos mayores por entregar informacióna una mayor cantidad de actores en forma desagregada por escuela,e inclusive por curso y por estudiante. Si bien esas estrategias suelen serparte de la lógica de la evaluación de altas implicancias, pues se apunta auna responsabilización institucional (escolar) e individual (docentes yestudiantes), hay sistemas que devuelven la información de modo sistemáticoa los actores escolares aun cuando el uso de esa información seapara motivar, no necesariamente obligar vía sanciones o incentivos, laresponsabilización profesional para el mejoramiento de los procesos pedagógicosy de gestión.En sexto y último lugar, y en relación al uso mismo de los datosgenerados por las mediciones, es necesario distinguir entre los sistemas

PRIMERA PARTE55que apuntan con mayor énfasis relativo a lograr mayor responsabilizaciónpolítica y administrativa por los resultados de aprendizaje, los quepromueven la responsabilización institucional, profesional y estudiantil(altas implicancias), y los que buscan un impacto pedagógico y curricularal nivel local. Los primeros han tenido hasta el presente menos éxitoen sus intentos, pues la escasa participación de la sociedad civil en losprocesos evaluativos no ha favorecido movimientos importantes en demandapor mayores niveles de calidad. Es decir, que si bien los resultadosson a menudo publicados en medios masivos de comunicación, nohan logrado generar corrientes fuertes de opinión por parte de algunossectores clave de la sociedad civil, y por lo tanto el impacto y presiónsobre las decisiones de política no han sido tan fuertes como se esperaba.Aun así, conviene destacar que en algunos países se aprecia un mayorimpacto de los resultados en la opinión pública –al menos al nivel deldiscurso, cuando no de las acciones– de lo que ocurría unos pocos añosatrás.Los países que intentan promover la responsabilización institucional,profesional y estudiantil cuentan con marcos normativos y mecanismosde gestión más específicos que aseguran un uso más extendido y sistemáticode los resultados de las mediciones. Esto, por supuesto, no garantizamayores niveles de calidad necesariamente, y es por eso que lospaíses que aplican pruebas de altas implicancias han desarrollado en losúltimos años formatos de entrega de los resultados más elaborados ypedagógica y curricularmente útiles para docentes y alumnos. Tal comofue descrito en la sección anterior, son los sistemas de acreditación deestudiantes para la salida de bachillerato o ingreso a educación superiorlos que más avances han realizado en este sentido.Si bien desde la teoría, o desde la experiencia internacional, sueleadvertirse que las pruebas de altas implicancias pueden introducir desviacionesen la labor pedagógica, en tanto los esfuerzos se centren enmejorar los puntajes de las mediciones en perjuicio de otros valoresformativos de la educación, esto no aparece como un problema mayor enAmérica Latina, al menos hasta el presente. Para este trabajo no se recogieronopiniones de actores locales, pero otras investigaciones del autoren países de la Región que cuentan con este tipo de pruebas indican quelos mecanismos de incentivo o acreditación no implican necesariamenteuna reducción del trabajo pedagógico al “entrenamiento” para los exámenesexclusivamente. De hecho, muchas de las escuelas que logranaltos puntajes en las pruebas estandarizadas cuentan con propuestas edu-

56ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNcativas y curriculares propias que ponen fuerte énfasis en el rol formativointegral de sus alumnos (Ferrer, 2004).Algunas conclusiones adicionalesAdemás de las generalizaciones arriba planteadas, es preciso hacerreferencia más explícita a dos aspectos de la evaluación que han sidomencionados anteriormente, en concreto, el de los sistemas subnacionalesde evaluación y el de la participación de los países de la Región enpruebas internacionales.Con relación a las evaluaciones subnacionales, se observan algunasiniciativas fuertes tendientes a desarrollar sistemas de medición que acomodenmejor las necesidades locales o regionales de información. Dadala potencialidad de esos sistemas –por la escala con la que trabajan y porsu circunscripción geográfica– para elaborar instrumentos más alineadosa las definiciones curriculares locales –asumiendo que las hubiera– ypara diseñar estrategias más efectivas de comunicación de los resultados,convendría en una segunda fase de este estudio indagar más profundamenteen el tema. Hasta el presente, por lo pronto, puede adelantarse quelas iniciativas han logrado grados importantes de consolidación interna ylegitimación frente a la comunidad educativa, y que las posibilidades deimpacto en la práctica curricular y pedagógica escolar se vislumbrancomo considerablemente más importantes que las de los sistemas nacionales.En cuanto a las pruebas internacionales, importa destacar que ya esuna veintena de países los que han participado en al menos una evaluacióninternacional comparada, y que varios de ellos han participado envarias pruebas durante el último lustro. Las experiencias de participaciónhan sido muy diferentes en cada país, dependiendo de las capacidadestécnicas y de los contextos políticos en que se enmarcaron, y por lo tantolos beneficios y problemas de esa participación han sido variados. Sibien la experiencia ha significado para los equipos técnicos de evaluaciónen varios de los países una excelente oportunidad de aprendizaje ycapacitación, el impacto de los datos recogidos ha sido bajo. La difusiónmasiva de los resultados, vía la prensa escrita principalmente, ha generadoalgunas opiniones críticas debido a las grandes diferencias de rendimientoentre América Latina y los países más desarrollados, pero losresultados no han llegado a circular entre los medios profesionales de laeducación de manera tal de promover decisiones y cambios en las prácti-

Segunda parteDESCRIPCIÓN DE CASOS NACIONALES YSUBNACIONALES DE SISTEMAS DE EVALUACIÓN DEAPRENDIZAJES EN AMÉRICA LATINANota: Los datos sobre publicidad y uso de resultados presentados en estas tablas fueron provistospor autoridades técnicas o asesores de cada país o distrito regional. Esos datospueden no resultar congruentes con indagaciones posteriores realizadas por el autor, ytranscritas en los párrafos descriptivos sobre cada sistema. Se optó por incluir ambostipos de informaciones para resaltar las diferencias que existen entre los objetivos oficialessobre uso de los datos, y lo que efectivamente ocurre en la práctica.

60 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNARGENTINAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónARGENTINADiNIECE1993- 199419951996-19987, 5M, 6M3, 9, 5m,6M7(3, 9)(5M, 6M)6, 7L, ML, ML, M, CS,CNL, ML, M, CS,CNMNMNMN(MN) (CN)MNG, U, PG, U, PG, U, PG, U, PG, U, PCD, CGCD, CGCD, CGCD, CGCD, CGOREALC1997,TIMSS-R(2000, 2003),PISA-Plus2001, PIRLS2001,IEA-CivicEducation2001, PISA2003199920002002200320053, 7, 9(6) (5M,6M)(3) (6, 5M,6M)93, 6, 9, 5M3, 6, 9, 3Polimodal(antiguo5M)Pruebas depilotaje 3, 6L, ML, M, CS,CNL, M, CS,CNL, ML, ML, MCSMN(MN) (CN)(MN) (CN)MNMNMNG, U, PG, U, PG, PCD, CGCD, CG9, 3Polimodal(antiguo3M)CN[2]Los grados de educación media se indican con la letra M.

SEGUNDA PARTE61[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalCurrículo y estándaresLa medición de la calidad educativa ha estado a cargodel Ministerio de Educación desde 1993. Originalmente,y hasta el año 2001, la oficina evaluadora fue elSINEC, Sistema Nacional de Evaluación de la CalidadEducativa, dependiente de la Secretaría de Programacióny Gestión Educativa y de la Subsecretaría de Evaluaciónde la Calidad Educativa. En el año 2000 seconstituyó el IDECE, Instituto de Calidad Educativa,entidad semiautónoma del Ministerio de Educación. ElInstituto fue disuelto poco tiempo después y hoy loreemplaza la DiNIECE, Dirección Nacional de Informacióny Evaluación de la Calidad Educativa, órganode línea del Ministerio de Educación, Ciencia y Tecnología.Argentina aprobó en 1994 los Contenidos Básicos Comunes(CBC), dentro de un marco de reforma y de unproceso de descentralización en el cual se transfirió laadministración de todas las escuelas nacionales a lasprovincias (estados federados). Cada provincia, asícomo la Ciudad Autónoma de Buenos Aires, son responsablespor el diseño de sus currículos, compatiblescon los CBC. Actualmente, se están elaborando los Núcleosde Aprendizajes Prioritarios para todos los añosde escolaridad. Estos Núcleos, basados en los CBC na-

62 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNcionales y aprobados por consenso federal, priorizan algunoscontenidos para la enseñanza en matemática, lengua,ciencias sociales y ciencias naturales.Tipos de pruebasTipos de reporteUso y difusión deresultadosEl sistema mide anualmente muestras representativas dealumnos y en el último año de educación media realizamediciones censales. Los instrumentos son normativos,se basan en preguntas de opción múltiple y son acompañadaspor cuestionarios a alumnos, directores y docentespara el relevamiento de factores asociados al rendimiento.Actualmente se está diseñando un nuevo modelo demedición referido a criterios, que será aplicado por primeravez en 2006.Los resultados de las mediciones se publican desagregadospor área de conocimiento, por género, por provincia,por ámbito geográfico (urbano y rural), y portipo de gestión (pública y privada). Además, se clasificaa la población de alumnos de acuerdo a algunosindicadores sobre su vulnerabilidad socioeconómica, ya las escuelas según sus recursos materiales y pedagógicos.Para las mediciones censales se reportan los datosdesagregados por escuelas. Los resultados se reportancomo porcentaje de respuestas correctas para eltotal de estudiantes y para los diferentes estratos considerados.Las mediciones en Argentina son de bajas implicancias,en tanto los resultados no conllevan consecuencias directaspara los actores del sistema (la excepción se dioen el año 2000, cuando los resultados de secundaria porestablecimiento se pusieron a disposición del público).Hasta el año 2000 se publicaron cuadernos con recomendacionesmetodológicas para docentes, en los cualesse discutían algunos ítemes de las pruebas y se explicabanlas dificultades que estos habían presentado para losalumnos. Actualmente esas publicaciones han sido discontinuadasy los resultados de las mediciones no parecenhaberse instalado en la agenda de debate público nien la del sistema educacional. Solamente los resultadosde las pruebas internacionales parecen tener cierto gradode impacto en los medios de comunicación y en la opiniónpública.

SEGUNDA PARTE63Sistemas subnacionalesde evaluaciónPruebasinternacionales deaprendizajeAvances observadosDificultadesobservadasLa provincia de Buenos Aires ha desarrollado, con laasesoría técnica de UNESCO-OREALC, un sistema demedición basado en el modelo de “valor agregado” quepermite medir el progreso académico de los alumnosteniendo en cuenta los factores socioeconómicos decada población escolar. La Ciudad Autónoma de BuenosAires también posee un sistema propio de evaluación,pero los resultados no se hacen públicos sino quese devuelven directamente a las escuelas para fines deinvestigación y mejoramiento pedagógico e institucional.También realizan, o han realizado, mediciones independienteslas provincias de Catamarca, Chaco, Córdoba,Entre Ríos, La Pampa, La Rioja, Mendoza,Misiones, Neuquén, Río Negro, Salta, San Juan, SantaCruz, Santa Fe, Tierra del Fuego y Tucumán. Los gradosde cobertura y las metodologías de evaluación varíande provincia en provincia, así como el grado deapoyo que han solicitado al Ministerio de Educaciónpara el desarrollo de instrumentos propios. Además,casi todas las provincias han desarrollado algún tipo deestrategia propia para la difusión de los resultados deloperativo nacional de evaluación.Argentina ha participado en las pruebas internacionalesdel LLECE (1997), TIMSS-R (2000), PISA-Plus (2001),PIRLS (2001), IEA-Civic Education Study (2001), PISA(2003).Vale mencionar la legitimidad política que ha ido ganandoel sistema nacional de evaluación, la continuidad enla ejecución de los operativos anuales y la creciente percepciónsobre la necesidad de mejorar la utilidad de lasevaluaciones para fines pedagógicos.Entre las dificultades más importantes que enfrenta elsistema en la actualidad, cabe mencionar la falta de comunicaciónentre la unidad de medición y las oficinasde desarrollo curricular y formación y capacitación docente,así como la resistencia hacia las mediciones cuantitativasque ofrecen algunos académicos y técnicos dentrodel Ministerio. Simultáneamente, es necesario que launidad de medición haga análisis más complejos de losdatos obtenidos y que comience a reportar los datos de

64 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNrendimiento en forma diferencial para las escuelas dediferentes estratos socioeconómicos. No se observa unmarco conceptual definido para la interpretación de losresultados ni de los factores asociados al rendimiento,pero a pesar de que las pruebas son referidas a normas,y de que el vínculo entre las oficinas de evaluación y dedesarrollo curricular es sumamente débil, se ha ensayadocon la presentación de datos en forma más sustantiva,en relación a las capacidades específicas que el conjuntode los estudiantes demuestran de acuerdo al porcentajede logro mostrado en las evaluaciones.El Plan de Evaluación de la Calidad Educativa 2003-2007, recientemente aprobado por el Consejo Federal deEducación tiene como objetivos principales los de desarrollarnuevas metodologías cuanti-cualitativas, profundizarlos trabajos de análisis e interpretación de los resultados,brindar asistencia para el fortalecimiento delos sistemas provinciales de evaluación, y lograr mayoresgrados de articulación con otros programas y direccionesdel Ministerio para desarrollar planes más eficacesde mejoramiento de la calidad educativa. Se planteatambién la necesidad de hacer mejor uso de los datospara diseñar políticas tendientes al mejoramiento de laequidad en el acceso al conocimiento, así como de elaborarinformes diferenciados para distintos tipos de audiencias.Se continuará participando en pruebas internacionales.

SEGUNDA PARTE65BOLIVIAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónBOLIVIA(SIMECAL)1996-2000 1, 3, 6, 8,4ML, M MN, CN,CR (La Paz)G, P, U OREALC1997 ALL(2001)[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)], U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia], P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalCurrículo y estándaresPor Ley del Poder Ejecutivo, el SIMECAL depende directamentedel despacho del Ministro de Educación. Enla práctica, sin embargo, se encuentra ubicado dentro dela Dirección General de Estrategia Sectorial. Esto determinaque las informaciones que se recogen mediante lasevaluaciones no lleguen rápidamente a las autoridadespolíticas con mayor poder de decisión. Hasta el año2002, esta situación aun no había sido resuelta.La Reforma Educativa boliviana introdujo, entre losaños 1997 y 1998, un nuevo marco curricular nacional

66 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNpara educación primaria organizado en torno a competencias,indicadores de desempeño y estrategias de evaluaciónpor áreas disciplinares. En educación secundaria aún continúanvigentes los antiguos programas introducidos en losaños setenta. Las nuevas propuestas curriculares, y muchasde las acciones efectivas de reforma, reivindican fuertementela educación en lenguas y culturas originarias. Losmarcos, organizados y difundidos en forma de módulos, nopretenden una cobertura curricular exhaustiva, sino queproponen tipos de actividades que responden a una nueva“lógica curricular” y pedagógica. Oficialmente, las pruebasdel SIMECAL están referidas a los marcos curricularesnacionales. Sin embargo, existen críticas por parte de losequipos técnicos de desarrollo curricular en cuanto a laforma relativamente aislada en que el SIMECAL desarrollólas tablas de especificaciones y los instrumentos deevaluación.Tipos de pruebasTipos de reporteOriginalmente, las pruebas desarrolladas por el SIMECALfueron estrictamente normativas y referidas al antiguo currículonacional. Después, se desarrollaron pruebas referidasa criterios sobre la base de las nuevas competenciascurriculares y de tres niveles de logro (A, B y C) establecidosdesde la unidad de evaluación misma. Los instrumentosse basan en preguntas de opción múltiple. Se aplicanpruebas en las tres lenguas originarias principales, y todasse acompañan con cuestionarios a docentes, directores, padresy alumnos para el análisis posterior de factores asociadosal rendimiento. El SIMECAL fue creado básicamentepara la evaluación de aprendizajes escolares, perode manera lenta fue asumiendo nuevas responsabilidades:Prueba de Aptitud Académica (bachilleres egresantes),evaluación de maestros interinos, bachillerato pedagógico,asesores pedagógicos, profesores (sistema de bonos y ascensos),preselección de candidatos a directores distritales,directores de escuela e ingreso a institutos normales.Los informes de resultados elaborados por el SIMECALindican los porcentajes de alumnos que alcanzan cada nivelde desempeño en las áreas evaluadas. A su vez, losdatos son desagregados principalmente por departamento,por lengua vernácula, por tipo de dependencia, y por género.Tanto en el caso de las pruebas censales como en las

SEGUNDA PARTE67muestrales, las escuelas reciben un informe institucionaldel rendimiento de sus alumnos que incluye el puntaje promedioinstitucional, una descripción operacional de los nivelesde logro establecidos por área, y el porcentaje dealumnos de la escuela ubicados en cada nivel. Luego sepresenta una descripción estandarizada de las fortalezas ydebilidades del conjunto de alumnos por cada eje temáticoen cada área curricular. También se distribuye un folletocon análisis de ítemes seleccionados y propuestas metodológicaspara mejorar los resultados en relación a esos ítemes.Para el caso de los bachilleres egresantes, se ofreceun informe individual por alumno con su desempeño encada eje temático evaluado por área. Para el conjunto deescuelas y de equipos técnicos locales, se distribuye unfolleto con indicadores de eficacia escolar según los datosrecogidos con las pruebas y cuestionarios de contexto. Losfactores asociados al rendimiento que se publican refierena las características del alumnado y sus familias (educaciónprevia, NES familiar y actitudes, vivienda), procesos pedagógicos,y recursos materiales escolares. Si bien se cuentacon información sobre las características socioeconómicasy culturales de las familias, no se han definido estratosespecíficos que permitan desagregar los resultados segúnesta variable.Uso y difusión deresultadosLos datos de las evaluaciones son presentados oficialmenteen diversas instancias: presentación pública por parte delMinistro de Educación, presentación a los diferentes equiposde reforma educativa y curricular, entrega de trípticosy folletos a escuelas, realización de talleres informativosen ciudades capitales con participación de la sociedad civily de equipos técnicos locales, y publicación de resultadosglobales en prensa escrita. Se realizan también estudiossecundarios que asocian los datos de rendimiento a variablesde nutrición infantil. Se ignora qué uso efectivo se daa los resultados en las escuelas. Los datos no han sidoutilizados en la medida en que se esperaba para el diseñode políticas educativas. Problemas de comunicación al interiordel Ministerio, y probablemente la falta de acuerdossectoriales sobre la validez e importancia del logro de losaprendizajes evaluados hace que los resultados tengan bajoimpacto en la agenda de política. Diversas opiniones alinterior de la unidad de evaluación, así como de agencias

68 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNde cooperación internacional, coinciden en que los datosdel SIMECAL deberían utilizarse como uno de los indicadoresprincipales para la definición de mejores políticassectoriales (no solamente curriculares y pedagógicas) eintersectoriales.Sistemassubnacionales deevaluaciónPruebasinternacionales deaprendizajeAvances observadosDificultadesobservadasProyección a futuroNo se han desarrollado sistemas subnacionales.Bolivia ha participado en la prueba de LLECE-UNESCO(1997) y ALL (2001).Se observa continuidad en los programas de evaluación yrelativa estabilidad de los cuadros técnicos. Se han realizadoesfuerzos por mejorar de manera gradual los instrumentosde medición, desarrollar pruebas criteriales y producirreportes de calidad que permiten, potencialmente,un buen uso pedagógico y curricular de los datos.Entre las dificultades más importantes se encuentra la ausenciade políticas sectoriales que enfaticen el seguimientoa la calidad de los aprendizajes y que para ello utilicensistemáticamente los datos recogidos por el SIMECAL.Existe la percepción y el convencimiento de que los datospodrían utilizarse como indicadores clave para la formulaciónde políticas intersectoriales, pero la falta de comunicacióny articulación entre órganos de gobierno haceque esa formulación no se realice. Tampoco se realiza unseguimiento adecuado sobre el uso efectivo que las escuelashacen de los datos proporcionados por el SIME-CAL.Las autoridades del SIMECAL consideran que el sistemaha asumido más responsabilidades de evaluación que lasque su capacidad operativa permite. Por ello, es menesterconcentrar los esfuerzos sobre todo en la evaluación deaprendizajes escolares y dedicar todos los recursos restantesa difundir más ampliamente los datos y a “educar”a audiencias clave para el uso de las informaciones en laformulación de políticas educativas.

SEGUNDA PARTE69BRASILPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónBRASILINEP/MEC(SAEB)1990-19931995199719991, 3, 5, 74, 8, 114, 8, 114, 8, 11L, M, CNL, ML, M, CNL, M, CN,CSMNMNMNMNG, PG, PG, PG, PCD, DCCD, DCCD, DCETS-Matemáticas(1991;OREALC(1997); PISA(2000,2003),TIMSS 2003(ENEM)2001-20054, 8, 11L, MMNG, U, PCD1998-2005Término deEducaciónbásica5competencias[7]VG, USES[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental, V=Voluntario[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partir delos resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular, FA=Focalizaciónde apoyos a estudiantes y centros educativos, SES=Selección educación superior[7]I. Dominar linguagens – Dominar a norma culta da língua portuguesa e fazer uso da linguagemmatemática, artística e científica. II. Compreender fenômenos – Construir e aplicar conceitos

70 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNdas várias áreas do conhecimento para a compreensão de fenômenos naturais, de processoshistórico-geográficos, da produção tecnológica e das manifestações artísticas. III. Enfrentarsituações-problema – Selecionar, organizar, relacionar, interpretar dados e informações representadosde diferentes formas, para tomar decisões e enfrentar situaçõesproblema. IV. Construirargumentação – Relacionar informações, representadas em diferentes formas, e conhecimentosdisponíveis em situações concretas, para construir argumentação consistente. V.Elaborar porposta – Recorrer aos conhecimentos desenvolvidos na escola para elaboração depropostas de intervenção solidária na realidade, respeitando os valores humanos e considerandoa diversidade sociocultural.Marco institucionalCurrículo y estándaresLa agencia evaluadora al nivel nacional en Brasil es elSAEB– Sistema de Evaluación de la Educación Básica yestá administrada por el Instituto Nacional de InvestigacionesEducativas (INEP), un órgano dependiente delMinisterio de Educación pero con cierto grado de autonomíaadministrativa. Un subsistema de evaluación delINEP es el ENEM, Examen Nacional de Enseñanza Media,que guarda relación técnica con el SAEB pero seadministra y aplica en forma independiente.Las primeras aplicaciones del SAEB se realizaron antesde la elaboración de los Parámetros Curriculares Nacionales,aprobados en el año 1997, cuando cada estadocontaba con un marco curricular propio. Por esta razón,fue necesario entonces construir y validar con los estadosuna matriz de referencia que contuviera un 60% decontenidos comunes a todos los currículos estaduales.Posteriormente, se fue actualizando esa matriz para incorporarlos contenidos de los Parámetros CurricularesNacionales, de manera que ya no es necesario validarpermanentemente la matriz con las Secretarías de Educaciónde cada estado. En la actualidad, participan en ladefinición de contenidos especialistas contratados paratal fin, pero no se trata de un trabajo conjunto con losequipos técnicos estables de la administración nacionaldel currículo. Los docentes son consultados durante laelaboración de las pruebas, pero no puede considerarseun proceso altamente participativo de estos actores. Lamatriz de referencia busca lograr un equilibrio entre elcurrículo prescrito y el implementado en las escuelas,pero el diseño de las pruebas y cuestionarios no permiterealizar análisis posteriores sobre cuánto del rendimien-

SEGUNDA PARTE71to se debe a la implementación efectiva del currículonacional (Oportunidad de Aprendizaje).Tipos de pruebasTipos de reporteLos instrumentos de medición son referidos a normas yse construyen de acuerdo al modelo psicométrico de laTeoría Clásica y de TRI. La matriz de referencia se basaen descriptores que involucran dos niveles de especificación:competencias y habilidades. Se mantienen losmismos tópicos de evaluación en todos los grados evaluados,pero se va ajustando las prioridades o nivel decomplejidad para los grados superiores. El modelo esfuertemente cognitivista, en tanto busca detectar en quépunto del proceso de aprendizaje se produce una rupturao detenimiento en la adquisición de saberes más complejos.Para esto, luego de la aplicación de las pruebas, serealizan estudios de seguimiento cualitativo en aula. Laspruebas van acompañadas de cuestionarios que relevandatos escolares y extraescolares para estudios posterioresde factores asociados al rendimiento. Para tal fin, sediseñó una caracterización sociodemográfica de las escuelasy sus entornos, así como una caracterización profesionalde los directores y docentes a cargo de los gruposevaluados. Los cuestionarios se aplican a alumnos,docentes y directores. Estas informaciones también secruzan estadísticamente con los datos del censo nacionalde educación y del Instituto Brasileño de Geografía yEstadística. El ENEM, Examen nacional de EnseñanzaMedia, se aplica a los egresantes de ese nivel de escolaridad,es voluntario y requiere de una inscripción o registroprevio por parte de los alumnos. La matriz dereferencia para la prueba fue construida ad hoc pero sesirve del banco de ítemes del SAEB y refiere por lotanto a los contenidos de los Parámetros CurricularesNacionales. La prueba apunta a ofrecer indicadores relevantespara la selección de individuos en el mercadolaboral y, eventualmente, para el ingreso a la educaciónsuperior (estos indicadores son utilizados opcionalmentepor las universidades).Los informes de resultados reportan, principalmente, elporcentaje de alumnos por grado que logra diferentesniveles de desempeño en una escala predeterminada paralas diferentes áreas del currículo. Complementariamen-

72 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNte, se presenta una descripción del tipo de capacidadesque los alumnos demuestran haber logrado en cada unode esos niveles de desempeño. Los datos se presentanagregados al nivel nacional, y luego se desagregan porregión, estado y municipio. El ENEM entrega un boletínindividual de resultados. Si alguna persona desea teneracceso al mismo, debe pedir autorización del estudiante.A solicitud de las escuelas se puede hacer un boletín deresultados de las mismas.Uso y difusión deresultadosEl rediseño de los instrumentos de evaluación del SAEBa partir del año 2001 ha determinado que se revean tambiénlas estrategias de difusión y uso de los datos recogidos.Hasta el momento, el énfasis ha estado puestoprincipalmente en la sensibilización de audiencias clavepara asegurar un mayor impacto posterior de las informaciones.Para tal fin, se han realizado visitas informativasy asambleas a todos los estados con la participaciónde equipos técnicos estaduales y locales, docentes,directores de escuela, universidades y medios de prensa.Por demanda de los docentes, las asambleas ponen especialacento en las características técnicas de las pruebasy de la matriz de referencia. Los resultados son de conocimientopúblico pero su uso está destinado básicamentea la toma de decisiones de política al interior del Ministeriode Educación. Por tratarse de pruebas muestrales,los resultados no se devuelven a las escuelas individualmente.Sin embargo, el INEP ha realizado informes específicosde uso pedagógico que muestra una selecciónde ítemes, presenta los desempeños promedio de losalumnos para cada uno de ellos, y propone un conjuntode explicaciones sobre las posibles causas de desaciertoen las respuestas. Adicionalmente, se han encargado investigacionescualitativas que buscan comprender algunosde los factores pedagógicos y de prácticas socialesen aula que expliquen los resultados en el ámbito nacional.Los resultados no tienen altas implicancias para lasescuelas o los alumnos, y no se observa un alto impactoen la responsabilización política por la calidad de losaprendizajes. Los bancos de datos y de ítemes están disponiblespara investigaciones externas al INEP, perosolo pueden accederse por convenio y mediante arregloslegales previos. Los resultados del ENEM son utilizados

SEGUNDA PARTE73para la selección de inscritos a la ProUni, para la obtenciónde becas de estudio integrales o parciales (para estudiantesde bajo nivel socioeconómico). Además, cientosde instituciones de educación superior los usan parasus procesos selectivos.Sistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroVer separadamente los casos estaduales de Paraná, SãoPaulo y Minas Gerais.LLECE (1997) y PISA (2000)Se aprecia un importante grado de institucionalizacióninterna, en términos de estabilidad de los equipos y decontinuidad en las evaluaciones. Externamente, elSAEB ha logrado instalarse sin oposición por parte delos sindicatos u otros actores de la comunidad educativa,lo cual se atribuye a los esfuerzos realizados pormantener a los actores locales de forma adecuada informadossobre los objetivos y fines de la evaluación. Valedestacar también el tránsito hacia un modelo de evaluaciónmás centrado en el uso pedagógico y curricular delos datos recogidos por los operativos.A pesar del interés y esfuerzos realizados por maximizarel uso pedagógico de los datos, se cree que llevará untiempo considerable, y mucho trabajo de difusión y capacitación,lograr un impacto efectivo en las escuelas.No se dispone de informaciones que den cuenta del usodado a los datos para la toma de decisiones de políticaeducativa a nivel nacional.Se espera poder diversificar en mayor grado los tipos dereporte de resultados para impactar con eficacia en diferentestipos de audiencias.

74 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNCHILEPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónCHILE (PERPrueba deEvaluacióndelRendimientoEscolar)SIMCESistema deMedición dela Calidad dela Educación1982-1984198819894, 848L, M, CN,CSL, M, CS,CN, AAL, M, CS,CN, AAMN, CNCN, MECN, MEG, U, PG, U, PG, U, POREALC1997,TIMSS-R1998,TIMSS2003, IALS1998, IEA-CivicEducation(2000), PISAPlus19904L, M, CS,CN, AACN, MEG, U, P19918L, M, CS,CN, AACN, MEG, U, PCD, DC, FA19924L, M, CS,CN, AACN, MEG, U, PCD, DC, FA19932MAACN, MEG, U, PCD, DC, FA199484L, M, CS,CN, AA,L, M, CS,CN, AACN, MECN, MEG, U, PG, U, PCD, DC, FACD, DC, FA19952M8L, M, AAL, M, CS,CNCN, MECN, MEG, U, PG, U, PCD, DC, FACD, DC, FA19964L, M, CS,CN, AACN, MEG, U, PCD, DC, FA19978L, M, CS,CN, AACN, MEG, U, PCD, DC, FA19982ML, MMN, MEG, U, PCD, DC, FA

SEGUNDA PARTE75ContinuaciónPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipación19994L, M, CN,CSCN, MEG, U, PCD, DC, FA20008L, M, CN,CSCN, MEG, U, PCD, DC, FA20012ML, MCN, MEG, U, PCD, DC, FA20024L, M, CN,CSCN, MEG, U, PCD, DC, FA20032ML, MCN, MEG, U, PCD, DC, FA20048L, M, CN,CSCNG, U, PCD, DC,FA, I[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos, I= Incentivos docentes.

76 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNMarco institucionalCurrículo y estándaresTipos de pruebasEl SIMCE, Sistema de Medición de la Calidad Educativa,es administrado desde la Unidad de Curriculum yEvaluación del Ministerio de Educación. Este sistema,originalmente creado fuera del Ministerio bajo otra denominación(PER) y la dirección técnica de la UniversidadCatólica de Chile, aplica pruebas de logro académicodesde el año 1981. A partir del año 1988 comenzó afuncionar dentro de la estructura del Ministerio de Educación,por lo cual no es un organismo autónomo aunquesu legitimidad técnica le otorga grados importantesde liderazgo y capacidad de decisión de política evaluativaal nivel nacional.En 1996 y 1998, en una de las últimas fases de la ampliareforma educacional emprendida a principios de la décadapasada, fueron aprobados por ley los Objetivos Fundamentalesy los Contenidos Mínimos Obligatorios parala educación básica primaria y secundaria, y que constituyenel marco curricular oficial en Chile. Los instrumentosde medición de aprendizajes del SIMCE fueronincorporando los contenidos de esos referentes curricularesgradualmente, en la medida en que los nuevos programasse implementaban en las escuelas. La LOCE–Ley Orgánica Constitucional de Enseñanza de 1990, ordenatambién la elaboración de estándares nacionales decurrículo, mandato que está siendo cumplido en la actualidadcon la elaboración de estándares de contenido ydesempeño para todos los grados de escolaridad en lasáreas de Lenguaje, Matemáticas, Historia y Ciencias Sociales,Ciencias (Biología, Química y Física) e Ingléscomo segunda lengua.Las pruebas son censales en todos los grados de aplicación.Históricamente han sido diseñadas con referencia anormas, aunque recientemente se ha redefinido el modelopara poder reportar los resultados con referencia acriterios. Los instrumentos incluyen preguntas cerradasde opción múltiple, así como preguntas para el desarrollode respuestas abiertas. Todos los operativos sonacompañados con cuestionarios de contexto para el estudioposterior de factores escolares y extraescolares asociadosal rendimiento académico. Complementariamen-

SEGUNDA PARTE77te, un equipo técnico especial realiza un seguimientocuanti-cualitativo de implementación curricular a nivelnacional mediante encuestas y observaciones a docentes ydirectores de escuelas. Ese seguimiento permite indagarmás profundamente sobre la incidencia que las diferentesfuentes de prescripción curricular utilizadas en la escuela(marcos curriculares, programas de estudio, libros de texto,etc.) tienen sobre el logro académico de los alumnos.Tipos de reporteUso y difusión deresultadosLos informes generales de difusión presentan los resultadosagregados al nivel nacional, y desagregados porregiones geográficas, tipo de escuela (urbana o rural) ytipos de administración (municipal, privada o subvencionada).A lo largo de los últimos años se han utilizadodiferentes formas de reporte, dependiendo de los objetivosde información para diferentes audiencias. Algunosinformes presentan los resultados en forma de promediosde logro y desviación estándar para las diferentesasignaturas y estratos evaluados, mientras que otros reportanporcentajes de respuestas correctas para cada signatura,o más detalladamente por objetivos al interior decada una de ellas. Varios de los informes enfatizan lasdiferencias de resultados entre tipos de escuelas, o bienla evolución de resultados a lo largo del tiempo. Lacomparabilidad interanual de resultados ha sufrido cuestionamientostécnicos, por lo que recientemente se harecurrido a la metodología de equating, lo cual permiteinferencias más confiables sobre el progreso en losaprendizajes a lo largo de la última década. Complementariamente,el equipo técnico del SIMCE produce informesanalíticos-interpretativos de los resultados y sus implicanciaspara la comprensión de la evolución de laimplementación y alcance de los nuevos marcos curriculares.Todas las escuelas evaluadas reciben un informeinstitucional que resume los niveles de logro académicode los grupos (cursos) participantes en la evaluación decada una de las asignaturas.Chile es probablemente el país latinoamericano dondelos resultados de aprendizaje medidos estandarizadamentetienen la mayor repercusión política interna. Losesfuerzos realizados por el gobierno para impulsar ysostener altos niveles de inversión en la reforma educa-

78 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNcional han requerido mostrar evidencias sobre el éxitode los programas implementados. Muchos de los informesoficiales de resultados académicos, así como lasinvestigaciones independientes que hacen uso de los datosdel SIMCE, ponen especial énfasis en las variacionesde logro educativo a lo largo de los años noventa yen el tamaño de las brechas entre escuelas de diferentesdependencias y estratos socioeconómicos. Estos informesson frecuentemente balanceados, o desafiados, porinvestigaciones independientes de la comunidad académicanacional, que cuestiona el impacto de la reforma yde los mecanismos de financiamiento en términos demejoramiento de la calidad educativa. En cuanto al usode las evaluaciones SIMCE para la focalización de políticasde mejoramiento, se destacan al menos tres estrategiasfuertemente consolidadas: 1) El uso de los resultadoscomo uno de los dos indicadores más importantes enla selección de las escuelas que ingresan al Programa delas 900 escuelas (P-900- en este momento atendiendoalrededor de 1.500 instituciones); 2) La utilización delos datos para la asignación de fondos concursables paralos Proyectos de Mejoramiento Educativo; 3) El uso delos datos como uno de los indicadores principales paraotorgar incentivos docentes mediante el SNED, SistemaNacional de Evaluación del Desempeño de los EstablecimientosEducacionales. El uso pedagógico y curricularde las evaluaciones centrales se da, básicamente, mediantela difusión entre docentes de nuevas y más sofisticadasformas de evaluación, y a través del seguimientocualitativo que hace la UMC de la implementación curricularen las escuelas. Ese seguimiento permite observar elgrado de apropiación formal y efectivo de los nuevosmarcos curriculares, y los resultados (tanto del seguimientocomo de las pruebas nacionales e internacionales)permiten identificar cuáles aspectos del currículo necesitande mayor estímulo para su implementación y logro.Sistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeNo se han desarrollado sistemas subnacionales de medicióny evaluación de aprendizajes.Chile ha participado en las pruebas internacionales comparadasOREALC 1997, TIMSS-R 1998, IALS 1998,IEA-Civic Education Study 2000, y PISA Plus 2001.

SEGUNDA PARTE79Avances observadosDificultades observadaProyección a futuroSe observa una transición importante hacia el uso de losdatos de las evaluaciones para la definición y diseño depolíticas de mejoramiento educativo, en contraste con eluso original que se dio al sistema para informar al públicopara la selección de escuelas. Si bien los resultadosindividuales por escuela aun se difunden públicamente,el mayor énfasis está puesto sobre el análisis sustantivode los datos y sus implicancias para el mejoramiento dela calidad educativa. Destaca la continuidad de los operativosa lo largo de los años, la consolidación y estabilidadde los equipos técnicos, y la institucionalizaciónexterna lograda por el sistema.A pesar de los informes analíticos y las recomendacionespedagógicas elaborados por el SIMCE, aun resultadifícil impactar sobre los procesos de desarrollo curriculary de enseñanza-aprendizaje en las escuelas.El proceso actual de elaboración de estándares requeriráuna redefinición o ajuste de los instrumentos de mediciónde aprendizajes.

80 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNCOLOMBIAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónCOLOMBIAICFES-Ministerio deEducaciónPruebasSABERICFES:Exámenes deEstado1991/19941997/19981998/19992002-20031980-20053, 5, 7, 93, 5, 7, 97, 95, 9 [7]11L, ML, M,L, M, CNL, M, CNL, M, CS,CN, LEMN, MRMNMNCNCNG, U, PG, U, PG, U, PG, U DC, SESTIMSS(1995);OREALC(1997); IEA-CivicEducation(2000);PIRLS(2001)[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental, C=Ciudadanía[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos, SE=Selección educación superior[7]En algunas entidades territoriales se realizó, adicionalmente, la evaluación de los grados 3 y 7.

SEGUNDA PARTE81Marco institucionalCurrículo y estándaresTodos los operativos de medición y evaluación deaprendizajes se realizan a través del ICFES, InstitutoColombiano para el Fomento de la Educación Superior,un órgano semiautónomo del Ministerio de EducaciónNacional. El ICFES depende políticamente del Ministeriopero goza de altos grados de autonomía administrativa,lo cual le ha permitido lograr considerable estabilidadtécnica y desarrollo institucional a lo largo de lastres últimas décadas. Dentro del ICFES funciona el ServicioNacional de Pruebas, la unidad técnica encargadadel diseño, aplicación y procesamiento de los operativosnacionales de evaluación. El operativo principal, de mayorestabilidad en el tiempo y reglamentado por ley nacional,es el correspondiente a los Exámenes de Estado,que regulan el acceso de los estudiantes a la educaciónsuperior. Estas pruebas son administradas por el ICFESen forma independiente y no guardan relación técnica nipolítica con la administración ministerial de la educaciónbásica (primaria y secundaria), aunque ofrecen datosde alto valor curricular y para las escuelas medias detodo el país. Por otro lado, la Dirección de Calidad delMinisterio de Educación y el ICFES han desarrollado enforma conjunta un Sistema Nacional de Evaluación deaprendizajes en educación básica, denominado SABER.Este proyecto fue concebido como un plan de monitoreode la calidad educativa que habría de llevarse a caboentre los años 1997 y 2005, en forma de seguimientolongitudinal de aprendizajes. Sin embargo, la rotaciónde autoridades políticas e importantes reestructuracionesen el Ministerio de Educación del sector en los últimosaños, y los consecuentes cambios en las prioridades ylíneas de acción de política, han impedido que ese proyectose complete y las aplicaciones anuales han sidodiscontinuadas.En Colombia conviven tres referentes curriculares oficialesque se han ido sumando a lo largo de la última década.Estos son los Lineamientos Curriculares, los Indicadoresde Logros Curriculares Generales, y los nuevos Estándaresnacionales aprobados en 2002 para tres asignaturas.Las evaluaciones de SABER aplicadas hasta 1999 tomaroncomo referente curricular los dos primeros documen-

82 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNtos. Los Exámenes de Estado, por su parte, fueron diseñadosoriginalmente sobre la base de un conjunto de habilidadescognitivas universales, pero recientemente fueronreformulados en base a criterios que incorporan los contenidosde los marcos curriculares nacionales. El diseño dela matriz de referencia de estos exámenes puede considerarse,desde el punto de vista técnico, como una propuestade estándares, en tanto explican clara y exhaustivamentequé tipos y niveles de desempeños académicos seespera de los estudiantes, a la vez que constituyen herramientasútiles de información para las escuelas secundarias,los alumnos y sus familias.Tipos de pruebasTipos de reporteLas pruebas SABER son muestrales, están referidas acriterios y evalúan el rendimiento académico de acuerdoa una escala predefinida de tres niveles de desempeñode complejidad creciente para cada asignatura y añoevaluados. Las pruebas se complementan con cuestionariosde contexto que permiten el análisis de factores escolaresy extraescolares asociados al rendimiento académico(características de escuela, maestro, alumno yfamilia). Los Exámenes de Estado se aplican censalmentea todos los aspirantes a la educación superior. Laspruebas miden el alcance de conocimientos en las áreascurriculares de formación general, y también permiten laevaluación de conocimientos en profundidad para algunasdisciplinas, según los requisitos de ingreso de losdiferentes programas de educación superior. Se evalúantambién conocimientos en lenguas extranjeras y formacióninterdisciplinar (específicamente, medio ambiente yviolencia y sociedad).Los informes de las pruebas SABER presentan los resultadosde aprendizaje agregados al nivel nacional, y desagregadosal nivel departamental, por tipos de escuela(urbano o rural) y tipo de gestión (privada u oficial).Los datos de rendimiento de cada subgrupo de estudiantesse reportan en forma de porcentaje de respuestas correctaspara cada uno de los niveles de desempeño predefinidos(B, C, y D – desde el más básico al máscomplejo). En cuanto a los Exámenes de Estado, losinformes principales son los que llegan a los centroseducativos. Todas las escuelas medias reciben un reporte

SEGUNDA PARTE83institucional donde se detalla exhaustivamente cuál fueel nivel de logro de cada uno de sus estudiantes en lasdiferentes áreas del currículo, y cuáles objetivos específicosde cada área muestran mayores avances y dificultades.Adicionalmente, los estudiantes reciben un reporteindividual que les permite conocer en detalle cuáleshan sido sus logros y dificultades más significativos.Los informes de difusión general reportan los porcentajesde alumnos que lograron cada uno de los niveles dedesempeño en las diferentes áreas evaluadas. Tambiénse reportan datos desagregados por departamento geográfico,comparando el desempeño relativo de cada unorespecto del promedio nacional.Uso y difusión deresultadosSistemas subnacionalesde evaluaciónLos informes que se produjeron sobre los resultados delas pruebas SABER se difundieron entre las autoridadespolíticas y técnicas del sector, y también fueron presentadosa diversos actores locales mediante folletos explicativos,foros, talleres de interpretación de resultados yotros eventos públicos. Los datos de contexto levantadospor los cuestionarios han sido analizados sobre todo pororganizaciones e investigadores independientes. Los resultadosde los Exámenes de Estado, por su parte, tienencomo destinatario principal las escuelas medias y susalumnos. Dado el grado de desagregación de los datosque reciben las escuelas, especialmente en cuanto a losconocimientos específicos demostrados por los estudiantes,los informes constituyen herramientas clave para elmejoramiento en el diseño y la implementación curricular.Para los alumnos, los datos devueltos son indicadoresprecisos sobre el tipo de conocimientos que han logrado,y sobre cuáles deben trabajar en mayorprofundidad si necesitan mejorar los resultados y susposibilidades de ingreso a la educación superior. No hayevidencia de que los datos hayan impactado en las decisionesde política en el ámbito de la educación básica,aunque sí se utilizan por lo común como materia deestudio por parte de investigadores del ICFES y de otrasinstituciones académicas.El sistema de evaluación subnacional que mayor desarrolloha logrado es el diseñado e implementado por laSecretaría de Educación de Bogotá (ver informe aparte).

84 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNPruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroColombia ha participado en las pruebas internacionalescomparadas TIMSS (1995); OREALC (1997); IEA-CivicEducation (2000); y PIRLS (2001).La larga experiencia en medición de aprendizajes acumuladapor el ICFES ha permitido el desarrollo de importantescapacidades técnicas y operativas a nivel nacional,aunque esas capacidades no siempre se transfieren alMinisterio de Educación ni son utilizadas por este paraorientar más racionalmente las decisiones de políticaeducativa. Cabe destacar los esfuerzos por desarrollarmodelos psicométricos e instrumentos referidos a criterios,lo cual garantiza mayor articulación curricular entrela educación media y los requisitos de ingreso a launiversidad. El ICFES goza de un grado importante deinstitucionalización interna y externa, lo cual se debetanto al respaldo normativo que lo regula como a la voluntadde los equipos técnicos por actualizar los instrumentosy hacerlos más útiles como herramientas de gestiónescolar.Si bien se reconoce oficialmente el valor de los datosrecogidos por las pruebas SABER y los Exámenes deEstado, los resultados han tenido muy bajo impacto enla toma de decisiones de política educativa. Esto se debeprincipalmente a la alta rotación de autoridades políticasdel sector, lo cual ha impedido que se mantengan líneasde acción a largo plazo, y que se utilice los datos de lasevaluaciones para sustentarlas.La administración ministerial actual ha hecho explícitasu voluntad de seguir ampliando y socializando los estándareselaborados en 2002, y de reforzar los mecanismosde medición y evaluación de aprendizajes en funciónde esos estándares.

SEGUNDA PARTE85COSTA RICAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónCOSTARICAIIMEC,Universidadde CostaRica yDepartamentode PruebasNacionales(MinisteriodeEducación)Pruebas deconocimientos198619871989-1990199619973, 6, 9, 11/126, 9, 11/123,6,93, 6, 93, 6L, ML, M, CS,CNL, M, CS,CNL, M, CS,CNL, M, CS,CNCNCNMNMNMNG, PG, PG, U, POREALC1997 (Noconcluyóproceso deevaluación)PruebasNacionalesdeBachilleratoo deConclusióndel II Ciclode EGB1988-2003[7]BachilleratoL, M, CS,CN, LECNG, U, PPrimeringreso1994-19961Destrezascognoscitivas19961[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.

86 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓN[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)], U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia], P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.[7]Existieron en décadas anterioresMarco institucionalLas primeras acciones de evaluación estandarizada en CostaRica comenzaron en 1986 en manos del IIMEC, Institutode Investigación para el Mejoramiento de la EducaciónCostarricense, en la Universidad de Costa Rica, y por solicituddel Ministerio de Educación para realizar una evaluaciónformativa de la educación básica. Luego, a partir delaño 1988 y por encargo del Consejo Superior de Educación,el IIMEC diseñó e implementó las pruebas de graduacióndel Bachillerato. En 1996 venció el convenio entreel Ministerio de Educación y el IIMEC y en 1997 se establecióel CENE-EDU, Centro Nacional de Evaluación dela Educación, dependiente del Consejo Superior de Educación.El CENE-EDU fue disuelto poco tiempo después, en1998, y actualmente la medición nacional de aprendizajesse administra desde la División de Control de Calidad yMacroevaluación del Sistema Educativo (Departamento dePruebas Nacionales), órgano funcional del Ministerio deEducación que aplica pruebas tanto para el sistema de educaciónformal como para el Subsistema de EducaciónAbierta (Programa de Alfabetización por Suficiencia, Bachilleratoa Distancia y Bachillerato por Madurez). Otradependencia del Ministerio de Educación, el Departamentode Investigación Educativa, realiza estudios secundariossobre la base de los datos de las pruebas nacionales, aunquesu relación con la División de Control de Calidad esaparentemente muy débil.

SEGUNDA PARTE87Currículo y estándaresTipos de pruebasTipos de reporteLas pruebas de conocimiento de todos los niveles, incluidoel Bachillerato, están referidas al currículo nacional vigente,sobre el cual se construyó una serie de Temarios deReferencia para la elaboración de las matrices. La elaboraciónde esos Temarios, sin embargo, fue realizada específicamentepor los equipos de evaluación, sin la participaciónde los equipos de desarrollo curricular del Ministerio. Tampocose han utilizado como referentes los estándares elaboradospor la CECC. Los temarios son aprobados por elConsejo Superior de Educación (órgano de autoridad máximaen el sistema educativo costarricense), que a su vezconsulta con curriculistas de las diversas asignaturas antesde su aprobación anual.Las pruebas de destrezas cognoscitivas fueron muestralesy referidas a normas. Las pruebas de Bachillerato, asícomo las Pruebas Nacionales de Conclusión del II y IIIciclo de EGB, también son normativas pero de coberturauniversal en esos niveles de escolaridad. Algunas aplicacionesde estas últimas (1996-1997) se realizaron muestralmentey mediante pruebas referidas a criterios. Todaslas pruebas censales sumativas (promoción y graduación)constituyen el 60% de la calificación final del alumno enlas asignaturas evaluadas. En todos los casos, las pruebasse basan en un modelo de respuestas de opción múltipleúnicamente, excepto en la prueba de Bachillerato en lacual se evalúa también la redacción de ensayos. Se intentóla evaluación de producción escrita en las demás pruebas,para ser corregida por profesores designados en cadaescuela, pero investigaciones del IIMEC demostraron luegoque las correcciones eran inapropiadas y la experienciafue discontinuada a partir del año 1991.Algunos informes reportan los resultados nacionales y regionalesen forma criterial, es decir por porcentajes dealumnos que respondieron correctamente a los ítemes delos diferentes objetivos de cada área curricular. Tal es elcaso del informe comparativo 1996-1997, que buscaba lograruna medición de impacto de las medidas correctivastomadas desde el Ministerio de Educación en esos años.Otros informes, como el referente a un estudio muestral de1998, presentan las medias aritméticas de logro por objetivoen cada área curricular evaluada a nivel nacional, y

88 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNluego desagregadas por género, región, tipos de escuela (tamaño),y tipos de administración (público o privada). Seofrecen también análisis descriptivos de los resultados, descripcionesde las principales dificultades que presentaron losalumnos y un conjunto de recomendaciones metodológicas.Los informes oficiales sobre las pruebas de Bachillerato presentanlos resultados agregados al nivel nacional, y desagregadosal nivel regional por asignatura y modalidad, y enforma de porcentajes de alumnos que promocionaron encada asignatura. Se presenta también una discusión de losresultados y un conjunto de conclusiones y recomendacionespara el mejoramiento del nivel de aprendizajes. Estudios específicosrealizados por la División de Control de Calidaddel Ministerio ofrecen también datos sobre correlaciones entreresultados de la prueba y el rendimiento de los alumnosen Educación Diversificada, así como informaciones sobreel valor predictivo de las pruebas de Bachillerato respecto aldesempeño de los alumnos graduados en algunas carreras deeducación superior.No se han desarrollado sistemas subnacionales de evalua-ción.Uso y difusión deresultadosSistemas subnacionalesde evaluaciónLa División de Control de Calidad produce informes diferenciadosde resultados para autoridades superiores delMEP, autoridades regionales y escuelas, incluyendo padresy alumnos. Asimismo, se producen informes técnicos parainvestigadores y profesionales académicos, así como parala prensa. Además de los informes formales, se realizancon frecuencia estudios de profundización sobre los resultados,tales como los mencionados en el apartado anterior.Las pruebas de Bachillerato y las de Conclusión del II y IIIciclo de la EGB son de altas implicancias para los alumnos,representando el 60% de la calificación individual. Elotro 40% se deriva del promedio general de los últimostres años de estudio en cada asignatura. En el caso delbachillerato, ese 40% se deriva del promedio de cinco asignaturasen los dos últimos años de estudio. Los resultadosde las pruebas han tenido hasta el momento escaso impactoen las decisiones de política educativa al nivel nacional,con excepción de las modificaciones específicas realizadassobre los temarios de evaluación o sobre las pruebas mismas.

SEGUNDA PARTE89Pruebas internacionalesde aprendizajeAvances observadosDificultades observadasCosta Rica participó en la prueba del LLECE- 1997, peropor razones de organización no concluyó el proceso deevaluación y por lo tanto no publicó los resultados finales.La larga trayectoria en materia de medición estandarizadade aprendizajes puede considerarse un avance en términosde la capacidad técnica desarrollada a lo largo delos años. En general, y a pesar de que persiste el debatesobre la utilidad de las pruebas nacionales, la opiniónpública parece favorecer el sostenimiento de los operativosanuales de medición.Los datos recogidos por las pruebas anuales no han sidoutilizados mayormente para la toma de decisiones depolítica o para el diseño y mejoramiento de programasorientados a elevar la calidad de los aprendizajes. El usode los datos parece estar restringido casi exclusivamentea las decisiones sobre promoción y graduación de losestudiantes, lo cual cuestiona el valor evaluativo-formativopotencial de las pruebas.

90 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNCUBAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónCUBA 19751996-1998,20003, 4, 6, 9, 126, 9, 12L, ML, MMRMNG, U CDOREALC199720026, 9, 12L, MCN[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)], U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia], P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalLa medición y evaluación de aprendizajes en Cuba serealiza a través del SECE, Sistema de Evaluación de laCalidad de la Educación, que es una unidad técnica delInstituto Central de Ciencias Pedagógicas, organismoadscrito al Ministerio de Educación. El equipo de evaluaciónestá integrado por investigadores del Instituto yrepresentantes electos de las direcciones de Supervisión,de Educación Primaria, de Educación Básica Secunda-

SEGUNDA PARTE91ria, de Educación Preuniversitaria, y de la Dirección deFormación y Capacitación Docente (20 personas en total).Este grupo, a su vez, se apoya logísticamente engrupos provinciales de evaluación, y en tareas de coordinaciónque realiza la Universidad Pedagógica Nacional.Las acciones evaluativas del SECE son de carácteren especial investigativo, a diferencia de otros programasanteriores de evaluación nacional que tenían funcionesde acreditación (promoción y graduación) de estudiantesde educación básica y preuniversitaria.Currículo y estándaresTipos de pruebasEn Cuba existe un currículo nacional para todos losniveles de escolaridad. Este currículo sufrió modificacionesimportantes en los años 1975 y luego en 1987,aunque no se considera que hayan atravesado “reformas”propiamente dichas. Más bien, las actualizacionescurriculares se van realizando periódicamente apartir de las informaciones recogidas a través del sistemanacional de asesoramiento y supervisión, que enCuba está fuertemente afianzado. No se cuenta con estándaresnacionales de currículo, y no existen por elmomento iniciativas para su desarrollo en el corto omediano plazo.Las pruebas de aprendizaje que viene aplicando el SECEdesde 1996 son referidas a normas y se basan en unmodelo de ítemes de opción múltiple y también de preguntasabiertas. La cobertura es censal al nivel de lasescuelas y muestral al interior de cada institución. Estoimplica que los resultados son representativos al nivelmunicipal, provincial y nacional, pero no al nivel escolardebido al tamaño de la muestra en cada centro educativo.Los instrumentos, además de medir el desempeñoestudiantil en lenguaje y matemáticas, levantan informaciónsobre aspectos axiológicos y actitudinales de losestudiantes. A través de cuestionarios de contexto aplicadosa docentes, alumnos y familias, se estudia tambiénel efecto sobre los aprendizajes de algunas variables extraescolares,tales como el nivel sociocultural de losalumnos, género y grupo racial de pertenencia. Se realizantambién comparaciones entre el desempeño académicode los alumnos en las pruebas estandarizadas, y eldesempeño alcanzado en las mismas áreas de conoci-

92 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNmiento según la calificación que realizan los docentesen las escuelas.Tipos de reporteUso y difusión deresultadosSistemas subnacionalesde evaluaciónInformación no disponible.Los resultados de las pruebas han sido utilizados principalmenteen eventos masivos de capacitación docente,vía televisión nacional, y a través del asesoramientocontinuo que reciben las escuelas por parte deequipos técnicos locales y provinciales. A los Consejosde Dirección de Educación de las provincias se lesentrega un informe con los resultados y una guía explicativapara su interpretación. Los datos se utilizantambién para estudios de casos que profundizan la indagaciónsobre las razones que explican los resultadosinsuficientes en las escuelas.No se han desarrollado sistemas subnacionales deevaluación.Pruebas internacionales Cuba participó en la prueba internacional comparadade aprendizajedel LLECE- 1997.Avances observadosDificultades observadasLas autoridades del Instituto Central de Ciencias Pedagógicassostienen que existe una política de integraciónentre las diferentes áreas del Ministerio deEducación, lo cual ha permitido que se difundan losdatos de las evaluaciones de rendimiento académico,y que se comprenda su importancia para el diseño depolíticas educativas más eficaces. Además, se consideraque el uso extensivo que se ha dado a los datospara la capacitación docente ha contribuido positivamentea la legitimación del sistema de evaluación estandarizadaque se realiza desde el Instituto.Se considera que es necesario superar las diferenciasde percepción que sobre la evaluación, y las formasde realizarla, tienen los docentes y los investigadoresevaluadoresparticipantes del SECE. Es decir, a pesarde que el sistema de evaluación externa ha ganadolegitimidad, tal como se explicó en el apartado anterior,los docentes no siempre perciben que los resultadosde las pruebas reflejan fielmente el desempeño de

SEGUNDA PARTE93sus estudiantes. Respecto al rol de la evaluación parael diseño de políticas, y pese a que los resultados seentregan formalmente a las Comisiones Centrales deAsignatura (comisiones de especialistas encargadosde revisar el currículo), se considera que aun es necesarioreforzar el uso de los datos para el mejoramientocurricular.Proyección a futuroSe espera que los datos de las evaluaciones tenganmayor impacto sobre los procesos de desarrollo y actualizacióncurricular. Asimismo, se espera que el sistemade evaluación externa gane mayores grados delegitimidad entre los docentes.

94 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNECUADORPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónECUADORAPRENDO-SistemaNacional deMedición deLogrosAcadémicos1994-20001996-2000 3, 7, 10 L, M MN G, U, P[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalEl Sistema Nacional de Medición de Logros Académicos“APRENDO” se gestó y fue implementado entre losaños 1994 y 2000 dentro del marco del Proyecto EB/PRODEC (Proyecto de Desarrollo, Eficiencia y Calidadde la Educación Básica), financiado por el Banco Mundialy con recursos del Ministerio de Educación.

SEGUNDA PARTE95APRENDO no perteneció a la estructura orgánica delMinisterio, y sus actividades cesaron una vez concluidoel convenio financiero con el Banco Mundial. Todos losoperativos de evaluación fueron diseñados e implementadoscon el asesoramiento técnico de la UniversidadCatólica. Las responsabilidades por la medición y evaluaciónde aprendizajes fueron transferidas a los equipostécnicos del Ministerio de Educación en el año 2001,aunque hasta el momento no se ha desarrollado un sistemade evaluación que reemplace o continúe con las accionesde APRENDO.Currículo y estándaresTipos de pruebasTipos de reporteEcuador llevó a cabo una reforma curricular y aprobólos nuevos marcos curriculares nacionales en 1996. Elsistema de evaluación APRENDO comenzó la tarea dedefinición de “destrezas” cognitivas para su evaluacióncon anterioridad a la aprobación del nuevo currículo oficial.Las pruebas de rendimiento aplicadas por APRENDOhasta el año 2000 fueron muestrales y diseñadas conreferencia a criterios. Cada alumno respondía cuatropreguntas por destreza, todas las cuales se presentabanen formato de opción múltiple. Las pruebas fueronacompañadas por cuestionarios de contexto escolar y extraescolara alumnos, padres, docentes y directores. Nose dispone de información sobre las variables específicasestudiadas.Los informes globales de resultados muestran, en formade gráficos, los porcentajes de alumnos que lograroncada una de las destrezas evaluadas y, más detalladamente,cada uno de los niveles de dominio logrado pordestreza. Esos niveles se clasifican en inicio (0 ó 1 respuestascorrectas por destreza), avance (2 respuestas correctas),y dominio (3 ó 4 respuestas correctas). Los valoresse presentan agregados al nivel nacional, ydesagregados por región geográfica (sierra o costa, yagregados provinciales dentro de cada región), tipo deescuela (fiscal o privada), y ámbito geográfico (urbano orural). Se ofrece también una descripción narrativa delos resultados de diferentes subpoblaciones en formacomparada. Se presenta finalmente un conjunto de con-

96 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNclusiones generales y las implicancias de los resultadospara el diseño de políticas de mejoramiento de la calidadde los aprendizajes. Los informes oficiales no presentanresultados de las encuestas de contexto, ni análisisde factores asociados al rendimiento académico.Uso y difusión deresultadosSistemas subnacionalesde evaluaciónAvances observadosPruebasinternacionales deaprendizajeLos informes generales sobre resultados fueron difundidosmediante medios masivos de comunicación,y se distribuyeron a universidades, sindicatos e institutospedagógicos. También se realizaron presentacionespúblicas, las cuales fueron comentadas posteriormentepor medios de prensa local. El equipo deAPRENDO elaboró y presentó al Ministerio de Educaciónuna propuesta de capacitación docente a partirde los resultados y de acuerdo a los contenidos dela reforma curricular, pero el proyecto no logró concretarse.También se propuso a las facultades de educaciónde diferentes universidades un cambio curricularde formación docente basado en los resultadosde APRENDO, pero esto tampoco fue llevado acabo. Los informes de resultados también fueron entregadosa las escuelas participantes de la muestra,aunque de desconoce qué tipo de uso se dio a losdatos en ese ámbito. Solo se dispone de informaciónsobre escuelas privadas con buenos resultados queutilizaron los datos como publicidad institucional.Hasta el momento en que cesaron los operativos deAPRENDO, los resultados no habían sido utilizadospara informar decisiones de política educativa al nivelnacional.No se han desarrollado sistemas subnacionales de mediciónde aprendizajes.Ecuador no ha participado en pruebas internacionalescomparadas de aprendizaje.El proyecto APRENDO contribuyó significativamenteal desarrollo de capacidades locales en mediciónde aprendizajes y proporcionó, mientras se mantuvieronlos operativos, datos sobre rendimiento académicoque no habían sido estudiados anteriormenteen Ecuador.

SEGUNDA PARTE97Dificultades observadasProyección a futuroEl hecho de que el sistema de evaluación dependiera, node la estructura orgánica del Ministerio de Educaciónsino de un proyecto especial de cooperación internacional,significó que las capacidades técnicas desarrolladasy los datos recogidos de las evaluaciones nunca fueranadecuadamente transferidas a los equipos de planta ministeriales.En un documento de noviembre de 2002 titulado “ContratoSocial por la Educación en el Ecuador”, y publicadoelectrónicamente por el Ministerio de Educación yCulturas, se anuncia la intención de crear un sistemaintegral de evaluación que abarque no solamente losaprendizajes de los alumnos sino todas las instancias degestión y práctica educativa en el sistema. Hasta el momentono se dispone de informaciones sobre programasdiseñados o implementados para llevar a cabo esas acciones.

98 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNEL SALVADORPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónELSALVADORMinisterio deEducaciónSINEA -SistemaNacional deEvaluaciónde losAprendizajesSABE1993199319941995199619982001Ed.Parvularia(6 años), 1,23, 6, 9, 2M3, 4, 5, 63, 53, 4, 53, 6, 9, 2M3, 6, 9L, M, CS,CN, ESL, M, CS,CN, ESL, M, CS,CN, ESMNMNMNGGG, UDC, CGDC, CGPAES-Prueba deAprendizajey AptitudesparaEgresados deEducaciónMedia1997-20042M, 3M(Técnica)L, M, CS,CNCNUDC, SES[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.

SEGUNDA PARTE99[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos, SES=Selección educación superior.Marco institucionalCurrículo y estándaresEl proyecto SABE de evaluación de aprendizajes en educaciónbásica depende de la Dirección Nacional de Monitoreoy Evaluación del Ministerio de Educación. Los objetivosde evaluación del proyecto han ido mutando a lolargo de la última década, dependiendo de los cambios enla administración sectorial, de los requisitos de monitoreode las agencias internacionales de financiamiento (AID yBanco Mundial, principalmente), y de programas de evaluacióncontratados para organizaciones privadas (IN-CRE, Intercultural Center for Research in Education). Porsu parte, las pruebas para egresantes de la educación media(PAES), si bien tienen carácter oficial y están normadaspor la Ley General de Educación, son diseñadas yadministradas descentralizadamente por la UniversidadCentro Americana de El Salvador.Los marcos curriculares nacionales (educación parvulariay grados 1º a 9º) fueron aprobados inicialmente en elaño 1991, pero sufrieron modificaciones hasta el año1997. Adicionalmente, El Salvador participó del proyectode elaboración de estándares promovido por laCECC, para lo cual se realizó una amplia consulta, amodo de validación, con representantes del medio docente,de la sociedad civil, de diferentes cuadros técnicosdel sector educativo y del sector productivo. Losprocesos de implementación de esos referentes curricularesse vieron interrumpidos por causa de los terremotossufridos en el último quinquenio, y por lo tanto lasescuelas no han tenido acceso universal a los documentosprescriptivos. Existe cierto grado de consenso sobrela necesidad de resolver este vacío normativo pero aúnno se logran acuerdos firmes sobre cómo llevarlo a lapráctica. No se descarta una nueva ronda de validaciónde ambos referentes curriculares. El proyecto SABE deevaluación se desarrolló en forma paralela a la elaboraciónde los marcos curriculares nacionales. Por tanto, las

100 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNmatrices de referencia fueron incorporando gradualmentelos contenidos prescritos por esos marcos, con ciertogrado de participación de los equipos de desarrollo curricularen el proceso de validación de ítemes. Para laspruebas PAES, sin embargo, no se han utilizado los contenidoscurriculares ni los estándares centroamericanos.Estas pruebas son construidas sobre la base de un conjuntode habilidades cognitivas universales (Taxonomíade Bloom) pero no están validadas curricularmente desdelos marcos prescriptivos vigentes.Tipos de pruebasTipos de reporteLas pruebas de SABE son muestrales y diseñadas sobreun modelo de preguntas de opción múltiple. Adicionalmente,se aplican pruebas de producción de texto escritoy oral a una submuestra de alumnos. Los instrumentosestán referidos a criterios de evaluación consistentes en10 objetivos de dominio básico que incluyen contenidosespecíficos para cada área curricular evaluada. Recientemente,el proyecto SABE ha experimentado con la metodologíade valor agregado, con aplicaciones diferencialesen tres municipios correspondientes a las tres regionesgeográficas principales del país. Sin embargo, las aplicacionesde seguimiento de cohorte fueron luego discontinuadasy no se llegó a concretar el análisis longitudinal.También se han realizado aplicaciones a submuestras decentros educativos pertenecientes a programas especiales,tales como el de “Escuela 10”. Las aplicaciones de SABEse acompañan con cuestionarios de contexto que son respondidospor docentes, directores de escuela y padres defamilia. Se relevan datos sobre variables personales, escolaresy de contexto socio-económico. Originalmente laspruebas y los cuestionarios eran administrados por equiposdiferentes, lo cual dificultaba la tarea de análisis defactores asociados al rendimiento, pero actualmente seestá coordinando más racionalmente la aplicación y análisisde los datos derivados de ambos instrumentos. Laprueba PAES de egreso de bachillerato es censal y, aunquefue concebida originalmente como una prueba referidaa normas, actualmente es elaborada con referencia acriterios.Los informes de SABE presentan los resultados en formade promedios porcentuales de los objetivos alcanza-

SEGUNDA PARTE101dos por los estudiantes a nivel nacional, y luego desagregadospor departamento geográfico, zona, género ytipo de escuela. También se reporta los porcentajes derespuestas para cada una de las opciones de los ítemes,así como el porcentaje de alumnos que alcanzó los diferentesobjetivos evaluados en cada área. La pruebaPAES de egreso de bachillerato devuelve los resultadosa los estudiantes individualmente. En el informe cadaestudiante obtiene información sobre las competenciasevaluadas en cada asignatura, el nivel de logro alcanzadoen dichas competencias, el promedio global de rendimientoen cada una de las áreas, y una explicación conceptualde los niveles de logro alcanzados.Uso y difusión deresultadosEn general, los resultados de las pruebas SABE no hantenido impacto en la toma de decisiones de política.Esto se atribuye principalmente a que el sistema de evaluaciónfuncionó durante muchos años en forma aisladade otros equipos técnicos del Ministerio, y tampoco sehicieron campañas de sensibilización y estímulo a laparticipación de la comunidad educativa en los procesosevaluativos. Consecuentemente, no ha existido una realdemanda de información por parte de los usuarios centralesy locales. A partir del año 1998 se introdujeroncambios de organización del sistema para permitir mayorparticipación de los equipos de currículo en la validaciónde los instrumentos, así como la participación delos equipos docentes en la aplicación de las pruebas.Los resultados se devuelven a todas las escuelas de lamuestra y se realiza en forma de talleres orientados aldesarrollo de capacidades de análisis y comparación delos datos. La respuesta de los docentes a las informacionesse considera altamente positiva, pero no se ha podidodar a estas devoluciones la continuidad que se esperaba.Los resultados de la prueba PAES se entregan a losestudiantes individualmente. En el año 1999, además,fueron devueltos a cada colegio indicando el resultadode cada estudiante, el promedio de cada sección (grupo)y de la institución, en forma desagregada por asignaturay por modalidad (bachillerato general y técnico), y enforma comparada con otros departamentos y con el promedionacional. Los porcentajes de aciertos obtenidospor la institución se presentaron desagregados por cada

102 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNuna de las áreas temáticas evaluadas, y mostrando losniveles de dominio cognitivo alcanzados: conocimiento,comprensión y análisis. La prueba PAES es obligatoriapara los estudiantes egresantes del bachilleratopero no implica consecuencias para su graduación. Sinembargo, los resultados ya están comenzando a utilizarsepor las universidades para la selección de postulantes.Junto con los talleres de devolución, se realizóuna encuesta de cobertura nacional donde directores ydocentes expresaban sus inquietudes respecto a lascausas que pueden explicar los bajos resultados: condicionesescolares, características de los alumnos y suentorno, características de la prueba misma, adecuaciónde las políticas de apoyo (capacitación docente,materiales), currículo, etc. Adicionalmente, se recogieronlas propuestas de mejoramiento expresadas por losequipos docentes para cada uno de esos factores. Losresultados de la encuesta fueron sistematizados y publicadosen forma de libro por el Ministerio de Educación.Sistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroNo se han desarrollado sistemas subnacionales.No se ha participado en este tipo de pruebas.Se han dado pasos importantes para reforzar la validezcurricular de las evaluaciones y por comenzar a difundirmás ampliamente los resultados dentro del Ministeriode Educación y entre las escuelas evaluadas.Hasta el momento, no se conocen medidas de políticani repercusiones en la opinión pública derivadas de losresultados de las evaluaciones.Se espera cambiar la estrategia de capacitación medianteel uso de los resultados de las pruebas SABE.Una de las estrategias pensadas es la del uso de losdatos para capacitar a asesores pedagógicos, quienes asu vez ofrecerían asesoramiento técnico a las escuelasque lo solicitaran.

SEGUNDA PARTE103GUATEMALAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónGUATEMALASINMELA-SistemaNacional deMedición delLogroAcadémico/1992-19963MEPRONERE-ProgramaNacional deEvaluacióndelRendimientoEscolar1998-20003, 6L, MMN [7]G, U, P GPRONERE +JuárezAsociados20041, 3MN(Escuelaspúblicas,únicamente)DIGEBI2003MNDCMinisterio deEducación/Universidadde SanCarlos2004Último añodeSecundariaMN[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.

104 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓN[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.[7]La muestra incluye una sobrerepresentación intencional de escuelas de programas especialesMarco institucionalCurrículo y estándaresLas primeras evaluaciones estandarizadas de aprendizajesse realizaron a principios de la década pasada en elmarco del Proyecto BEST para el Fortalecimiento de laEducación Básica (USAID), bajo la coordinación delCentro Nacional de Pruebas de Rendimiento Escolar.Esas evaluaciones, más tarde discontinuadas, se utilizaronpara evaluar la implementación del Proyecto en lasescuelas participantes. En 1997, como parte del Proyectode Reforma Educativa y con apoyo financiero delBanco Mundial se creó el SINMELA, luego denominadoPRONERE, en convenio entre el Ministerio de Educacióny la Universidad del Valle de Guatemala. La Universidaddiseñó y ejecutó los operativos de evaluaciónhasta el 2001, año en que caducó el convenio financierocon el Banco Mundial. El PRONERE fue desmanteladoy no ha sido reemplazado con otros programas de evaluación.Guatemala no cuenta con un currículo nacional unificado,ni se han avanzado propuestas de estándares en losúltimos años. Las pruebas del PRONERE se elaboraronoriginalmente utilizando un banco de ítemes facilitadopor una institución educativa privada, y más adelantese construyó una matriz de referencia sobre la base deobservaciones de clase y reportes de docentes sobrecobertura curricular en aula. Sin embargo, no se construyóuna matriz de referencia que reflejara acuerdos

SEGUNDA PARTE105nacionales sobre prioridades de aprendizaje para laevaluación.Tipos de pruebasTipos de reporteUso y difusión deresultadosLas pruebas son muestrales, representativas al nivel nacional,fueron construidas con referencia a normas ycontienen 40 preguntas en cada área evaluada. Los instrumentosfueron elaborados y aplicados en español y encuatro lenguas originarias mayoritarias. En muchas escuelasbilingües, sin embargo, no se pudo aplicar pruebaspues los estudiantes abandonan antes de llegar el 3 ergrado de escolaridad. Las pruebas se acompañan concuestionarios de contexto a estudiantes, maestros y directoresde centros educativos. Las pruebas de DIGEBIpara escuelas de educación bilingüe, son referidas a criteriosLos informes elaborados por PRONERE consisten endescripciones narrativas y comparativas entre subpoblacionesde alumnos respecto al porcentaje de respuestascorrectas que lograron en promedio para cada área evaluada.Los datos se presentan agregados al nivel nacional,y desagregados al nivel departamental, por ámbito(rural, urbano) y por grupo lingüístico.Con la información obtenida se realizan resúmenes ejecutivosy presentaciones gráficas para autoridades nacionalesy regionales, y también para universidades formadorasde docentes. Las descripciones narrativas y lasrecomendaciones pedagógicas presentadas se basan enuna selección de los ítemes de la prueba que demostraronser más difíciles de responder. Se realiza una descripciónde los centros educativos evaluados y del nivelsocioeconómico de las familias de la muestra, y se presentanalgunos de los factores de contexto que muestranmayor incidencia en el rendimiento académico de losalumnos. Estos datos se han utilizado para algunoseventos de capacitación docente, especialmente de docentesbilingües por medio del PRONEBI, ProgramaNacional de Educación Bilingüe. En general, los resultadoshan tenido escaso impacto en la opinión pública yen la toma de decisiones de política educativa. Los resultadosde la prueba del Laboratorio Latinoamericanode Evaluación de la Calidad de la Educación de UNES-

106 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNCO OREALC, aplicada por el Banco Mundial, no hansido difundidos hasta la fecha.Sistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroNo se han desarrollado sistemas subnacionales de evaluación.En el año 2002, el Banco Mundial aplicó las pruebas delLaboratorio Latinoamericano de Evaluación de la Calidadde la Educación de UNESCO OREALC a una muestrarepresentativa de estudiantes de 3º a 4º grado de primaria.La experiencia del PRONERE permitió desarrollar capacidadestécnicas locales para la medición de aprendizajes,lo cual constituye un avance en la medida en queesas capacidades sean utilizadas para nuevos emprendimientosde evaluación. Se observa también cierto gradode movilización por parte de algunos sectores de la sociedadcivil en demanda por la continuidad y uso de lasevaluaciones.La cesación de actividades de evaluación al término delconvenio con el Banco Mundial, y la ausencia de voluntaddel gobierno por mantener el sistema en funcionamiento,dan cuenta de los escasos niveles de institucionalizaciónque logró el PRONERE a pesar de susesfuerzos por continuar las aplicaciones durante cuatroaños consecutivos. Una mayor divulgación de los datos,así como mayores grados de participación de actoressectoriales clave parecieran ser imprescindibles para recuperary mantener el sistema de evaluación.No existen actualmente propuestas desde el Ministeriode Educación para la reactivación del PRONERE u otraagencia similar.

SEGUNDA PARTE107HONDURASPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónHONDURASSecretaría deEducación.ComponenteV delProyectoPEEP(Eficienciade laEducaciónPrimaria)1990-19941, 2, 3, 4, 5L, M, CN,CSME (10municipios)SecretaríadeEducación yUSAIDUsado paraevaluarproyectosapoyadospor USAIDOREALC1997UMCE19971998199920002002-20043, 62, 3, 4, 62, 3, 4, 53, 63,6L, ML, ML, ML, ML, M, CNMN, CNMNMNMNMNG, UG, UG, UG, UG, UCD, FA[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.

108 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNMarco institucionalCurrículo y estándaresTipos de pruebasEl sistema de evaluación actual tiene origen en unacuerdo entre la Secretaría de Educación Pública (SEP)y el Banco Mundial para el monitoreo del PROMEB,Programa de Mejoramiento de la Educación Básica.Anteriormente (1990-1994) existieron esfuerzos porrealizar evaluaciones estandarizadas en el marco delPrograma de Eficiencia de la Educación Primaria(PEEP), financiado por USAID. Sin embargo, esasevaluaciones nunca llegaron a sistematizarse ni institucionalizarse.En 1995 se crea la UMCE, Unidad de Mediciónde la Calidad Educativa, administrada por laUniversidad Pedagógica Nacional Francisco Morazán.Esta Unidad cuenta con altos grados de autonomía administrativay operativa pese a que, formalmente, reportadirectamente a la Dirección General de Evaluaciónde la Calidad de la SEP. Los operativos nacionalesse organizan mediante una Red Desconcentrada deEvaluación, que funciona en las 18 direcciones departamentales,y que participan directamente en el procesode aplicación de las pruebas y recolección de datos.Hasta 2003 no se contaba en Honduras con un marcocurricular nacional, sino con los Rendimientos Básicose Indicadores de Evaluación del Nivel Primario, quefueron elaborados ad hoc para el PEEP, pero no todaslas escuelas tuvieron acceso a este documento. Dadoque este referente curricular no era apropiado para eldiseño de una matriz de referencia de evaluación, laUMCE desarrolló un conjunto de objetivos e indicadoresde desempeño para las diferentes áreas disciplinaresevaluadas. En el año 2003, y luego de varios añosde debate sobre diferentes propuestas curriculares, fueaprobado oficialmente un marco curricular nacionalque incorpora, entre otros referentes, los contenidos yobjetivos que la UMCE venía evaluando desde 1997.Queda pendiente la culminación del proyecto de estándaresde la CECC, aunque no es claro aun cómo ambosreferentes curriculares podrán ser integrados y posteriormenteevaluados.Las pruebas aplicadas por la UMCE son muestrales anivel nacional, referidas a criterios y basadas princi-

SEGUNDA PARTE109palmente en un modelo de respuesta de opción múltiple.En el área de lenguaje, además, se evalúa redacciónescrita y lectura oral. Las pruebas son complementadascon cuestionarios a alumnos, padres defamilia, docentes y directores de centro para el estudioposterior de factores asociados al rendimiento. Seestudian variables de NES y otras variables intraescolares(incluyendo un modelo de medición de eficaciaescolar). Los equipos técnicos han encontrado dificultadespara establecer correlaciones confiables entreesas variables y el rendimiento académico, aunque laincorporación de un modelo de análisis jerárquico lineal(HLM) a partir de 2002 ha permitido aumentar laconfiabilidad y validez de las correlaciones. Ademásdel programa regular de evaluación en los grados yáreas mencionadas, la UMCE presta sus servicios parala medición de rendimiento académico como indicadorde impacto de algunos programas específicos financiadospor agencias de cooperación internacional.Tipos de reporteUso y difusión deresultadosLa UMCE produjo una serie de documentos de resultadosentre los años 1998 y 2001. Tales informes presentanlos datos de rendimiento en forma de porcentajesdel alumnado a nivel nacional que lograron losobjetivos de aprendizaje evaluados. Esos objetivos seorganizan por dominios cognitivos, áreas de dominioy competencias específicas. Los datos se presentantambién desagregados por departamento, por tipos deescuela, por tipos de gestión (pública o privada) y porsituación geográfica. Se ofrece un análisis descriptivode los resultados nacionales y por departamento, unanálisis de ítemes seleccionados, y un conjunto de recomendacionespedagógicas para docentes y técnicoslocales. La UMCE realiza también informes sobre estudioslongitudinales, análisis multivariados, y análisiscomparativos de resultados entre grados por áreade aprendizaje, así como de factores asociados al rendimiento.Los informes oficiales son elevados a las autoridadespolíticas de la SEP y a autoridades educativas regionales.Se espera llegar también a las escuelas, a lospadres de familia y al público en general, aunque di-

110 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNversos obstáculos, operativos y presupuestarios, hanlimitado este tipo de difusión. Sin embargo, se reportaque alrededor de 2.000 maestros, directores y técnicoslocales han tenido acceso a los datos desde 1998.Esos datos llegan, en muchos casos, de la mano de losequipos técnicos encargados de las capacitaciones docentes.Actualmente se está realizando una campañade divulgación de los resultados de años anteriorescon la asistencia de organizaciones internacionalesespecializadas. Además, a partir de 2003, los resultadosde las evaluaciones se encuentran disponibles enla página web de la UMCE.Sistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroNo se han desarrollado sistemas subnacionales deevaluación.Honduras participó en el estudio comparado del LLE-CE-1997.La UMCE ha logrado un alto grado de consolidacióninterna, en términos de constitución y capacitación deequipos técnico-profesionales, y de continuidad en losoperativos de evaluación a través de los años. Asimismo,vale destacar los esfuerzos por desarrollar un modelopsicométrico de alto valor pedagógico, especialmenteante la ausencia de referentes curricularessólidos y actualizados en el ámbito nacional.Destaca principalmente la escasa comunicación y débilesacuerdos entre la UMCE y la SEP sobre las metasy usos de la evaluación, lo cual resulta en la subutilizaciónde los datos para la toma de decisiones depolítica. Desde el punto de vista técnico, las limitacionespresupuestarias no han permitido expandir lamuestra y así favorecer análisis jerárquicos multivariadossobre los resultados de rendimiento y las variablesque lo afectan. Esas dificultades, sin embargo,comenzaron a ser subsanadas a partir del año 2002con la introducción del modelo de análisis jerárquicolineal.Se espera, principalmente, lograr un mayor impactode los resultados en la opinión pública, en la toma de

SEGUNDA PARTE111de decisiones de política educativa y en el uso pedagógicoy curricular de los datos en el nivel escolar.También se proyecta la creación de un sistemanacional de evaluación que integre las informacionesde la evaluación externa realizada por laUMCE, con las de la evaluación interna realizadapor la misma Secretaría de Educación. Se espera,por lo tanto, que el contrato de asociación entreSecretaría de Educación y UMCE se extienda másallá del plazo actualmente vigente (2005).

112 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNMÉXICOPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónMÉXICOSEP y SNEESistemaNacional deEvaluaciónEducativaEvaluaciónde laEducaciónPrimaria(EVEP)1996-20001, 2, 3, 4, 5,6L, M, CS,CNMNG, UFATIMSS 1995OREALC1997; PISA2000, 2003EvaluacióndeEstándaresNacionales1997-20032, 3, 4, 5, 6L, MMNG, UEvaluacióndel factor“Aprovechamientoescolar” delprogramaCarreraMagisterial1995-20053, 4, 5, 6,1M, 2M,3ML, M, CN,CS, LECRG, UIIDANIS(InstrumentodeDiagnósticode Alumnosde NuevoIngreso aSecundaria)1995-20036HabilidadescognitivasCRG, U[2]Los grados de educación media se indican con la letra M.

SEGUNDA PARTE113[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos, I=Incentivos Docentes.Marco institucionalHasta el año 2002, la evaluación de la educación enMéxico fue responsabilidad de la Dirección General deEvaluación de la Secretaría de Educación Pública (SEP)de la nación. Actualmente, las acciones de evaluaciónson coordinadas entre esa Dirección y el recientementecreado Instituto Nacional de Evaluación de la Educación(INEE), un órgano gubernamental semiautónomo que, sibien pertenece a la estructura funcional de la SEP, gozade mayores grados de autonomía administrativa y políticaque otros órganos de gobierno en el sector. La creacióndel Instituto responde a una necesidad largamentedebatida de contar con un sistema de evaluación integralmás objetivo y eficiente, y menos vulnerable a las decisionescoyunturales de la administración sectorial. Simultáneamente,las Secretarías de Educación de todoslos estados de la Federación cuentan con direcciones deevaluación propias, aunque no todas constituyen “sistemasde evaluación” propiamente dichos. Los estadosque han optado por desarrollar un sistema de evaluaciónpropio, lo han hecho siguiendo una de dos modalidadesprincipales: la utilización de las pruebas nacionales mediantemuestras estaduales ampliadas o adaptadas, obien el desarrollo de instrumentos propios y sistemasoriginales de difusión y uso de los resultados. En amboscasos, los estados cuentan con el apoyo técnico de la

114 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNDirección General de Evaluación, y actualmente del InstitutoNacional de Evaluación Educativa.Currículo y estándaresTipos de pruebasEl currículo nacional vigente para educación primaria ysecundaria de México fue aprobado en el año 1993 dentrode un marco general de reforma. La prescripción yactualización curricular es responsabilidad casi exclusivade la administración federal, con un bajo nivel deinjerencia y participación permitido a las administracionesestaduales. El currículo fue elaborado cuando ya secontaba con una larga experiencia en medición de aprendizajesy, por lo tanto, se disponía de gran cantidad deinformación sobre los logros y dificultades de aprendizajesde los estudiantes. Sin embargo, la participación ycapacidad de influir en las decisiones curriculares porparte de los equipos de evaluación fue marginal, y siguesiendo débil en la actualidad. Las pruebas nacionales deaprendizaje (excepto el IDANIS y el EXANI, que midenhabilidades cognitivas generales) están referidas al currículonacional, aunque para la elaboración de las matricesde referencia la Dirección General de Evaluaciónrealizó una especificación de contenidos y competenciasacadémicas en forma paralela o complementaria a laprescripción curricular oficial. Ese proyecto de especificacióncurricular, así como de los instrumentos de mediciónelaborados sobre esa base, se denominó “estándaresnacionales” de educación primaria y de educación secundaria.Estos estándares no pueden considerarse propiamentetales desde una perspectiva de política curricular,aunque han sido útiles para definir más acabadamentelas expectativas de aprendizaje que se evalúan anualmenteen las áreas de matemáticas y lenguaje.Todas las pruebas nacionales diagnósticas son muestrales.Las pruebas que se aplican para el programa de CarreraMagisterial son censales para la población de docentesregistrados en el programa. La prueba IDANIS escensal en el Distrito Federal, y en los estados se aplicade acuerdo a la demanda puntual de cada entidad. Todaslas pruebas están referidas a normas, aunque los resultadosse reportan por niveles de desempeño determinadosa posteriori. Las pruebas contienen ítemes de opción derespuesta múltiple y, ocasionalmente, requieren el desa-

SEGUNDA PARTE115rrollo de respuestas abiertas. Las pruebas aplicadas en elprograma de Carrera Magisterial, que responden losalumnos de los docentes participantes, constituyen unindicador más, entre otros, de desempeño profesionalconsiderados en el esquema de incentivos del programa.También se ha desarrollado un programa de autoevaluaciónde centros educativos. El programa se basa en unaadaptación del modelo oficial escocés de autoevaluacióny contiene 33 indicadores sobre gestión escolar, prácticapedagógica e infraestructura. Las escuelas evalúan supropia gestión sobre la base de esos indicadores y elevanlos resultados a la Dirección General de Evaluación.Esta, a su vez, procesa los datos y elabora los informescorrespondientes. El modelo está siendo utilizado por las15.000 escuelas que participan del Programa de Escuelasde Calidad. Adicionalmente, se aplican en México exámenesde egreso de educación secundaria y bachilleratopara la selección de alumnos en transición hacia ciclossuperiores de educación (bachillerato y educación superior,respectivamente.) Estos exámenes se denominanEXANI I y II, y evalúan habilidades cognitivas así comoconocimientos específicos en ocho disciplinas diferentes.En cuanto al estudio de factores asociados al rendimiento,se han realizado análisis bi y multivariados considerandovariables intraescolares (Ej. conocimientos yexperiencia docente) y extraescolares (Ej. nivel de estudiosde los padres, asistencia del alumno a educaciónpreescolar). Estos estudios han sido complementadoscon seguimientos cualitativos sobre los resultados deaprendizaje. Según los últimos lineamientos de políticaevaluativa difundidos por el INEE, las evaluaciones nacionalesde aprendizaje que se apliquen en los próximosaños serán censales en algunos grados clave de escolaridad,y serán complementadas con evaluaciones a docentes,directivos y centros educativos en su conjunto.Tipos de reporteSe elaboran informes ejecutivos para autoridades centralesdonde se presentan los resultados globales desagregadosal nivel estadual, por tipo de dependencia geográfica(urbana o rural), y por porcentajes de escuelas quealcanzan cada uno de los niveles de desempeño establecidos(muy bajo, bajo, medio, alto, muy alto). Supervisoreslocales y escuelas reciben informes orientados al

116 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNmejoramiento pedagógico, aunque esto ocurre en formairregular y no existen formatos estandarizados de reportepara todo el país. En los informes IDANIS se muestranlos promedios de rendimiento al nivel nacional y estadual,en forma de gráficos que reportan la media aritméticay desviación estándar para cada caso. Los resultadosde las evaluaciones cualitativas y las investigaciones realizadaspor la Dirección de Evaluación son devueltos a lasescuelas. Los informes describen las características institucionalesde las escuelas que muestran mejoras de susresultados en el tiempo, así como de aquellas cuyo rendimientoha sido decreciente. También se ofrecen recomendacionespara replicar esas investigaciones en cada centro,a modo de autoevaluación, y se presenta un conjuntode recomendaciones pedagógicas y organizacionales paraelevar la calidad de los aprendizajes.Uso y difusión deresultadosLos datos recogidos por las evaluaciones nacionales comenzarona hacerse públicos en el año 2000. Anteriormente,solo se conocían al interior de la Secretaría deEducación. En los últimos dos años se han publicado algunosinformes oficiales sobre los operativos de evaluaciónrealizados en los últimos años, resúmenes de los resultadosa nivel nacional y estadual e informes para lasescuelas con los datos recogidos por los instrumentos deautoevaluación escolar y las investigaciones cualitativasllevadas a cabo por la Dirección General de Evaluación(ver apartado anterior). El uso más estable que se ha dadoa los datos hasta el momento es el de evaluación paraincentivos de Carrera Magisterial, así como de graduacióny selección de alumnos mediante las pruebas EXANII y II de egreso de secundaria y bachillerato. El nuevoInstituto Nacional de Evaluación Educativa ha hecho explícitasu intención de introducir gradualmente pruebas deaprendizaje censales en grados clave de la escolaridadbásica, las cuales contribuirán a decidir, junto con la evaluaciónque realizan los docentes, la promoción y graduaciónde los alumnos. Los nuevos lineamientos de políticaevaluativa del INEE remarcan la necesidad y el compromisopor reforzar la transparencia técnica de los operativos,la publicidad de los resultados (inclusive a alumnosy familias), así como de elaborar informes diferenciadospara distintos tipos de audiencias. En los primeros meses

SEGUNDA PARTE117de trabajo del INEE ya se produjo un primer informenacional de resultados, que fue presentado al Presidentede la República, a los medios de prensa y a las administracionesestaduales, además de ser publicado en la nuevapágina web del Instituto.Sistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroVarios estados de la Federación han desarrollado sistemasindependientes de medición y evaluación de la calidadeducativa. En este trabajo se presenta detalladamente elcaso del estado de Aguascalientes.México ha participado en las pruebas comparativasTIMSS-1995, LLECE-1997, y PISA-2000.Destaca la experiencia técnica en medición de aprendizajesdesarrollada en las últimas dos décadas, así como larelativa estabilidad de los equipos profesionales a cargode los operativos. La creación del INEE, y especialmenteel largo debate que precedió su constitución y aprobaciónoficial, da muestras de la importancia que ha cobrado laevaluación estandarizada dentro del ámbito de las políticasde educación pública.La dificultad central hasta el momento ha radicado en quelas múltiples mediciones realizadas no se traducen en unaevaluación sustantiva e integral de la calidad de la educación.La falta de comunicación entre unidades de la SEP,así como los todavía insuficientes mecanismos de divulgaciónde los resultados, determina que los datos disponiblesno se analicen y que no tengan mayor impacto sobrela toma de decisiones de política.El desafío principal para el nuevo Instituto de Evaluaciónes el de lograr que los datos recogidos en los últimosaños, y los que se obtengan a partir de 2004, sean adecuadamenteanalizados y utilizados para el mejoramiento dela calidad educativa. Desde el punto de vista institucional,el INEE deberá consolidar gradualmente su legitimidaddentro del sector, y ante la sociedad, proveyendo informacionesútiles para diferentes actores y asegurando laorganicidad de acciones con otras agencias gubernamentales.

118 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNNICARAGUAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónNICARA-GUAEvaluacióndel currículotransformadode 1º a 5º deEducaciónPrimaria199619973,45L, ML, MMEMEUUDCDCDirecciónEvaluaciónPROYECTOAPRENDES-NE- SistemaNacional deEvaluaciónde laEducaciónBásica yMedia1996-199720024, 3M3, 6L, ML, MMEMNG, UG, U, PED[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretaríasde planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.

SEGUNDA PARTE119[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos, ED=Evaluación descentralización.Marco institucionalCurrículo y estándaresTipos de pruebasTipos de reporteLa evaluación estandarizada de aprendizajes se realizadesde la Dirección de Evaluación del Ministerio de Educación,Cultura y Deportes, y dentro del marco del SegundoProyecto de Educación Básica (APRENDE). Losesfuerzos de evaluación realizados por esa Direcciónhasta 1999 fueron relativamente desarticulados y carentesde un objetivo claro respecto al uso potencial de lasinformaciones recabadas. A partir del año 1999 se creael SNE, Sistema Nacional de Evaluación de la EducaciónBásica y Media, que cuenta con el apoyo deAPRENDE, BASE (USAID) y SIMEN (UNESCO), yque ha replanteado la estrategia de evaluación y sus finesespecíficos. El sistema de evaluación se inscribe enun contexto de reformas importantes para la descentralizaciónde la administración de las escuelas públicas, especialmentea partir del Programa de Autonomía Escolar(1992) y de la erogación de la Ley de Participación Escolar(2002).Información no disponible.Las pruebas de aprendizaje son muestrales, referidas acriterios y basadas en un modelo de respuestas de opciónmúltiple. Se acompañan con cuestionarios de contextoescolar y extraescolar a docentes, directores, alumnosy padres de familia. Adicionalmente, se realizanoperativos para la autoevaluación de centros educativosen una pequeña muestra nacional no representativa.Los resultados de aprendizaje se reportan en forma deporcentajes de alumnos que se ubican en los niveles básico,intermedio y proficiente de la escala de desempeño.Tales porcentajes se presentan en forma agregada alnivel nacional, y luego desagregada por regiones, tiposde dependencia (centros autónomos, no autónomos, y

120 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNprivados con y sin subvención estatal), ubicación geográfica(urbana o rural) y modalidad (regular o multigrado).Adicionalmente, se presentan los resultados delos análisis de factores asociados al rendimiento, indicandocuáles factores escolares y extraescolares muestranel mayor impacto sobre los aprendizajes.Uso y difusión deresultadosSistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasDesde el Ministerio de Educación se producen informestécnicos, resúmenes ejecutivos, cuadros y gráficas, yboletines informativos. Se realizan también talleres, presentacionesy debates para docentes, directores de escuela,técnicos municipales y departamentales, delegadosmunicipales y departamentales y autoridadessuperiores en el nivel central. Se ha anunciado la publicaciónde los resultados en la página web del Ministeriode Educación pero aún no se ha concretado.No se han desarrollado sistemas subnacionales de evaluación.Nicaragua no ha participado en este tipo de pruebas.Se observan esfuerzos, al menos en la propuesta formalde la Dirección de Evaluación, por dotar al SNE de mayorsignificancia y utilidad para la toma de decisionesde política educativa y para el desarrollo curricular ypedagógico escolar.La difusión de los datos aún no es suficiente para impactaren la opinión pública y para movilizar la demandade la sociedad civil por mayores niveles de calidadeducativa.

SEGUNDA PARTE121PANAMÁPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónPrograma deEvaluaciónde la OEA1981-1985MRGPrograma dePruebas deDiagnóstico1985-198819926, 6M3, 6ML, M, CS,CNMNMNGGCECE19951M, 2M,3M, 4M,5M, 6ML, MMRGSINECESistemaNacional deEvaluaciónde la Calidadde laEducación1999-2000200020013,6,93,6,93,6,9L, M, CS,CNL, M, CS,CNL, MMNGGG[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.

122 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNMarco institucionalCurrículo y estándaresTipos de pruebasDurante las dos últimas décadas se ensayaron diversosproyectos de evaluación, a cargo de diferentes agencias,pero ninguno logró institucionalizarse, ni quedan registrosde los datos recabados en esos operativos. El últimoproyecto de evaluación estandarizada fue llevado a cabopor la Dirección de Evaluación del Ministerio de Educaciónen los años 2000 y 2001. Sin embargo, se trata deuna evaluación piloto con una muestra reducida. En elaño 2002, como resultado de un extenso Diálogo Intersectorial,se firmó un decreto presidencial para la creaciónde una nueva Dirección de Evaluación con funcionesrenovadas y lineamientos más explícitos para eldesarrollo de nuevos operativos y procesos evaluativosintegrales.Las pruebas de los años 2000 y 2001 fueron construidasmientras se actualizaba el currículo nacional. La matrizde referencia fue elaborada por especialistas disciplinaresy con escaso grado de participación por parte de losequipos de currículo del Ministerio de Educación. Ungrupo de especialistas del Ministerio de Educación y decentros educativos convocados participó en el procesode elaboración de los estándares promovidos por laCECC, Coordinación Educativa y Cultural Centroamericana.Los estándares de ciencias naturales, ciencias sociales,matemática y español han sido incorporados a losmarcos curriculares nacionales de educación primariapero, según opiniones extragubernamentales, no hansido aún lo suficientemente difundidos ni acompañadoscon programas concretos de implementación en las escuelas.Los estándares de educación premedia y mediapara las áreas de español, matemática, física, cienciasnaturales, inglés, ciencias sociales biología y químicaestán siendo revisados en la actualidad y próximamenteserán utilizados para realizar ajustes curriculares en 7º y12º grado.La prueba piloto aplicada en 6° grado en el año 2000tenía como objetivo principal relevar las capacidadesbásicas de los estudiantes en la solución de problemas,comprensión, análisis, reflexión y síntesis. Se elaboraron18 ítemes de opción múltiple y dos ítemes de pro-

SEGUNDA PARTE123ducción escrita para cada asignatura evaluada. Las pruebasfueron acompañadas por una encuesta sobre el perfilsocioeconómico de los alumnos pero las limitaciones detiempo no permitieron procesar los datos para correlacionarloscon los resultados finales de las pruebas.Conla experiencia adquirida en esa prueba piloto, se diseñóen 2001 la Prueba Piloto Nacional “Comprender” en lasasignaturas de español y matemática, para los grados 3°,6° y 9° de los Centros de Educación Básica General. Elpropósito de la misma fue medir las habilidades y actitudesverbales y numéricas en los estudiantes. Estas pruebastambién fueron elaboradas mediante ítemes de opciónmúltiple y de producción escrita, con un total de 25reactivos para cada una de las asignaturas evaluadas.Tipos de reporteUso y difusión deresultadosSistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosEl informe sobre la experiencia del año 2000 consiste enuna descripción del porcentaje de alumnos que respondiócorrectamente a cada destreza evaluada, en formaagregada a nivel nacional y desagregada por provinciasy por regiones educativas. Se presentan también algunasconclusiones generales, pero insuficientemente elaboradas.Los resultados de las pruebas 2000-2001 no han tenidomayor difusión, excepto por la distribución de informesa autoridades regionales y escuelas de la muestra. Lautilización de los datos al interior del Ministerio de Educacióntambién ha sido insuficiente. Se han realizadoalgunas actividades de capacitación sobre la base de losresultados, pero la motivación mayor para el operativofue la de realizar investigaciones institucionales sobreniveles de logro y alcances de la implementación delnuevo currículo.No se han desarrollado sistemas subnacionales de evaluación.Panamá no ha participado en este tipo de pruebas.Vale destacar la movilización civil organizada a favor dela institución de un sistema idóneo y eficiente de evaluación(Mesas de Diálogo Intersectorial y Diálogo para

124 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNla Transformación Integral del Sistema educativo Nacional,2002).Dificultades observadasProyección a futuroLa dificultad más compleja radica en la escasa voluntadpolítica por apoyar, institucional y económicamente, eldesarrollo de un sistema idóneo de evaluación. Las dependenciastécnicas del Ministerio vinculadas a la evaluaciónhan funcionado hasta el momento en forma aislada,se observa discontinuidad en los emprendimientos,así como un fuerte vaciamiento de recursos técnico-profesionales.Según las últimas fuentes de informaciónconsultadas, se está intentando revertir esta situaciónpara lograr mayores niveles de comunicación y trabajocolaborativo entre los diferentes equipos profesionalesdel Ministerio.Algunas organizaciones civiles, así como la Comisiónde Educación de la Legislatura Nacional, han realizadopronunciamientos y propuestas importantes en torno ala evaluación educativa nacional y a la participación enpruebas internacionales de aprendizaje. Se espera que,además de la creación de la nueva Dirección Nacionalde Evaluación en el Ministerio de Educación, el gobiernoofrezca el apoyo institucional y destine los recursosnecesarios para un adecuado funcionamiento. El nuevoSistema Nacional de Evaluación Educativa comprenderáun Sistema Nacional de Pruebas de Logros y un Sistemade Evaluación del los Aprendizajes y Régimen deCalificación y Promoción para los dos primeros nivelesde enseñanza.

SEGUNDA PARTE125PARAGUAYPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónPARAGUAY(SNEPE:SistemaNacional deEvaluacióndel ProcesoEducativo)199619971998199963, 96, 123,9L, ML, ML, M, CNL, M, CSMNMNMNMNG, U, PG, U, PG, U, PG, U, POREALC199720006, 12L, M, CSMNG, U, P20013, 6L, MMNG, U, P20013, 6CN (en1150escuelas delProyecto«EscuelaViva”)20013 er añoFormaciónDocenteCN[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.

126 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓN[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalCurrículo y estándaresTipos de pruebasTipos de reporteEl SNEPE es un programa administrado desde el Departamentode Orientación y Evaluación Educativa del Ministeriode Educación, y es financiado principalmente através del Programa de Mejoramiento de la Calidad dela Educación Primaria en convenio con el Banco Interamericanode Desarrollo.Las tablas de especificaciones y las pruebas son validadascon la participación de los equipos ministeriales dedesarrollo curricular y están referidas al currículo nacionalvigente. No existen actualmente propuestas de estándares,debido en parte a la percepción de que el establecimientode metas demasiado altas generaría altosgrados de frustración en la mayoría de las escuelas.En las aplicaciones muestrales al nivel nacional se utilizanpruebas referidas a normas, mientras que las pruebasaplicadas censalmente en el grupo de escuelas participantesen el programa “Escuela Viva” (1.500 centroseducativos) están referidas a criterios. Los instrumentosincluyen ítemes de respuestas de opción múltiple y deredacción de texto en el área de lenguaje. Las pruebas seacompañan con cuestionarios a alumnos para recabar informaciónsobre sus actitudes hacia las asignaturas evaluadas.Los datos se reportan en forma agregada a nivel nacional,y desagregada por departamento, por sector (públicoo privado), ámbito geográfico (rural o urbano), tamañode escuela, sexo y por turno de escolaridad(mañana, tarde o noche). Los valores se expresan enmedias aritméticas y porcentajes promedios de respuestascorrectas, ambos desagregados por competenciasevaluadas dentro de cada área curricular. Los informesdevueltos a las escuelas participantes de lamuestra permiten realizar comparaciones con escuelas

SEGUNDA PARTE127de sectores y zonas similares, y con el conjunto deescuelas al nivel nacional.Uso y difusión deresultadosSistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosLos resultados se entregan a autoridades superiores delsector y a las escuelas (directores y profesores) mediantedos tipos diferentes de informes: uno para las escuelasparticipantes de la muestra y otro para todas las escuelasdel país. Los resultados se entregan durantetalleres regionales donde participa la comunidad educativa.También se han difundido los resultados a través demedios de prensa, publicaciones y talleres en diferentesdepartamentos geográficos para un total de 405 centroseducativos. Los resultados de las pruebas censales dentrodel programa Escuela Viva se consideran como unode los indicadores principales de impacto programático.Para tal fin se aplicarán pruebas comparables anualmente,de manera tal de estimar el impacto del programa enla calidad y eficiencia de las escuelas al cabo de cincoaños. Las pruebas no tienen altas implicancias para losalumnos de educación primaria, pero se planea introducirmecanismos de acreditación para el egreso de educaciónsecundaria mediante pruebas estandarizadas en elmediano plazo. Este plan, sin embargo, solo será posibleuna vez culminado el proceso de implantación gradualde la nueva estructura curricular para ese nivel. Actualmente,los mayores esfuerzos están puestos en la devoluciónde los resultados a todas las escuelas, como señalde responsabilidad y transparencia del sistema ante lacomunidad educativa. Los resultados no han sido utilizadosaun para el diseño de políticas y programas demejoramiento educativo específicos, aunque esto constituyeuno de los principales objetivos del sistema a largoplazo.No se han desarrollado sistemas subnacionales de evaluación.Paraguay participó en la prueba internacional comparadadel LLECE- 1997.Destaca la continuidad de las autoridades políticas delsector en sus funciones, lo cual repercute positivamenteen la estabilidad de los equipos técnicos de evaluación.

128 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNAsimismo, se percibe voluntad política para hacer públicoslos resultados de las evaluaciones y así “transparentar”las acciones de gobierno y sus efectos en materiade política educativa. Se reportan también mayoresgrados de comunicación, respecto de estas mismas prácticasen el pasado, entre diferentes órganos de gestiónsectorial, lo cual podría favorecer el uso de los datos delas evaluaciones para un diseño más informado de laspolíticas educativas.Dificultades observadasProyección a futuroExisten sectores docentes que piensan que los contenidoso competencias evaluadas no coinciden con lo queellos realmente enseñan o con lo que sus estudiantesrealmente están en condiciones de aprender. Falta unmayor análisis sobre qué aumenta y qué restringe elaprendizaje, de manera que trascienda el sentido comúno las especulaciones. Los informes de resultados se limitana numerosos gráficos con comentarios breves. Lomismo sucede con las “variables complementarias” ofactores “contextualizadores”, no se plantea cuál podríaser la relación entre los resultados y los logros, desaprovechándosela oportunidad de levantar preguntas adicionalesdonde se podría mirar otros datos y hacer análisismás detallados. Las autoridades no parecen estar explorandolos procesos de formulación de estándares nacionales.Las actuales definiciones del contenido del dominioevaluado son tan vagas que difícilmente dan pautasa docentes sobre qué o cómo se tiene que mejorar.El SNEPE planea reforzar la difusión de los resultadosal interior del Ministerio de Educación para lograr mayorimpacto en la toma de decisiones sobre programasde mejoramiento y de capacitación y formación docente.

SEGUNDA PARTE129PERÚPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónPERÚ(UMC-CRECER)1996199844, 64M, 5M]L, ML, M, CS,CNL, MMNMNG, U, POREALC1997; PISAPlus20014, 6, 4ML, MMNG, U, P20042, 6, 3M,5ML, M, CMNG, U, P[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera, C=Ciudadanía.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalLa evaluación externa de aprendizajes se realiza desdela UMC, Unidad de Medición de Calidad, órgano dependientedel Ministerio de Educación, aunque una proporciónimportante del diseño y aplicación de las pruebas

130 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNse realiza con la participación y asesoramiento de consultoresexternos al Ministerio.Currículo y estándaresTipos de pruebasTipos de reporteLos marcos curriculares nacionales vigentes fueronaprobados en los años 1997 y 1998 para educación primaria,y en 2001 para secundaria (este último actualmenteen revisión). La reforma curricular de los noventamarcó la transición hacia un currículo basado en competencias,y sobre ellas se construyen las matrices de referenciapara las evaluaciones estandarizadas. El diseñode esas matrices, sin embargo, requirió de un trabajoadicional de especificación y operacionalización de contenidos,pues algunas áreas del currículo presentan definicionesdemasiado amplias sobre los aprendizajes esperados.Hasta el momento no se han realizado propuestasde estándares de currículo al nivel nacional, aunque algunasorganizaciones no gubernamentales han ensayadopropuestas exitosas con algunos grupos de escuelas seleccionadas.Las primeras aplicaciones se realizaron con pruebas referidasa normas, pero actualmente se aplican instrumentoscon referencia a criterios. Las pruebas son muestrales,incluyen ítemes de opción múltiple y derespuestas abiertas, y han sido aplicadas en español,quechua y aimara. Junto con las pruebas se aplican cuestionariosde contexto para el estudio posterior de factoresasociados al rendimiento. Se estudian variables escolares(Ej. insumos pedagógicos, características deescuelas y profesores, actitudes hacia las asignaturas yhacia las lenguas originarias, tareas en el hogar), y extraescolares(principalmente género, NES, lengua materna,localización urbana o rural, administración pública oprivada, y región geográfica).Los informes generales más recientes presentan los resultadosen forma criterial, expresando en forma de porcentajelas probabilidades de que diferentes grupos poblacionales(Ej. escuelas rurales, escuelas públicasurbanas o quechuahablantes) logren diferentes nivelesde desempeño en las áreas evaluadas y sus diferentescomponentes o ejes temáticos. También se presentangráficos comparativos sobre los niveles de rendimiento

SEGUNDA PARTE131de cada uno de los estratos definidos para la muestra.Los variables escolares y extraescolares analizadas sepresentan asociadas al rendimiento global por área curriculary también a las diferentes subáreas de conocimientoevaluadas (Ej. geometría, estadística, comprensión inferencialde textos, etc.).Uso y difusión deresultadosSistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeLa difusión y el uso de los resultados de evaluación externahan sido, y aun son, aspectos particularmente débiles dela evaluación externa. La devolución de los resultados delas pruebas nacionales e internacionales se vio fuertementerestringida durante la gestión presidencial de los años noventa.Los datos recogidos en las aplicaciones de 1996 y1998, así como los resultados de la prueba internacional deUNESCO fueron divulgados recién a partir del año 2000.Actualmente, la UMC lleva publicada una serie de 20 boletinesde difusión de resultados de aprendizaje (sobre losresultados de las pruebas de 1998), de análisis de factoresasociados al rendimiento, de análisis de ítemes y errores derespuesta de las pruebas nacionales para fines pedagógicos,y de los resultados de la prueba internacional de UNESCO.También se han realizado talleres para la presentación ydiscusión de resultados con docentes y especialistas de órganosintermedios de gestión. Adicionalmente, investigadoresindependientes han realizado estudios del currículoimplementado y de oportunidades de aprendizaje medianteel análisis de cuadernos de trabajo y de cuadernos de claseen muestras de alumnos de escuelas urbanas polidocentes.Otros estudios se han centrado en los factores asociados alrendimiento y en el análisis de la producción de textos delos estudiantes. La dificultad principal en este terreno radica,hasta el momento, en lograr una divulgación efectivade los informes oficiales, y en lograr que sus contenidostengan impacto en la responsabilización política por losresultados, en el uso de los datos para el mejoramientopedagógico y para la toma de decisiones de política educativa.No se han desarrollado sistemas subnacionales de evaluación.Perú participó en la prueba internacional comparada delLLECE (1997) y Pisa Plus (2001).

132 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNAvances observadosDificultades observadasProyección a futuroDestaca la continuidad de los operativos, a pesar de lainestabilidad de los equipos técnicos frente a los cambiosfrecuentes de administración sectorial. Resulta positivatambién la publicación de los resultados luego decada aplicación, así como los esfuerzos recientes porredactar informes más útiles para el mejoramiento de lagestión pedagógica en las escuelas.Los funcionarios del sector no hacen uso sistemático delos datos para mejorar las condiciones de implementaciónen las áreas más críticas del currículo y en las escuelasmás desfavorecidas. También se percibe un usoinsuficiente de los datos en el ámbito escolar, en partedebido al hecho de que la devolución de resultados noha logrado universalizarse a todos los centros educativos.Parte del problema radica en que los equipos técnicosde evaluación no disponen del tiempo suficientepara diseñar estrategias más amplias de difusión.Una nueva Ley General de Educación, promulgada en2003, ordena la creación del Instituto Peruano de Evaluación,Acreditación y Certificación Educativa. Esteserá un organismo público autónomo que probablementeincorporará la tecnología y los equipos técnicos que actualmentese desempeñan en la UMC en el Ministerio deEducación.

SEGUNDA PARTE133REPÚBLICA DOMINICANAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónREPÚBLICADOMINICA-NA (Sistemade PruebasNacionales)1991-19961997-20038, 4M, 3 erciclo deadultos8, 3 Ed.Adultos yBachilleratoL, M, CS,CNL, M, CS,CNCNCNUGCD, DCOREALC1997[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalActualmente, la unidad de medición de rendimientoacadémico es el Departamento de Pruebas Nacionales,órgano dependiente de la Dirección de Evaluación yControl de la Secretaría de Estado de Educación. Originalmente,el proyecto de Pruebas Nacionales fue administradoy liderado por una Comisión Ejecutiva integradapor el Secretario de Estado de Educación y

134 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNCultura, los rectores de las principales universidades nacionalesy el Secretario General de la Asociación Dominicanade Profesores. Entonces, el proyecto era financiadoprincipalmente con fondos de préstamo internacional(BID y Banco Mundial). En la actualidad, la mayor partede los programas de evaluación se financian con elpresupuesto regular de la Secretaría.Currículo y estándaresTipos de pruebasLas Pruebas Nacionales se construyen en función de loscontenidos del currículo nacional, y los equipos de desarrollocurricular de la Secretaría participan en la definiciónde la matriz de referencia para las evaluaciones yen la validación de los ítemes. Sin embargo, suelen existirdiferencias de percepción sobre la relevancia o pertinenciadel universo de saberes curriculares que seránobjeto de evaluación. Tales diferencias se explican porel grado insuficiente de especificación que el currículoplantea respecto a las expectativas de aprendizaje y desempeñopara las diferentes áreas de conocimiento. Existela percepción de que es necesario acordar un conjuntode estándares curriculares al nivel nacional, y en esadirección trabaja actualmente la Dirección General deCurrículo, específicamente en las áreas de lengua españolay matemáticas.Desde 1998 se aplican pruebas referidas a normas en 4ºaño del Bachillerato, y pruebas referidas a criterios en 8ºgrado y 3 er ciclo de adultos. Para el Bachillerato, existenpruebas comprensivas (comunes a todas las modalidades)y diferidas (diferenciadas para cada tipo de orientaciónacadémica). Ambas versiones están contenidas enel mismo cuadernillo de pruebas. Las pruebas para elárea de Lengua Española se elaboran a partir de competencias,mientras que las de Matemática, Ciencias Socialesy Ciencias Naturales se realizan a partir de contenidosu objetivos. Todas las pruebas se basan en unmodelo de respuesta de opción múltiple. No se aplicaninstrumentos especiales para el levantamiento de informaciónde contexto, pero igualmente se dispone de informaciónrelacionada con las características de los estudiantes(sexo, edad y calificaciones promediosobtenidas en la escuela en las asignaturas de pruebasnacionales), y con las características geográficas de las

SEGUNDA PARTE135escuelas (zona urbana, urbana marginal, urbana turística,rural, rural aislada y zona de pobreza). Con estosdatos se realizan estadísticas descriptivas y correlacionesentre las variables mencionadas y el logro académicode los estudiantes.Tipos de reporteLa tabla de especificaciones utilizada permite reportarlos resultados en función de competencias logradas. Losinformes institucionales (escolares) presentan los porcentajesde alumnos que lograron cada una de las competenciasy los informes individuales (por alumno) indicanel nivel de desempeño logrado para cadacompetencia. Más específicamente, esos informes presentanlos siguientes datos: Informe institucional (datosdesagregados al nivel de curso o sección y por área deconocimiento): porcentajes de estudiantes promovidos yaplazados; grado de correlación entre calificación escolarfinal y calificación en prueba estandarizada; comparaciónde resultados con centros educativos semejantes,y con todos los centros educativos en los ámbitos nacional,regional y distrital. Informe para alumnos: puntajeobtenido por dominios en cada área de conocimiento;análisis narrativo de logros y dificultades principales,por nivel de desempeño y en forma comparada con elpromedio nacional y con el promedio de las escuelas delmismo nivel socioeconómico o zona geográfica; recomendacionespara mejorar el rendimiento académico.Los niveles de desempeño fueron establecidos de acuerdoa cuatro categorías (cuartiles) atendiendo a los porcentajesde estudiantes que dominan o no las preguntaspara cada una de las competencias o contenidos evaluados.Para los fines de la discusión de estos resultados, seutilizan dos categorías de desempeño: “dominio bajo” y“dominio”. El criterio para alcanzar tal calificación porlos grupos de estudiantes, es la respuesta correcta a 50%de las preguntas relativas a las competencias o contenidos(dominio bajo), o la respuesta correcta a 50% o másde las preguntas (dominio). Esta información se presentaen tablas cruzadas, por categorías de dominio y nivel deagregación geográfica (nacional, regional y distrital).Los resúmenes ejecutivos preparados por el Departamentode Pruebas Nacionales también ofrecen un análisiscomentado de los resultados, así como un conjunto

136 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNde conclusiones y reflexiones puntuales sobre las implicanciasde política de los resultados.Uso y difusión deresultadosSistemas subnacionalesde evaluaciónLas Pruebas Nacionales se utilizan, en primer lugar,como indicador parcial de rendimiento académico paradeterminar la promoción y graduación de alumnos enlos niveles y cursos evaluados. La respuesta correcta atodos los ítemes de la prueba equivale al 30% de aprobacióndel curso, mientras que el puntaje máximo en elúltimo año del curso, combinado con el promedio enlos últimos cuatro años de educación media, equivalenal 70% restante. En el caso de 8º grado del Nivel Básicoy la Educación de Adultos la línea de corte para laaprobación del curso es de 65/100 puntos, mientras queen el caso de 4º año de Educación Media es de 70/100puntos. Los alumnos que no alcanzan el puntaje mínimode aprobación en alguna asignatura tienen la posibilidadde volver a presentarse al examen. Los estudiantesde 8º grado y de Educación de Adultos que noalcanzan el puntaje mínimo en las cuatro asignaturasdeben repetir el curso. Las calificaciones finales se hacenllegar a los estudiantes por la vía documental (actasescolares de calificaciones), telefónica, o electrónicaa través de una página web oficial. Los equipos deevaluación han convocado a otras unidades del sector(Dirección de Curriculum, institutos de capacitacióndocente, directores de escuelas, maestros y estudiantes,autoridades intermedias, etc.) para realizar lecturas críticasde los resultados y discutir sus implicancias parala redefinición de programas y líneas de acción para elmejoramiento de la calidad de los aprendizajes. Asimismo,se entregan resúmenes ejecutivos sobre los resultadosa autoridades políticas y equipos técnicos centralesy locales. Sin embargo, se considera que losresultados han tenido poco impacto en la toma de decisionesde política educativa en general. La prensa localpublica y comenta los resultados anualmente, aunquees difícil lograr que se haga un tratamiento sustantivodel tema más allá de la presentación de los promediosgenerales al nivel nacional.No se han desarrollado sistemas subnacionales de evaluación.

SEGUNDA PARTE137Pruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroRepública Dominicana participó en el estudio comparadodel LLECE, 1997.La devolución de los resultados, tanto a las escuelascomo a los estudiantes individualmente, se realiza deuna forma que resulta útil curricularmente para mejorarlos resultados de los aprendizajes. Los operativos deevaluación están debidamente normados por la Ley Generalde Educación y por un conjunto de Ordenanzasnacionales, lo cual garantiza continuidad en las aplicacionesy otorga mayor legitimidad formal a los procesosevaluativos.Existen problemas de organización al interior de la Secretaríade Estado de Educación que impiden un flujoadecuado de información y el trabajo sinérgico entre lasdiferentes unidades de gestión. Suelen superponerse losesfuerzos de evaluación a cargo de diferentes dependenciasy los resultados de las pruebas nacionales no impactanmayormente en la toma de decisiones para el diseñode políticas integrales o complementarias de mejoramientode la calidad.Se prevé que el programa de Pruebas Nacionales seguiráoperando como hasta el momento. Desde el punto devista institucional, el Consejo Nacional de Educaciónreglamentó recientemente que Sistema Nacional de Evaluaciónde la Calidad de la Educación comenzará a funcionarcomo un organismo descentralizado, pero aun nose han elaborado los lineamientos y las normativas específicaspara concretar este cambio de status.

138 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNURUGUAYPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónURUGUAY(UMRE)1996199863L, M, AAL, M, CN,CSCNMN,autoaplicaciónuniversoescuelasG, U, PU, PCD, FACDPISA 200319996L, M, AAMN, ME,autoaplicaciónuniversoescuelasG, U, PCD19993ML, M, CN,CSCNG, U, PFA200142001preescolar,1, 2L, M,desarrollocognitivo yafectivoMNG, UCD20026L, MMN, CN[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.

SEGUNDA PARTE139[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalCurrículo y estándaresLa UMRE, Unidad de Medición de Resultados Educativos,fue creada en 1994 dentro del marco de un conveniode cooperación financiera entre la ANEP (AdministraciónNacional de la Educación Pública) y el BancoMundial para el desarrollo del Proyecto de Mejoramientode la Calidad de la Educación Primaria (MECAEP).En tal sentido, la UMRE no fue concebida como un sistemanacional de evaluación en sí mismo, sino como unproyecto de evaluación nacional de aprendizajes quesentaría las bases para el desarrollo posterior de un sistemade evaluación más integral y administrado desde laestructura funcional de la ANEP. Las acciones de evaluaciónllevadas a cabo por la UMRE se han realizadoen colaboración con otras unidades administrativas de laANEP, y si bien depende políticamente de la administracióneducativa central, goza de altos grados de autonomíatécnica y administrativa. Desde 2001 la UMRE seinstitucionalizó en el marco de la entonces creada “Gerenciade Investigación y Evaluación” en la ANEP, conel nombre “Programa de Evaluación de Aprendizajes”.Tiene a su cargo las evaluaciones en educación primariay media, las evaluaciones internacionales y la elaboraciónde las pruebas de ingreso a los institutos de formacióndocente. La unidad sigue gozando de autonomíatécnica pero no administrativa.El currículo oficial nacional vigente en Uruguay datadel año 1957 pero ha sufrido revisiones y actualizacionesen las últimas décadas. En los años setenta fue reformadosegún las corrientes conductistas de la época ylos contenidos se presentaban con un alto grado de prescripcióny detalle para su cobertura. En los años ochen-

140 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNta, a partir de la restitución del orden democrático, sepercibe la necesidad de remover del currículo los cambiosintroducidos durante el gobierno militar y se elaborauna versión levemente modificada del documento de1957. Esta versión propone un currículo más flexibleque permite adecuaciones locales e institucionales pero,si bien se modificaron los postulados filosóficos y epistemológicospara la enseñanza, los contenidos disciplinaressiguen siendo los mismos. La sucesión de cambiosha producido un referente curricular ambiguo que presentacontradicciones entre su fundamentación teórica yel tipo de contenidos académicos prescritos. Esa ambigüedadha constituido una dificultad importante para losequipos de evaluación de la UMRE al momento de definirlas tablas de especificaciones, pero se ha resueltosatisfactoriamente mediante la consulta sistemática adocentes y expertos de todo el país sobre la relevancia yadecuación de los tópicos y tipos de competencias queameritan ser evaluados. Más aun, el diseño de las matricesde referencia y el modelo de evaluación utilizadotienen como uno de los objetivos centrales contribuir auna definición más pertinente y actualizada de las metascurriculares nacionales. En la práctica, los marcos conceptualesde las pruebas y los libros de textos gratuitosque se entregan a todas las escuelas con sus guías didácticashan ido constituyéndose en un referente alternativoal currículo nacional.Tipos de pruebasTipos de reporteSe han realizado operativos censales y muestrales. Laspruebas incluyen ítemes de opción múltiple y tambiénpreguntas para el desarrollo de respuesta abierta. Junto alas pruebas se aplican cuestionarios de contexto socioeducativoa docentes, directores, alumnos y familiaspara el estudio de factores asociados al rendimiento. Seanalizan variables escolares (Ej. infraestructura y equipamiento,dotación de recursos humanos, experienciadocente, gestión, concepciones pedagógicas), así comovariables extraescolares (Ej. condiciones de la vivienda,composición de la familia, bienes materiales y culturales,niveles educativos y ocupacionales de los padres).Se presentan los resultados clasificados según los porcentajesde alumnos que alcanzan los diferentes niveles

SEGUNDA PARTE141de suficiencia predefinidos (altamente satisfactorio, satisfactorio,insatisfactorio, muy insatisfactorio), y serelacionan en tablas que comparan el rendimiento pordepartamento, según subsistemas (Montevideo, interiordel país, colegios públicos y privados, colegios urbanosy rurales) y el contexto sociocultural de las escuelas.La UMRE ha puesto especial énfasis en la comparaciónde resultados entre escuelas de contextossocioeconómicos similares como una manera de evitarinferencias inadecuadas sobre la calidad educativa deescuelas que trabajan con alumnados de diferentes contextossocioculturales. (Por tanto, los informes que sedistribuyen a las escuelas presentan sus resultados encomparación con escuelas del mismo contexto socioculturaldel departamento, y del mismo contexto socioculturaldel país. Los informes globales se difundenpúblicamente y presentan los resultados en forma agregadaal nivel nacional, y en forma desagregada al nivelde departamentos y escuelas. La información desagregadapara cada escuela es confidencial y no pretendeestablecer rankings entre ellas. Cada escuela recibe ensobre cerrado sus propios resultados, y los del conjuntode otras escuelas semejantes (Ej. todas las escuelas decontexto desfavorable). Los únicos agentes extraescolaresque acceden a los resultados por escuela son losinspectores de zona, quienes podrían potencialmentedifundir información comparada, pero mantienen elcompromiso de confidencialidad y solo usan los datospara realizar recomendaciones pedagógicas. La presentaciónde datos sobre niveles de suficiencia en el desempeñoacadémico se basa en una línea de corte (nivelsatisfactorio) equivalente a la respuesta correcta poralumno al 60% del total de los ítemes y en el porcentajede alumnos que alcanza ese nivel de rendimiento.Los informes de 6º grado presentan también comparacionesinteranuales (en lapsos de tres años) sobre elprogreso de la población estudiantil en el logro de lascompetencias evaluadas. Tales datos se expresan enforma de puntos porcentuales de diferencia entre losaños 1 y 3 de aplicación, en forma general para todala población y todas las áreas evaluadas y desagregadasolamente según el nivel socioeconómico de lasescuelas.

142 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNUso y difusión deresultadosLos destinatarios principales de los resultados de lasevaluaciones son las escuelas. La devolución es universal,independientemente de la participación en la muestra,y es frecuentemente acompañada por presentacionesy talleres a cargo de los equipos técnicos de la UMRE.Tanto las presentaciones como los materiales de orientaciónpublicados centran la atención en el análisis de losítemes y las respuestas de los estudiantes, de manera deestimular la reflexión sobre los aspectos curriculares ypedagógicos que deben mejorarse para lograr mejoresresultados. La experiencia hasta ahora indica que estasactividades son altamente valoradas por los docentes, locual se manifiesta en forma de solicitudes a la UMRE demás herramientas de evaluación y análisis para mejorarsu práctica pedagógica. Además de los datos, la UMREfacilita también un conjunto importante de ítemes utilizadosen las aplicaciones y orientaciones para su aplicaciónen forma autónoma por los docentes en sus cursos.Los docentes, entonces, disponen de los instrumentos deevaluación que les permite una aplicación independiente,y las informaciones necesarias para poder compararlos datos obtenidos con los de la aplicación nacional.Esta estrategia es particularmente útil cuando los operativosson muestrales y por lo tanto no todas las escuelascuentan con una devolución individual de resultados. Laresponsabilización o “rendición de cuentas” no es unobjetivo del sistema de evaluación. Por el contrario, losesfuerzos por legitimar el sistema ante la comunidad docentese centró en la confidencialidad y en el uso estrictamentepedagógico y curricular de los datos. En términosde responsabilización política sectorial, los datos nohan generado debate público o académico, ni reaccionespor parte de la sociedad civil, excepto por algunos gruposque demandan su utilización para impulsar mecanismosde responsabilización y descentralización. Los datoshan sido utilizados para el desarrollo de programasde capacitación de docentes en servicio, coordinadosfrecuentemente en colaboración con los cuerpos deInspectores de Primaria y con el Proyecto MECAEP decapacitación docente, aunque aún no se ha logrado incidirsobre los programas de formación magisterial inicial.Los resultados fueron utilizados recientemente para fundamentarla continuación y ampliación de un programa

SEGUNDA PARTE143de equidad para Escuelas de Tiempo Completo. Por eltipo de modelo de evaluación que se realiza en este país,los datos sirvieron para demostrar que este tipo de escuelaslogran mejores resultados que otras en contextossocioeconómicos semejantes.Sistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroNo se han desarrollado sistemas subnacionales de evaluación.Uruguay participa en el proyecto PISA y realizó la primeraaplicación de instrumentos en 2003.El sistema de evaluación ha logrado niveles importantesde legitimación entre los docentes, quienes valoran losdatos recogidos como insumos de información válidos yútiles para el mejoramiento de las prácticas pedagógicasy de la gestión escolar. Destaca también la continuidadde los operativos en el tiempo, así como la estabilidadde los equipos técnicos en sus funciones. Vale remarcarlos esfuerzos por construir matrices de referencia e ítemesde evaluación que, si bien alineados con el currículonacional, trascienden la prescripción oficial e introducennuevas metas que generan debate sobre lapertinencia y validez de los contenidos de aprendizajeen las escuelas.Los datos e informaciones difundidos por la UMRE hantenido escaso impacto en la opinión pública.Si las próximas administraciones de gobierno continúanapoyando el sistema nacional de evaluación, se esperaadoptar la metodología de medición TRI, incorporar ítemesabiertos a las pruebas de 6º de primaria, mantenerel ritmo trienal de aplicaciones, utilizar la prueba internacionalPISA como referente para la evaluación y monitoreodel 3º de educación media y evaluar el final delBachillerato.

144 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNVENEZUELAPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónEl SINEA, Sistema Nacional de Medición y Evaluacióndel Aprendizaje, es un programa dependiente del Viceministeriode Asuntos Educativos del Ministerio de Educación,aunque no está incluido formalmente en el organigramaoficial del sector. Al momento de la aplicaciónmuestral de 1998, el SINEA era administrado por la Ofi-VENEZUE-LA (SINEA-SistemaNacional deMedición yEvaluacióndelAprendizaje)V 6 L, M MN G, U, P OREALC1997[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucional

SEGUNDA PARTE145cina Sectorial de Planificación y Presupuesto. Originalmentese financió con fondos de préstamo del BancoMundial pero actualmente se sostiene con el presupuestoordinario del Ministerio de Educación en convenio conel CENAMEC, Centro Nacional para el Mejoramientode la Enseñanza en Ciencia. La aplicación de 1998 serealizó con el apoyo técnico de consultores de la UniversidadCatólica de Venezuela, pero actualmente secuenta con escasos recursos técnicos y humanos para eldesarrollo de nuevos operativos.Currículo y estándaresTipos de pruebasTipos de reporteLas matrices de referencia para el diseño de las pruebasfueron elaboradas sobre la base del currículo nacionalvigente para educación primaria. Hasta el momento noexisten propuestas para el desarrollo de estándares nacionalesde currículo.La evaluación de 1998 fue muestral y las pruebas sebasaron en un modelo de respuestas de opción múltiple.Se intentó evaluar también mediante preguntas abiertaspero los equipos de correctores no lograron acordar criteriosuniformes para la corrección de respuestas. Laspruebas se construyen y validan siguiendo un modelonormativo, pero los resultados se reportan en forma criterial,utilizando una línea de corte equivalente al 70%de respuestas correctas.Los resultados de 1998 se reportaron utilizando puntajesde corte sobre una escala gradual de desempeños. La escaladefinía un nivel de insuficiencia o no logro (0 a 40puntos), logro parcial (40 a 70 puntos), y de suficiencia ologro (70 a 100 puntos). Este reporte criterial se presentódesagregado al nivel de entidades federales. También sereportaron los datos siguiendo un modelo normativo queexpresaba el rendimiento relativo de diferentes regionesgeográficas sobre la media aritmética. El documento consultadoexplica que en la muestra se definieron estratospara escuelas públicas y privadas, urbanas y rurales, ymarginales y no marginales, aunque no se reportan resultadosdesagregados según ese diseño. En informes dirigidosa docentes se presentan los ítemes aplicados en laevaluación, así como un análisis somero de las dificultadespresentadas por los estudiantes. Finalmente, se pre-

146 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNsenta un conjunto de conclusiones sobre los resultados ysus implicancias pedagógicas generales.Uso y difusión deresultadosSistemas subnacionalesde evaluaciónPruebas internacionalesde aprendizajeAvances observadosDificultades observadasPara la difusión de las pruebas de 1998 se produjeroninformes diferenciados para el gobierno central, paracada uno de los estados y para los docentes. Estos últimosse enviaron a las direcciones de educación de cadaestado, pero se desconoce qué alcance e impacto efectivotuvieron al nivel de las escuelas. El Ministerio deEducación no utilizó los resultados para el diseño depolíticas, ni tampoco lo hicieron las instancias intermediasde gestión, aunque sí fueron utilizados por el CE-NAMEC para el desarrollo de programas de capacitacióndocente. La prensa no hizo una cobertura formal delos resultados, aunque algunas notas periodísticas hancitado los datos del SINEA entre otros indicadores sobrela baja calidad del sistema educativo público.No se han desarrollado sistemas subnacionales de evaluación.Venezuela participó en la prueba del LLECE -1997.Aunque ya discontinuado, el programa de evaluacióncontribuyó inicialmente al desarrollo de capacidadestécnicas para la evaluación externa.Resalta principalmente el insuficiente grado de institucionalizaciónlogrado por el SINEA, cuyas actividadesfueron discontinuadas al culminar el convenio financierocon el Banco Mundial. Actualmente se cuenta conrecursos humanos y técnicos insuficientes, y las autoridadesdel Ministerio de Educación no han destinadonuevos recursos ni tiempo de gestión para el sostenimientoy desarrollo del programa.

SEGUNDA PARTE147CASOS SUBNACIONALESMINAS GERAIS, BRASILPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónMINASGERAIS(SIMAVE)200020014, 8, 3M4, 8, 3ML, MCS, CNCRCRG, U, PG, U, PCD, FACD, FA20024, 8, 3ML, MCRG, U, PCD, FA20034, 8, 3MLCRG, U, PCD, FA[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalEl SIMAVE, Sistema Minero de Evaluación de la EducaciónPública, es uno de los componentes centrales delPROEB, Programa de Evaluación del la Red Pública deEducación Básica, y está inserto en la estructura funcio-

148 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNnal de la Secretaría de Educación del Estado de MinasGerais. Este sistema de evaluación fue creado dentro delmarco de una fuerte redefinición de políticas educativasa partir de la nueva administración sectorial iniciada enel año 1999. Las inequidades en el acceso al conocimientoal interior del estado, así como los múltiples problemasde repitencia y promoción automática requeríande un sistema de evaluación diagnóstica de aprendizajesque permitiera focalizar apoyos y compensar esas inequidades.La evaluación se inserta dentro de un conjuntode programas de “Acompañamiento Pedagógico” y defortalecimiento de la capacitación y la formación docenteinicial. Una de las características más novedosas delsistema es su trabajo colaborativo formal con 29 institucionesde educación superior del estado. Ese trabajo involucrael diseño y aplicación de instrumentos, así comoel procesamiento de datos y su devolución a las escuelas.Los operativos son coordinados por una de estasuniversidades en colaboración con las demás, en un procesoque pretende contribuir a mayores grados de descentralizaciónde la gestión educativa en su conjunto,así como a mayores grados de participación de los actoreslocales. Motiva también esta asociación la necesidadde acercar mayores insumos de información a las institucionesformadoras de docentes, y de consolidar gradualmenteuna mayor cultura evaluativa dentro del sistema.El SIMAVE colabora con los operativos del SAEB(ver Brasil) y se sirve del banco nacional de ítemes parala elaboración de sus propios instrumentos, pero no utilizalos datos nacionales para el diseño de políticas estaduales.Currículo y estándaresEl referente curricular principal para el estado son losParámetros Curriculares Nacionales (PCN). Sin embargo,la Secretaría de Educación estadual posee una propuestacurricular propia alineada con esos parámetros. Apartir de estos dos referentes, las escuelas elaboran suspropios diseños curriculares, aunque este proceso estáocurriendo muy lentamente. Para la elaboración de lasmatrices de referencia del SIMAVE se utilizan los PCN,la propuesta curricular del estado, y la matriz de contenidosdel SAEB. Se trata de priorizar los saberes másimportantes para cada grado. Sin embargo, esa prioriza-

SEGUNDA PARTE149ción es realizada por los equipos técnicos de evaluación,con escasa participación de los equipos de desarrollocurricular. Estos últimos demandan, por tanto, mayoresgrados de apertura por parte del SIMAVE para lograrmás pertinencia y legitimidad en las evaluaciones y suscontenidos.Tipos de pruebasTipos de reporteUso y difusión deresultadosLas pruebas aplicadas por el SIMAVE son censales yestrictamente normativas, pues están diseñadas básicamentepara la comparación de rendimiento entre diferentesgrupos de estudiantes. A pesar de eso, como se puedeobservar en el apartado siguiente, se intenta reportar losresultados en forma criterial desagregando resultadospor tipos de competencias logradas en cada área curricularevaluada. Se aplican también cuestionarios para relevarlas características socioeconómicas de las escuelas,pero no se realizan análisis estadísticos sobre factoresasociados al rendimiento académico.Cada escuela recibe un informe individual. Los informespresentan gráficos separados para cada grado y área curricularevaluada, y cada uno de ellos muestra el porcentajede alumnos que se ubica en cada uno de los tresniveles de desempeño (proficiencia) predeterminados(crítico, intermedio y suficiente). Los porcentajes sedesagregan al nivel de las diferentes capacidades queconforman cada una de las competencias evaluadas encada área curricular. Además, se ofrece un gráfico debarras comparando el desempeño promedio de la escuelarespecto del municipio correspondiente, la superintendenciaregional y el estado. Los informes se complementancon una revista explicativa para orientar a losprofesores en la lectura e interpretación de los datos.Los informes de resultados apuntan a dos audienciasprincipales: autoridades sectoriales y equipos escolares(directores y docentes). Las primeras reciben informessobre los rendimientos globales de diferentes regiones,superintendencias y municipios para diseñar políticas yfocalizar apoyos materiales y pedagógicos en las regionesy superintendencias con bajos niveles de desempeño.Las escuelas reciben los informes descritos en elapartado anterior. El SIMAVE se propuso lograr legiti-

150 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNmación mediante un modelo evaluativo diagnóstico queno implicara sanciones ni premios para los actores locales,sino que sirviera principalmente para orientar y mejorarlos procesos pedagógicos y curriculares. Otro delos objetivos principales es el de acercar los datos de lasevaluaciones a los estudiantes de educación, y futurosprofesores del sistema, a través de la participación delas universidades en todo el proceso evaluativo (los estudiantesson frecuentemente contratados como aplicadores).Se espera lograr que las nuevas generaciones dedocentes tengan una mayor participación colegiada entemas substantivos de la educación y no solamente entérminos de reivindicación salarial. Los resultados estándisponibles para el público en general y para la prensa.Sin embargo, deben realizarse grandes esfuerzos paraevitar que la prensa haga un uso “amarillista” de losdatos, especialmente mediante la presentación de rankingsy comparaciones que pueden resultar agresivas.Los padres de familia no reciben resultados individualmente,excepto los representantes de este grupo en losgobiernos escolares de cada institución. Estos representantestienen acceso a los informes de resultados, y desu voluntad depende que sean socializados entre los demáspadres. Los datos han sido utilizados para el diseñode capacitaciones docentes, con especial énfasis en losproblemas de lectura detectados, y sobre lo cual se handiseñado programas específicos de apoyo a las escuelas.Los datos sirven también para seleccionar a las escuelasque recibirán atención prioritaria mediante esos programas.Esas escuelas son también objeto de investigacionescualitativas que buscan indagar sobre las razonesque explican los bajos rendimientos.Pruebas internacionalesde aprendizajeAvances observadosNo se ha participado en forma independiente de lasmuestras nacionales en este tipo de pruebas.Si bien la comunicación de los equipos de evaluacióncon otras dependencias de la Secretaría es escasa, losequipos de desarrollo curricular están comenzando a utilizarlos datos de las evaluaciones para proponer nuevaslíneas de acción desde su ámbito de trabajo. Hasta elmomento, se han concentrado principalmente en los problemasde lectura detectados. La relación entre el

SEGUNDA PARTE151SIMAVE y las universidades parece ser provechosa yexiste voluntad de ambas partes por continuar trabajandoen forma asociada.Dificultades observadasProyección a futuroSegún algunas críticas, para lograr que las pruebas tenganmayor impacto, debería involucrarse a los docentesmás directamente en el proceso evaluativo y especialmenteen la validación de los contenidos evaluados porel SIMAVE. A esta falta de participación se atribuye, encierta medida, que los profesores no se sienten responsablespor los resultados y que tampoco alienten a losalumnos a mejorar su rendimiento.Dado que el sistema ha sido recientemente implementado,se espera lograr una mayor institucionalización ycontinuidad en los operativos. Asimismo, se espera tenermayor incidencia en los programas de capacitación yformación docente.

152 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNPARANÁ, BRASILPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónPARANÁ(Programa deEvaluacióndelSistemaEducativo deParaná)199519961997199848, 2M4, 84, 8L, ML, M, CN,CSL, M, CNL, M, CNCRCRCRCRG, U, PG, U, PG, U, PG, U, PCD, DCCD, DCCD, DCCD, DC20004, 8L, M, CNCRG, U, PCD, DC20024, 8, 3ML, M, CNCRG, U, PCD, DC[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalEl Programa de Evaluación del Sistema Educativo deParaná es parte de la estructura orgánica de la Secretaríade Educación del estado y se inscribe dentro de un pro-

SEGUNDA PARTE153grama más amplio denominado “Proyecto de Calidad dela Enseñanza”. Ese proyecto se inició en el año 1994con apoyo financiero del Banco Mundial. Los requisitosde monitoreo impuestos por el Banco impulsaron el diseñode los primeros instrumentos de evaluación del sistema,entre los cuales cobró particular importancia, ycontinuidad, el de evaluación de los aprendizajes. ElPrograma dispone de escasos márgenes de autonomía,pues todas las decisiones técnicas y políticas son tomadasfinalmente por las autoridades máximas de la Secretaríade Educación. Además de evaluar los procesos deimplementación e impacto de programas de calidad específicos,tales como la Aceleración de Aprendizajes yla dotación de bibliotecas, material pedagógico y cursosde capacitación docente, el estado precisaba estudiarcon mayor profundidad dos de las grandes problemáticasque se presumían fuertemente asociadas al rendimientoacadémico: repitencia y extraedad y deserciónescolar. Por esa razón es que los resultados de aprendizaje,como se discute más abajo, se reportan diferenciadamentepor franjas etarias al interior de cada gradoevaluado. Adicionalmente, la Secretaría de Educaciónprecisaba contar con indicadores de calidad que le permitieranmonitorear los procesos de descentralización delas escuelas y dar apoyo focalizado a aquellas que máslo necesitaran. Existe una relación de intercambio técnicocon el SAEB (ver Brasil), especialmente de consultasobre matrices curriculares y metodologías de medición,pero el estado de Paraná no hace uso de los datos recogidospor la agencia de evaluación nacional.Currículo y estándaresLas matrices curriculares de las pruebas están referidasal “Currículo Básico de la Escuela Pública” del estado.Estos, a su vez, están alineados a los Parámetros CurricularesNacionales (PCN). Los equipos de currículo dela Secretaría participaron en la elaboración de los PCN,y tienen participación en la elaboración de las matricescurriculares de evaluación del estado. Hasta mediadosde la década anterior los docentes guiaban su prácticabásicamente por los libros de texto comerciales e ignorabanlos parámetros curriculares nacionales y estaduales.Por medio de las evaluaciones, y de las capacitacionesdiseñadas sobre la base de los resultados, la

154 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNSecretaría de Educación apunta a revertir gradualmenteesa tendencia. Según la opinión de los equipos decurrículo, los contenidos de las matrices están debidamentevalidados, en términos de alineación con la propuestacurricular estadual, aunque se cuestiona el gradode exhaustividad que la matriz permite en el sondeo delas capacidades desarrolladas por los alumnos.Tipos de pruebasTipos de reporteLas pruebas aplicadas son normativas, y son diseñadasmediante procedimientos derivados de la Teoría Clásicay de TRI. Las aplicaciones son censales (en todas lasescuelas con más de 50 alumnos en los grados evaluados)y cada alumno responde 30 preguntas por área curricularevaluada. Se aplican cuestionarios a docentes ydirectores de centro para realizar análisis de factoresasociados al rendimiento. Los principales factores analizadosson: gestión y administración escolar, y nivel económicoy social de alumnos y familias. Los operativosse realizan con amplia participación de equipos docenteslocales y escolares, así como de padres de familia designadospara monitorear los procesos de evaluación y actuarcomo difusores de información de los resultadosposteriormente.Los datos que se devuelven a las escuelas consisten enfrecuencias simples y medidas de tendencia central deaciertos en las respuestas, agregados al nivel estadual ydesagregados al nivel de municipio, núcleo escolar, escuelay franjas etarias al interior de cada grupo de estudiantesevaluado. Los informes también presentan losresultados en forma de porcentajes de alumnos que alcanzaroncada uno de los cinco niveles de dificultad incluidosen la escala de desempeño propuesta en el modelo.Adicionalmente, los informes explicitan cuáles delas 30 preguntas respondidas por los alumnos en cadaárea corresponde a cada uno de esos niveles de desempeño.Con esos datos, y siguiendo orientaciones y formatosprescritos por la Secretaría, las escuelas redactansus informes institucionales de rendimiento estudiantil,identifican problemáticas y proponen vías de acción pedagógicaposibles. Los demás informes generales producidospor el Sistema de Evaluación presentan los resultadosen forma desagregada por municipio, y de acuerdo

SEGUNDA PARTE155a otros estratos definidos tales como escuelas públicas yprivadas, escuelas estaduales y municipales y horarioescolar diurno y nocturno. Se presenta también una síntesisde los contenidos curriculares más críticos (bajodesempeño) y un análisis pedagógico de algunos de losítemes de las pruebas para orientar a los docentes en suplanificación y en la resolución de los problemas deaprendizaje detectados. El mismo tipo de análisis se difundepara los ítemes de respuesta abierta (producciónde textos), de manera de ofrecer indicadores más clarossobre el tipo de desempeños que se espera de los alumnosen esa área. Adicionalmente, la Secretaría de Educacióndevuelve los resultados de las evaluaciones en formade “Boletines Escolares”, que incluyen informaciones específicasdel rendimiento de los alumnos de cada centroeducativo según la escala de desempeño utilizada, y enforma comparada con otras escuelas del municipio y delestado en su totalidad. Además de los datos de rendimiento,se presentan los resultados de las encuestas queel mismo operativo de evaluación realiza para recogerlas opiniones de padres y alumnos sobre diferentes aspectosde la “vida escolar” de cada institución. Un segundoconjunto de informaciones complementarias eneste boletín incluye datos institucionales sobre tasas deaprobación, reprobación y deserción, así como otros datossobre el perfil de los docentes, todo lo cual puede sercomparado con las demás escuelas del municipio y delestado.Uso y difusión deresultadosEl uso de los datos más enfatizado por el Sistema es elque hacen las escuelas mediante los mecanismos descritosen el apartado anterior. Adicionalmente, la Secretaríade Educación utiliza los datos en todos los eventos decapacitación que se realizan en el estado. Resulta importantedestacar que a todos esos eventos de capacitación,que usualmente se realizan en puntos estratégicos parareunir a docentes de varios municipios, asisten representantesde los padres de familia de cada escuela. Se apuntacon esto a desarrollar una cultura evaluativa sobre labase de la demanda de información por parte de las familias.El uso de los datos para la toma de medidas depolítica, si bien era uno de los objetivos principales almomento de la creación del sistema, es relativamente

156 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNdébil y se atribuye a la falta de tiempo por parte de losequipos de evaluación para realizar análisis más profundosde los datos recogidos. Las bases de datos estándisponibles para el medio académico e investigadoresexternos, y pueden accederse mediante solicitud formala la Secretaría de Educación. En general, la demandapor ese tipo de información es baja. También la prensatiene acceso a los datos, aunque resulta difícil evitar eltratamiento “amarillista” de ellos. La repercusión en laopinión pública, según las autoridades del Sistema deEvaluación, es baja.Pruebas internacionalesde aprendizajeAvances observadosDificultades observadasProyección a futuroNo se ha participado en forma independiente de lasmuestras nacionales en este tipo de pruebas.Se observan acciones muy definidas a favor de la utilizaciónefectiva de los datos recogidos, y a favor de unaapropiación real del sistema de evaluación por parte delos usuarios centrales y locales. Se aprecia también ungrado relativamente alto de estabilidad de los cuadrostécnicos, lo cual se atribuye a la estabilidad de las autoridadespolíticas del sector a lo largo de las últimas administracionesde gobierno. También vale destacar elfuncionamiento orgánico entre los equipos de evaluación,capacitación docente y desarrollo curricular.Hasta la actualidad, la frecuencia anual de aplicacionesha dejado poco tiempo disponible para que los equipostécnicos realicen análisis más profundos de los datossobre rendimiento escolar.Se planea espaciar las aplicaciones, quizás a una frecuenciabianual, para dar más tiempo para el análisis yla difusión de datos.

SEGUNDA PARTE157SÃO PAULO, BRASILPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónSÃO PAULOSARESP199619973, 74, 8(L, M) (L,M, CS, CN)(L, M) (L,M, CS, CN)CRCRG, U, PG, U, PCD, FA,DC, CGCD, FA,DC, CG19985, 1ML, M, CS,CNCRG, U, PCD, FA,DC, CG200020015, 7, 3M4, 8L, M, CNLCRCRG, U, PG, U, PCD, FA,DC, CGCD, FA,DC, CG[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretaríasde planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo adocentes, directivos, alumnos y padres de familia]. P=Público en general y medios decomunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes apartir de los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.

158 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNMarco institucionalCurrículo y estándaresEl SARESP, Sistema de Evaluación del Rendimiento Escolardel Estado de São Paulo, es administrado en formaconjunta por la Secretaría de Educación del estado y laFundación para el Desarrollo de la Educación (FDE), unórgano dependiente de aquella Secretaría pero que gozade altos grados de autonomía administrativa. La FDErecibe financiamiento de la Secretaría pero también sesustenta mediante la venta de servicios a otras agencias.Esta autonomía financiera, aunque sea parcial, le permitemayor agilidad y estabilidad en sus gestiones y provisiónde servicios evaluativos al estado. Sin embargo, todaslas decisiones sobre cobertura de las evaluaciones,así como sobre los usos de los datos recogidos, son tomadasprincipalmente por la Secretaría de Educación. Laadministración estadual de educación decidió la creaciónde un sistema de evaluación propio para contribuir a laresolución de dos problemáticas principales, las de equidady autonomía escolar, que son los pilares de la gestióneducativa actual. Los datos de las evaluaciones seríanusados para la focalización de apoyos en lasescuelas con desempeños más críticos (equidad), y elproceso evaluativo mismo sería realizado con la participaciónpermanente de las escuelas, en proceso de descentralización,para garantizar el uso de los datos en sugestión pedagógica y administrativa (autonomía escolar).El sistema de evaluación también se propone evaluarlongitudinalmente el impacto de las políticas educativasestaduales. El SARESP colabora con lasaplicaciones nacionales del SAEB (ver Brasil) pero susinstrumentos y operativos son totalmente independientes.El soporte técnico para esas actividades (modelopsicométrico, procesamientos estadísticos y elaboraciónde informes) fue provisto, desde el primer momento, porla Fundación Carlos Chagas. Esta Fundación tambiénestá cooperando actualmente, mediante capacitaciones, ala transferencia de la coordinación técnica del SARESPa la Secretaría de Educación del estado.Los referentes curriculares principales para la elaboraciónde los instrumentos de evaluación son los ParámetrosCurriculares Nacionales (PCN) y la propuesta curriculary pedagógica de la Secretaría de Educación delestado. Para la construcción de la matriz de referencia se

SEGUNDA PARTE159consultó ampliamente a la CENP, Coordinación de Estudiosy Normas Pedagógicas, una de las dependencias demayor protagonismo en la gestión educacional de la Secr e t a r í a .Tipos de pruebasTipos de reporteSe aplican pruebas referidas a normas diseñadas sobre labase de un conjunto de habilidades definidas para cadaárea curricular evaluada. El diseño también incluye ladefinición de una escala de cinco niveles de logro porárea, y bajo los cuales se clasifica el desempeño de cadaalumno, así como de las diferentes subpoblaciones y dela población general en forma agregada. Las aplicacionesfueron originalmente muestrales, pero se decidiótransitar hacia un modelo censal para estimular la responsabilizaciónde las escuelas por sus resultados. Laspruebas se aplican en el último grado de cada ciclo escolarde cuatro años. Los cuestionarios aplicados a directores,supervisores y docentes permiten recabar informaciónsobre las características de la escuela, la cuales utilizada posteriormente para el análisis de factoresasociados al rendimiento. Algunos de esos factores analizadosson: trabajo infantil; etnicidad, edad, NES, géneroy trayectoria escolar de los alumnos; característicasdel cuadro docente; clima escolar; participación de laescuela en programas especiales. Adicionalmente, lospadres delegados para la observación de las aplicacionescompletan una planilla de preguntas sobre el desarrolloy transparencia del proceso de aplicación. Los datos sonprocesados por la escuela misma, de acuerdo a procedimientospautados centralmente, y luego son elevados ala Secretaría de Educación. Existen mecanismos de controlpara monitorear la veracidad y consistencia generalde los datos al nivel de las escuelas.Los informes elaborados por las escuelas presentan elporcentaje de aciertos (y el nivel de desempeño correspondientea ese porcentaje) para el conjunto de alumnosevaluados. La escuela eleva los resultados institucionalesa la Secretaría pero retiene los datos de rendimientopor alumno. Desde la FDE, se elaboran informes sobreel desempeño relativo y comparado de las diferentessubpoblaciones escolares, así como de los factores asociadosal rendimiento para la población general. Los da-

160 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNtos se presentan desagrados por edad, tipos de escuelas,etnicidad y horario escolar (diurno y nocturno), entreotros. Para los años 1996 y 1997 se presentaron los datosen forma comparada (misma cohorte). La comparabilidadfue asegurada mediante la utilización de ítemesde anclaje para ambas aplicaciones.Uso y difusión deresultadosLas pruebas aplicadas por el SARESP son de bajas yaltas implicancias. El uso principal de los datos estáorientado a la toma de decisiones de política pedagógicay curricular, en la forma de programas especiales deapoyo y dotación de insumos a las escuelas que presentanbajos resultados de aprendizaje (programas de refuerzoy recuperación de aprendizajes durante el año yen vacaciones). Los resultados son de altas implicanciaspara docentes y alumnos. Los primeros pueden recibiruna bonificación salarial extraordinaria según los resultadosglobales de su escuela, mientras que los segundosven comprometida su promoción al siguiente ciclo deescolaridad de acuerdo a su desempeño en las pruebasanuales. En el primer caso, los resultados del SARESPconstituyen uno entre otros indicadores de desempeño(principalmente retención escolar). En el caso de losalumnos, un desempeño insuficiente en las pruebas delSARESP (menos de 50% de acierto) puede ser revisadopor las autoridades si el rendimiento del estudiante hasido muy bueno durante el ciclo y se presume que poralguna razón especial no pudo rendir al nivel de su potencialel día de la aplicación. En ese caso, el alumnotiene una segunda oportunidad para presentarse a laprueba. Al momento de esa publicación, el uso de lasevaluaciones con fines de bonificación y promoción estabasiendo reconsiderado. Los resultados de las pruebasson devueltos a la sociedad civil mediante informes a laprensa, pero se desincentiva la presentación de resultadosen forma de ranking. La Fundación Carlos Chagasha realizado análisis independientes de los datos, confines de investigación, dado que las bases de datos estándisponibles para cualquier usuario externo al ámbito oficial.Entre las medidas de política educativa diseñadas apartir de los datos del SARESP destaca un programa decapacitación delegado por la Secretaría de Educación atres universidades (UNESP, USP y UNICAMP). La ofer-

SEGUNDA PARTE161ta de las capacitaciones depende de la solicitud que realizanlas escuelas mismas y que justifican a partir deresultados insatisfactorios en las pruebas estaduales.Uno de los énfasis principales de las capacitaciones hasido el de desarrollo de las habilidades de comprensiónlectora. Los resultados también son utilizados para laevaluación de impacto de programas especiales de la Secretaría,especialmente del Programa de Aceleración deAprendizajes. Las autoridades del CENP consideran queel progreso en el aprendizaje de saberes escolares, y observadoa través del SARESP, se debe al impacto de unconjunto de medidas y programas impulsados por el estado.No se realizan seguimientos cualitativos sobre lascausas que podrían explicar los resultados de las pruebas.Pruebas internacionalesde aprendizajeAvances observadosProyección a futuroNo se ha participado en forma independiente de lasmuestras nacionales en este tipo de pruebas.Destaca en este sistema la integración orgánica que semantiene con otras dependencias de la gestión educativa,especialmente con los equipos de normas pedagógicaspara el diseño de programas de apoyo y recuperaciónde aprendizajes. Resulta valioso también el altogrado de participación que tiene la comunidad educativalocal a lo largo de todo el proceso evaluativo.Se espera seguir consolidando el sistema de evaluacióny fortaleciendo las capacidades técnicas en evaluaciónde los equipos profesionales al interior de la Secretaríade Educación.

162 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNBOGOTÁ, COLOMBIAPaís y Calendario Años deagencia de aplicaciónaplicaciónevaluadoraGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónBOGOTÁSubdireccióndeEvaluación yAnálisis(Pruebas decompetenciasbásicas)ABAAB199819991999200020013, 53, 5, 7, 97, 93, 53, 5, 7, 9L, M, CN, C CR G, U, P CD, DC,CG, FAA20017, 9A20023, 5B20033, 5, 7, 9[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera, C=Ciudadanía/Valores[4]CN=Censo Nacional, CR=Censo Regional o Distrital Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretaríasde planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes apartir de los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.

SEGUNDA PARTE163Marco institucionalCurrículo y estándaresTipos de pruebasEl sistema de evaluación externa de aprendizajes en el DistritoCapital se coordina desde la Dirección de Evaluacióny Acompañamiento, órgano dependiente de la SubsecretaríaAcadémica de la Secretaría de Educación de Bogotá.Bajo esa Dirección trabajan conjuntamente la Subdirecciónde Evaluación y Análisis, y la Subdirección de MejoramientoEducativo. El programa de Evaluación de CompetenciasBásicas se diseñó y comenzó a implementarse en elmarco de importantes reestructuraciones de la administracióndel sector y los resultados de las evaluaciones se consideraninsumos de información clave para la toma de decisionestendientes al cumplimiento de los Planes Sectorialesde Gestión 1998-2001 y 2001-2004.Las escuelas del Distrito Capital orientan su trabajo enfunción de los marcos curriculares nacionales (ver Colombia).Sin embargo, dada la amplitud del universo deconocimientos prescritos en esos referentes, la Secretaríade Educación local optó por definir un conjunto de competenciasbásicas que clarificaran las expectativas deaprendizaje en cuatro áreas de conocimiento disciplinar.El trabajo de diseño de competencias fue realizado porespecialistas académicos, varios de los cuales habían participadoen la elaboración de los marcos curriculares nacionalesen años anteriores. Estas competencias, cuyoscontenidos disciplinares convergen con los lineamientos eindicadores de logro curricular nacionales, constituyen lamatriz de referencia para el diseño de los instrumentos deevaluación estandarizada. Desde los puntos de vista técnicoy político, las competencias básicas propuestas puedenser consideradas como estándares de currículo, en tantoofrecen una descripción operacional clara sobre los nivelesde desempeño posible para cada ítem de contenidoevaluado, a la vez que proporcionan una herramienta decomunicación efectiva entre todos los actores sectorialessobre las expectativas de aprendizaje para todos los estudiantesdel sistema.Las pruebas de rendimiento son referidas a criterios, y seaplican censalmente en todos los grados de escolaridadevaluados. Incluyen ítemes de opción múltiple, así comopreguntas para el desarrollo de respuestas abiertas. Laspreguntas para el área de conocimiento sobre Comprensión

164 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNy Sensibilidad Ciudadana se enfocan en temas de desarrollomoral, representaciones sociales, actitudes democráticas,y conocimientos sobre el Estado colombiano.Tipos de reporteUso y difusión deresultadosEn los informes que distribuye la Secretaría a cada escuela,los resultados para cada asignatura se reportan desagregadospor competencias, por niveles de desempeño alcanzadospara cada una de ellas, y se expresa el valor promediologrado por los alumnos del plantel en una escala de 0 a306. En los informes generales de difusión pública, losporcentajes promedio de logro se presentan desagregadospor asignatura, por tipo de plantel (oficial o privado), y porzonas o localidades geográficas al interior del Distrito. Losinformes ofrecen también ejemplos y análisis de algunosítemes evaluados, así como un conjunto de conclusionessobre los resultados globales de cada aplicación.Los resultados de las evaluaciones han sido utilizados convarios propósitos, principalmente para la capacitación docentey de directivos de escuelas, y para la focalización deapoyos a planteles. Los materiales y eventos de capacitaciónse centran en el desarrollo de habilidades para el análisisde los datos sobre aprendizajes, así como para el diseñode estrategias de mejoramiento pedagógico y curricularen función de los resultados. Se utiliza material impreso,así como videos y DVD de presentación de resultados,entrevistas a docentes y recomendaciones específicas. Talesrecomendaciones se presentan como “rutas de mejoramiento”posibles, que pueden ser utilizadas por los plantelescomo modelo de diseño curricular y planeamientopedagógico. En cuanto a la focalización de apoyos, destacanlos proyectos implementados por la Secretaría de Educaciónque buscan rescatar de las instituciones con mejoresresultados, ideas y herramientas de gestión pedagógica quepuedan ser replicadas en otras escuelas con mayores necesidadesde mejoramiento. Asimismo, las escuelas con bajosresultados tienen acceso a otros programas de apoyo, talescomo expediciones culturales por la ciudad, o la nueva redde bibliotecas inaugurada en el último quinquenio. Tambiénse aprecia la utilización de las evaluaciones de aprendizajes,junto con otros indicadores, para la toma de decisionessobre inversiones en infraestructura, equipamiento yreorganización institucional. En términos de responsabili-

SEGUNDA PARTE165zación política por los resultados de aprendizaje, el PlanSectorial 2001-2004 explicita la meta de lograr un promediomínimo de alcance de 180 puntos (en una escala de 0 a306) y que todas las escuelas superen los 100 puntos delogro en la misma escala. Estas metas se han hecho públicasy corresponderá a las autoridades locales responder porlos resultados al cabo del período mencionado. Se alienta alas escuelas a hacer públicos ante la comunidad sus avanceshacia el logro de las competencias evaluadas, lo cual sematerializa mediante carteleras impresas que los equiposdocentes van completando conforme reciben los informesanuales de resultados. Esas carteleras se exhiben en lugaresvisibles de la escuela, tales como la recepción o pasillos detránsito para alumnos y padres. Resulta importante destacarque las calificaciones escolares (internas) de los alumnos,que ellos y sus familias reciben en forma de boletinesperiódicos, se reportan de acuerdo al mismo conjunto decompetencias básicas que evalúa la Secretaría de Educaciónen forma externa y estandarizada. Los resultados seutilizan también para monitorear, junto con el uso de otrosindicadores, la calidad de las escuelas privadas que alberganmatrícula oficial (estrategia utilizada por la Secretaríapara garantizar el acceso a la escolaridad mientras se construyennuevos establecimientos oficiales). Los datos sontambién utilizados como uno de los indicadores de desempeñodocente dentro del nuevo esquema de regulación parala permanencia en el cargo.Pruebas internacionalesde aprendizajeAvances observadosBogotá ha participado en pruebas internacionales comoparte de la muestra nacional, pero no en forma independiente.Entre los avances más destacables, vale mencionar el desarrollode criterios curriculares claros y operacionales parala evaluación de aprendizajes, los esfuerzos por socializary legitimar el sistema de evaluación y las informacionesproducidas, y la estabilidad de los equipos técnicos y delos operativos a lo largo del último quinquenio. Resaltatambién el uso efectivo que se da a los datos de las evaluacionespara el mejoramiento de los procesos de enseñanzaaprendizaje,así como para la toma de decisiones de políticaeducativa en general.

166 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNAGUASCALIENTES, MÉXICOPaís yagenciaevaluadoraAños deaplicaciónGrados/ años[2]Áreasdisciplinares[3]Tipo deestudio[4]Publicidad deresultadosparaconocimientode [5]Uso deresultadospara[6]Pruebasinternacionales/Años departicipaciónAGUAS-CALIENTES(SistemaEstatal deEvaluación)2000-2003 6 L, M CR G, U, P CD, DC,CG, FAPISA TIMSS(parte de lamuestranacional)[2]Los grados de educación media se indican con la letra M.[3]L=Lenguaje, M=Matemáticas, I=Informática, CS=Ciencias Sociales, CN=Ciencias Naturales,ES=Educación para la Salud, EA=Educación Artística, AA=Aspectos Actitudinales,LE=Lengua Extranjera.[4]CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional,ME=Muestra Experimental.[5]G=Gobierno [se refiere a instancias de alta dirección del sistema (ministerios, secretarías deplaneamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes,directivos, alumnos y padres de familia]. P=Público en general y medios de comunicación.[6]CD=Capacitación Docente (ofrecida por la alta dirección o desarrollada por docentes a partirde los resultados), CG=Capacitación para la Gestión, DC=Desarrollo Curricular,FA=Focalización de apoyos a estudiantes y centros educativos.Marco institucionalLas evaluaciones educativas se administran desde el SistemaEstatal de Evaluación, una unidad técnica de laDirección estatal de Formación, Actualización, Capacitacióny Superación Profesional del Magisterio. Las líneasde acción en materia de evaluación responden a lasprioridades de política educativa expresadas en el PlanEstatal de Desarrollo 1998-2004, y más específicamentedel Programa de Desarrollo Educativo 1999-2004. El

SEGUNDA PARTE167programa de medición y evaluación de aprendizajes seinscribe dentro de un proceso de reestructuración delsistema de supervisión escolar, especialmente de redistribuciónde profesionales según demandas y necesidadesde cada zona educativa, para hacerlo menos burocrático-administrativoy más eficaz en cuanto a susfunciones pedagógicas. Ese proceso de reestructuraciónfue política y administrativamente complejo, pero preparóel terreno para hacer posteriormente un uso efectivode los datos recogidos por las evaluaciones. Un coordinadorpedagógico general, que responde directamenteal Secretario de Educación del estado, asegura la articulaciónde tareas entre los directores de diferentes unidadesde gestión, y entre estos y los supervisores escolareslocales. Todos los programas de mejoramiento en la actualidadestán centrados en la calidad académica de lasescuelas. Se parte de la convicción de que el nivel socioeconómicode los estudiantes no es el determinanteprincipal de los logros educativos, y que las políticaspedagógicas adecuadas pueden marcar mayor diferenciaen los aprendizajes que las condiciones contextuales enque operan las escuelas.Currículo y estándaresAsí como todos los demás estados de la Federación,Aguascalientes utiliza el currículo nacional como referenteprincipal para la enseñanza. La matriz de referenciapara el diseño de instrumentos de evaluación se basaen ese currículo, y los ítemes de las pruebas se tomandel banco de ítemes que facilita la Dirección General deEvaluación de la Secretaría de Educación Pública nacional.No se realizan validaciones de los contenidos curricularesevaluados al nivel estatal, aunque sí se sometena validación local los ítemes seleccionados para laspruebas, así como el diseño de los instrumentos que serealiza mediante consulta a expertos locales. Las autoridadesperciben que la validación de los contenidos no esun aspecto crítico del sistema de evaluación, puesto queel currículo nacional de referencia no es cuestionado porlos docentes, sino su legitimación a través de la transparenciay la idoneidad técnica. Si bien no se han elaboradoestándares al nivel estadual, los objetivos de evaluaciónseleccionados para las pruebas constituyen en símismos la medida de expectativa “oficial” respecto a

168 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNqué contenidos mínimos deben ser logrados por todoslos alumnos de 6º grado del sistema.Tipos de pruebasTipos de reporteLas pruebas de aprendizaje aplicadas por el estado sonreferidas a criterios y censales en el nivel de 6º grado deprimaria. La evaluación se basa en un modelo de progresoo “ganancia educativa”, según la denominación oficial.Este modelo implica la aplicación de una pruebadiagnóstica a principios del año académico y una pruebasumativa al final. La comparación de ambos resultadosarroja un índice de progreso en el aprendizaje de losalumnos a lo largo de ese año. Curricularmente, el modeloes viable pues los contenidos en lenguaje y matemáticasde 5º y 6º grado son muy similares, diferenciándosesolamente en la profundidad con que se tratan. Laspruebas incluyen ítemes de opción múltiple, y actualmentese están incorporando reactivos de producciónde textos escritos. El objetivo es dar cuenta de la capacidadde intervención de la escuela en el desarrollo dehabilidades para la composición escrita de textos. Seelaboró una escala de 20 aspectos a evaluar de cadatexto, y la tarea de corrección recaerá en los supervisoresescolares, directores y maestros, quienes están siendodebidamente capacitados en la corrección de textossegún criterios uniformes. Los datos sobre aprendizajese complementan con cuestionarios de contexto escolary extraescolar aplicados a alumnos, docentes y directores.También se aplica los exámenes federales IDANIS,EXANI I y II, estándares nacionales de educación primariay secundaria, y el proyecto de autoevaluación escolar(modelo escocés). Todos estos instrumentos, sinembargo, son diseñados centralmente desde la SEP y elestado de Aguascalientes solo opera como aplicador yconsumidor de la información recabada. El programa deautoevaluación escolar, si bien está coordinado desde laSEP, involucra equipos de investigadores locales que decidencuáles escuelas, usualmente las de más bajos resultadosen las pruebas estaduales, se beneficiarán másde la participación en ese programa.Los informes de las pruebas estaduales se reportan porniveles de desempeño logrados en cada área. Los nivelesdefinidos se corresponden con una partición en cuartos

SEGUNDA PARTE169de una escala de 1 a 100 y se clasifican en crítico einsuficiente (no dominio), y en aceptable y deseable(dominio). Los resultados de “ganancia educativa” a finde año se reportan en una escala de -4 a 4, dependiendode los avances o retrocesos que muestra la comparaciónentre pruebas inicial y final. Por ejemplo, si un alumnocomenzó el año en un nivel insuficiente y culminó elaño en un nivel deseable, la ganancia, según la fórmulautilizada, se calcula en 3 puntos sobre 4. Si el resultadofue inverso, es decir que comenzó en un nivel deseable ydecreció a un nivel insuficiente, la “ganancia” se expresaen forma negativa, es decir como -3 puntos en laescala. Estos datos se presentan agregados al nivel estadual,y desagregados a los niveles de zona educativa,escuela, grupo (curso) y alumno en forma individual.Uso y difusión deresultadosLos resultados se difunden a autoridades máximas de lagobernación y de la Secretaría de Educación, a coordinadoresy supervisores de zonas educativas, a directores,profesores, alumnos y familias. Las escuelas reciben uninforme sobre los niveles de desempeño y de gananciaeducativa, desagregados por curso y por alumnos individualmente.Los niveles de desempeño en ambas áreasevaluadas se desagregan, para cada grupo y estudianteevaluado, en 50 ítemes de conocimiento. Es decir, eldocente puede conocer exactamente cuáles objetivos curricularesespecíficos logró cada alumno y en qué gradode profundidad fue logrado. Los supervisores reciben lainformación desagregada por escuela y por grupo dealumnos. También se presentan los resultados de loscuestionarios de contexto, en forma de porcentajes derespuesta a las opciones seleccionadas por cada grupo(por ejemplo, sobre educación de padres o actitud haciala materia), pero no se presentan correlaciones ni otrostipos de análisis inferenciales. La Secretaría de Educación,con la participación de los supervisores de zona,realiza monitoreos continuos sobre los niveles de gananciao progreso educativo en las diferentes escuelas, ysolicita a los directores que realicen propuestas pedagógicaspara superar las dificultades encontradas. El Secretariode Educación en persona visita escuelas, sinprevio aviso, y verifica si el director ha leído los informesy conoce las dificultades reveladas por las pruebas.

170 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNLos proyectos de mejoramiento que se pide a las escuelasrequieren el uso de las estadísticas disponibles y elanálisis de los factores escolares y extraescolares quemuestran incidencia sobre el rendimiento. Se enfatiza elanálisis de los factores intraescolares, pues es sobreellos que las escuelas pueden incidir directamente medianteel diseño de nuevas estrategias pedagógicas y curriculares.En las propuestas de mejoramiento diseñadaspor las escuelas debe expresarse el tipo de progresocuantitativo esperado para el año siguiente, típicamenteen forma de crecimiento en los porcentajes de aciertoslogrados por cada curso evaluado. Hasta el momento, sereporta que la mayor parte de las escuelas muestra progresosde año a año, que un 15% de ellas permaneceestable, y que un 5% puede bajar de rendimiento. Seobserva que las escuelas que mayor “ganancia” muestranson las que empezaron en los niveles más bajos dedesempeño. Los datos se utilizan también para el diseñode capacitaciones a docentes, directores y coordinadoresy supervisores de zona. Para los docentes, las capacitacionesse centran en aspectos curriculares y de metodologíay didáctica de la enseñanza (desarrollo de habilidadesdel pensamiento, tácticas de interacción verbal,técnicas y modelos de planificación de contenidos, procesosde pensamiento relacionados con esos contenidos,y estrategias para articular contenidos y habilidades depensamiento). Las capacitaciones a supervisores estánorientadas a fortalecer su función pedagógica por sobrela función puramente administrativa que se busca superar.Un componente importante de la difusión es el accesoque se brinda a los padres sobre los resultados anualesde la escuela. Según opiniones de autoridadescentrales y zonales, esta estrategia ha incentivado unmayor grado de participación de las familias en la vidaescolar. La prensa local ha hecho una divulgación típicamente“amarillista” de los resultados, aunque gradualmentese está logrando que se haga un tratamiento mássustantivo, educacionalmente hablando, de los datos publicados.Pruebas internacionalesde aprendizajeAguascalientes ha participado en las evaluaciones comparadasde PISA y TIMSS como parte de la muestranacional mexicana.

SEGUNDA PARTE171Avances observadosDificultades observadasProyección a futuroDestaca entre los avances observados la organicidad delsistema de evaluación, en tanto promueve el flujo deinformación y el trabajo conjunto entre escuelas, supervisoresy diferentes unidades de gestión de la Secretaríade Educación. También se observa un grado importantede institucionalización externa del sistema, cada vez quedocentes y grupos sindicales apoyan la iniciativa y prestansu colaboración para la realización de los operativos.Se aprecia, además, un desarrollo importante de capacidadestécnicas locales para la medición de aprendizajesy análisis de datos.Los equipos técnicos locales expresan cierto grado depreocupación por la magnitud de las tareas de evaluaciónen relación a la exigua cantidad de recursos humanosdisponibles. Algunos supervisores zonales tambiénexpresan preocupación por la actitud de algunos gruposde padres de familia, quienes utilizan los datos de lasevaluaciones para enfrentarse con los equipos docentesen vez de buscar formas más eficaces de trabajo colaborativo.La insuficiencia de presupuesto para ampliar la coberturapoblacional y curricular de las aplicaciones ha motivadola decisión de concentrar parte importante de losesfuerzos técnicos en lograr que las escuelas den el mayoruso posible de los datos disponibles para el 6º grado.El sistema aspira a utilizar los resultados de los operativospara evaluar a los docentes, aunque aún no se hadiseñado los mecanismos ni los esquemas de incentivosprofesionales que acompañarían a esas evaluaciones.Ante la propuesta, los docentes de 6º grado cuestionanque las pruebas sean indicadores válidos sobre su desempeñoprofesional, y sostienen que los instrumentosdeberían aplicarse también en los grados inferiores deescolaridad. Consideran también que no deben ser elloslos únicos actores del sistema que rindan cuentas sobreel rendimiento académico de los estudiantes. A partirdel año escolar 2003-2004 se iniciará la evaluación deconocimientos de manera censal en el 4° grado de educaciónprimaria.

172 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNREFERENCIAS BIBLIOGRÁFICASFERRER, GUILLERMO (2004). Las reformas curriculares de Perú, Colombia,Chile y Argentina: ¿Quién responde por los resultados? GRADE.Lima, Perú.FERRER, GUILLERMO y PATRICIA ARREGUI (2003). Las pruebas internacionalesde aprendizaje en América Latina y su impacto en la calidadde la educación: Criterios para guiar futuras aplicaciones. PREAL,Documento Nº 26.FERRER, GUILLERMO (1999). Aspectos del curriculum prescrito en AméricaLatina: Revisión de tendencias contemporáneas en curriculum,indicadores de logro, estándares y otros instrumentos. Mimeo. http://www.grade.org.pe/gtee-preal/docs/Ferrer.pdfRAVELA, PEDRO (Ed.) (2001). Los próximos pasos: ¿Hacia dónde y cómoavanzar en la evaluación de aprendizajes en América Latina?PREAL, Documento Nº 20.RAVELA, PEDRO (2001). ¿Cómo presentan sus resultados los sistemasnacionales de evaluación educativa en América Latina? PREAL.ROJAS, CARLOS y JUAN MANUEL ESQUIVEL (1998). Los sistemas de medicióndel logro académico en Latinoamérica. Banco Mundial, LCS-HD Paper Series.WOLFF, LAURENCE (1998). Evaluación educacional en América Latina:Progresos actuales y desafíos futuros. PREAL.ENTREVISTAS A AUTORIDADES SECTORIALES, CUADROS TÉCNICOS YCONSULTORES (2000-2004)Casos NacionalesARGENTINABOLIVIAMargarita PoggiJorge FasceHilda LanzaSilvia MontoyaJuan Cruz PerusiaLucrecia TulicSusana BarreraCarlos Gutiérrez

SEGUNDA PARTE173Martha MéndezEsther BalboaNicole NucinkisBRASILCHILECOLOMBIACOSTA RICACUBAREPÚBLICA DOMINICANAECUADOREL SALVADORMÉXICOPANAMÁPARAGUAYURUGUAYAlejandra ShulmeyerEquipo técnico INEPCristián CoxLorena MeckesSilvia ElguetaPatricia AninatBeatrice ÁvalosLeonor CariolaErika HimmelCarlos PardoHéctor FernándezJuan Manuel EsquivelSandra ArauzHéctor ValdésLeo ValeirónMartha GrijalvaGonzalo BarrenoGraciela de SalgadoHilda ÁlvarezFelipe Martínez RizoJesús MejíaVíctor VelásquezLaura G. de VergaraRuth NativíMartha LafuentePedro RavelaBeatriz PicaroniMagela Figarola

174 ESTADO DE SITUACIÓN DE LOS SISTEMAS NACIONALES DE EVALUACIÓNVENEZUELAJosé MirásJulia Montoya (CNU)Casos SubnacionalesMINAS GERAIS, BRASILPARANÁ, BRASILSÃO PAULO, BRASILBOGOTÁ, COLOMBIAAGUASCALIENTES, MÉXICOCleuza PereiraMaría Inés BarrozoMaría Luiza Marques DiasMarlene C. de AraujoCristina AmorosoMaría Julia FilgueirasYara EspósitoEliana IanniniJosé MedinaÁlvaro LeuroJavier AnayaJosefina MercadoFlabiano Jiménez