Felipe Martínez RizoEl subsistema de evaluación de escue<strong>la</strong>sEl trabajo de alumnos y maestros no ocurre de forma ais<strong>la</strong>da, ti<strong>en</strong>e lugar <strong>en</strong> el marco de unaescue<strong>la</strong>, que es un ambi<strong>en</strong>te colectivo con peso específico, por características organizacionalesque los estudios sobre escue<strong>la</strong>s eficaces han id<strong>en</strong>tificado. En contra de lo que se p<strong>en</strong>só <strong>en</strong> los añosses<strong>en</strong>ta y set<strong>en</strong>ta del siglo pasado, tras <strong>la</strong> difusión del estudio dirigido por James Coleman, quedestacaba <strong>la</strong> influ<strong>en</strong>cia de factores del <strong>en</strong>torno social sobre los resultados esco<strong>la</strong>res, el peso de <strong>la</strong>escue<strong>la</strong> <strong>en</strong> esos resultados no es insignificante.La escue<strong>la</strong> sí cu<strong>en</strong>ta y puede hacer una difer<strong>en</strong>cia. Además de <strong>la</strong> evaluación de alumnos y maestros,<strong>la</strong> de <strong>la</strong> escue<strong>la</strong> como unidad organizacional es importante, tal vez incluso <strong>la</strong> más importantedesde el punto de vista de <strong>la</strong>s políticas <strong>educativa</strong>s, ya que <strong>la</strong> mejora de <strong>la</strong> calidad del sistema pasapor <strong>la</strong> mejora <strong>en</strong> cada au<strong>la</strong> de cada p<strong>la</strong>ntel; por ello <strong>la</strong> transformación de <strong>la</strong> dinámica de funcionami<strong>en</strong>tode cada escue<strong>la</strong> es fundam<strong>en</strong>tal.Una vez más, una evaluación fina y razonablem<strong>en</strong>te completa de una escue<strong>la</strong> solo puede resultardel trabajo de actores que t<strong>en</strong>gan un contacto cercano con el<strong>la</strong>, normalm<strong>en</strong>te <strong>la</strong>s instancias de supervisióno inspección, más autoevaluaciones a cargo de los doc<strong>en</strong>tes, con el director a <strong>la</strong> cabeza<strong>en</strong> re<strong>la</strong>ción con el p<strong>la</strong>n de desarrollo o mejora de cada p<strong>la</strong>ntel.Como se ha advertido, <strong>la</strong>s evaluaciones <strong>en</strong> gran esca<strong>la</strong> del apr<strong>en</strong>dizaje de los alumnos no pued<strong>en</strong>utilizarse como indicadores directos de <strong>la</strong> calidad de cada escue<strong>la</strong>, si no se han utilizado diseñosapropiados para ello, que implican estudios del valor agregado por <strong>la</strong> escue<strong>la</strong> (ver Martínez Rizo,2006b). Aun sin ello, los resultados de evaluaciones de apr<strong>en</strong>dizaje pued<strong>en</strong> ser valiosos comoindicadores parciales, si se manejan con cuidado, junto con los elem<strong>en</strong>tos de contextualizaciónde que se disponga. Conv<strong>en</strong>drá también hacer estudios particu<strong>la</strong>res sobre ciertos recursos y procesosde <strong>la</strong>s escue<strong>la</strong>s.El subsistema de indicadoresNinguna evaluación particu<strong>la</strong>r puede dar cu<strong>en</strong>ta por sí so<strong>la</strong> de ese elusivo objeto que d<strong>en</strong>ota <strong>la</strong>expresión calidad del sistema educativo; hay que combinar acercami<strong>en</strong>tos como los anteriores, <strong>en</strong>re<strong>la</strong>ción con alumnos, maestros y c<strong>en</strong>tros esco<strong>la</strong>res. Otros aspectos de <strong>la</strong> calidad se pued<strong>en</strong> captarcon indicadores derivados de <strong>la</strong>s estadísticas tradicionales, como cobertura, efici<strong>en</strong>cia terminaly deserción esco<strong>la</strong>r. Esos indicadores se deberán complem<strong>en</strong>tar con los que se deriv<strong>en</strong> de <strong>la</strong>sevaluaciones de alumnos, maestros y escue<strong>la</strong>s. En este s<strong>en</strong>tido, el subsistema de indicadores educativoses el elem<strong>en</strong>to integrador del sistema de evaluación.Los listados de indicadores de algunos sistemas educativos parec<strong>en</strong> simples conc<strong>en</strong>trados dedatos producidos a partir de <strong>la</strong> información estadística con <strong>la</strong> que se cu<strong>en</strong>ta <strong>en</strong> un mom<strong>en</strong>todado, indep<strong>en</strong>di<strong>en</strong>tem<strong>en</strong>te de su relevancia y sin id<strong>en</strong>tificar <strong>la</strong>s <strong>la</strong>gunas que t<strong>en</strong>ga. Esos listadosno son verdaderos sistemas, puesto que carec<strong>en</strong> de una estructura basada <strong>en</strong> alguna idea c<strong>la</strong>rade lo que se busca con ellos. La construcción de un verdadero sistema de indicadores debe hacersea partir de una idea c<strong>la</strong>ra de lo que se quiere obt<strong>en</strong>er, que dé unidad al conjunto. Esa idearectora debe ser una noción precisa de <strong>la</strong> calidad del sistema educativo, que es lo que se quiereevaluar.A partir de esta noción podrán precisarse indicadores particu<strong>la</strong>res, y luego los datos que se requier<strong>en</strong>para construirlos. El que muchos de esos datos no estén disponibles no deberá impedir37
La evaluación de <strong>la</strong> calidad de los sistemas educativos: propuesta de un modeloque el sistema los considere, lo que hará que se empr<strong>en</strong>dan <strong>la</strong>s acciones que se requieran parallegar a contar con <strong>la</strong> información necesaria <strong>en</strong> algún mom<strong>en</strong>to.Este <strong>en</strong>foque sistémico del desarrollo de indicadores educativos producirá un número considerablede ellos, lo que no es un defecto, sino una consecu<strong>en</strong>cia de <strong>la</strong> complejidad del objeto deanálisis. Es posible, sin embargo, adoptar otro <strong>en</strong>foque, que se puede l<strong>la</strong>mar estratégico. En estaperspectiva se puede p<strong>en</strong>sar <strong>en</strong> un número reducido de indicadores que permitan monitorearel avance <strong>en</strong> dirección a metas precisas, que se han definido como importantes. Es el caso delos indicadores desarrol<strong>la</strong>dos para dar seguimi<strong>en</strong>to a <strong>la</strong>s metas de <strong>la</strong> Unión Europea. El sistemaINES (Indicators of National Education Systems) de <strong>la</strong> OCDE es un bu<strong>en</strong> ejemplo del primer<strong>en</strong>foque.A difer<strong>en</strong>cia de lo que ocurre para <strong>la</strong> construcción de pruebas estandarizadas, no hay metodologíasampliam<strong>en</strong>te aceptadas para formu<strong>la</strong>r y construir indicadores. Por ello se pres<strong>en</strong>tan <strong>en</strong>seguida los principales elem<strong>en</strong>tos de <strong>la</strong> metodología desarrol<strong>la</strong>da por el Instituto Nacional para <strong>la</strong>Evaluación de <strong>la</strong> Educación de México, a partir de <strong>la</strong> experi<strong>en</strong>cia del propio INEE, y recogi<strong>en</strong>doelem<strong>en</strong>tos de <strong>la</strong> experi<strong>en</strong>cia internacional (Martínez Rizo et al. 2007; Shavelson et al., 1989; ComisiónEuropea, 1999).Según dicha metodología, <strong>la</strong> construcción de un sistema de indicadores debe com<strong>en</strong>zar precisandoel marco conceptual que organizará <strong>la</strong>s partes <strong>en</strong> un verdadero sistema, <strong>en</strong> vez de una serie deindicadores ais<strong>la</strong>dos. Una vez establecida <strong>la</strong> estructura del sistema se e<strong>la</strong>bora un primer listadode indicadores que cubra todas <strong>la</strong>s dim<strong>en</strong>siones consideradas, aunque para algunos de ellos no secu<strong>en</strong>te por el mom<strong>en</strong>to con información.La segunda etapa del proceso de diseño se refiere al desarrollo de cada indicador, lo que significaprecisar su nombre; su definición y su ubicación <strong>en</strong> el sistema; <strong>la</strong>s fu<strong>en</strong>tes de obt<strong>en</strong>ción de <strong>la</strong> información;<strong>la</strong> fórmu<strong>la</strong> de cálculo y, <strong>en</strong> su caso, los criterios para su estimación; <strong>la</strong>s desagregacionesposibles (por ejemplo, por género, por región, por modalidad de escue<strong>la</strong>, etc.), y los elem<strong>en</strong>tosnecesarios para <strong>la</strong> interpretación de los resultados.Tras lo anterior –y antes de proceder a organizar costosos procesos de recolección de informaciónpara alim<strong>en</strong>tar un sistema de indicadores–, cada uno de los elem<strong>en</strong>tos que lo forman debesometerse a escrutinio, con un procedimi<strong>en</strong>to de jueceo <strong>en</strong>tre expertos y usuarios, para valorar apriori el grado <strong>en</strong> que cada indicador parece satisfacer los criterios de calidad aplicables, que son,además de los de validez y confiabilidad, otros de carácter técnico (comparabilidad, estabilidadtemporal, actualidad, s<strong>en</strong>sibilidad) y algunos más de tipo práctico: factibilidad de obt<strong>en</strong>ción de<strong>la</strong> información necesaria, importancia y utilidad para <strong>la</strong> toma de decisiones, y c<strong>la</strong>ridad de su interpretación.El análisis inicial a priori del conjunto de indicadores diseñado deberá involucrar a un númerorazonable de jueces, de tres tipos: expertos o especialistas de formación y experi<strong>en</strong>cia teórica odisciplinaria sobre los temas cubiertos por el sistema; usuarios especializados, <strong>en</strong> el s<strong>en</strong>tido deresponsables del sistema educativo con experi<strong>en</strong>cia de nivel alto y medio, y usuarios de base,como supervisores, directores y maestros. Tras lo anterior podrá procederse a una primera aplicacióndel sistema, alim<strong>en</strong>tándolo con <strong>la</strong> información necesaria, previam<strong>en</strong>te exist<strong>en</strong>te o g<strong>en</strong>eradaex profeso, y con los procesos de depuración y cálculo necesarios para obt<strong>en</strong>er los primerosvalores de cada indicador.38
- Page 1 and 2: ISBN: 978-84-7666-194-99 788476 661
- Page 3 and 4: © Del texto: Organización de Esta
- Page 6 and 7: PreámbuloÁlvaro MarchesiSecretari
- Page 8: Álvaro Marchesiello, junto con los
- Page 11 and 12: IntroducciónEl siguiente capítulo
- Page 14: La evaluación educativa hoy
- Page 17 and 18: Evaluación y cambio educativo: los
- Page 19 and 20: Evaluación y cambio educativo: los
- Page 21 and 22: Evaluación y cambio educativo: los
- Page 23 and 24: Evaluación y cambio educativo: los
- Page 25 and 26: Evaluación y cambio educativo: los
- Page 27 and 28: La evaluación de la calidad de los
- Page 29 and 30: La evaluación de la calidad de los
- Page 31 and 32: La evaluación de la calidad de los
- Page 33 and 34: La evaluación de la calidad de los
- Page 35: La evaluación de la calidad de los
- Page 40 and 41: Las evaluaciones internacionalesEnr
- Page 42 and 43: Enrique Rocadistintas áreas del cu
- Page 44 and 45: Enrique RocaEstudios de evaluación
- Page 46 and 47: Enrique Rocasido objeto de estudio,
- Page 48 and 49: Enrique Rocalas puntuaciones medias
- Page 50 and 51: Enrique RocaLa mayoría de los estu
- Page 52 and 53: Las evaluaciones regionales y nacio
- Page 54 and 55: Guillermo Ferrerrecen frecuentement
- Page 56 and 57: Guillermo Ferrery evaluar el currí
- Page 58 and 59: Guillermo Ferrerque el logro de las
- Page 60 and 61: Guillermo FerrerEn general, estas i
- Page 62 and 63: Guillermo FerrerValga, para conclui
- Page 64: Las múltiples caras de la evaluaci
- Page 67 and 68: Indicadores y desafíos de los sist
- Page 69 and 70: Indicadores y desafíos de los sist
- Page 71 and 72: Indicadores y desafíos de los sist
- Page 73 and 74: Indicadores y desafíos de los sist
- Page 75 and 76: Indicadores y desafíos de los sist
- Page 77 and 78: Indicadores y desafíos de los sist
- Page 80 and 81: La evaluación de políticas y prog
- Page 82 and 83: Marta KisilevskyAl hablar de “pro
- Page 84 and 85: Marta KisilevskyESTUDIOS EVALUATIVO
- Page 86 and 87:
Marta KisilevskySin embargo, a esta
- Page 88 and 89:
Currículo y evaluación estandariz
- Page 90 and 91:
Elena MartínDesde la acertada prop
- Page 92 and 93:
Elena Martínacadémicas que con de
- Page 94 and 95:
Elena Martínmiento, su interpretac
- Page 96:
Elena Martínpropios materiales did
- Page 99 and 100:
La evaluación de centros: riesgos
- Page 101 and 102:
La evaluación de centros: riesgos
- Page 103 and 104:
La evaluación de centros: riesgos
- Page 105 and 106:
La evaluación de centros: riesgos
- Page 107 and 108:
La evaluación de centros: riesgos
- Page 109 and 110:
La evaluación de centros: riesgos
- Page 112 and 113:
La evaluación del desempeño docen
- Page 114 and 115:
Pedro Ravela• la selección de lo
- Page 116 and 117:
Pedro RavelaEsto último se traduce
- Page 118 and 119:
Pedro Ravelael producto de intentos
- Page 120 and 121:
Pedro RavelaSin embargo, un sistema
- Page 122 and 123:
Pedro RavelaEsta lógica de carrera
- Page 124 and 125:
Pedro RavelaAbrir realmente el aula
- Page 126 and 127:
Evaluación de los aprendizajes en
- Page 128 and 129:
Juan Manuel Esquiveldiferente durac
- Page 130 and 131:
Juan Manuel Esquivella memorizació
- Page 132 and 133:
Juan Manuel Esquivel• Los objetiv
- Page 134 and 135:
Juan Manuel Esquivel“Es un enfoqu
- Page 136 and 137:
Juan Manuel EsquivelEjemplos de eva
- Page 138 and 139:
Juan Manuel Esquivel5. Un informe d
- Page 140 and 141:
Juan Manuel EsquivelConocimiento es
- Page 142:
Juan Manuel EsquivelAdemás debe pr
- Page 146 and 147:
Difusión y uso de resultadosde eva
- Page 148 and 149:
Patricia McLauchlan de Arreguien el
- Page 150 and 151:
Patricia McLauchlan de ArreguiLOS U
- Page 152 and 153:
Patricia McLauchlan de ArreguiHasta
- Page 154 and 155:
Patricia McLauchlan de Arreguicaci
- Page 156 and 157:
Patricia McLauchlan de Arreguiárea
- Page 158:
Patricia McLauchlan de ArreguiEl an
- Page 161 and 162:
Los resultados de las evaluaciones
- Page 163 and 164:
Los resultados de las evaluaciones
- Page 165 and 166:
Los resultados de las evaluaciones
- Page 167 and 168:
Los resultados de las evaluaciones
- Page 169 and 170:
BibliografíaCarr, W. (1995), Una t
- Page 171 and 172:
BibliografíaGoh, S. C., Cousins, B
- Page 173 and 174:
BibliografíaMokate, K. (2000), El
- Page 175 and 176:
BibliografíaSantibáñez, L., Mart
- Page 178 and 179:
Los autoresElena MartínProfesora d
- Page 180:
Los autoresAlejandro TianaDoctor en