alfabetización para el desarrollo - unesdoc - Unesco

LA EVALUACIÓN DE
PROYECTOS, PROGRAMAS Y CAMPAÑAS DE
"ALFABETIZACIÓN PARA EL DESARROLLO"
H.S. Bhola

Manuales y Libros de Referencia del IUE
1. Handbook on Learning Strategies for Post-Literacy and Continuing
Education
por Adama Ouane
(1989) ISBN 92 820 1053 8
2. Handbook on Training for Post-Literacy and Basic Education
por Adama Ouane, Mercy Abreu de Armengol y D.V. Sharma
(1990) ISBN 92 820 1054 6
3. Evaluating "Literacy for Development" Projects, Programs and
Campingns
porRS.Bhola
Publicación conjunta con la Fundación Alemana para el Desarrollo
Internacional (DSE) - DSE Ref. 1624C/a (1990) ISBN 92 820 1059 7
4. Handbook on Evaluation for Post-Literacy and Basic Education
En preparación.

Manuales y Libros de Referencia del lUE 3
LA EVALUACIÓN DE
PROYECTOS, PROGRAMAS Y CAMPAÑAS DE
"ALFABETIZACIÓN PARA EL DESARROLLO"
Planificación, diseño y ejecución
de la evaluación y utilización de
sus resultados
H.S. Bhola
Instituto de la UNESCO para la Educación (IUE)
Fundación Alemana para el Desarrollo Internacional (DSE)

El Instituto de la UNESCO para la Educación, Hamburgo, es una entidad
jurídicamente autónoma. Aunque los Programas del Instituto obedecen a las
directrices fijadas por la Conferencia General de la UNESCO sólo el Instituto
es responsable de sus publicaciones. La UNESCO no es responsable de sus
contenidos.
Los puntos de vista, la selección de hechos y las opiniones expresadas
son de los autores y no coinciden necesariamente con la posición del Instituto
de la UNESCO para la Educación, Hamburgo.
Las formas de designación empleadas y la presentación del material en
esta publicación no implican la expresión de ningún tipo de opinión por parte
del Secretariado de la UNESCO en lo relativo al status jurídico de cualquier
país o territorio, o de sus autoridades, en lo concerniente al trazado de fronteras
de cualquier país o territorio.
ISBN 92 820 1059 7
© Instituto de la UNESCO para la Educación y Fundación Alemana para el
Desarrollo Internacional, 1991.
Portada: Patricia Martínez
Traducción al español a cargo de Mercy Abreu de Armengol
Instituto de la UNESCO para la Educación
Feldbrunnenstrasse 58
W-2000 Hamburg 13
Alemania
Fundación Alemana para el Desarrollo Internacional (DSE)
Hans-Böckler-Strasse 5
W-2000 Bonn 3
Alemania
DSE Ref. 1624 C/a
Impreso por la Oficina Regional de Educación de la
UNESCO para América Latina y el Caribe, OREALC.
Santiago, Chile, 1992

Nota al Lector
Prólogo
Introducción
TABLA DE CONTENIDOS
PARTEI
La Evaluación: Contexto, Funciones y Modelos
1. Evaluación - Definiciones, Contexto, Objetivos y
Funciones
2. Paradigmas y Modelos de Evaluación
Sección A: Dos Paradigmas Básicos de Evaluación
Sección B: Modelos de Evaluación
PARTE II
La Planificación y la Gestión de la Evaluación
3. La Planificación de la Evaluación
4. Ejecución y Gestión de la Evaluación

PARTE ni
Sistema de Información para la Gestión (SIG)
STG - Teoría, Preguntas y Diseño 79
La Elaboración de una Propuesta para Desarrollar
un Sistema de Información para la Gestión 95
El Proceso en una Mirada: Herramientas y
Técnicas para la Ejecución de un SIG 111
Sección A: Análisis Conceptual 112
Sección B: Formulación de Indicadores 129
Sección C: Elaboración de Pruebas de Rendimiento 134
Sección D: Pruebas de Actitudes, Observación de
Acciones y Resultados 146
Sección E: Análisis de los Datos 146
La Elaboración de Informes Periódicos y
Especiales Basados en los Datos del SIG 151
PARTE IV
La Evaluación a la Manera Naturalista
La Evaluación Naturalista - Teoría, Preguntas y Diseño 165
La Elaboración de una Propuesta para un
Estudio Evaluativo a la Manera Naturalista 179
El Proceso en una Mirada: Herramientas y
Técnicas de la Evaluación Naturalista 186

12. La Elaboración de Informes sobre Evaluaciones
Naturalistas y de Informes Periódicos
a la Manera Naturalista 199
PARTE V
La Evaluación a la Manera Racionalista
13. La Evaluación Racionalista - Teoría, Preguntas y
Diseño 207
14. La Elaboración de una Propuesta para un
Estudio Evaluativo a la Manera Racionalista 223
15. El Proceso en una Mirada: Herramientas y
Técnicas de la Evaluación Racionalista 232
Sección A: Herramientas e Instrumentos 234
Sección B: La Recolección de Datos 243
Sección C: El Procesamiento y la Presentación
Vil
de los Datos 246
Sección D: Análisis Estadístico de los Datos 268
16. La Elaboración de Informes de
Evaluación Racionalista y la Promoción de
la Utilización de los Resultados 271

PARTE VI
Algunas Inquietudes Importantes Relacionadas con la Evaluación
17. Los Aspectos Políticos de la Evaluación,
Etica y Estándares 287
18. La Capacitación en Evaluación en el Tercer Mundo 295
19. Conclusiones 310
Glosario de Términos 313

NOTA AL LECTOR
Este libro presenta un tratamiento integral de la evaluación que incluye la
teoría, la planificación y la práctica de la misma. Quienes tienen alguna
familiaridad con la evaluación como disciplina pueden leer este material
en el orden en que se presenta en este libro. Otros pueden leer las distintas
partes del libro según lo crean apropiado a sus intereses sin seguir ese
orden.
Quienes son responsables de la planificación y administración de la
evaluación en programas de alfabetización y desarrollo, en una primera
lectura pueden saltarse al Capítulo 2, "Paradigmas y Modelos de
Evaluación" en la Parte I de este libro. Deben leer la Parte II completa y
entonces proseguir con las Partes III, IV y V según consideren apropiado.
Aquellos que ejercen la práctica de la evaluación y tienen necesidad
inmediata de diseñar y llevar a cabo evaluaciones pueden leer el Capítulo
1, "Evaluación - Definiciones, Contexto, Objetivos y Funciones" y el
Capítulo 3, "La Planificación de la Evaluación". Podrían continuar entonces
con las diferentes partes o capítulos según lo necesiten.
Invito a los lectores a enviar al autor las ideas y sugerencias que
puedan usarse en una subsiguiente revisión del libro para hacerlo más útil
a los lectores. Estas serán recibidas con mi agradecimiento. Por favor
diríjase a:
Professor H.S. Bhola
School of Education
Indiana University
Bloomington, Indiana 47405
U.S.A.

PROLOGO
Desde 1980, el Instituto de la UNESCO para la Educación (IUE) ha hecho
investigaciones y promovido proyectos, programas y campañas de
alfabetización con fines de desarrollo, en el contexto de su compromiso
con la educación permanente. Un aspecto importante de sus esfuerzos ha
sido ofrecer oportunidades de capacitación, basadas en la investigación, a
funcionarios del sector de desarrollo educativo, a quienes formulan las
políticas y a quienes ejercen la práctica en este campo. La orientación
impartida incluye las estrategias de aprendizaje, la capacitación del personal
que se desempeña en los niveles intermedios y de base en estos proyectos
y la evaluación de programas de post-alfabetización y de educación básica
no formal.
Con este manual, escrito por H.S. Bhola, el IUE comparte con una
amplia audiencia los procesos y estrategias pertinentes para evaluar
programas de alfabetización para el desarrollo. La primera versión del
libro del Profesor Bhola le fue comisionada por la Fundación Alemana
para el Desarrollo Internacional (DSE) y recibimos con agrado la iniciativa
de esta institución de invitar al IUE, a terminar y publicar esta versión
revisada.
En lugar de conjuntos de procedimientos que pueden aplicarse a todas
las situaciones indiscriminadamente, aquí encontramos las preguntas y los
lineamientos que deben ser considerados para diseñar estrategias realistas
y apropiadas para la evaluación formativa y sumativa. No sólo se cubren
los diversos modelos teóricos sino también, sobre todo, los aspectos
prácticos de la evaluación con ejemplos de estudios de caso, cuestionarios,
instrumentos y procesos, extraídos tanto de la extensa y ampliamente
reconocida experiencia del autor en este campo como de otros proyectos
que se han realizado.
El libro trata de la evaluación de los resultados del aprendizaje, de las
estructuras administrativas del proyecto y de la capacitación en servicio.
Finalmente, se considera el contexto amplio del desarrollo educativo, puesto
que la evaluación no tiene lugar en un vacío socio-político. Los logros se
miden en relación con los objetivos, los cuales son un reflejo y una parte
de la toma de decisiones políticas.
Al referirse al debate metodológico existente en este campo, el Profesor
Bhola acertadamente se rehusa a elegir enfoques exclusivamente cualitativos
o cuantitativos. El asunto clave es la necesidad de moverse de un paradigma

XU
positivista hacia lo que él denomina un enfoque "naturalista", lo cual
concuerda con la metodología de investigación que por largo tiempo ha
caracterizado al IUE. Esto no quiere decir que la medición sea obsoleta,
sino que la selección de enfoques y metodologías apropiados (cuantitativos
y cualitativos) está estrechamente ligada al tipo de información requerida,
al contexto y a los problemas de evaluación que están en juego. Un asunto
importante es, por lo tanto, la integración del proceso evaluativo dentro del
programa educativo total.
Este es un libro práctico que intenta prestar ayuda a los planificadores,
capacitadores y trabajadores de campo para introducir en sus programas
procesos internos de evaluación, para planificar la producción del tipo de
información requerida para tomar mejores decisiones con la finalidad de
mejorar los programas, de monitorear el cumplimiento de los objetivos y
de comprender y mejorar los procesos informales de evaluación existentes.
De hecho, el desarrollo de la evaluación es fundamentalmente el desarrollo
de una "cultura de aprendizaje" dentro de una organización o una
comunidad.
Estamos agradecidos con el Profesor Bhola por su concienzuda revisión
de la versión original y reconocemos que sin la valiosa cooperación de la
DSE no habría sido posible esta publicación. Doy las gracias en particular
al Doctor Joseph Müller, de la DSE, por su apoyo y asesoría. Dentro de
nuestro Instituto, particularmente expreso agradecimientos al Doctor Adama
Ouane, coordinador de los estudios del IUE sobre evaluación de la
alfabetización, la post-alfabetización y la educación no formal y al señor
Peter Sutton, a la señora Wilma Grankow y al señor Dietlind Oschlies,
quienes supervisaron la publicación y edición del texto original en inglés.
La señora Mercy Abreu de Armengol tuvo la responsabilidad de traducir
la versión original inglesa y Juan D. Armengol editó la versión en español
que ahora ofrecemos a nuestra audiencia de habla hispana.
Paul Bélanger
Director
Instituto de la UNESCO
para la Educación

INTRODUCCIÓN
Este es un libro sobre evaluación, tema que en la actualidad tiene un
marcado interés social. La evaluación ha llegado a ser importante tanto
por razones profesionales como políticas. Los planificadores y
administradores profesionales quieren que la evaluación garantice un mejor
cumplimiento de los programas y de ahí derive que estos tengan una
mayor efectividad. Los políticos demandan evaluaciones para promover
una mayor justificación de utilidad general. Las evaluaciones de proyectos,
programas y campañas de alfabetización se hacen necesarias por el mismo
conjunto de razones.
Si la alfabetización es un Derecho Humano, "la alfabetización por la
causa de la alfabetización" encuentra justificación. Los derechos humanos
y la satisfacciones humanas no deben tener que ser justificados por razones
extrínsecas. Sin embargo, en el mundo real todavía hay que justificar la
alfabetización con criterios de funcionalidad. En los años 60 y 70 los
criterios de funcionalidad estaban restringidos a lo económico. Por fortuna,
durante los 80, el concepto de funcionalidad se expandió para incluir lo
económico y lo político, lo social, lo educativo, lo cultural y lo ambiental.
En este libro aceptamos la alfabetización como un derecho humano, pero
al mismo tiempo como algo más que un simple ornamento ideológico. La
alfabetización se ve como un "potencial añadido" a las capacidades
individuales y a las posibilidades colectivas. Se la considera como que
capacita a los individuos para realizar transacciones efectivas con todos
los aspectos de su ambiente -económico, político, social, educativo y
cultural. Se ve la alfabetización como un "capital simbólico" que las
naciones deben aunar con el "capital material" para lograr tanto la
democratización como la modernización de sus pueblos.
Aunque este libro está dirigido a quienes trabajan en alfabetización, es
un libro para todos los que laboran en programas de desarrollo. Será de
interés para los educadores que se desempeñan en situaciones formales y
no formales, para los que trabajan en extensión agrícola, educadores, y
planificadores familiares así como para cooperativistas.
En este libro hablamos de evaluar la "alfabetización para el desarrollo"
-proyectos, programas y campañas. Estos tres enfoques para la entrega de
servicios de alfabetización son, en efecto enfoques diferentes en lo que

2
concierne a las políticas de alfabetización. Cada uno de estos enfoques
implica un nivel diferente de compromiso político y un estilo diferente de
movilización de personas y recursos. Sin embargo, en cuanto a la evaluación
de los proyectos, programas y campañas de alfabetización no hay diferencias
significativas. Por lo tanto, la planificación, administración y ejecución de
las tres formas de entregar los servicios de alfabetización sigue siendo la
misma, salvo algunas diferencias de intención y estilo.
En este libro hemos tomado una serie de posiciones profesionales
definidas. Hemos llegado a éstas sobre la base de experiencias acumuladas
al conducir talleres de evaluación para trabajadores que se desempeñan en
el campo de la alfabetización y agentes de desarrollo en América Latina,
Asia y Africa -particularmente la serie de talleres realizados en Tanzania,
Kenia, Botswana, Malawi y Zimbabwe entre 1979 y 1989.
En primer lugar, estamos comprometidos con la ideología de la
evaluación interna. Creemos que quienes trabajan en alfabetización y los
agentes de desarrollo deben prestar seria atención a las evaluaciones internas.
Estas evaluaciones absorben relativamente menos recursos y pueden usarse
inmediatamente para mejorar la efectividad de los proyectos, programas y
campañas de alfabetización. Los que trabajan en alfabetización deben
dejar las evaluaciones externas a personal de fuera, que pueda hacerlas
para satisfacer sus necesidades especiales de tipo político y sobre las
políticas. De hecho, si ellos han conducido sus propias evaluaciones internas,
podrán colaborar mejor con los evaluadores externos.
Segundo, hemos llegado a tomar la posición de que la "información"
es el concepto maestro en la planificación y la ejecución, y no necesariamente
la "evaluación". Creemos que lo que se necesita para una efectiva
ejecución es información para la toma de decisiones; y que toda información
no tiene necesariamente que generarse por medio de estudios evaluativos
especialmente diseñados. De manera rutinaria se generan datos útiles en
las campañas, programas y proyectos de "alfabetización para el desarrollo",
en los procesos mismos de su planificación y ejecución. Cuando se
recogen y se guardan sistemáticamente para recuperarlos y utilizarlos
posteriormente, estos datos constituyen un Sistema de Información para la
Gestión (SIG). Nos hemos dado cuenta de que estos datos y los informes
periódicos que escribe el personal, constituyen, efectivamente, la
información más utilizada por los que toman las decisiones diarias. Es por
esta razón, que el diseño, la instalación y la utilización de un SIG es ahora
una parte importante del libro, y se presenta como la piedra angular de la

planificación y administración de cualquier evaluación. Debemos
apresurarnos a añadir que estos SIGs pueden ser sistemas que emplean
papel y lápiz, y no necesitan esperar por la tecnología computarizada.
Tercero, nos hemos dado cuenta de la inmensa utilidad de los enfoques
de indagación naturalista en la evaluación. Hemos aprendido que con
bastante frecuencia la búsqueda para la así llamada evaluación científica y
objetiva no era más que un ejercicio del "científico" sin mucho "buen
sentido". Estamos convencidos de que no es una debilidad sino un mérito
el que una evaluación sea contextual, responsiva y cualitativa, ya que
tratamos de dar "un marco al flujo" de las realidades en el terreno. Hemos
encontrado que la evaluación naturalista puede ser científica y sistemática;
y en sus propios términos, puede ser objetiva, confiable y válida. Los
términos más pertinentes al estudio de las acciones humanas eran
consistencia, coherencia y credibilidad. Como evaluadores teníamos que
ser capaces de hacer "afirmaciones garantizadas" dentro de una "red de
verosimilitudes" más que dentro de una "red de causalidades". En efecto,
hay preguntas que sólo la evaluación naturalista puede abordar y contestar.
La presente edición lleva como tema central el análisis de la evaluación
naturalista; esta ya no es un anexo como en una versión anterior. Aun así,
¡no sugerimos que los evaluadores dejen de contar! Ni tampoco rechazamos
lo que hemos denominado evaluación racionalista (ER). Lo que sí sugerimos
es que la ER se use sólo cuando sea la que mejor puede responder a las
preguntas sobre la evaluación.
Cuarto, el autor ha descubierto la necesidad de un proceso de
"planificación de la evaluación". Mucho se habla en la literatura sobre
planificación de la "planificación del desarrollo" y la "planificación
educativa" pero no es tan frecuente hacer referencia a la "planificación de
la evaluación". Nos hemos percatado de que para los evaluadores internos
y externos es importante tener primero una visión integral de todas sus
necesidades de información para luego desarrollar una agenda de evaluación.
Dicha agenda debe responder, por una parte, a necesidades de información
verdaderamente prioritarias y, por otra, debe ser sensible a las restricciones
de recursos existentes. En consecuencia, esta edición del libro pone
suficiente atención al concepto y proceso de la planificación de la
evaluación. Este puede ser también uno de los primeros libros que presta
debida atención al proceso de la "administración de la evaluación" y que
presenta un modelo particular de generar información evaluativa para ser
utilizada en la administración de programas de alfabetización y desarrollo.
3

4
Este es un libro para todos los evaluadores en cualquier parte del
mundo, pero es de especial utilidad para los planificadores, capacitadores
y trabajadores de campo del Tercer Mundo. Este hecho ha determinado el
enfoque general, el contenido y el nivel de análisis que se presentan en el
libro. Para algunos agentes de desarrollo en el Tercer Mundo, este puede
ser el primer libro que ellos lean sobre evaluación. Por lo tanto se ha
prestado mucha atención a la elección del lenguaje, así como a la
organización del contenido en el libro. Hemos tratado de escribir con
claridad y en forma sencilla, sin caer en el simplismo. La discusión de la
evaluación implica un vocabulario técnico en el que se introduce al lector.
Sin embargo, se presenta como apéndice un glosario de términos para
capacitar a los lectores en el dominio del "lenguaje del discurso" en el área
de la evaluación. Se ha organizado el contenido de manera tal que los
lectores puedan conocer el argumento presentado y llegar al punto. Con
frecuencia se ponen de relieve algunos puntos importantes a manera de
enumeraciones mejor que en párrafos de corrido. Un conjunto de cuadros
distribuidos a lo largo del libro resume el argumento total en gráficos.
Para algunos agentes de desarrollo y capacitadores, además de ser el
primer libro que lean sobre evaluación, éste puede ser el único libro sobre
el tema al que tengan acceso en el lugar donde trabajan. Por eso el libro ha
tratado de ser lo más completo posible; cubre todo el rango de tópicos que
comprende desde la teoría de la evaluación hasta la práctica en este campo.
Por una parte, introduce al lector en la teoría de la evaluación y en las
políticas sobre evaluación existentes en las organizaciones y las
comunidades. Por la otra, estimula al lector a aplicar en forma práctica los
conceptos y las técnicas que se presentan en el libro.
Esperamos que el libro permita que los agentes de la alfabetización y
el desarrollo realicen por sí mismos evaluaciones de su trabajo en pequeña
escala. Será de mayor provecho introducir a los lectores en esta materia en
una situación de taller. Sin embargo, no es algo inconcebible para un
trabajador inteligente en el campo de la alfabetización o desarrollo a que
siga y use el libro para llevar a cabo un estudio evaluativo en pequeña
escala sin necesidad de gran ayuda externa.
La idea de publicar este libro en la forma como se presenta se concibió
en la Conferencia Mundial sobre Educación para Todos que tuvo lugar en
Jomtien, Tailandia, del 5 al 9 de marzo de 1990. Allí se reunieron delegados
de casi todas las naciones del mundo, que resolvieron trabajar por la
universalización de la alfabetización de adultos y la educación primaria

hacia el año 2000. Un tema importante de la conferencia fue que el éxito
de la década de la "Educación para Todos" deberá juzgarse por los resultados
de las políticas nacionales tal como aparecen en la vida de las naciones y
por las consecuencias que tenga la adquisición de conocimientos en la
vida de los niños, los jóvenes y los adultos.
Sinceramente esperamos que esta humilde contribución sea útil para
evaluar los resultados y las consecuencias de proyectos, programas y
campañas de alfabetización para el desarrollo y la educación para todos
que se realicen en los diez últimos años de este siglo.
H.S. Bhola
Universidad de Indiana
Bloomington, Indiana
Estados Unidos
5

Parte I
La Evaluación: Contexto, Funciones y
Modelos
Esta Parte del libro analiza cuestiones relacionadas con la definición, el
contexto, los objetivos y las funciones de la evaluación, y presenta
descripciones y análisis de paradigmas y modelos de evaluación. Se divide
en los siguientes capítulos:
1. Evaluación-Definiciones, Contexto, Objetivos y Funciones, y
2. Paradigmas y Modelos de Evaluación.

CAPITULO I
EVALUACIÓN -
DEFINICIONES, CONTEXTO, OBJETIVOS Y FUNCIONES
La evaluación es el proceso de juzgar el mérito o valor de algo. Como
seres humanos, participamos en el proceso de evaluación de sentido común
todo el tiempo. Sin embargo, la evaluación profesional es algo más que
sentido común. Se organiza razonablemente, es tan precisa como sea
posible, y sus resultados son tanto garantizados como públicamente
defendibles. El objetivo esencial de realizar la evaluación profesional es
generar información que pueda usarse en la planificación y la puesta en
práctica de programas para mejorar la calidad de vida. La evaluación,
puede tomar muchas formas, por ejemplo, diagnóstico de necesidades,
levantamiento de una línea de base, evaluación del estudiante, evaluación
del personal, pruebas de actitud y de rendimiento, evaluación del currículo,
análisis de la capacidad organizativa, evaluación del producto, apreciación
del impacto, análisis de costo-beneficio, autoevaluación y otras. La
evaluación ha llegado a adquirir funciones que van más allá de lo
informativo. Con frecuencia cumple funciones institucionales, sociales,
históricas y políticas.
La evaluación de sentido común
La palabra valor está contenida en la palabra "evaluación". En efecto,
evaluación significa asignación de valores para juzgar la cantidad, el grado,
la condición, valor, calidad o efectividad de algo.
Como seres humanos somos evaluadores perpetuos. Evaluamos las
cosas cuando vamos de compras. Evaluamos a las personas cuando
escogemos a nuestras amistades, esposo/a, y trabajadores. Evaluamos los
libros para leer y las películas que ir a ver. Evaluamos bares y restaurantes
cuando hacemos planes para una velada. Evaluamos nuestras acciones
personales y oficiales, y sus efectos. Evaluamos comunidades y ambientes
para tomar decisiones sobre la compra o arrendamiento de una casa o al
seleccionar la escuela para nuestros hijos. Evaluamos los manifiestos de

10 Evaluación - Definiciones, Contexto, Objetivos y Funciones
un partido y la sinceridad de los líderes, y emitimos nuestros votos sobre
esa base.
La evaluación, según lo expuesto hasta ahora, es un acto personal y
frecuentemente permanece en el dominio de lo personal. Podemos ser más
o menos tímidos y más o menos cautos acerca de nuestras evaluaciones
personales, pero éstas siguen basándose en nuestras impresiones. Son
evaluaciones de sentido común.
El sentido común debe continuar ocupando una posición central en lo
que podríamos llamar la evaluación profesional. Pero en la evaluación
profesional vamos más allá del mero sentido común. Con la evaluación
profesional adquirimos un contexto social, ya que entramos al dominio
público e institucional. Actuamos a nombre de instituciones de desarrollo,
gastamos fondos públicos y tenemos responsabilidades ante la gente.
Nuestras evaluaciones deben poder fundamentar las afirmaciones que se
hagan y defenderse públicamente.
En años recientes, la evaluación ha emergido como un área de
especialización que nos enseña cómo ser más perceptivos y más lógicos al
mismo tiempo. Nos ha enseñado mucho acerca de cómo hacer
descripciones, emitir juicios y escribir recomendaciones que sean
defendibles.
¿Qué es la evaluación?
Con lo que hemos leído anteriormente podemos, desde luego, construir
nuestras propias definiciones de evaluación. Aquí presentamos algunos
ejemplos de la literatura publicada sobre evaluación:
Egon G. Guba e Yvonna S. Lincoln han definido la evaluación "como
el proceso de describir un evaluado [la entidad que se evalúa] y juzgar su
mérito y valor". Mérito significa la bondad inherente a algo mientras que
valor se refiere a la utilidad comparativa de algo para alguien en un
contexto particular.
Daniel L. Stufflebeam definió la evaluación como "el proceso de
delinear, obtener y suministrar información útil para juzgar alternativas de
decisión". Marvin C. Alkin describe la evaluación como "el proceso de
indagar las áreas de decisión que interesan, seleccionar la información
apropiada y recolectar y analizar la información para reportar datos
resumidos de utilidad para que los que toman las decisiones seleccionen

Evaluación - Definiciones, Contexto, Objetivos y Funciones 11
entre alternativas". Lee J. Cronbach define la evaluación simplemente
como "la recolección y uso de la información para tomar decisiones sobre
un programa educativo".
Un libro reciente sobre evaluación 1 recomienda que aceptemos la
siguiente definición: "Un estudio evaluativo es aquel que se diseña y se
realiza para ayudar a un público a juzgar y mejorar el valor de un objeto
educativo".
Como vemos, hay algunos temas comunes en las anteriores definiciones
que pueden subrayarse. La evaluación debe generar información. Esta
información debe ser defendible. Debe haber un método para recolectarla.
Por eso la evaluación debe organizarse. En lo posible, la información debe
tener la cualidad de ser exacta y precisa. Y lo más importante, la información
debe ser aprovechada para mejorar algún programa educativo, de
capacitación o de desarrollo. Esta orientación de recoger "información
para tomar decisiones" es la más característica de la teoría de la evaluación
de hoy y su rasgo distintivo más notable.
Algunas definiciones y diferenciaciones adicionales, deben ser discutidas
aquí. Empecemos con una distinción entre evaluación e investigación.
Distinción entre evaluación e investigación
La evaluación y la investigación son dos actividades profesionales diferentes,
aunque con frecuencia se confunden. Esto ocurre porque el evaluador y el
investigador usan diseños de indagación, metodologías, herramientas e
instrumentos similares y tienen intereses parecidos en que sus hallazgos
puedan defenderse. Con bastante frecuencia la misma persona puede actuar
como evaluador en un proyecto de alfabetización y como investigador en
otra situación. Sin embargo, la evaluación y la investigación difieren de
manera significativa en términos de sus marcos de indagación y los objetivos
de su tarea. El cuadro de la página 12 clarifica estas distinciones.
Evaluación y supervisión
Es posible hacer otra distinción útil entre evaluación y supervisión. La
supervisión misma es difícil de definir. En su peor acepción la supervisión
se asemeja a las funciones de vigilancia que ejercen los de arriba sobre los

12 Evaluación - Definiciones, Contexto, Objetivos y Funciones
Evaluador Investigador
Orientado hacia la política y la
planificación; busca clarificar
alternativas de planeación y mejorar la
ejecución del programa
Su lealtad es a una campaña, programa
o proyecto de alfabetización en
particular; la elección de tópicos de
evaluación está determinada por las
necesidades de información de los que
toman las decisiones.
Las elecciones metodológicas son
"científicas" pero no experimentales y
con bastante frecuencia naturalistas. La
norma para juzgar los resultados es la
aplicabilidad a la situación del
programa y la adaptabilidad a otras
situaciones similares.
El marco de tiempo para producir los
resultados es establecido por el
programa.
Las recompensas profesionales
consisten en la utilización de los
resultados por los que toman las
decisiones y la comprobada mejoría en
la ejecución del programa.
Orientado hacia la disciplina y lo
académico; busca avances en las
fronteras del conocimiento en su propia
disciplina.
Su lealtad es hacia una determinada
disciplina académica; la elección de los
tópicos de investigación está
determinada por las necesidades de la
teoría y de la investigación en esa
disciplina.
Las elecciones metodológicas son
"científicas" y con frecuencia hay
énfasis en el control. Pueden preferirse
métodos experimentales o cuasiexperimentales.
La norma para juzgar
los resultados es la generalización o la
transferencia.
El marco de tiempo para la producción
de resultados es fijado por el
investigador y por la lógica interna de
la pregunta de investigación.
Las recompensas profesionales
consisten en la publicación de los
resultados en revistas profesionales y
los comentarios favorables por parte de
los colegas.

Evaluación - Definiciones, Contexto, Objetivos y Funciones 13
de abajo. En el mejor de los casos, la supervisión se considera como un
proceso educativo en el cual los colegas con más experiencia asesoran a
los relativamente nuevos en su trabajo y apoyan a los que son capaces de
funcionar autónomamente. Por otra parte la evaluación no siempre ha de
ser un enjuiciamiento negativo. Entendida así, una buena supervisión
posibilitará que varios funcionarios de un programa analicen y evalúen su
propio desempeño en relación con las necesidades del programa, y les
permitirá aprender y crecer en su trabajo.
En efecto, la distinción entre evaluación y supervisión se está
debilitando. La supervisión está incorporando estrategias de evaluación.
En esta monografía sustentamos la posición de que la supervisión no
puede, de hecho, separarse de la evaluación; y que efectivamente, la
evaluación puede y debe contribuir al crecimiento individual de los que
sean supervisados. Aún más, sugerimos que cada visita de supervisión al
campo se convierta en una oportunidad de hacer una evaluación naturalista
de algún aspecto del programa en cuestión.
Categorías y tipos de evaluación
Hacer la distinción entre evaluación e investigación o entre evaluación y
supervisión no ha resuelto los problemas de definición en el área de la
evaluación. Se han propuesto y promovido numerosas categorías, tipos y
clases de evaluación, lo cual no necesariamente ayuda, sino que de hecho
le complica la vida a quienes formulan políticas y a quienes ejercen la
práctica.
Algunas categorizaciones de la evaluación son sumamente teóricas y
en la literatura se presentan como paradigmas y modelos de evaluación.
En el próximo capítulo hablaremos de algunos de ellos. Otras
categorizaciones están enraizadas en ciertos valores -evaluación interna o
externa y controlada versus participativa. Algunas evaluaciones usan
categorías pragmáticas y categorías no tan puras de asignación de recursos
de tiempo y esfuerzo, por ejemplo, el monitoreo y las apreciaciones rápidas.
Algunas distinguen procesos de productos -la evaluación formativa versus
la evaluación sumativa.
Algunas distinguen entre las unidades de análisis-evaluación del
estudiante, evaluación grupal, evaluación del programa y evaluación del
impacto en comunidades o subculturas. Finalmente, hay una serie completa

14 Evaluación - Definiciones, Contexto, Objetivos y Funciones
de rótulos evaluatívos derivados de los objetivos de la evaluación, las
tareas de la evaluación o de lo que se está evaluando. Existe una considerable
sobreposición entre estas distintas categorías.
La categorización de evaluación empleada en este libro puede
describirse mejor como teórica. Definimos la evaluación como un proceso
de generación de información. Este proceso se ve que está constituido por
tres enfoques para la recolección de información: (1) información
operacional -típicamente numérica- generada en el proceso mismo de
ejecución del programa; (2) información experiencial -recogida típicamente
por medio de estrategias naturalistas- que nos informa acerca de cómo los
participantes del programa lo vivencian y acerca de su significado en la
vida real de ellos; y (3) información comparativa y correlativa, generada
por medio de estrategias de evaluación más racionalistas.
Monitoreo y apreciaciones rápidas
En la literatura sobre el desarrollo ha habido mucho interés recientemente
en cuanto a estrategias para reunir información evaluativa de retorno sobre
la ejecución de los programas. Se plantea que los estudios evaluatívos
típicos frecuentemente demoran demasiado tiempo para que los que toman
las decisiones esperen por los resultados. Las decisiones del programa con
frecuencia demandarán que se le tome el pulso rápidamente para publicar
un boletín informativo acerca del estado del programa. La puntualidad es
importante. Como respuesta a esta necesidad, los evaluadores han
desarrollado enfoques descritos como monitoreo y apreciaciones rápidas.
En el diccionario el significado de monitorear es mirar, observar,
controlar y, a veces, ajustar. En la literatura sobre la evaluación, monitorear
es, efectivamente, controlar el progreso de un programa en marcha para
detectar sus deficiencias o fracasos y permitir a los que toman las decisiones
regular las actividades y emprender acciones correctivas. Por lo tanto, el
monitoreo es un aspecto importante de la evaluación. Sin embargo, es sólo
una parte y no la totalidad de la evaluación. El monitoreo considera los
datos de la ejecución, que se generan de manera rutinaria en el proceso de
ejecución del programa y advierte a los que toman las decisiones de los
vacíos existentes entre lo esperado y la realidad. Así, el monitoreo es un
control sistemático del progreso de un proyecto en el marco de sus metas
originales, sus procedimientos y sus resultados -una especie de auditoría de
la ejecución. Un buen monitoreo normalmente requiere la existencia de un

Evaluación - Definiciones, Contexto, Objetivos y Funciones 15
Sistema de Información para la Gestión (SIG) que lo apoye manteniendo
registros de insumos y resultados y de otros indicadores relacionados. Más
adelante tendremos mucho más que decir en este libro sobre Sistemas de
Información para la Gestión (SIGs).
Las apreciaciones rápidas son evaluaciones breves, realizadas en
condiciones de emergencia para investigar las causas de un fracaso, anticipar
problemas u obtener resultados rápidos sobre el impacto de un programa.
Las apreciaciones rápidas son hijas de la necesidad. Se llevan a cabo
cuando no hay tiempo para esperar por una evaluación regular.
Una apreciación rápida usará los datos del monitoreo que se generan
en forma rutinaria en el programa en los procesos de planificación y
ejecución al igual que datos secundarios de otras fuentes. Además, recogerá
datos frescos con el propósito de dar respuesta a preguntas significativas.
Tales datos pueden incluir, por ejemplo, informes personales de los
funcionarios del programa.
Las apreciaciones rápidas pueden ser menos exhaustivas y menos
completas que los estudios evaluativos regulares, pero hay que prepararse
cuidadosa y sistemáticamente para hacerlas. Los equipos que harán la
apreciación deben constituirse con cuidado y deben recibir una clara
orientación acerca de la información que deben recolectar y los juicios que
deben emitir. El equipo tendrá que pensar en la mezcla de datos cuantitativos
y cualitativos que deben tratar de obtener. Los instrumentos deben diseñarse
cuidadosamente y someterse a prueba. Las muestras deben ser pequeñas,
pero, de nuevo, hay que elegirlas con mucho cuidado. Deben cumplirse
los términos de tiempo, pues no deja de ser una apreciación rápida. Un
marco de tiempo de unas cuatro a seis semanas es el característico de estas
apreciaciones.
Evaluación interna versus evaluación externa
La cuestión de la evaluación interna en contraposición con la extema es
realmente la cuestión para quién realizará la evaluación. Las dimensiones
de externalidad pueden ser muchas: el donante internacional frente a la
nación beneficiada; un agente de una institución evaluando un programa
de otra institución; una unidad evaluando a otra dentro de la misma
institución; y un especialista en evaluación evaluando el trabajo de un
especialista en el programa, dentro de la misma unidad.
En nuestra definición la evaluación interna significa que son las mismas

16 Evaluación - Definiciones, Contexto, Objetivos y Funciones
personas involucradas en el programa las que realizan su evaluación, y
aún cuando empleen a un especialista como consultor, son ellos quienes
mantienen el control del proceso evaluativo -al formular las preguntas, al
elegir los métodos, el diseño del estudio, el análisis y recolección de datos,
al establecer los criterios de éxito del programa y al usar la información
evaluativa en una futura planificación. Los procesos y resultados de la
evaluación no se mantienen en secreto para nadie a no ser para proteger a
personas inocentes. Así, la evaluación interna es aquella que es realizada
dentro del sistema del programa por los especialistas del programa mismo.
La evaluación extema es la que realizan evaluadores que provienen de
fuera del sistema.
Se afirma con frecuencia que la evaluación extema es más objetiva
que la interna, la cual es rechazada por ser supuestamente subjetiva y
política. Por otra parte, los especialistas en el programa a menudo temen a
las evaluaciones extemas, de las cuales dicen que son "evaluaciones por
paracaídas" -generalmente apuradas, superficiales, poco informadas y,
algunas veces claramente políticas.
Debe señalarse que las evaluaciones extemas no son inherentemente
objetivas; y que las evaluaciones internas no son carentes de credibilidad
en modo alguno. Tanto las evaluaciones internas como las extemas pueden
ser muy políticas y por lo tanto, sospechosas. Por otra parte, tanto unas
como otras, pueden servir propósitos importantes en el contexto de
necesidades especiales. Puede haber casos en que es necesaria una
evaluación externa para tomar decisiones sobre políticas y decisiones de
planificación en algunos niveles de decisión. Sin embargo, casi siempre es
la evaluación interna la que tiene más sentido, y posibilita a los que
ejercen la práctica tomar el control de su programa, ayudándoles a crecer
en este proceso.
Evaluaciones participativa, colaboradora y colectiva
Los valores de nuestro tiempo, centrados en las personas, han conducido a
una conceptualización y a la puesta en práctica de lo que se ha llamado
evaluación participativa. En esencia, la evaluación participativa (o
participatoria) significa que no es una evaluación hecha por un experto
que viene de fuera, espléndidamente aislado de la gente, envuelto en la
pretensión de la objetividad, sino una evaluación realizada por todos los
interesados conjuntamente, interactuando entre sí. Todos los involucrados,

Evaluación - Definiciones, Contexto, Objetivos y Funciones 17
y en particular, los estudiantes y participantes en las actividades del
programa construyen juntos sus propios significados y hablan a nombre de
ellos mismos, en su propio lenguaje. La evaluación cooperativa o
colaborativa es la denominación que se da a un enfoque algo similar.
Finalmente, se ha intentado hacer evaluaciones colectivas de procesos y
acontecimientos por parte de colectividades numerosas, en seminarios o
grupos grandes reunidos en salones o estadios que proporcionan testimonios
sobre cómo ha funcionado un programa y cómo lo han vivenciado las
personas en su vida cotidiana.
Evaluación formativa versus evaluación sumativa
Los conceptos de evaluación "formativa" y "sumativa", introducidos por
Michael Scriven, han llegado a ser de los conceptos más usados en las
discusiones sobre evaluación. Ambos se comprenden sin dificultad. La
evaluación formativa es la evaluación de un producto curricular o de un
programa durante el proceso mismo de formación. El énfasis radica en el
proceso. La información generada puede utilizarse para mejorar el currículo
que se está elaborando o el programa mientras se está ejecutando. La
evaluación sumativa consiste en sumar las cosas. Se realiza al finalizar un
programa de alfabetización o al término de una fase en el desarrollo
curricular dentro del programa.
Formas de evaluación relacionadas con objetivos y con tareas
Como indicamos anteriormente, los objetivos de la evaluación están
siempre relacionados con la información. Los evaluadores luchan por
recolectar información utilizable. Pero puede necesitarse información
utilizable acerca del contexto del programa, acerca de la calidad de los
insumos del programa, acerca de los procesos de instrucción y de
organización o acerca de los resultados y productos. Nuevamente, la
intención puede ser de modificar y mejorar, de comparar o contrastar, o de
tomar decisiones acerca de continuar o terminar un programa de desarrollo
o de capacitación.
A continuación primero enunciamos y después describimos brevemente
las diversas formas que puede tomar la evaluación en relación con sus
objetivos o tareas:

18 Evaluación - Definiciones, Contexto, Objetivos y Funciones
1. Diagnóstico de necesidades
2. Levantamiento de una línea de base
3. Evaluación del estudiante
4. Pruebas de rendimiento y de actitudes
5. Evaluación de personal
6. Evaluación del currículo
7. Evaluación institucional u organizational
8. Evaluación del producto
9. Evaluación del impacto
10. Evaluación de costo-beneficio
11. Auto-evaluación
1. Diagnóstico de necesidades
Los evaluadores pueden tener que realizar diagnósticos de necesidades en
distintos niveles del sistema. Pueden llevar a cabo un diagnóstico general
de necesidades a nivel nacional para que éstas se tengan en cuenta en el
diseño de la campaña, programa o proyecto de "alfabetización para el
desarrollo". También pueden hacer un diagnóstico de necesidades a nivel
comunitario para averiguar qué requiere de los agentes de la alfabetización
y el desarrollo una campaña, programa o proyecto particular. Finalmente,
pueden realizarse diagnósticos de necesidades dentro de los grupos de
educandos y sujetos de la capacitación para seleccionar el contenido de la
enseñanza y para diseñar estrategias de enseñanza apropiadas. Es típico
que un buen diagnóstico de necesidades cubra todas las circunscripciones
o distritos involucrados en el sistema pertinente -los estudiantes adultos,
los facilitadores, los capacitadores, los supervisores de campo, los
administradores de los departamentos de educación y de extensión, los
líderes comunitarios y otros miembros de las mismas comunidades. El
diseño final del programa debe hacerse con base en los diversos perfiles
de necesidades generadas por los diferentes grupos, los cuales se reúnen
por medio de un proceso honesto de negociación de las necesidades.
2. Levantamiento de línea de base
Esto se emprende para establecer una línea de base sobre la situación
económica, social y cultural con respecto a la cual pueden juzgarse después
los cambios. Los trabajadores del desarrollo comunitario y la alfabetización
generalmente levantan una línea de base extensa en las comunidades a las
cuales van a servir. Hasta donde es posible, los evaluadores deben ya usar

Evaluación - Definiciones, Contexto, Objetivos y Funciones 19
datos de línea de base disponibles para diseñar los programas de capacitación
en evaluación para los agentes de la alfabetización y el desarrollo. Sin
embargo, es posible que en las líneas de base existentes no se hayan
anticipado las necesidades especiales de información requeridas por los
agentes de la alfabetización o sus capacitadores. En este caso se justifica y
aun se hace necesaria la realización de un nuevo lanzamiento.
Tomando un ejemplo específico: Las necesidades específicas de
información de los evaluadores-capacitadores pueden relacionarse con (1)
consideraciones sobre roles y (2) consideraciones sobre conocimientos.
Un evaluador-capacitador que esté preparando promotores de salud
necesitará conocer, por ejemplo, las prácticas actuales de crianza de los
niños y las prácticas de salud dentro de las comunidades; el nivel de
conocimientos sobre nutrición; la ausencia o no de huertas caseras; el
nivel de consumo de proteínas animales. Al mismo tiempo, estará interesado
en cómo las madres adquieren comúnmente estos conocimientos; si existen
roles educativos tradicionales para difundir esta información; qué otros
roles seculares más modernos ha introducido ya el gobierno en esas
comunidades; y qué expectativas puede uno tener acerca de la introducción
del nuevo rol del promotor de salud familiar.
Como puede suponerse, los agentes de la "alfabetización para el
desarrollo" tendrán que diseñar el levantamiento de líneas de base que se
ajusten a sus necesidades especiales de información acerca de los niveles
de alfabetización existentes, patrones de búsqueda de información, roles
educativos y relacionados con el desarrollo, existentes en la comunidad, y
niveles de conocimiento sobre desarrollo en la comunidad.
3. Evaluación del estudiante
Los agentes de la alfabetización se han resistido por mucho tiempo a
evaluar al estudiante. Su posición era que los hombres y mujeres adultos
que asisten a clases de alfabetización no deben sentirse insultados al ser
sometidos a "exámenes" ni humillados al colocarse en la categoría de
aprobado y reprobado. También se citaban razones pragmáticas. Se discutía
que las motivaciones de quienes asisten a clases de alfabetización eran tan
bajas que usarían cualquier excusa para desertar del programa, y el terror a
la prueba les proporcionaría, seguramente, una excusa para hacerlo.
Las agencias donantes que han proporcionado subvenciones y préstamos
para los trabajos de alfabetización en el Tercer Mundo han insistido
persistentemente en que debe realizarse una evaluación del estudiante para

20 Evaluación - Definiciones, Contexto, Objetivos y Funciones
apreciar los resultados de estos esfuerzos. La mayoría de los programas de
alfabetización a los cuales se ha otorgado fondos son obligados a realizar
evaluaciones del estudiante. La mayoría de las evaluaciones de quienes
aprenden terminan siendo una combinación de pruebas de rendimiento y
de actitudes. Se está intentando hacerlas lo menos amenazantes para los
adultos como humanamente sea posible.
4. Pruebas de rendimiento y actitudes
Hay bastante superposición entre la concepción de "evaluación del
estudiante" y "pruebas de rendimiento y actitudes". Se puede llegar a saber
mucho sobre el aprendizaje del educando al aplicar pruebas de
conocimientos sobre cuestiones agrícolas, de salud y cooperación, y sobre
sus actitudes acerca de la planificación familiar y la integración nacional.
Una gran parte de la evaluación dentro de un sistema de alfabetización
consiste en aplicar pruebas. Se aplican pruebas cuando el participante
entra al proyecto y cuando termina. Las pruebas incluyen el conocimiento
adquirido; el diagnóstico de habilidades y su ejecución; sus motivaciones,
actitudes y valores; y las habilidades comunicativas y productivas. Algunas
de estas pruebas no se aplican a los educandos mismos sino a otros
individuos en las comunidades de modo que se registre cómo se han
difundido sus nuevos conocimientos y se han filtrado nuevas actitudes en
las comunidades.
5. Evaluación del personal
La evaluación del personal implica una valoración de las competencias y
el compromiso de los funcionarios en un programa! ¿Qué tan efectivos
son los planificadores, administradores, especialistas, capacitadores,
educadores y promotores de campo?
En la mayoría de los países en desarrollo del mundo -como también en
países desarrollados- las políticas de personal son tales que una vez que se
ha empleado a una persona no es fácil despedirla. Una vez incorporados,
no pueden despedirse ni transferirse. En ese caso, la evaluación del personal
puede hacerse con el propósito de "desarrollo del personal".
6. Evaluación del currículo
Poco se piensa sobre el currículo en relación con programas de
"alfabetización para el desarrollo". Pero estos programas sí tienen un
currículo en el sentido general de un "curso de estudio" y un "curso de

Evaluación - Definiciones, Contexto, Objetivos y Funciones 21
acción". En el contexto de la evaluación de la instrucción de la
alfabetización, un tema frecuente entre los evaluadores será el currículo.
Ellos necesitarán evaluar aspectos particulares de los materiales de
instrucción -una cartilla, un manual, un conjunto de cuadros, un juego de
simulación. Ellos querrán evaluar un método particular de enseñanza o de
capacitación, por ejemplo, la animación por un equipo versus un tutor
único. Pueden someterse a prueba diferentes sistemas de ejecución de un
programa: cursos por correspondencia versus escuelas nocturnas; la
enseñanza individual o de las familias, etc. Finalmente, puede ser de interés
para los evaluadores la efectividad general de un currículo de "alfabetización
para el desarrollo".
7. Evaluación institucional u organizational
La calidad de las instituciones u organizaciones determina la calidad de
los servicios que podrán producir y entregar. Desafortunadamente, en
general parece haberse prestado muy poca atención por parte de quienes
trabajan en programas de alfabetización y de los especialistas en desarrollo
a las características organizacionales. Las instituciones pueden estudiarse
desde dos dimensiones generales: (1) el clima organizacional y (2) la
capacidad organizacional. Esta última se determina a través de la
justificación de los recursos de la orlganización en relación con su misión.
El clima organizacional es la conceptualización de la vida social de la
organización -la identificación de sus miembros con la misma y su
satisfacción o insatisfacción con los patrones y estilos que existen en la
organización para la toma de decisiones.
8. Evaluación del producto
Los programas de desarrollo o de alfabetización tienen como resultado
diversos productos: cartillas, libros de seguimiento, manuales para los
maestros, personal capacitado e instituciones locales como centros
comunitarios, cooperativas o bancos. Algunos de estos productos serán
evaluados como un aspecto en la evaluación curricular y otros de la
evaluación del personal. Sin embargo, la evaluación de los productos
merece evaluación especial y requiere diferentes estrategias, dependiendo
del producto de que se trate, el cual puede ser un libro, una película o un
objeto artesanal producido para generar ingresos.

22 Evaluación - Definiciones, Contexto, Objetivos y Funciones
9. Evaluación del impacto
El estudio del impacto de las iniciativas de alfabetización o postalfabetización
en los beneficiarios debe ir más allá de someter a prueba los
currículos, los materiales y los estudiantes dentro de las situaciones de
instrucción organizadas. Los evaluadores deben ir a las comunidades en
las cuales sus educandos trabajan y viven. Sin embargo, sus preguntas
deben enfocarse en forma aguda. ¿Encajaba el educador como agente de
cambio en el ambiente social? ¿Era él en su nuevo rol capaz de enseñar,
demostrar y resocializar? ¿Aprendieron los estudiantes? ¿Hubo desarrollo
comunitario como resultado? Estas preguntas pueden contestarse si se ha
levantado antes una línea de base de datos.
El estudio del impacto en las comunidades debe fijar cierto tiempo
para que las nuevas ideas pasen por un período de adaptación y aplicación
por las comunidades. Deben tener tiempo para relacionarlas, aprenderlas y
adoptarlas. Estos "períodos de penetración" pueden ser largos, de muchos
meses o aun años. En el estudio del impacto de nuevos roles y nuevas
enseñanzas en las comunidades, los evaluadores deben observar tanto las
consecuencias anticipadas como las no esperadas que producirá la
introducción de nuevos agentes de cambio, nuevos aprendizajes y nuevas
actitudes. ¿Habrán surgido nuevos conflictos en relación con los roles
tradicionales? ¿Estará surgiendo un nuevo grupo de poder dentro de las
comunidades debido a los nuevos roles desempeñados? ¿Ha introducido el
agente de cambio una burocratización que trae por resultado la destrucción
de las iniciativas locales? ¿Están aplicando los educandos sus aprendizajes
a la vida cotidiana?
10. Evaluación de costo-beneficio
En la literatura sobre evaluación dentro del sector del desarrollo se emplean
dos términos que son: análisis de costo-beneficio y análisis de costoefectividad.
Ambos implican hacer comparaciones entre los costos y los
resultados, pero la naturaleza de la comparación es diferente.
El análisis de costo-beneficio es posible cuando a los resultados puede
dárseles claros valores monetarios. Esta clase de análisis económico pocas
veces es posible en las áreas de la educación y la extensión, en las cuales
los efectos intangibles son más significativos, pero a los cuales no es
posible asignar valores numéricos. El análisis de costo-efectividad se utiliza
cuando los resultados no pueden expresarse en términos monetarios debido
a la ausencia de precios de mercado para estos. Por lo tanto, los niveles de

Evaluación - Definiciones, Contexto, Objetivos y Funciones 23
los resultados se comparan en proporción a los costos en que se ha incurrido
en cada caso.
11. Auto-evaluación
Aprender a evaluar constituye un crecimiento profesional. Emprender una
auto-evaluación significa crecimiento tanto en sentido profesional como
personal, y en niveles más profundos. En su forma más simple, la autoevaluación
es introspección. Esta introspección puede darse tanto en la
dimensión de la clarificación de valores como en la del análisis de las
discrepancias entre lo que se esperaba, lo que era posible y lo que realmente
se logró. Este análisis puede ir más allá de las impresiones personales y
puede basarse en anotaciones y registros.
Funciones de la evaluación
Las funciones de la evaluación van más allá de los objetivos normalmente
establecidos. Sus objetivos generalmente son informativos, pero sus
funciones son, al mismo tiempo, informativas, profesionales, sociopsicológicas,
políticas e históricas.
Informativas: Las funciones informativas de la evaluación son bastante
obvias. Se trata de proporcionar información de retorno y de crear
información útil -aquella que puede usarse para mejorar los programas en
marcha.
Profesionales: Las funciones profesionales de la evaluación consisten en
aumentar la comprensión que se tiene de los medios y los fines de un
programa; demostrar la efectividad o el fracaso de los planes y estrategias
empleados; y sugerir acciones de tipo correctivo. Es importante anotar que
las evaluaciones no se realizan meramente para encontrar fallas en un
programa, sino también para realzar sus puntos fuertes y sus bondades.
Organizacionales: La evaluación cumple funciones organizacionales
importantes. En el mejor caso, ayuda a las organizaciones a renovarse al
forzar un examen de las metas y propósitos, reduciendo la complacencia
burocrática y aclarando los procedimientos operativos estándares que
subyacen en las rutinas cotidianas.

24 Evaluación - Definiciones, Contexto, Objetivos y Funciones
Políticas: Las funciones políticas de la evaluación incluyen el
establecimiento de agendas y la generación de debates sobre asuntos
importantes. Promueve la posibilidad de rendir cuentas y puede fomentar
la participación ciudadana. Por una parte, la evaluación puede legitimar un
programa que está en marcha y por otra, puede encontrar chivos expiatorios
a quienes culpar, y puede acabar con los programas que en primer lugar
los actores políticos han decidido terminar. La evaluación puede desempeñar
algunas funciones políticas radicales también, al promover el interés de los
clientes y las partes que de otra manera nunca serían escuchadas.
Socio-psicológicas: Las funciones socio-psicológicas de la evaluación
pueden ser las de pacificación y mistificación -dar a los participantes y la
ciudadanía un sentimiento de seguridad, al reducir los problemas sociales
complejos a la elección entre alternativas relativamente simples. En sus
aspectos más positivos puede promover el arbitraje y la resolución de
conflictos.
Históricas: Finalmente, la evaluación tiene importantes funciones históricas
-como registrar y documentar acciones, eventos y resultados que de otra
manera quedarían fuera de la memoria colectiva.
En el próximo capítulo, examinaremos los dos paradigmas principales
de la evaluación y la investigación, así como los diversos modelos de
evaluación que han sido propuestos durante los últimos veinticinco o treinta
años.
Cosas para hacer o para pensar
1. ¿Cuál era su definición de evaluación antes de leer este capítulo?
¿Cómo ha cambiado ahora?
2. ¿Ha tenido usted la oportunidad de participar en alguna evaluación
interna o externa en su vida profesional? ¿Cuáles fueron sus
experiencias? ¿Fueron utilizados los resultados de esas evaluaciones
por los que toman las decisiones u otras personas?

Evaluación - Definiciones, Contexto, Objetivos y Funciones 25
3. ¿Tiene usted claridad sobre la distinción entre evaluación e
investigación? Trate de explicar la diferencia entre ambas de manera
satisfactoria a algún colega.
4. En el capítulo que acaba usted de leer se analizaron diferentes formas
de evaluación. ¿Ha conducido o participado el departamento donde
usted trabaja en la realización de una o más de estas formas de
evaluación? ¿Cuáles? ¿Con qué consecuencias?
5. ¿Podría referir usted alguna anécdota sobre las funciones políticas de
la evaluación?
Nota
1. Madaus, George F. et al., eds. Evaluation models: viewpoints, on
educational and human services évaluation. Boston, M A : Kluwer-
Nijhoff, 1983.

CAPITULO 2
PARADIGMAS Y MODELOS DE EVALUACIÓN
Un modelo es la esencia de la experiencia profesional de quien hace el
modelo. Esta esencia se conforma dentro del marco dado por el punto de
vista particular que tiene el autor del modelo sobre "cómo funciona el
mundo". Puesto que entre los académicos y entre quienes ejercen la práctica
de la evaluación existen diferencias en la manera de ver el mundo y en sus
experiencias profesionales, se han propuesto muchos modelos distintos de
evaluación, entre ellos el modelo CIPP, el modelo de discrepancias, el
modelo transaccional, el modelo libre de metas, el modelo investigativo,
la evaluación como iluminación, el modelo de la crítica por los expertos,
el modelo de la defensa y el modelo participativo, no siendo ésta en modo
alguno una lista completa de todos los modelos disponibles en la literatura.
Todos estos diversos modelos (enfoques o estrategias) pueden dividirse
en dos grupos en términos de los paradigmas que los gobiernan, esto es,
sus posiciones filosóficas y las ideologías que los crearon. Estos dos
paradigmas se han denominado: paradigma racionalista y paradigma
naturalista. Sin embargo, entre los dos grupos principales de modelos de
evaluación hay bastante superposición en términos de paradigmas.
En el Capítulo 1 (Evaluación - Definiciones, Contexto, Objetivos y
Funciones) distinguimos entre la evaluación de sentido común y la
evaluación profesional. La evaluación profesional puede realizarse con
distintos niveles de comprensión y de sofisticación. Sin embargo, el uso
del diseño experimental y de técnicas estadísticas sumamente sofisticadas
no garantiza que la evaluación sea buena. Puede parecer irónico que mientras
más sistemáticos y formulistas sean los métodos y el diseño, mayor es la
posibilidad de que en las evaluaciones estos sean usados sin pensar en sus
implicaciones.
Para hacer evaluaciones que contribuyan a una mayor comprensión
por parte de los evaluadores que la realizan y los que toman las decisiones
que la utilizan, hay que conocer la teoría de la evaluación. Entonces, el
desarrollo teórico mismo debe mirarse en perspectiva, a través de la

Paradigmas y Modelos de Evaluación 27
comprensión de la historia el desarrollo teórico de este campo. El presente
capítulo busca proporcionar al lector una historia-teoría del campo de la
evaluación. Los diversos modelos de evaluación propuestos durante los
últimos treinta años o más se analizan tanto en sus contextos teóricos (es
decir, paradigmáticos) como en sus contextos históricos.
La "Nota al Lector" al comienzo de este libro advierte al estudiante
que se inicia en el campo de la evaluación que postergue la lectura de este
capítulo, algo recargado conceptualmente. Quienes deseen leerlo ahora
deben mantener la idea general de que hallarán que los diversos modelos
de evaluación se inclinan bien al lado del paradigma positivista o del que
hemos denominado paradigma naturalista. Desde luego, con frecuencia
habrá superposiciones conceptuales y repeticiones de la historia.
El lector deberá mirar estos modelos como hitos en el camino del
desarrollo teórico del campo de la evaluación.
Algunos revelarán los comienzos de ideas que han llegado a ser parte
de la sabiduría convencional. Otros mostrarán claramente cómo se apuntalan
en los métodos y las técnicas que ahora son de uso frecuente. Aun otros
pueden sembrar en nuestras mentes las semillas de la duda acerca de cosas
que todos dábamos como ciertas.
Al tratar de usar estos modelos no tenemos que buscar utilizar uno de
ellos en forma pura y completa. Pueden ensayarse mezclas de estos modelos.
Efectivamente, la mayoría de los usos de los modelos puede consistir en
tomar prestado su "lenguaje" de presentación. Repetimos: los paradigmas
y modelos son el objeto de discusión de este capítulo. Sin embargo, para
que esta discusión tenga sentido, debemos primero comprender los términos
"paradigma" y "modelo".
¿Qué es un paradigma?
Comencemos con la palabra "paradigma". Los significados que da el
diccionario son pretenciosos. El paradigma se define como una lista
ordenada, un cuadro de clases, un patrón o una fórmula que define el
modo general en que deben colocarse los casos específicos de un cierto
orden. En términos formales, se ha definido un paradigma como un sistema
axiomático con un determinado conjunto de supuestos acerca de los
fenómenos sobre los cuales se pretende indagar.
Kuhn 1 , en su estudio sobre las revoluciones científicas, definió de

28
Paradigmas y Modelos de Evaluación
manera pintoresca un paradigma como la ideología creativa de los
científicos, desde la cual ellos trabajan y la que les proporciona una posición
lógica y metodológica particular que les permite producir conocimiento
científico o socio-científico.
Así, los paradigmas de evaluación son las ideologías creativas de los
evaluadores. Estos paradigmas determinan el pensamiento y el
comportamiento metodológico de los evaluadores: lo que ellos piensan
sobre la naturaleza de la realidad; y cómo piensan que puede llegarse a
establecer "afirmaciones fundamentadas", esto es, declaraciones dignas de
crédito acerca de la realidad social que nos rodea. Hay dos paradigmas
básicos de evaluación (e investigación) que analizaremos: el paradigma
racionalista y el naturalista.
¿Qué es un modelo?
Definiremos ahora modelo. Formalmente un modelo es un conjunto de
información, datos o principios agrupados de manera verbal o gráfica (a
veces en forma matemática) para representar o describir alguna cosa, idea,
condición o fenómeno. En un lenguaje menos formal, un modelo es la
esencia del aprendizaje y el pensamiento de un especialista, presentado
clara y brevemente. Los modelos son la progenie de los paradigmas. Es
importante recordar esta relación de padre a hijo entre los paradigmas y
los modelos. Así, los modelos de evaluación pueden ser presentaciones
verbales, en cuadros o gráficas, de los principios que han aprendido los
evaluadores. Son la esencia de sus experiencias por separado, desarrolladas
en el marco de determinados paradigmas. En otras palabras, son un conjunto
de supuestos, un conjunto de valores, un conjunto de preferencias y un
conjunto de procedimientos presentados como una unidad.
Finalmente, los evaluadores pueden hablar a veces de enfoques y de
estrategias de evaluación. Estos no son más que métodos para comenzar o
desarrollar un estudio evaluativo. Presumiblemente, cuando un enfoque o
una estrategia utilizada y sometida a prueba sucesivamente llega a
estandarizarse y formalizarse, adquiere el status de modelo de evaluación. 2

Dos Paradigmas Básicos de Evaluación 29
SECCIÓN A: Dos Paradigmas Básicos de Evaluación
Hay dos paradigmas básicos de evaluación en la alfabetización, la
capacitación y el desarrollo.
1. Evaluación Racionalista (ER) y
2. Evaluación Naturalista (EN)
Esta clasificación no es completamente satisfactoria. El rótulo de
evaluación racionalista, ER, se ha utilizado como sustituto de enfoques
positivistas lógicos de la evaluación, aun cuando somos plenamente
conscientes de que no comprende el conjunto total de supuestos del
positivismo lógico. Y tampoco nos ayuda este rótulo a comprender que
ahora se utilizan diferentes versiones del positivismo, ni que esté surgiendo
una versión re-acondicionada del positivismo lógico. Por otro lado, el
rótulo de evaluación naturalista, EN, tampoco es muy satisfactorio. Sólo
porque la EN se ofrece como alternativa a la evaluación racionalista, no
debe concluirse que la naturalista es irracional. EN se emplea aquí como
un término incluyente para un enfoque que es a la vez constructivo y
colaborativo. Estos dos términos se explicarán más adelante. Aquí basta
decir que ambos paradigmas -ER y EN- son "científicos" aunque se
diferencien en los supuestos que asumen sobre "cómo funciona el mundo"
y "qué y cómo podemos aprender acerca del mundo".
El paradigma racionalista
Al paradigma racionalista también se le conoce como paradigma del
positivismo lógico. Asume que la realidad existe "afuera" y cualquiera
puede verla o experimentarla a través de los sentidos. En otras palabras,
enfatiza lo explícito -lo que puede afirmarse directamente y con certidumbre.
Seguir este paradigma es tener una actitud "positiva" acerca de las
afirmaciones que se hacen con respecto a la realidad, y depender de ser
"lógicos" al derivar subsiguientes afirmaciones verdaderas sobre la realidad.
Sus tres características esenciales son: el reduccionismo -que las partes
pueden separarse del todo para estudiarlas sin que haya cambios;
repetibilidad -que lo que alguien ha descubierto puede repetirlo otro; y
refutación -que lo que se afirma debe poder confirmarse o refutarse. La
gran esperanza de quienes siguen este paradigma es, desde luego, generar

30 Dos Paradigmas Básicos de Evaluación
afirmaciones a manera de leyes, umversalmente generalizables.
A veces se le llama paradigma clásico porque ha sido usado por
mucho tiempo, sigue reglas estrictas y se considera -aunque esto no sea
necesariamente correcto- como estándar y autorizado.
El paradigma racionalista sigue los métodos de las ciencias exactas
algunas veces llamadas restringidas, como la física, la química y la
ingeniería. Su ideal metodológico es usar muestras al azar y el experimento
controlado. Bajo ciertas condiciones pueden ser aceptados los diseños
cuasi-experimentales 3 . El paradigma racionalista demanda una clara
definición de los objetivos de evaluación y de las variables, un plan de
muestreo, una instrumentación estructurada que genera datos cuantitativos,
técnicas estadísticas para el análisis de los datos y generalización de los
resultados.
El paradigma naturalista
El paradigma naturalista asume que la realidad no existe afuera para que
cada quien la vea y la experimente de la misma manera, sino que el
mundo se encuentra (como realidad objetiva) y se elabora (esto es, cada
individuo lo construye socialmente). En efecto, la parte más importante de
nuestra realidad es construida socialmente. El evaluador o el investigador
busca encontrar los significados que las personas llevan en sí. El paradigma
naturalista sugiere que el comportamiento humano sea estudiado tal como
ocurre naturalmente, en ambientes naturales y dentro de su contexto total.
En otras palabras, el paradigma naturalista es de naturaleza holista por su
orientación, y busca estudiar la realidad como un todo, sin dividirla
artificialmente en partes y segmentos para ajustaría a la conveniencia del
evaluador.
A veces se hace referencia a este paradigma como cualitativo y
fenomenológico. Esto quiere decir que a diferencia del evaluador
racionalista, el naturalista busca primero descubrir los fenómenos y luego
ir en busca de métodos y modelos. El evaluador naturalista va en busca de
comprender la situación específica que puede iluminar después otras
situaciones similares. El evaluador naturalista no pretende obtener leyes
generalizadas, sino ideas perspicaces que puedan transferirse de un contexto
a otro.
En la indagación naturalista, los métodos empleados son los del
antropólogo y el etnógrafo. El evaluador o investigador mismo constituye

Dos Paradigmas Básicos de Evaluación 31
parte del fenómeno que estudia -no puede considerarse aislado
objetivamente "fuera de" la realidad que estudia. El diseño de EN va
surgiendo; aparece según el evaluador emprende diferentes pasos y sigue
distintos procedimientos para recolectar datos significativos. Las muestras
son propositivas más que aleatorias. Los instrumentos son siempre
inestructurados y generan datos cualitativos. Se busca la aplicabilidad y
adecuación de los resultados más que su generalización.
El paradigma racionalista versus el paradigma naturalista
No es posible incluir en el ámbito de esta monografía un análisis más
completo de estos dos paradigmas. En el cuadro de las págs. 32 y 33
hemos resumido las diferencias entre estos dos paradigmas de evaluación
a fin de que el lector pueda examinarlas cuidadosamente.
Ahora se sugiere que muchos de los puntos fuertes que se atribuyen al
paradigma racionalista son meras suposiciones: algunas de éstas no tienen
defensa conceptualmente, otras no pueden sustentarse en la práctica. Por
ejemplo, con frecuencia es difícil seleccionar criterios apropiados para
juzgar el mérito o el valor de los programas; y los evaluadores que usan el
paradigma racionalista ocasionalmente terminan eligiendo criterios
restringidos que se acomoden a sus planes experimentales. Las situaciones
experimentales son en esencia incontrolables, a pesar de que se proclame
lo contrario. Es casi imposible la selección aleatoria de las muestras. Los
grupos que se estudian frecuentemente se eligen a sí mismos y son
sistemáticamente diferentes unos de otros.
Es imposible estandarizar los tratamientos experimentales en diferentes
lugares. Nunca se está seguro sobre qué es lo que se está comparando.
Hay limitaciones en cuanto a la información que puede producirse al
emplear este paradigma. Su utilización no produce información sobre el
proceso ni sobre los efectos netos de intervenciones distintas. Realmente,
se genera mucha información que no es útil y está "muerta de antemano".
Existen, desde luego, muchas dificultades administrativas en la
utilización del paradigma racionalista de evaluación. Las necesidades del
programa y las de la evaluación racionalista frecuentemente van hacia
direcciones diferentes. La elección entre grupos que recibirán o no recibirán
tratamiento -y recursos para el desarrollo- no es un asunto fácil de decidir.

32 Dos Paradigmas Básicos de Evaluación
DIFERENCIAS ENTRE LOS DOS PARADIGMAS BÁSICOS
DE EVALUACIÓN
El Paradigma Racionalista El Paradigma Naturalista
Raíces filosóficas
Positivista
Reduccionista
Libre de valores
Orientación teórica
Somete a prueba la teoría existente
Relaciones causales
Diseño
Experimental o cuasi-experimental
para asegurar objetividad y validez
La situación de la evaluación/
Investigación
En el laboratorio o controlada
Muestreo
Aleatorio
Tamaño predeterminado
Orientación metodológica
Orientación hacia los objetivos
Cuantitativa
Instrumentos
Estructurados, frecuentemente
intervencionistas
Se busca que sean estandarizados e
independientes de sesgos del
evaluador
Fenomenológico
Holista
Cargado de valores
Usa teorías bien fundamentadas
Relaciones plausibles
Conformación mutua y simultánea
El diseño surge (o se desenvuelve)
asegurando resonancia sin separar a
quien conoce de lo que se conoce
Ecológica, en el contexto natural
Propositivo, de élite, especializado
El tamaño se determina en la marcha,
se completa cuando la información
disponible es completa
Libre de objetivos
Cualitativa
Cargada de descripciones
No estructurados, con frecuencia que
no perturban la situación natural
El evaluador o investigador mismo se
convierte en una herramienta de
recolección de datos.
Preferencia por datos exactos Todo conocimiento es aceptable

Dos Paradigmas Básicos de Evaluación 33
DIFERENCIAS ENTRE LOS DOS PARADIGMAS BÁSICOS
DE EVALUACIÓN
El Paradigma Racionalista El Paradigma Naturalista
Análisis de los datos
Típicamente estadísticos Temáticos
Análisis de contenido de entrevistas,
documentos y observaciones
Informe
Estadístico-analítico
Naturaleza de las declaraciones de
Verdad
Leyes generalizadas
Resultados convergentes conducentes
a hacer predicciones
Realidad tangible única
Puntos fuertes
Proporciona buenas estimaciones de
las diferencias, variaciones y
correlaciones cuando las variables,
realmente, pueden ser definidas
apropiadamente y pueden
establecerse controles razonables
Puntos débiles
El buscar acomodar las preguntas de
evaluación a los métodos y modos de
análisis aceptables puede llevar a
escoger preguntas triviales y
artificiales y obtener resultados
triviales e inútiles.
Descriptivo, interpretativo
Típicamente un estudio de caso
Intuiciones acerca de covariaciones
naturales de los acontecimientos
Ideas perspicaces, analogías
Resultados divergentes
Realidades múltiples o una
construcción negociada de la realidad
en su contexto
Es responsivo, adaptable, el énfasis
es holista y humaniza la actividad
evaluadora
El evaluador puede perderse en las
complejidades de la vida real, puede
carecer de habilidades interpersonales
y perceptibilidad individual, por lo
cual puede terminar haciendo
afirmaciones poco significativas,
basadas en meras impresiones

34 Dos Paradigmas Básicos de Evaluación
Las cuestiones sobre confiabilidad y validez
Con demasiada frecuencia las discusiones sobre la evaluación racionalista
(ER) y la naturalista (EN) dan lugar a discusiones sobre su validez y
confiabilidad. ¿Son objetivos los datos recogidos? ¿Son válidos? ¿Son
confiables? Ahora se acepta ampliamente que hacer estas preguntas con
estas palabras es juzgar la EN contra los estándares de la ER. Desde un
punto de vista práctico esto no es justo, y desde el nivel conceptual es
absurdo.
Lincoln y Guba 4 , en su libro más reciente, han analizado los diversos
aspectos del rigor tal como se aplican a los dos paradigmas básicos de la
evaluación. Ellos plantean que tanto el racionalista como el naturalista
pueden ser científicos y rigurosos en sus propios términos. Ellos sugieren
que los términos apropiados para juzgar qué tan buena y confiable es la
EN son diferentes de los que se usan para la ER, como se muestra en el
siguiente cuadro:
TÉRMINOS RACIONALISTAS Y NATURALISTAS
APROPIADOS PARA DISTINTOS ASPECTOS DEL RIGOR
Aspecto Término Racionalista Término Naturalista
Valor de verdad Validez interna Credibilidad
Aplicabilidad Validez externa/
generalización Adecuación
Consistencia Confiabilidad Verificabilidad
Neutralidad Objetividad Confirmabilidad

Dos Paradigmas Básicos de Evaluación 35
¿Quéparadigma deben elegir los evaluadores de programas de desarrollo,
educación y capacitación?
El paradigma racionalista ha logrado grandes victorias en las ciencias
exactas. Ha producido investigaciones que han borrado enfermedades de
la faz de la tierra y ha puesto al hombre en la luna.
Tanto éxito obtuvo este paradigma que los científicos sociales
(sociólogos, psicólogos, economistas, educadores y aun antropólogos)
quisieron imitar el paradigma "científico" del físico y el químico. Usaron
el paradigma racionalista como venganza. ¡Les hizo sentir realmente
científicos! Por muchos años aprendieron el método racionalista y lo
enseñaron en la mayoría de los departamentos de ciencias sociales de las
universidades.
Durante los últimos veinte años se ha llegado a caer en la cuenta de
que el paradigma racionalista ha llevado a los científicos sociales a sentirse
bien pero no necesariamente a obtener buenos resultados. Hemos
descubierto que demasiadas veces la vida social no encaja en el modelo
experimental. Al tratar de controlar las variables, segmentamos el
comportamiento humano de una manera que no es natural y realmente
cambiamos la naturaleza misma del comportamiento humano que se estudia.
La agregación de puntajes y el tratamiento estadístico de los datos puede
parecer elegante e impresionar favorablemente, pero los resultados han
sido triviales y engañosos. En el comportamiento humano el contexto es
importante. No tenemos que estudiar el comportamiento solamente, sino
el comportamiento en-contexto.
La mayoría de las veces el paradigma naturalista resulta más apropiado
para el estudio del comportamiento humano. Después de haber sido
rechazado como subjetivo y cualitativo, está siendo cada vez más aceptado.
Según su metodología se vaya clarificando y se avance en las técnicas de
análisis de los datos, el paradigma naturalista de evaluación encontrará un
lugar adecuado en la metodología de la evaluación.
¿Deberá siempre utilizar el evaluador el paradigma naturalista para la
evaluación del impacto amplio de los programas de desarrollo, alfabetización
de adultos y capacitación para el desarrollo? La respuesta es: si no siempre,
casi siempre. El consejo que ha dado Lee J. Cronbach parece ser útil.
Cronbach 5 señala que en el mundo de la educación y el cambio social uno
se encuentra con dos contextos diferentes: el contexto del control, en el cual
el evaluador puede controlar la situación social para ajustaría a las

36 Dos Paradigmas Básicos de Evaluación
necesidades de la evaluación (por ejemplo: el estudio de los movimientos
de los ojos al mirar un afiche instructivo de tamaño grande); y el contexto de
la acomodación en el cual el evaluador no puede controlar la situación
social para ajustarse a las necesidades de la evaluación sino acomodarse él
mismo a las realidades existentes (por ejemplo: el estudio de la frustración
y la agresión entre los niños en un parque de juegos). En los contextos que
se pueden controlar, que tal vez no sean muchos, es correcto usar el
paradigma racionalista. En los contextos de acomodación, sin embargo,
tendría más sentido el paradigma naturalista porque, por definición, este
paradigma no busca perturbar las realidades como naturalmente existen.
SECCIÓN B: Modelos de Evaluación
Sobre el trasfondo de estos dos paradigmas generales, los especialistas han
propuesto muchos modelos diferentes de evaluación. Pero ¿por qué hay
tantos modelos de evaluación? ¿No hay una sola forma correcta de hacer
la evaluación?
Antes, en este capítulo definimos un modelo como lo esencial del
aprendizaje y el conocimiento de un especialista, establecido de manera
clara y parsimoniosa para comunicarlo entre los profesionales y los que
ejercen la práctica. Hay muchos modelos de evaluación diferentes debido
a que los distintos especialistas han pasado por experiencias diferentes al
aprender y hacer la evaluación y al reflexionar sobre sus experiencias han
utilizado diferentes puntos de vista y valores.
Los modelos de evaluación también difieren porque han surgido en
diferentes situaciones en que se desenvuelven los programas: dentro de la
educación formal o dentro de situaciones de educación extra-escolar y no
formal; y en situaciones de salud mental en un país industrializado o
dentro de la educación para la vida familiar en el contexto de un país en
desarrollo.
Finalmente, y lo más importante es que los modelos de evaluación son
diferentes porque los especialistas han introducido consideraciones de valor
adicional en su elección inicial de los paradigmas. Algunos modelos de
evaluación enfatizan una visión más sinóptica de la evaluación, sugiriendo
que no sólo evaluemos el comportamiento de los llamados beneficiarios
sino también el nuestro. Algunos modelos de evaluación sugieren que se
emplee la imaginación en las evaluaciones de modo que no dependamos

Modelos de Evaluación 37
sólo de fríos cálculos. También los hay que sugieren que las consecuencias
no previstas de las acciones de los programas pueden ser tan importantes
como las que se esperaban y se anticiparon. Por lo tanto, el modelo de
evaluación debe poder acomodar tanto las consecuencias anticipadas como
las que no se esperaban. Algunos proponen que la evaluación sea realizada
como una defensa y confrontación. Otros sugieren la evaluación
participativa, en la cual tanto los fines como los medios son determinados
participativamente por todos los implicados -organizadores, profesionales
y beneficiarios.
Se puede observar claramente que los valores dirigen el desarrollo de
los modelos de evaluación durante los últimos veinte años: (1) hay una
utilización exclusiva o complementaria de las estrategias naturalistas; y (2)
existe un movimiento hacia la inclusión de los beneficiarios de los
programas en el diseño y la ejecución de las evaluaciones. Las palabras
claves son holista y participativa.
A continuación se analizarán algunos de los modelos de evaluación a
los que se hace frecuente referencia en la literatura. Las discusiones serán
breves. En este libro incluimos esta discusión por dos razones: una educativa
y otra política. El agente de desarrollo o de la alfabetización debe tener
alguna idea de qué modelos de evaluación existen y cuáles son sus
características. Esto es para su fomación. Pero también hay una razón de
tipo político. Un agente alfabetizador también debe poder justificar su
elección de uno o varios modelos; y debe poder sustentarla frente a un
especialista externo. ¡No debemos permitir que los técnicos y especialistas
nos intimiden con el uso de nombres y frases poco familiares!
Se discutirán los siguientes modelos brevemente:
1. El modelo orientado por objetivos de Tyler
2. El modelo de experimentación social
3. El modelo CIPP y la cuadrícula EIPOL
4. Las dos caras de la evaluación
5. La evaluación responsiva
6. El modelo de evaluación discrepante
7. La evaluación transaccional
8. La evaluación libre de metas
9. Los enfoques investigativos
10. La evaluación iluminativa
11. La evaluación por expertos

38 Modelos de Evaluación
12. El modelo de la evaluación como defensa
13. El modelo de evaluación participatíva, y
14. El modelo de evaluación como estrategia para la situación
específica (3-S).
1. Evaluación orientada por los objetivos
Este modelo se asocia al nombre de Ralph Tyler y es tal vez el más
antiguo de los modelos de evaluación disponibles.
La evaluación que se realiza bajo este modelo busca hacer
comparaciones entre los "resultados esperados" y los "resultados reales".
En otras palabras, los niños o adultos participantes en un programa o
proyecto se examinan para ver si se han logrado los objetivos referidos a la
adquisición de formas particulares de pensar, sentir y actuar. En términos
prácticos, la evaluación se equipara con las pruebas.
Hay puntos importantes en este enfoque, que se centra en los resultados,
un concepto que se entiende con facilidad. No hay necesidad de definir
grupos experimentales y de control, con lo que generalmente se desorganiza
la rutina diaria en las escuelas y en las comunidades y cuya puesta en
marcha puede ser costosa. Las mediciones reflejan objetivos claramente
establecidos, por lo cual la confiabilidad no es una gran preocupación.
Mientras que las pruebas inicialmente son referidas a criterios, pueden
adquirir funciones con referencia a normas si se hacen comparaciones
entre diferentes situaciones consistentemente.
Sin embargo, este modelo tiene serias desventajas. La información
generada por las pruebas es demasiado estrecha para constituir una base
sólida y amplia para juzgar el mérito o valor del programa total. La
información generada por el modelo es terminal. Da pie a que su utilización
directa para mejorar el programa sea muy poca.
2. El modelo de experimentación social
Este es un modelo que busca experimentar con grupos sociales ya existentes.
La sociedad se convierte en laboratorio.
En la modalidad experimental clásica, el evaluador que usa este modelo
elige dos grupos, uno que recibe el tratamiento experimental y otro que no
lo recibe. Los conceptos metodológicos esenciales son: distribución
aleatoria, control, tratamiento y comparación.
Los proponentes del modelo han sugerido también los que se conocen
como diseños cuasi-experimentales, los cuales se supone que se ajustan

Modelos de Evaluación 39
mejor a las realidades del mundo real. Sin embargo, recientemente sus
mismos proponentes han planteado serias dudas con respecto a los diseños
cuasi-experimentales.
3. El modelo Contexto-Insumos-Procesos-Producto (CIPP) y la red EIPOL 6
El modelo CIPP se asocia con frecuencia con el nombre de Daniel L.
Stufflebeam, quien lo ha usado en distintos estudios evaluatívos.
De acuerdo con este modelo, el único propósito de la evaluación es
producir información útil para las decisiones. Empleando la metáfora del
sistema y sus cuatro parámetros (contexto, insumos, procesos, productos),
el modelo habla de cuatro tipos de evaluación para proporcionar información
referida a cuatro tipos de decisiones:
1. Evaluación de contexto - para proporcionar información sobre la
situación y poder tomar decisiones de planificación.
2. Evaluación de los insumos - para tomar decisiones de
programación como diseño de proyectos alternativos y decisiones
sobre personal.
3. Evaluación de los procesos - para tomar decisiones relacionadas
con la metodología y la ejecución, y
4. Evaluación de los productos - para evaluar el impacto y tomar
decisiones sobre reciclaje.
El modelo CIPP, cuando se propuso por primera vez, combinaba el
vocabulario de sistemas con la investigación formal, con su énfasis en la
clarificación de las necesidades de decisión en la evaluación, la observación
estructurada y la tradición de aplicar pruebas de rendimiento en las escuelas.
El modelo adoptó los criterios de validez interna y externa, confiabilidad,
objetividad, pertinencia, importancia, alcance, credibilidad, oportunidad,
permeabilidad y eficiencia de la información evaluativa producida. Se le
ha criticado por mostrar poca preocupación por los valores. Algunas
versiones recientes del modelo han tratado de superar algunas de estas
críticas.
En la cuadrícula EIPOL, Ravindra H. Dave 7 dividió el "resultado" del
lenguaje de sistemas (llamado el "producto" en el modelo CIPP) en dos
partes: (i) los resultados del aprendizaje y otros resultados "intermediarios"
del programa y (ii) los efectos a largo plazo del programa en los dominios
educativo y socio-económico. Así, los cuatro parámetros del sistema

40 Modelos de Evaluación
(contexto, insumos, procesos, productos) se convierten en cinco dimensiones
o fases de la evaluación, que son: la de la situación ambiental, la de los
insumos, la de los procesos, la de los resultados inmediatos y la de los
efectos a largo plazo. Combinando estas dimensiones con las cuatro fases
principales del ciclo de un proyecto (pre-planificación, ejecución
asimilación) se genera la llamada Cuadrícula EIPOL.
4. El modelo de las dos caras de la evaluación
Este modelo se asocia al nombre de Robert E. Stake. Se llama así porque
Stake habla de dos semblantes o caras de la evaluación: la descripción y el
juicio.
Este modelo se relaciona directamente con la evaluación de los efectos
en términos de los objetivos establecidos e implica completar dos matrices
de datos como sigue:
Matriz Descriptiva Matriz de juicio
Intenciones Observaciones Estándares Juicio
Antecedentes x x x x
(Insumos)
Transacciones x x x x
(Procesos)
Resultados x x x x
La tarea del evaluador es encontrar datos para todas las celdillas en la
tabla para comparar las observaciones con las condiciones y juzgarlas en
términos de los estándares convenidos entre los organizadores del programa
y los evaluadores. Se debe anotar que en el vocabulario de sistemas los
antecedentes son insumos y las transacciones son procesos. En su puesta
en marcha, el modelo ha usado muestras aleatorias estratificadas para
recoger información especial en combinación con el método de estudio de
casos.
Este modelo ha llamado la atención de los evaluadores respecto a la
necesidad de definir estándares sobre los cuales puedan hacerse juicios,
aunque el modelo mismo no ha resuelto el problema de la especificación
de los estándares.

Modelos de Evaluación 41
5. La evaluación responsiva
Con posterioridad, Stake se ha desplazado hacia el concepto de Evaluación
Responsiva, un modelo de evaluación que se acerca más a las evaluaciones
transaccional y naturalista. No es pre-ordenada (esto es, no está previamente
definida por el evaluador, como especialista) sino que responde a las
necesidades reales de las audiencias que requieren la información. No se
focaliza en las intenciones del programa sino en las actividades reales. Su
perspectiva es múltiple y utiliza las comunicaciones que naturalmente
ocurren entre todos los implicados. No sólo busca recoger información
sino captar el espíritu y el misterio del fenómeno en estudio. Por lo tanto
es informal y reiterativa y enfatiza las descripciones fuertes. Como puede
observarse es un enfoque muy humanista de la evaluación.
6. El modelo de la discrepancia
Este modelo fue propuesto por Malcom Provus, quien definió la evaluación
como el arte de describir una discrepancia entre lo esperado y lo ejecutado
en un programa.
Los principios básicos del modelo son: los estándares, la ejecución y
la discrepancia. La tarea es comparar la ejecución con los estándares para
determinar la discrepancia y así poder juzgar el valor o la adecuación de
un objeto. El modelo sugiere también que busquemos las discrepancias en
términos de cinco aspectos diferentes de un programa:
1. el diseño del programa
2. su instalación
3. el proceso de ejecución
4. el producto, y
5. el costo
Superficialmente el modelo parece algo racionalista, pero no lo es. En
realidad, humaniza la evaluación y la hace responsiva por la manera como
aplica los conceptos de estándares, ejecución y discrepancia. Por ejemplo,
el evaluador ni establece estándares ni juzga las comparaciones entre
estándares y ejecución, sino que solamente recoge los datos sobre la
ejecución e indica las discrepancias. Es el cliente quien debe fijar los
estándares aunque el evaluador le ayude a esclarecer la estructura del
diseño del programa y, así, a establecer estándares apropiados. El cliente
deberá señalar qué tipo de información le será más útil para tomar decisiones

42 Modelos de Evaluación
y debe hacer los juicios sobre las discrepancias.
Mientras que reconoce la utilidad del método experimental en algunos
casos, el modelo muestra preferencias por los métodos descriptivos de la
historia y la antropología y el método de estudio de casos de la sociología
y la psiquiatría. Por su énfasis relativo en métodos naturalistas, sugiere que
los evaluadores trabajen en equipos de modo que puedan confrontar las
percepciones individuales y cuestionar los estándares que se aplican para
describir las discrepancias.
El modelo pretende suministrar permanente información a los que
toman las decisiones sobre la ejecución de un programa en marcha. También
pretende proporcionar información que tiene una relación directa de unoa-uno
con las decisiones que realmente se toman. No obstante, los recursos
requeridos para aplicar efectivamente este modelo son considerables en
términos de personal, tiempo y dinero.
7. La evaluación transactional
El modelo transaccional de evaluación tiene sus raíces en la psicología
transaccional, la cual considera la percepción y el conocimiento como
procesos de transacción. Estas transacciones ocurren entre individuos
concretos en situaciones concretas; y el evaluador, como observador, es
siempre parte del conjunto de transacciones. El modelo se asocia al nombre
de Robert M . Rippey, quien ha desafiado a los educadores y capacitadores
para que se concentren en los procesos educativos -el programa, la clase y
la escuela- más que en las calificaciones obtenidas por los estudiantes.
Se centra en rendir cuentas sobre las responsabilidades -se pide a los
agentes de cambio que se estudien a sí mismos, sus roles, los sistemas en
los cuales desempeñan esos roles y los sistemas más amplios que constituyen
el entorno de los sistemas en que se producen los cambios. Las metodologías
recomendadas son informales. En palabras del mismo Rippey 8 :
Una comparación con evaluaciones sumativas y formativas tradicionales muestra que el
objetivo de la evaluación es diferente: el sujeto de la evaluación es el sistema, no el
cliente o los servicios que el sistema ofrece. Las variables se relacionan con los aspectos
sociales, psicológicos y comunicativos del sistema más que con los objetivos manifiestos.
La información se devuelve en forma continua al sistema. El evaluador mismo es una
parte más del sistema en funcionamiento. Las consideraciones convencionales de
confiabilidad, validez y objetividad no son tan importantes como las de oportunidad,
pertinencia y los efectos observables de generar información evaluativa. En primer
lugar, la evaluación intenta transformar la energía conflictiva del cambio en actividad

Modelos de Evaluación 43
productiva para clarificar los papeles de las personas involucradas en los cambios que
produce el programa, no para generar nuevos conocimientos o para atribuir causalidad.
Deben hacerse notar los supuestos que se utilizan en el modelo
transaccional de evaluación con respecto al paradigma básico y las
posiciones de valor adicionales introducidas en el modelo. Es, en efecto,
un modelo con una carga grande de valores. Enfatiza en la información
sobre relaciones y nos exhorta a ser sensibles a las consecuencias no
esperadas. También implica que la evaluación sea realizada colectivamente
por los protagonistas y diseñadores de un programa de cambio y por los
representantes de aquellos a quienes probablemente éste afecte.
8. La evaluación libre de metas
La idea de una evaluación libre de metas fue introducida por Michael
Scriven. El señaló que con nuestro énfasis sobre las metas establecidas,
nuestra búsqueda se había centrado completamente en los efectos esperados
-efectos que queríamos crear bajo las metas aceptadas del programa. Este
enfoque llegó a ser tan excluyente que con frecuencia desarrollamos una
visión como por entre un túnel: buscar la evidencia de los efectos esperados
y no ver nada más.
El sugirió que debíamos buscar los efectos reales del programa, los
que realmente hubieran ocurrido, ya fuera que hubiesen sido intencionales
o no. Pensaba que esto podría hacerse si concebíamos una evaluación libre
de metas, independiente de los objetivos establecidos para el programa.
Entonces podrían combinarse los resultados de la evaluación centrada en
objetivos y la evaluación libre de metas. El uso de una evaluación libre de
metas no debe sugerir una evaluación en el así llamado "estilo responsivo".
En efecto, Scriven es muy entusiasta de la evaluación sumativa y se
interesa por las comparaciones que los consumidores puedan utilizar.
También sugiere que hagamos más evaluación del personal (esto es, de los
maestros, trabajadores de campo, etc.) y que las personas rindan cuentas
de sus responsabilidades.
9. Enfoques investigativos a la evaluación
Jack D. Douglas 9 ha analizado los métodos de los investigadores o los
detectives para mostrar cómo las estrategias investigativas podrían usarse
para exponer la verdad acerca de las personas en situaciones sociales.
El modelo investigativo no supone la existencia de un mundo de

44 Modelos de Evaluación
cooperación, apertura y veracidad, sino de información errada, evasivas,
mentiras y enfrentamientos. Por eso, sugiere estrategias para captar una
situación de evaluación, infiltrarse, construir relaciones amistosas y de
confianza y usarlas en un proceso continuo de prueba y control.
El modelo modus operandi sugerido por Michael Scriven es también
un método investigativo para estudiar relaciones de causa-efecto a través
del examen secuencial. Este método reconstruye los procedimientos del
historiador, el detective, el antropólogo y el ingeniero que apunta hacia los
problemas. Este modelo se propone como sustituto de los enfoques
experimentales y cuasi-experimentales cuando las situaciones de campo
impiden su utilización. En esencia, el método implica generar cadenas
hipotéticas de eventos causa-efecto y eliminar aquellos que haya sido
imposible que sucedieran. Este es, desde luego, el método característico
del detective.
10. La evaluación iluminativa
Este modelo evolucionó como un claro rechazo al modelo de evaluación
"agrícola-botánico" enraizado en el paradigma científico. Se afirmaba que
los grupos y comunidades no podían asignarse al azar a tratamientos como
se hacía con las fincas y los terrenos agrícolas, y que a los seres humanos
no se podía administrar tratamientos similares al de sembrar semillas en
un terreno. En todo caso, los datos cuantitativos generados por el modelo
agrícola-botánico sólo proporcionaban descripciones parciales del fenómeno.
Parlett y Hamilton 10 construyeron este modelo iluminativo sobre la base
de dos consideraciones importantes:
1. Los sistemas de instrucción, una vez adoptados, se convierten en
sistemas vivos. Los sistemas vivos no se ajustan a las descripciones
que se presentan en los catálogos. Ocurren modificaciones
importantes en los programas entre como se dibujan en el taller a
como se ponen en práctica realmente.
2. Los programas de capacitación y desarrollo no pueden separarse
del ambiente de aprendizaje en el cual se realizan. Los actores en
este ambiente y las estructuras del medio se constituyen en partes
del sistema de instrucción.
Aunque retienen el uso de los métodos de muestreo y los cuestionarios
y pruebas estructuradas, Parlett y Hamilton atrajeron nuestra atención hacia

Modelos de Evaluación 45
los métodos naturalistas centrados en la descripción y la interpretación.
Las tres etapas en el proceso de evaluación sugieren incluir: (a) la
observación de la situación educativa; (b) la selección de temas mediante
un enfoque progresivo y una indagación intensiva; y (c) el análisis y la
explicación.
11. La evaluación por expertos
El modelo de evaluación por expertos propuesto por Elliot W . Eisner 11
rompe claramente con el paradigma científico y rescata la tradición estética
de las artes. Eisner dice que la enseñanza es un arte, y la escolarización un
artefacto cultural. Entonces, ¿por qué no hacer evaluación al estilo de los
entendidos? El afirma que, en efecto, sólo un experto que ha pasado toda
una vida en el campo puede proporcionar evaluaciones mediante el uso
sistemático de la sensibilidad perceptiva, la organización de la experiencia
previa y la refinación de ideas perspicaces o intuiciones que señan
imposibles de obtener de otra forma.
Eisner sugiere dos conceptos interrelacionados: (1) la experiencia en la
educación (2) la crítica educativa para desempeñar las tareas de la evaluación
educativa. La experiencia constituye el medio a través del cual pueda
reorganizarse la forma del contexto y sus configuraciones interiores de
modo que puedan tomarse decisiones inteligentes acerca del contexto. La
crítica educativa es el arte de la revelación a través de la descripción, la
interpretación y la evaluación.
La metodología que combina la experiencia y la crítica no es de
manera alguna simple o romántica, y ciertamente, puede ser sistemática y
rigurosa. Los críticos de la educación pueden aprender a buscar las
cualidades permeables de la educación en las clases y en situaciones de
capacitación; y pueden aprender a buscar los significados de indicios ocultos.
Las cuestiones de confiabilidad y validez pueden manejarse por la
corroboración estructural (validación mutua de una parte de los datos por
el resto, siendo sustentada la totalidad por las partes que la constituyen); y
por la adecuación referencial (la existencia de una relación entre lo que
dice el crítico educativo y el objeto de su crítica). También es posible
hacer generalizaciones en el sentido de que la crítica en educación llevará
a procesos más refinados de percepción en situaciones sucesivas; y suscitará
nuevas anticipaciones en la mente del evaluador.
Los informes de críticas educativas se asemejan algo a los estudios de
caso, pero los estudios de caso en forma de críticas educativas son diferentes

46 Modelos de Evaluación
en el sentido de que la crítica misma es una forma de arte. Como
descubrimiento crítico, un informe educativo crítico crea una imagen vivida,
que comunica a los lectores una comprensión de las realidades educativas.
12. El modelo de la evaluación como defensa
Este modelo es también llamado modelo de evaluación entre adversarios o
modelo judicial. Como lo sugieren estas denominaciones el modelo utiliza
procedimientos casi judiciales para conducir la evaluación. Es característico
que se permita a dos grupos de personas, unos a favor y otros en contra de
un programa, defender posiciones opuestas ante un jurado educativo
respecto a los asuntos que van surgiendo y son seleccionados para el
juicio. Se establecen las reglas y procedimientos probatorios y se permite
el interrogatorio para comprobar lo declarado anteriormente. Es un juicio
educativo con participación de un jurado.
Los proponentes del modelo citan varias ventajas del mismo: permite
a los evaluadores desarrollar y utilizar procedimientos explícitos para generar
y evaluar las estrategias de programas alternativos; proporciona un registro
de las decisiones para luego establecer responsabilidades; no sólo acomoda
los datos sino también las percepciones, opiniones, sesgos y especulaciones,
y puede implicar en el juicio a una gran variedad de interesados.
Por otra parte, hay quienes han encontrado serias fallas en el modelo,
pues dicotomiza las posiciones en "pro" y en "contra" del programa. En la
vida real, desde luego, no hay sólo dos sino muchos aspectos que considerar
sobre un mismo asunto. El modelo convierte la evaluación en un evento
competitivo. Como se decide de qué lado estarán los grupos tirando al aire
una moneda, con frecuencia los "abogados" no se asignan bien y ocurre
que no hay convicción sobre las posiciones que defienden. Las habilidades
de los jueces y los jurados son muy variables.
Debido a los muchos aspectos negativos del modelo y los altos costos
que implica organizar el juicio, el formato que presenta "un caso en la
corte" se ha transformado en "audiencias aclaratorias". Se han eliminado
los jurados, aunque todavía es usual emplear una especie de panel. Se
puede llamar a testigos expertos que sirvan para sustentar posiciones en
pro o en contra. Puede haber interrogatorios para comprobar declaraciones.
Así se aclaran muchas cuestiones pero las decisiones sobre preferencias y
modificaciones se deja que las hagan quienes escuchan a las partes.

Modelos de Evaluación 47
13. El modelo de evaluaciónparticipativa
Frecuentemente se asocia el nombre de Paulo Freiré, el educador brasilero
y autor de La Pedagogía del Oprimido (New York: Herder and Herder,
1972) con la evaluación y la investigación participativas. En esta área los
evaluadores diseminados por todo el mundo han realizado gran cantidad
de trabajos durante los últimos diez años. Se han establecido redes de
investigación participativa y se han llevado a cabo estudios evaluativos
cuyos resultados han sido publicados.
La investigación o la evaluación participativa no es un esfuerzo
científico de los profesionales sino un recuento existencial profundo de
una experiencia en que toman parte todos los interesados conjuntamente,
en colaboración. Los educandos se convierten en evaluadores y estos en
estudiantes. Se decide en forma participativa acerca de las metas, los fines,
los estándares y las herramientas de la evaluación. Cada participante
contribuye con datos personales y recoge parte de los datos que deben
obtenerse. Se emprende en forma colectiva el análisis de los datos. Los
juicios también se emiten colectivamente.
En su discurso en el Instituto de Educación de Adultos de la Universidad
de Dar es Salaam, en 1972, Paulo Freiré presentó los posibles pasos para
una metodología participativa:
1. El equipo de evaluación (o investigación) debe familiarizarse con
investigaciones y evaluaciones realizadas previamente, sin importar
los métodos utilizados en las mismas.
2. El equipo debe delimitar geográficamente el área de acción, aunque
desde el punto de vista cultural no hay fronteras.
3. El equipo debe identificar las instituciones oficiales y
organizaciones populares existentes en el área seleccionada y
hablar con sus dirigentes.
4. El equipo debe decir honestamente a los líderes que ellos han
venido a proponer la posibilidad de que todos los miembros de esa
comunidad participen en las discusiones y trabajen conjuntamente.
5. Si los líderes aceptan, el equipo de evaluación debe celebrar
reuniones no sólo con los líderes de las distintas instituciones
sino también con otras personas que de alguna manera estén
relacionadas con esas instituciones.
6. El equipo deberá discutir con la comunidad lo que se requiere
para las reuniones, en las cuales pueden encontrarse unas treinta

48 Modelos de Evaluación
personas a diario o semanalmente para las discusiones. Estas
reuniones pueden involucrar a casi todos los habitantes de la
comunidad y prolongarse durante varias semanas. Lo importante
es obtener la percepción que tiene la comunidad como una
totalidad.
7. En esta etapa sociólogos, psicólogos, educadores y lingüistas
deberán incorporarse al equipo de investigación o evaluación y
visitar a cada grupo. Deberían registrarse las discusiones efectuadas
en cada reunión. Debe instarse a que la gente hable si guardan
silencio, de lo contrario, el papel del equipo debe ser sólo de
asesoría. Uno de los miembros de la comunidad debe presidir
estas reuniones.
8. Puede discutirse sobre muchos temas diversos como la justicia, la
educación, el gobierno, la industria; pero todos referidos a las
personas en el contexto de realidades concretas.
9. Cuando, los grupos más pequeños creen haber agotado los tópicos
seleccionados para las discusiones, cada grupo debe escribir sus
conclusiones y presentarlas en sesión plenaria. Los relatores en
dichas sesiones deben ser miembros de la comunidad, no los
especialistas del equipo. Los trabajadores deben convertirse en
intelectuales. Debe haber una discusión colectiva de cada uno de
los informes de los grupos.
10. El equipo de evaluación debe hacer ahora un estudio crítico de
las conversaciones de la gente. Este estudio debe ser
interdisciplinario. Deben determinarse los diversos niveles en que
la gente percibe la realidad y resolverse todas sus implicaciones.
Esto no deben hacerlo los científicos sociales por su cuenta sino
con los miembros de la comunidad.
11. Junto con la gente de la comunidad, el equipo de evaluación debe
ahora hacer un borrador de una propuesta para emprender las
acciones subsiguientes. El programa no debe resolverse para la
comunidad sino con ella.
Con lo anterior debe quedar claro que la evaluación participativa no
puede distinguirse del diagnóstico de necesidades o la concientización de
la comunidad. También se diluye la distinción entre evaluación e instrucción.
La evaluación participativa proporciona a los participantes mayores
oportunidades de elevar su nivel de conciencia y consolidar su sentido de

Modelos de Evaluación 49
poder y auto-valoración.
Como se señaló anteriormente, el Consejo Internacional para la
Educación de Adultos ha trabajado mucho en la evaluación participativa y
ha establecido una red de evaluación participativa a escala mundial. Sin
embargo, no parece que haya habido desviaciones significativas de tipo
metodológico. Los métodos han mantenido más o menos el espíritu de la
lista de pasos propuestos por Paulo Freiré y presentados aquí 12 .
14. El modelo de evaluación (3-S) "- como estrategia para la situación
específica
Antes de presentar nuestro modelo de evaluación 3-S, recordemos a los
lectores que es inútil buscar el modelo de evaluación o una forma correcta
de evaluar la alfabetización, la capacitación o el desarrollo. Como nos ha
advertido Cronbach, un modelo puede ajustarse al "contexto del control" y
otro al "contexto de la acomodación". Un agente alfabetizador puede estar
usando más de uno de los modelos presentados aquí, en el contexto de un
solo estudio evaluative
Otro punto importante que debe recordarse es que los modelos no se
utilizan como fórmulas. Los modelos son para pensar. Raras veces le darán
un conjunto de procedimientos cuyos pasos no puedan cambiarse. Si así lo
hacen probablemente conducirán a cometer errores.
El modelo 3-S, el cual analizaremos a continuación, es un conjunto
vacío que nos permite seleccionar el modelo apropiado o la combinación
adecuada de modelos y enfoques que se vaya a usar en un programa o
estudio evaluative La esencia de su concepción es la siguiente: no comience
con un modelo de evaluación, sino con un problema. Analice el problema
e identifique sub-problemas, piense acerca de cómo el problema o sus
partes pueden desenvolverse con el transcurso del tiempo; y, finalmente,
piense en el medio en el cual se desarrollará la evaluación. Las diferentes
partes del problema de evaluación probablemente requerirán la utilización
de distintos modelos y enfoques. Podrá ser necesario hacer una encuesta y
un estudio de caso en profundidad. Podrán requerirse pruebas de rendimiento
de los educandos y análisis de contenido de documentos.
Las exigencias de tiempo pueden demandar tomar el pulso al programa
mediante apreciaciones rápidas aun cuando, idealmente, hubiese sido mejor
hacer una evaluación más sistemática. Finalmente, el evaluador puede
encontrarse en una situación en la cual no tenga calculadoras ni colegas
que puedan ayudarle con el análisis de grandes cantidades de datos

50 Modelos de Evaluación
numéricos, donde no haya fotocopiadoras o mimeógrafos, o no se tenga
papel para duplicar los instrumentos necesarios. Este modelo nos ayuda a
pensar sobre las estrategias que habrá que seleccionar en situaciones
especiales de la vida real, sobre cómo hacer una "segunda mejor selección"
cuando la mejor no es posible.
En otra publicación 14 hemos enunciado los siguientes pasos en la puesta
en práctica del modelo 3-S:
1. Articular las relaciones de fines y medios en el programa de
cambio que se va a evaluar.
2. Generar perfiles de necesidades de información y asuntos
relacionados con la evaluación.
3. Desarrollar una agenda de evaluación específica para la situación
4. Elegir metodologías y técnicas realistas apropiadas
El modelo 3-S ha influido en los enfoques de la planificación y la
gestión de la evaluación que se presentan en este libro.
Cosas para hacer o para pensar
1. ¿Cuál de los dos paradigmas básicos analizados en este capítulo tiene
más posibilidad de generar la información más útil en su programa de
desarrollo, de alfabetización o de capacitación para el desarrollo? ¿O
tendrá usted que usar una mezcla ambos?
2. ¿Cuál o cuáles de los modelos descritos en este capítulo considera
usted personalmente que le podría ser más útil actualmente? ¿Qué más
le gustaría saber sobre este modelo para poder utilizarlo?
3. ¿Ha podido usted encontrar algún estudio evaluativo terminado que se
ajuste del todo a alguno de los modelos descritos en este capítulo?

Modelos de Evaluación 51
Notas
1. Kuhn, T.S. The structure of scientific revolutions. Chicago: University
of Chicago Press, 1962.
2. En nuestra discusión en este capítulo el término "teoría" no ha sido
definido ni explicado. Esto es así porque la literatura sobre evaluación
habla con frecuencia de modelos de evaluación y pocas veces de la
teoría de la evaluación. Brevemente digamos que, en términos del
status conceptual, la teoría cae entre el paradigma y el modelo. En su
mejor sentido, la teoría es un conjunto de leyes y generalizaciones
empíricas conectadas deductivamente. Un modelo es frecuentemente
un diagrama esquemático que conecta la teoría con la práctica.
3. Aquí puede hacerse referencia al trabajo de Donald T. Campbell y
Julian C. Stanley, Experimental and quasi-experimental designs for
researchers. Chicago: Rand McNally, 1966.
4. Lincoln, Yvonna S. y Guba, Egon G. Naturalistic inquiry. Beverly Hills,
CA: Sage, 1985.
5. Cronbach, Lee J. et. al. Towards reform of program evaluation. San
Francisco: Jossey-Bass, 1980.
6. Por la iniciales en inglés de las dimensiones de la evaluación que
considera la situación ambiental (E), los insumos (I), los procesos (P),
los resultados inmediatos (O) y los efectos a largo plazo (L).
7. Dave, Ranvindra H. "A built-in System of Evaluation for Reform
Projects and Programmes in Education". International Review of
Education, Vol. 26 N 2 4, pp. 475-482,1980.
8. Rippey, Robert M., ed. Studies in transactional evaluation. Berkeley,
CA: McCutchan, 1973, pp. 3-4.
9. Douglas, Jack D. Investigative social research. Beverly Hills, CA: Sage,
1976.

52 Modelos de Evaluación
10. Pariert, M. y Hamilton, D. "Evaluation as illumination: A new approach
to the study of innovatory programs". Occasional Paper, N Q 9.
Edinburgh: Center for Research in the Educational Sciences, University
of Edinburgh, 1972. Ver también Richards, Howard, The Evaluation of
Cultural Action. An Evaluative Study of the Parents and Children
Program (PPH). Londres: Macmillan, en asociación con el International
Development Research Centre, 1985.
11. Eisner, Elliot W . Educational Imagination: The design and evaluation
of school programs. New York, NY: Macmillan, 1979.
12. "Participatory research: Development and issues". A special issue of
Convergence, Vol. XIV, N 9 3,1981.
13. De las iniciales de las palabras en inglés Situation, Specific y Strategy.
14. Bhola, H.S. Evaluating functional literacy. Amersham, Bucks, U.K.:
Hulton Educational Publications Ltda., 1979. Páginas 25-33.

Parte II
La Planificación y la Gestión de la Evaluación
En esta Parte II de la monografía se discuten los procesos interrelacionados
de la "planificación y la gestión de la evaluación". Aquí se explican y se
demuestran los respectivos enfoques. Debe anotarse que estos dos procesos
se desarrollan a nivel del programa o de la institución. Por eso, deben
preceder al proceso de "diseño" y de "ejecución" de estudios evaluativos
individuales. Esta Parte se divide en los siguientes capítulos:
3. La Planificación de la Evaluación, y
4. Ejecución y Gestión de la Evaluación

CAPITULO 3
LA PLANIFICACIÓN DE LA EVALUACIÓN
El concepto de "planificación de la evaluación" es relativamente nuevo en
la literatura sobre evaluación. Planificar es elegir. La planificación de la
evaluación consiste en elegir de entre los muchos posibles interrogantes
planteadas para la evaluación. Para generar un conjunto de preguntas
significativas es necesario un enfoque sistémico. El enfoque de la
planificación de la evaluación presentado en este capítulo sugiere que
todos los sistemas interrelacionados -el de alfabetización, el de la
comunidad o de ejecución, dentro del cual se utilizará la alfabetización y,
finalmente, el sistema social circundante- sean descritos en términos de
los cuatro parámetros del sistema, esto es, el contexto, los insumos, los
procesos y los resultados. Deben plantearse interrogantes acerca de qué
parámetros necesitan ser aclarados, y, en consecuencia, qué información
debe generarse para clarificar lo que no esté claro. El conjunto ideal de
necesidades de información debe ser entonces sometido a los criterios de
conveniencia yfactibilidad. La lista definitiva de necesidades de información
de los que toman las decisiones debe conformar la agenda de evaluación
de un programa particular.
"Planificación" y "planes" son hoy en día palabras familiares en la mayor
parte del mundo. Típicamente, un plan es un conjunto de intenciones o
disposiciones propuestas por adelantado; un método, esquema o diseño
para lograr algún objetivo en un futuro inmediato o distante. En la vida
diaria, la planificación es el proceso más o menos intuitivo de desarrollar tal
plan.
La planificación de la evaluación profesional
En la vida profesional de un evaluador los significados esenciales de los
planes y la planificación siguen siendo los mismos. Sin embargo, para
que un plan de evaluación realmente sea profesional no debe ser meramente
intuitivo. Debe ser el resultado de un proceso de planificación que ha sido

56 Planificación de la Evaluación
deliberado, sistemático, informado, y fundamentado en la realidad. Es
posible cumplir estos criterios si el evaluador ejecuta el proceso de
planificación como sigue:
1. La evaluación debe conceptualizarse como una respuesta a las
necesidades de información de los que toman las decisiones.
Aun más, esta respuesta evaluativa debe organizarse para que sea
sistémica y sistemática. Debe ser sistémica en el sentido de que
implica un enfoque sistémico. El evaluador debe considerar el
ejercicio evaluativo ligado con el sistema del programa de
alfabetización, al sistema de la comunidad o de ejecución en el
cual se utilizarán las habilidades adquiridas con la alfabetización,
y el sistema social circundante, todos al mismo tiempo. Los
distintos sistemas deben ser descritos en términos sistémicosdinámicos,
utilizando los parámetros de los sistemas -insumos,
contexto, procesos y resultados.
2. La respuesta evaluativa también debe ser sistemática en el sentido
de que la elección de los interrogantes de la evaluación no se
haga arbitrariamente. No debe permitir que el evaluador se
paralice ante el primer problema que surja en la evaluación.
Debe requerir mirar la totalidad de las necesidades de la
evaluación -primero y siempre- antes de hacer la selección de
determinadas preguntas y elegir las estrategias particulares de
recolección de datos.
3. Las descripciones dinámicas responderán preguntas como las
siguientes: ¿Qué insumos, mediante qué procesos, en qué
contextos, llevarán a obtener qué resultados? El planificador de
la evaluación, con la propia colaboración de los que toman las
decisiones, debe entonces hacer un listado de las necesidades de
información de los que toman las decisiones, las cuales surgen de
estas descripciones dinámicas, al separar lo urgente y lo viable de
aquella información que sólo "sería bonito tener".
¿Qué es un sistema?
En el anterior listado de etapas hemos usado repetidas veces la palabra
sistema. En este punto es necesario introducir una definición formal de

Planificación de la Evaluación 57
sistema. Este es una disposición ordenada o una combinación de partes o
elementos interrelacionados e interdependientes que surgen como una
totalidad. Una familia es un sistema. Una cooperativa es un sistema. Un
programa de alfabetización también lo es -es un sistema técnico-social,
podríamos añadir. Vivimos, respiramos, trabajamos, votamos, jugamos y
rezamos dentro de sistemas sociales de diversa índole.
Sistemas y subsistemas
Puede haber sub-sistemas dentro de los sistemas. Los sub-sistemas, a su
vez, pueden estar constituidos por otros sub-sub-sistemas. Por otra parte,
los sistemas pueden ser parte de supra-sistemas y mega-sistemas más
amplios. Es importante recordar que los límites de los sistemas y subsistemas
no son creados por Dios. Son límites que les asignamos nosotros
simplemente porque consideramos que son convenientes, tanto para
entender los sistemas como para intervenir en ellos.
Pensamiento sistémico
El pensar con un enfoque sistémico es el hábito mental de mirar las cosas
como un todo. Es un "pensamiento holista". Es el tipo de pensamiento que
nos permite pensar acerca de múltiples procesos que ocurren
simultáneamente y nos ayuda a evitar las limitaciones del pensamiento
lineal. Pensar así es aprender a considerar distintas entidades e individuos
como vinculados entre sí en una red de relaciones aun cuando pueden
aparecer como separados, y aislados.
Descripciones sistémicas
Una importante ventaja del pensamiento sistémico es que todos los
sistemas, cualquiera sea su naturaleza, tamaño o complejidad pueden
describirse usando los mismos cuatro parámetros (insumos, procesos,
resultados y contexto). El "proceso" como parámetro del sistema pone al
descubierto la dinámica del mismo. Los "insumos" como parámetros nos
dicen de qué vive el sistema. Podemos hacemos una pregunta: ¿Qué
variaciones serían posibles en los insumos y procesos para obtener
diferentes "resultados" en un "contexto" determinado? En algunos casos

58
Planificación de la Evaluación
se podrá manipular el "contexto" mismo. Lo que se quiere señalar es que
uno puede referirse a la descripción de un sistema en términos de estos
cuatro parámetros como descripción en términos del diseño o como
descripción dinámica del sistema. Puesto que nuestro objetivo final en la
evaluación de la alfabetización funcional a la post-alfabetización es
intervenir en los procesos educativos y de desarrollo para mejorarlos, ese
tipo de descripciones son sumamente útiles.
Descripciones sistémicas de la "Alfabetización para el Desarrollo": Tres
sistemas y subsistemas interrelacionados
A manera de demostración del proceso de desarrollar lo que hemos
denominado "descripciones en términos del diseño", tomaremos como
ejemplo la pl? úficación de la evaluación en un "sistema de alfabetización
para el desarrollo". Demostraremos cómo para planear la evaluación en
este caso, el evaluador no puede dejar de considerar el sistema del programa
de alfabetización, el sistema de la comunidad o de ejecución en el cual se
realizará la alfabetización y el sistema socio-económico total. La Figura
1, en la página siguiente, muestra en forma gráfica estas relaciones. El
sistema de alfabetización recibe los insumos pertinentes que serán
sometidos a determinados procesos en el contexto social/organizacional
específico del programa de alfabetización. Se obtienen algunos resultados
deseados (y otros no previstos). "XYZ" en el gráfico son los resultados
que no provienen del sistema de alfabetización mismo, sino que se
añadieron desde fuera a los resultados del sistema de alfabetización para
convertirse en insumos para la comunidad o para el sistema de ejecución.
Desde luego, el sistema del programa de alfabetización debería haberse
diseñado de modo tal que estuviera en perfecta relación con la comunidad
(o con el sistema de ejecución), en el cual se habrán de utilizar las
habilidades de alfabetización. Es sorprendente ver con cuanta frecuencia
este requisito, que parece obvio, es desatendido por los planificadores.
Dentro del sistema de la comunidad o de ejecución, de nuevo se someten
los insumos a procesos en un contexto determinado para producir los
resultados de este sistema en particular, el cual producirá resultados
anticipados y no previstos. Algunos corresponderán a lo deseado, otros
no. Estos resultados serán complementados con otros resultados "PQR"
que provienen de otra parte dentro del sistema social y serán también
insumos para la dinámica general del sistema social.

CO
u-
ISTEM
ABETI
S 3
0)
z
X
LU
Ü
O
ce
û_
ca
o
LU O
n ü
< <
rsi
a>
•o
o
0 g
| O O Z H I U X H O "-i
Q <
t
_ça
Q.
_ço
ca
co
Q.
C/5
LU
CC
LU !^J rsi
H- H- >-
CO — LU X
m
co
<
O Q Q
Q < o
CO
T
i- co
V)
J2
o>
•o
c
•o
Ü
ca
CO
>
LU
_ço
a>
•o
c
o
'5
CO
u
O
ü
LU
O
<
O
ü
ü
LU
—3
LU
LU
Q
3 X
0)
ca
_>
co
Ü
c
Q
<
Q
1 OOZI-LÜXHO-
m LU o
t
<
O
o
<
m
LU
I-
(/)
(f)
^ S 9 ö er
•H 1— -z. => o
—' co ZD o a.
Z3 ôô S ty
C/5 _i O LU
2
im.
ca
(0
CD
Q
"3
ca
ca
a.
c
o
'ü
ca
,N
*•»
Q)
ca
UOZHUJXI-O
t
Planificación de la Evaluación 59

60 Planificación de la Evaluación
La descripción de los sistemas en términos dinámicos
Desde luego, existen muchas formas diferentes mediante las cuales se
podría describir el desarrollo que experimenta el sistema social, un particular
sistema de comunidad/ejecución o un sistema de alfabetización al servicio
I
N
S
U
M
O
S
P
R
O
C
E
S
O
S
SISTEMA DE
ALFABETIZACIÓN
Educandos
hombres, mujeres
Facilitadoresmaestros,
extensionistas,
educadores,
políticos
Métodos y
materiales
Insumos
tecnológicos
Infraestructura
Locales
Educativo (formal,
informal)
De Extensión
Concientización
Movilización
Reorganización
social
Coordinación
Gestión
SISTEMA DE
COMUNIDAD/
EJECUCIÓN
Insumos del sistema
de alfabetización
funcional
Instalaciones para la
post-alfabetización
y la educación
continuada.
Bibliotecas rurales/
urbanas
Servicios de
extensión
Capacitación
vocacional en las
fábricas
Paquetes de crédito
e información
Extensión
educativa
Capacitación en
administración
Segunda
socialización
Organización
Fortalecimiento
institucional
Movilización
Renovación cultural
Capacitación de
personal
SISTEMA
SOCIAL
Insumos del sistema
de comunidad/
ejecución
Ideología, voluntad
política
Iniciativas de
políticas sobre la
cultura, el
desarrollo, los
medios
Tecnología/
Infraestructura
Modernización
Democratización

Planificación de la Evaluación 61
c
o
N
T
E
X
T
O
S
R
E
s
U
L
T
A
D
O
S
SISTEMA DE
ALFABETIZACIÓN
Clima grupa!
Organización social -
Conjuntos de
edades,
compañeros, etc.
Cultura local
Políticas comunitarias
Sexismo, actitud ante
el envejecimiento
Ambiente de
aprendizaje de la
comunidad
Individuos
alfabetizados
funcionales
Individuos
políticamente
conscientes
Materiales y métodos
probados
Facilitadores con
experiencia
Sistemas locales
efectivos
Mejor ambiente de
aprendizaje
SISTEMA DE
COMUNIDAD/
EJECUCIÓN
Políticas
comunitarias
Organización social
Estados agrícolas
Cooperativas
Organización
industrial
Infraestructuras
educativas y
culturales
Alfabetizados que
utilizan su
alfabetización
haciendo
transacciones más
efectivas con
todos los aspectos
del ambiente -
económicos,
sociales, políticos,
físicos
Infraestructuras
dinamizadas
Menos accidentes
Matrícula de
los niños en la
escuela
Renovación cultural
SISTEMA
SOCIAL
Nacional
Internacional
Sociedad moderna
Sociedad
democrática
La alfabetización funcional generalizada se asume con sus tres componentes: (i)
habilidades de alfabetización (ii) funcionalidad y (iii) concientización. Se reflejan tanto
los contextos rurales y urbanos.

62 Planificación de la Evaluación
de educandos adultos. Como se señaló anteriormente, los cuatro parámetros
de los sistemas proporcionan las mejores descripciones sistémicas. Debe
examinarse el cuadro de las páginas 60 y 61, que muestra esto. La tabulación
lo explica en sí misma. La lista de insumos, procesos, resultados y otras
dimensiones de contextos para los tres sistemas entrelazados, que se ha
descrito en el cuadro no es necesariamente completa.
La generación de necesidades de información
Podemos movemos ahora hacia el tercer y último paso de la planificación
de la evaluación: el desarrollo de un conjunto de necesidades de información
para los que toman las decisiones. Observando el cuadro anterior, podemos
enfocar las distintas celdas y preguntamos lo mismo:
1. ¿Tienen los que toman las decisiones información suficiente sobre
los diversos elementos que aparecen o están incluidos en las
distintas celdas?
2. Si no, ¿cuáles son sus necesidades de información?
3. ¿Es posible y factible recoger la información que se necesite?
(Algunas variables pueden no ser manipulables por los que toman
las decisiones. En este caso, es posible que una información más
precisa no sea de mucha ayuda).
Con base en este cuadro, podríamos hacer una lista como la que se
presenta en las páginas 63 y 64 sobre el sistema del programa de alfabetización,
el cual puede usarse para generar necesidades de información y
luego agendas de evaluación específicas.
Una lista de este tipo debe hacer ahora que el evaluador compare "lo
que es" con "lo que puede ser". Debe considerar críticamente sus
experiencias diarias dentro del programa y tratar de articular con claridad
los problemas que ahí estaban pero que eran difíciles de tratar. También
debe reflexionar críticamente sobre el sistema de enseñanza-aprendizaje
existente y el sistema del programa y pensar en que, si se hicieran algunos
cambios, podrían obtenerse mejores resultados.
En todos estos casos, el evaluador deberá ser capaz de establecer
algunas necesidades de información: Tenemos el problema "X", pero no
tenemos la información "Y". O si tuviéramos la información "Y" podríamos

Planificación de la Evaluación 63
PARÁMETROS
Variables Variaciones/Opciones
INSUMOS
Maestros
Educandos
Materiales didácticos/
instalaciones
PROCESOS
Instructional/
Informativo
Estructural/
Organizacional
Niveles educativos y clase social particulares
Grado de experiencia en el campo de trabajo
Nivel de compromiso con el trabajo de desarrollo
Competencia como maestro y experiencia en la enseñanza
Asignación directa versus la realizada por un departamento
relacionado
Continuidad versus rotación
Carga de trabajo del maestro
Antecedentes educativos
Clase social y orientación de valores
Compromiso con el desarrollo
Motivación para aprender
Cantidad, diversidad, calidad de los materiales didácticos
Materiales e instalaciones
Materiales nacionales versus importados
Equipos para la instrucción y la duplicación
Características de los ambientes de aprendizaje
Conceptualización de la enseñanza como transferencia de
conocimientos, desarrollo de habilidades, modificación
de comportamiento, socialización
Desarrollo de un currículo integrado versus un currículo
orientado por las disciplinas (organización de la
instrucción)
Estilos de enseñanza y de aprendizaje
Conocimientos sustantivo versus énfasis en los procesos
Presencia versus ausencia de una validación del currículo
por medio de la evaluación de las necesidades
Disponibilidad o no de servicios de consejería y orientación
Estado de salud de la organización
Calificación de la capacidad organizativa
De Distribución Calidad de apoyo administrativo

64 Planificación de la Evaluación
PARÁMETROS
Variables Variaciones/Opciones
Relacionado con el Coordinación con el personal y los servicios de extensión
mantenimiento
CONTEXTOS
Cultura organizativa
Organizativo Relaciones inter-institucionales (horizontales y verticales)
Ambiental Alrededores (cercanía a un bar versus situación de
"retraimiento"
Clima social general del país
RESULTADOS Adultos alfabetizados en los distintos niveles de
alfabetización
Agentes de desarrollo capacitados con distintas competencias
Nacientes identidades de roles
Experiencia diferenciada de los capacitadores
Calidad de los programas de radio
dar un paso promisorio "X" con confianza. Aquí deben mencionarse dos
puntos importantes:
1. Debe distinguirse entre los problemas de evaluación y los problemas
administrativos. Administrar es dirigir y supervisar la ejecución o
realización de un programa. Si los administradores fallan por razones
de incompetencia o por falta de responsabilidad, el problema es de
tipo administrativo, no de evaluación. La evaluación sólo puede apoyar
la administración devolviéndole los datos necesarios y sometiendo a
prueba los supuestos del programa. No es un sustituto para la toma de
decisiones administrativas.
2. La evaluación puede requerir un análisis conceptual o la recolección
de datos para un marco referencial y no datos recogidos en terreno.
Algunas veces surgirán preguntas de evaluación que tendrán que ser
contestadas por medio de análisis conceptuales y operacionales y no

Planificación de la Evaluación 65
yendo a recoger datos en el campo. ¿Es realmente empleado en los
protocolos de capacitación el método participativo que se recomienda
en un programa de capacitación? ¿Está el concepto de un currículo
integrado realmente incluido en los planes, los materiales y la
organización y programación de la capacitación? Estas preguntas
demandan respuestas analíticas, y no necesariamente tener que recoger
datos. Nuevamente, los documentos de política, los planes económicos
quinquenales de la nación y los datos de un censo deberán ser usados
para construir un marco de referencia para evaluar algún aspecto de la
campaña, programa o proyecto de alfabetización.
De las preguntas de evaluación a las agendas de evaluación
Las preguntas de evaluación que se plantean en la etapa anterior pueden
todas ser interesantes y promisorias, pero tal vez no sea posible responderlas
todas en el contexto particular de un programa de alfabetización y dentro
de los discursos disponibles. En esta situación debe seguirse una agenda
de evaluación específica dentro de un período de tiempo determinado.
Los siguientes criterios serán útiles para escoger las preguntas de
evaluación que quedarán incluidas en la agenda de evaluación:
1. Disponibilidad de opciones para la intervención
2. Significado de las preguntas de evaluación
3. Viabilidad de la puesta en práctica del estudio evaluativo
1. Disponibilidad de opciones
Quizás todas las variables que comprende una situación de alfabetización
no puedan ser controladas por los que toman las decisiones. En otras
palabras, el alfabetizador tal vez no sea capaz de cambiar los valores de las
variables de modo significativo. En este caso, cuando las variables del
programa son "inmutables", no vale la pena evaluarlas, ya que no ofrecen
opciones para un re-diseño.
2. Significado de las preguntas de evaluación
Si una variable realmente ofrece una opción de intervención, tendrá sentido
evaluarla, si en un sentido relativo ofrece una opción significativa. El
significado tiene que ser en términos de la efectividad o eficiencia de los

66 Planificación de la Evaluación
resultados. En cualquier caso, los resultados del esfuerzo evaluativo deben
valer la pena.
3. Viabilidad en relación con los recursos disponibles
Las preguntas de evaluación seleccionadas y el diseño necesario para
realizar la evaluación deberán corresponder a la capacidad del proyecto,
programa o campaña de alfabetización. Debe disponerse de una cantidad
razonable de recursos para evitar frustraciones innecesarias al ponerlo en
marcha.
El concepto de evaluabilidad al cual se hace referencia en la literatura
sobre evaluación se relaciona con este tipo de preocupaciones.
Cosas para hacer o para pensar
1. Analice su propio programa de alfabetización en términos de sus
distintos elementos, usando el cuadro presentado anteriormente sobre
INSUMOS-PROŒSOS-CONTEXTO-Y-RESULTADOS.
2. ¿Qué necesitaría usted saber en su caso concreto acerca de las demandas
más significativas que hace a los agentes alfabetizadores y agentes de
cambio el "Sistema de ejecución"? Replantee estas necesidades de
información en la forma de un conjunto de preguntas de evaluación.
3. ¿Cuáles son algunos de los hechos importantes de la vida política y
socioeconómica en su medio que deben quedar reflejados en una agenda
de evaluación?
Nota
1. Ver también Bhola, H.S. Evaluation planning, evaluation management
and utilization of evaluation results within adult literacy compaigns,
programs and projects. Bonn: German Foundation for International
Development, 1981. [ERIC Document No. 221 759]

CAPITULO 4
EJECUCIÓN Y GESTION DE LA EVALUACIÓN
La ejecución y la gestión de la evaluación como se presentan en este
capítulo incluyen tres procesos separados pero interrelacionados. Primero
y, sobre todo, debe desarrollarse la mejor combinación de estrategias
efectivas y eficientes de recolección de información. Estas estrategias
deben corresponder a los recursos del programa o institución de que se
trate y deben generar en su conjunto datos oportunos creíbles y confiables.
Sugerimos que esta mezcla de estrategias incorpore el triángulo
metodológico constituido por el SIG (Sistema de Información para la
Gestión), La Evaluación Naturalista (EN) y, si es posible, la Evaluación
Racionalista (ER). Segundo, la función administrativa debe propiciar un
contexto institucional favorable para que los evaluadores desempeñen su
papel: esto es, el rol de los evaluadores debe acoplarse con el de los
programadores para reducir al mínimo los conflictos de roles. Tercero, la
función de gestión debe asegurar la real utilización de los resultados de la
evaluación convirtiendo la administración del programa en una cultura
de aprendizaje que habitualmente utiliza los datos de la evaluación.
La gestión de la investigación (o administración) ha llegado a ser en las
dos últimas décadas una especialidad. Sin embargo, no se ha transferido
esta preocupación al área de la evaluación. Cuando más, se considera la
gestión de la evaluación como una cuestión de organizarse para recoger
datos en terreno sin dificultades. Sin embargo, los problemas de la gestión
de la evaluación van mucho más allá.
Es importante recordar aquí que todavía no estamos hablando sobre el
diseño de la evaluación, esto es, el diseño técnico de los estudios evaluativos.
Las cuestiones sobre el diseño surgirán más tarde, en el contexto de cada
estudio particular. Al discutir sobre el enfoque de la gestión de la evaluación
estamos planteando y respondiendo preguntas que preceden a la cuestión
de diseño.

68 Ejecución y Gestión de la Evaluación
El significado de gestión
Gestión es una palabra difusa. Con frecuencia equivale a administración.
Pero recientemente ha llegado a considerarse como un proceso más integral
que incluye la planificación, organización, ejecución y control del trabajo
de otros.
Nuestro concepto de gestión de la evaluación incluye una mezcla de
decisiones profesionales y organizacionales. Las decisiones profesionales
implican una elección entre las estrategias de recolección de información
de modo que la información recogida cumpla con los criterios de efectividad,
eficiencia y oportunidad. También hay decisiones organizacionales que
considerar. Estas se relacionan con la invención de roles de evaluación y
designaciones; y su ubicación dentro del sistema del programa de modo
tal que haya un mínimo de conflicto de roles dentro de la organización.
El triángulo metodológico de la evaluación
Con base en nuestra experiencia en capacitación sobre evaluación y la
práctica evaluativa en el Tercer Mundo durante los últimos quince años,
particularmente en Kenia 1 , Botswana 2 , Malawi y Zimbabwe, podemos
afirmar que a nivel institucional o del programa, la estrategia de recolección
de la información debe constituir el triángulo metodológico de la evaluación
como se presenta en la Figura 2.
SIG: Sistema de Información para la Gestión
Analizaremos completamente el SIG más adelante en la Parte lu. en este
contexto sólo necesitamos presentar los detalles más simples.
Como lo sugiere su nombre, un Sistema de Información para la Gestión
(SIG) es un sistema de información que apoya la gestión efectiva y eficiente
de una institución, programa o proyecto. La información importante
acerca de un programa de desarrollo o un proyecto de alfabetización se
organiza como sistema de información, de modo que pueda ser almacenada
sistemáticamente y recuperarse fácilmente para ser utilizada por los
que toman las decisiones. Normalmente la información es tal como se
genera en el proceso mismo de su ejecución, por el programa o proyecto.
Aunque se puede utilizar la tecnología computacional para desarrollar el

ID
_l
<
>
LU
Z) ^
h-
<
OC LU
O
< < z
-j ^
CO
3
O)
ION
STA
O o
•o ¡ir
is
LU
\co
CO
<
oc
£
o 2
= Ä
oc
O
LL
~z.
CO O
i
o SS
'o o>
<
c/;
LU
Q
CO
<
MACI
GES
¡IG)
O)
•o
S*
EVA
RACI
—1
ce
O "Z. • — '
LU
X
o
o
75
c
0>
_i
<
O CO
2 <
>-
Ejecución y Gestión de la Evaluación 69

70 Ejecución y Gestión de la Evaluación
SIG, no es necesario disponer de ella para hacerlo. Son suficientes sistemas
de información para la gestión basados en papel y lápiz si usan
formas de registro, formularios y cuadros que se llenan diaria o periódicamente.
Creemos firmemente que el establecimiento de un SIG siempre debe
ser una parte necesaria en todo enfoque de gestión de la evaluación. Los
costos iniciales de un SIG, particularmente si se emplean papel y lápiz,
son bajos. Los resultados de establecerlo son valiosos, elevados en
comparación con los costos.
Se ha encontrado que los datos de un SIG son los que más frecuente y
más ampliamente usan los que toman las decisiones al tomar decisiones
cotidianas sobre un programa. ¿Cuántas personas participan? ¿Cuántas
son hombres y cuántas mujeres? ¿Dónde viven y trabajan? ¿Cuál fue su
calificación en una prueba de alfabetización? ¿Qué cantidad de fertilizantes
compraron? ¿Cuánto produjeron por hectárea? Un SIG bien diseñado puede
responder todas estas preguntas regularmente y puede ayudar a los que
toman las decisiones a ejecutar acciones adecuadas.
Consideramos que el SIG es un componente necesario del triángulo
metodológico de la gestión de la evaluación. El SIG, por sí solo, satisfacerá
muchas necesidades de información de los que toman las decisiones.
Además, el SIG apoyará tanto las actividades de evaluación naturalista
(EN) como las de la evaluación racionalista (ER). Contrariamente a lo que
ingenuamente se supone, ¡la EN no significa que todo es cualitativo y
nada cuantitativo! Aunque el evaluador naturalista busca lograr
"construcciones significativas" y no "conteos sin significación", esto no
quiere decir que no sepa contar. La EN sí hace uso de datos numéricos; y
desde luego, de estadísticas descriptivas cuando éstas son útiles para dar
significado a las realidades múltiples que se presentan. Aquí hay que
puntualizar que el SIG apoyará frecuentemente a la EN: primero, al
estimular al evaluador a que vaya más allá de los simples números y
busque los significados que el cambio tiene para las distintas personas
implicadas; y segundo, al convertirse en el ancla de esos significados.
EN: Evaluación Naturalista
En el Capítulo 2 presentamos una descripción bastante detallada del modo
de indagación naturalista. Recordemos que se señaló que las raíces
filosóficas de la investigación naturalista eran "fenomenológicas" y

Ejecución y Gestión de Id Evaluación 71
"sistemáticas". La EN usa la "teoría fundamentada", desarrollada dentro
del "contexto social" de la indagación misma. Sus muestras son
"propositivas". No pretende ser objetiva sacando al evaluador del proceso
de indagación sino que "lo usa como un instrumento" de observación. La
EN desarrolla "extensas descripciones" que se examinan para encontrar
"temas recurrentes" y se "interpretan" para desarrollar los significados que
tienen para los participantes en sus propias realidades. Las afirmaciones
que se hacen sobre la realidad no son leyes universales sino declaraciones
sobre "realidades múltiples" tal como las vivencian las diferentes personas
involucradas.
El mundo de un capacitador para el desarrollo o agente del desarrollo
que enseña a los funcionarios nuevas habilidades para desempeñarse en la
educación y el trabajo de extensión o promoviendo la divulgación e
incorporación de nuevos conocimientos, habilidades y actitudes es, en
palabras de Lee Cronbach, un "contexto de acomodación" en contraste
con el "contexto de control" que sólo está disponible en el laboratorio. Por
lo tanto, es comprensible que consideremos la EN como una componente
importante del Enfoque de Gestión de la Evaluación que aquí sugerimos.
Como se afirmó anteriormente, los datos del SIG son los más amplia y
frecuentemente utilizados para la toma de decisiones por los planificadores
y capacitadores en el campo del desarrollo. Ahora sugerimos que las
afirmaciones cualitativas acerca del éxito o fracaso de un programa hechas
por quienes han estado en contacto directo con el mismo son el segundo
tipo de "información" usado generalmente para tomar decisiones.
Creemos firmemente que en el tan penetrante contexto de la
acomodación en el mundo del desarrollo, la alfabetización y la capacitación,
la EN puede utilizarse para elaborar afirmaciones "cualitativas" sobre la
vida de un programa o sobre los efectos de la capacitación, de las cuales se
puede depender y creer más que de las declaraciones de sentido común
que hagan las diferentes personas que lo representan y otros que están
involucrados. Estas afirmaciones, cuando se leen acompañadas de datos
numéricos del SIG, darán a los que toman las decisiones una información
más útil para mejorar un programa o proyecto en marcha.
Posteriormente en esta monografía (en la Parte TV) discutiremos sobre
el proceso y las técnicas para llevar a cabo la indagación naturalista.

72 Ejecución y Gestión de la Evaluación
ER: Evaluación Racionalista
En el Capítulo 2 analizamos el concepto de indagación racionalista en
algún detalle. Se describieron las características esenciales de la ER. Se la
consideró como "positiva' y "reduccionista". Se dijo que busca someter a
prueba hipótesis derivadas de la teoría. Su muestreo es aleatorio y usa
diseños experimentales o cuasi-experimentales. Sus instrumentos son
estructurados y el análisis de los datos es normalmente estadístico. Su
finalidad es desarrollar proposiciones objetivas y con la validez de leyes
universales.
Actualmente estamos cayendo en la cuenta de que los educadores al
igual que otros dentistas sociales, no pueden utilizar la ER con frecuencia.
Esto es porque el mundo del desarrollo y del cambio no pertenece al
contexto del control. El nuestro es un mundo desordenado constituido por
múltiples variables, por entidades que no pueden reducirse a aspectos
aislados para ajustarse a nuestros propósitos. Los supuestos sobre los que
se construyen las metodologías y las técnicas de la ER, de hecho, no siempre
se verifican en el mundo real.
Entonces, ¿por qué incluir la ER en el triángulo del Enfoque de Gestión
para la Evaluación que aquí ofrecemos? La incluimos por dos razones:
una es profesional, la otra, política. La primera es que mientras que las
condiciones para la ER (esto es, el contexto del control) puede ser que no
se den con frecuencia, algunas veces existen. En ese caso la metodología
de la ER puede utilizarse para hacer afirmaciones sobre algunos aspectos
del programa. La razón de tipo político es que la EN como metodología
tiene todavía que alcanzar su legitimidad ante los evaluadores que trabajan
por todo el mundo. Los que toman las decisiones del Tercer Mundo que
tal vez hayan sido formados en las metodologías clásicas de la ER de
pronto no van a utilizar los métodos de la EN tan sólo porque nosotros lo
propongamos. Su preferencia por la ER va a tardar en quebrarse. ¡Entonces
los evaluadores van a tomarse su tiempo para que se enamoren de la EN,
que aunque parece tener sentido es bastante compleja, desordenada y no
está muy segura de las cosas!
Los lectores deben darse cuenta de las relaciones entre el SIG y la EN
y la ER que se muestran en la Figura 2. Los aportes del SIG a la ER
pueden captarse fácilmente. Habrá momentos en que los datos que existen
en el SIG pueden encajar en el diseño de evaluación desarrollado a la
manera de la ER. En otros momentos, habrá que recoger nuevos datos que

Ejecución y Gestión de la Evaluación 73
podrán llegar a ser parte del SIG. Pero el SIG y la ER no son lo mismo.
Son significativamente diferentes. El uso primordial y esencial de los
datos del SIG es para dar el perfil del tamaño, el ámbito y la supeficie de
la estructura de un proyecto, programa o campaña. Los estudios de ER
reducen el mundo a dimensiones, características y variables y buscan
elaborar proposiciones normativas y por tanto generalizables, sobre la
realidad.
La relación entre los estudios de EN y ER pueden no ser tan obvia.
Puede ser muy frecuente (y tal vez así debe ser) que los estudios de EN
planteen algunas preguntas que pueden ser estudiadas en el contexto del
control en que se hacen los estudios de ER. Otras veces, un estudio de ER
puede reclamar que se haga una afirmación con más significado además
del tipo general de comparaciones realizadas entre grupos o entre
comportamientos del mismo grupo antes-después.
En la Parte V de la monografía describiremos los detalles de la ER
como modalidad de indagación.
Relaciones entre los roles del evaluador y el programador
Demasiados esfuerzos evaluativos se ven condenados al fracaso debido a
una concepción defectuosa del sub-sistema de evaluación en relación con
el sistema del programa total. Desafortunadamente, algunos evaluadores
tienen una concepción muy exclusiva de su papel. Piensan que ellos son
los únicos que funcionan como evaluadores y que todos los demás están
ahí para responder sus preguntas, obedecer y sentir y actuar respetuosamente.
No se dan cuenta de que en una institución o un programa que practica la
evaluación interna, habrá menos funcionarios de tiempo completo dentro
del sistema dedicados a la evaluación que funcionarios que se desempeñan
en otros aspectos del programa. Estos últimos jugarán un papel significativo
como evaluadores de tiempo parcial. Pero, en términos del tiempo de
dedicación sus insumos para el trabajo evaluativo será, efectivamente,
mucho mayor que los insumos en términos de horarios de los evaluadores
de tiempo completo.
Como parte del Enfoque de Gestión de la Evaluación, debe hacerse
comprender a todos los funcionarios de tiempo completo del programa su
papel en la evaluación y motivarlos a aceptarlo. Sus roles deben ser claros
y concretos. Su relación con los evaluadores de tiempo completo también

74 Ejecución y Gestión de la Evaluación
debe ser clara. Debe comprenderse que los evaluadores no asumirán el
papel de inspectores sino el rol técnico de posibilitar que los otros
funcionarios sean capaces de realizar la evaluación de su propio trabajo.
El trabajo con consultores externos
En algunos países del Tercer Mundo es posible que en el futuro cercano,
los evaluadores estén trabajando con expertos del exterior, quienes se
asignan al programa por un corto o largo tiempo. No es posible escribir un
guión detallado para establecer las relaciones que deben darse entre los
evaluadores locales y los consultores externos. Sin embargo, deben fijarse
algunas ideas generales.
La iniciativa de la planificación de la evaluación y su gestión así como
después, la ejecución de la evaluación, siempre deben estar en manos de
personal local. Al consultor de fuera se le puede solicitar que les colabore,
aun más, que guíe el proceso de planificación de la evaluación pero no
debe pedírsele que produzca los planes completos. Son los evaluadores y
los que toman las decisiones locales quienes deben decidir "cuál" será la
pregunta. El consultor externo puede, como experto, proporcionarles
refuerzo.
Lo mismo es válido para las preguntas sobre "cómo". Al consultor
externo no debe pedírsele que elabore el mejor diseño posible para que lo
sigan los evaluadores locales. De nuevo, las ideas iniciales deben provenir
de los evaluadores locales, quienes conjuntamente con el consultor
trabajarán sobre el diseño.
Por lo tanto, la mejor manera de utilizar los servicios de un consultor
externo es como un capacitador formal y un socializador informal. Nunca
debe considerársele como un miembro más del personal, que se incorpora
al equipo.
La creación de una cultura de aprendizaje en la institución
Mucho se ha discutido en la literatura sobre la evaluación acerca del
tópico de la utilización de los resultados de la evaluación.
Se ha sugerido que la utilización de la evaluación es una excepción
más que la regla. Con demasiada frecuencia, las preguntas de evaluación

Ejecución y Gestión de la Evaluación 75
estudiadas por el equipo de evaluación son de poca significación para los
que toman las decisiones. Y aun más frecuente es que los resultados de la
evaluación estén disponibles mucho después del hecho y demasiado tarde
para ser utilizados. El clima político y los problemas pueden haber
cambiado, de manera que lo mejor es olvidarse de los resultados de la
evaluación y guardarlos en una estantería para que los cubra el polvo.
Se ha comentado que tal vez esperamos demasiado de la "utilización"
y con bastante frecuencia no vemos cómo los estudios evaluativos han
influido efectivamente en los que toman las decisiones. Ellos de hecho han
respondido a presentaciones informales de los resultados, según fueron
apareciendo durante la recolección de los datos y los informes provisionales
que se van escribiendo y poniendo a su disposición. En muchos casos no
conocemos directamente en qué forma se ha logrado influir en ellos siendo
que realmente, el estudio ha tenido gran influencia.
En el caso de la evaluación interna, será más probable su utilización
aunque esto no siempre sea algo obvio. Efectivamente, en la evaluación
interna, las personas involucradas en los distintos niveles del sistema
comienzan reaccionando ante la información sin que esto constituya una
decisión formal por parte de una autoridad. Esta utilización informal puede
enriquecerse más con la participación de las autoridades de niveles más
altos que dispongan que se involucre al personal de los distintos niveles
del programa en el diseño y ejecución del proceso de evaluación y mediante
declaraciones concretas por parte de la institución de su intención de
tomar decisiones profesionales basadas en la información.
La creación de una cultura de aprendizaje en las comunidades
Este proceso de participación y establecimiento de normas puede, en efecto,
extenderse a los líderes en las comunidades. Mediante el modelamiento de
comportamientos apropiados, los líderes comunitarios pueden aprender
que las políticas se sometan a la información, o por lo menos hacer de la
información un aspecto importante de las políticas de desarrollo a nivel
local.

76 Ejecución y Gestión de la Evaluación
Cosas para hacer o para pensar
1. ¿Existe un SIG en su proyecto? Si no, ¿hay algunas formas de registro
rudimentario, formularios e informes periódicos?
2. ¿Se ha llevado a cabo algún estudio evaluativo en su programa o
proyecto? ¿Puede usted distinguirlos como ejemplo de EN o ER?
3. ¿Cree usted que las visitas del nivel central al terreno pueden convertirse
en una especie de evaluación naturalista hecha por una sola persona?
¿Cómo?
4. ¿Cuáles son algunos de los tópicos de evaluación relacionados con su
programa que se acomodarían mejor en la modalidad de ER?
5. ¿Qué tipo de evaluación (EN o ER) preferirían los decisores del nivel
más alto en su país? ¿Por qué?
Notas
1. Bhola, H.S. Action Training Model (ATM) - An innovative approach
to training literacy workers. N.S. 128. Notes and Comments. Paris:
Unesco, Unit for Cooperation with UNICEF and WFP, March 1983.
También Bhola, H.S., "Training evaluators in the Third World:
Implementation of the Action Training Model (ATM) in Kenya".
Evaluation and Program Planning, Vol. 12, pp. 249-258,1989.
2. Bhola, H.S., "Building a built-in evaluation system: A case in point".
Ponencia presentada a la Red de Evaluación (ahora American
Evaluation Association), San Francisco, Octubre 1984. (ERIC
Documento No. ED 256 779).

Parte 111
Sistema de Información para la Gestión (SIG)
El enfoque de la gestión de la evaluación presentado en la Parte II, Capítulo
4, comprende lo que hemos denominado triángulo metodológico de la
evaluación: SIG (Sistema de Información para la Gestión), EN (Evaluación
Naturalista) y ER (Evaluación Racionalista). Debe reafirmarse que el SIG
es, sin lugar a dudas, el componente más importante de la estrategia de
tres componentes para recolectar la información. Puede aun sugerirse que
en la asignación de los recursos para la evaluación la mayor prioridad
debe dársele al desarrollo de un SIG, por rudimentario que este fuere. En
esta parte del manual, la discusión sobre el SIG se dividirá en los siguientes
capítulos:
5. SIG - Teoría, Preguntas y Diseño
6. La Elaboración de una Propuesta para Desarrollar un SIG
7. El Proceso en una Mirada: Herramientas y Técnicas para la
ejecución de un SIG:
Sección A: Análisis Conceptual
Sección B: Formulación de Indicadores
Sección C: Elaboración de Pruebas de Rendimiento
Sección D: Pruebas de Actitudes, Observación de Acciones y
Resultados
Sección E: Análisis de los Datos
8. La Elaboración de Informes Periódicos e Informes Especiales
Basados en los Datos del SIG.

CAPITULO 5
SIG - TEORÍA, PREGUNTAS Y DISEÑO
El SIG puede considerarse conceptualmente enraizado en dos ideas
interrelacionadas: es mejor para la toma de decisiones disponer de alguna
información que no tener ninguna; y, los programas de acción normalmente
generan información útil durante el proceso mismo de ejecución, la cual
puede, a su vez, utilizarse en la toma de decisiones. Los principios esenciales
para el diseño de un SIG son más bien simples: La dinámica básica del
programa al cual servirá el SIG deberá estructurarse como un sistema;
deben identificarse las variables agrupadas bajo cada uno de los cuatro
parámetros del sistema (insumos, procesos, resultados y contextos); deben
formularse indicadores para aquellas variables que no puedan observarse
directamente; deben identificarse fuentes de datos; debe desarrollarse un
sistema de papel y lápiz (o computarizado) de almacenamiento y
recuperación de los datos; y debe establecerse una rutina sobre la
periodicidad para proporcionar datos como insumos y de suministro de
informes dirigidos a los que toman las decisiones.
La mayoría de nosotros, la mayor parte del tiempo, tiende a pensar en
términos de blanco o negro y dejamos de lado los grises que están
conformados por el blanco y el negro. Nos parecen más fáciles de manejar
los opuestos claros y directos que las situaciones complejas en las cuales
los opuestos se entremezclan y coexisten.
Los evaluadores y los investigadores no son inmunes a esta tendencia
de pensar en términos opuestos puros. Los evaluadores también continúan
haciendo divisiones tajantes entre los que cuantifican y los que usan métodos
cualitativos. ¡Parece ser que piensan que quienes prefieren los métodos
cualitativos no saben contar más que hasta diez! Por otra parte, a los que
cuantifican se les descalifica por considerárseles como "masca-números"
-como si ellos sólo se interesaran por los números y nunca por los
significados de las cosas.
Es importante recordar que "cantidad-calidad" no es una dicotomía,
sino una complementación y, por lo tanto, en sí misma no contrapone a la
EN y la ER. En efecto, la utilización de la "metodología cualitativa" no

80 SIG - Teoría, Preguntas y Diseño
asegura la utilización de una "evaluación naturalista". ¡La ER puede recoger
primero datos cualitativos y después cuantificarlos al procesarlos! En otras
palabras, tanto la EN como la ER pueden usar enfoques cualitativos para
la recolección de datos. Es cierto que la EN utiliza enfoques cualitativos
con más frecuencias que la ER, pero hay mucho más en la EN que la
utilización de métodos cualitativos para la recolección de datos. Lo que
distingue a los dos enfoques es el hecho de que están implicados un
conjunto diferente de supuestos sobre la realidad y nuestro conocimiento
de la misma.
De manera similar, los evaluadores naturalistas no son alérgicos a los
números. Muchos entre nosotros continúan pensando que a ellos quizás no
les interesan los números. Y como un Sistema de Información para la
Gestión (SIG) es un sistema de almacenamiento y recuperación de datos
numéricos, los evaluadores naturalistas no estarán interesados en un SIG.
Nada más alejado de la realidad
En el Capítulo 4 de la Parte II, hemos sugerido que un SIG es el
componente necesario en cualquier enfoque de gestión de la evaluación; y
que un SIG apoyaría a todos los otros esfuerzos evaluativos, sin importar
si se emprenden a la manera naturalista o racionalista. No hace daño estar
"informado", así sea uno un evaluador naturalista o un evaluador
racionalista.
¿Qué es un SIG?
Un SIG (Sistema de Información para la Gestión) es lo que indica su
nombre 1 . El sistema es diseñado para acumular datos. Normalmente estos
son datos numéricos -aunque un SIG con frecuencia se complementará
con archivos que contienen documentos de política y planificación,
materiales didácticos, fotografías, películas y videos. Los datos generalmente
se recogen a intervalos de tiempo fijos. Con el fin de satisfacer tanto las
necesidades regulares como las que van surgiendo de los que toman las
decisiones, se recuperan estos datos para generar la información útil para
la toma de decisiones 2 . Tan importante es la focalización en la toma de
decisiones que la denominación SAD 3 (Sistema de Apoyo de las Decisiones)
está reemplazando al antiguo nombre, SIG. Ahora es común hablar de
Sistemas Expertos (SE) que combinan las bases de datos con la inteligencia
artificial y apoyan a los que toman las decisiones mejor que el viejo SIG.

SIG - Teoría, Preguntas y Diseño 81
Teoría y metodología del SIG
Las cuestiones teóricas y metodológicas de la investigación y la evaluación
pueden plantearse en forma de dos preguntas interrelacionadas: ¿Cuál es
la naturaleza de la realidad? y ¿Cómo podríamos hacer para lograr formular
aseveraciones informadas o basadas en el conocimiento de la realidad?
En el nivel teórico y metodológico más profundo, los SIG se
fundamentan en el positivismo, tal como se presentó en la Parte I, Capítulo
2 y se resumirá después en la parte V, Capítulo 13. En un nivel superficial,
la teoría y la metodología del SIG puede presentarse como sigue:
Desde luego, las decisiones con frecuencia son y seguirán siendo
tomadas intuitivamente, sin apoyarse en la información. Habrá, a veces,
instancias en que la información disponible es muy poca, o no muy
confiable. La idea de un SIG se basa en la concepción simple de que las
decisiones informadas son posiblemente mejores que las que no se informan;
y que debe hacerse cuanto esfuerzo sea necesario para recogerla y guardarla
de modo que pueda ser recuperada después una información que sea
confiable y suficiente para las decisiones administrativas que se toman
diariamente.
Un concepto relacionado, que raras veces se explicita, puede ser que
los números proporcionan un contenido útil a las afirmaciones cualitativas.
Este es, por ejemplo, un tipo de afirmación: "Fue probablemente la más
grande multitud que se haya visto en un partido de fútbol en este colegio".
Si le añadimos lo siguiente: "Los 15.875 asientos disponibles en el estadio
estaban ocupados", podemos ver cómo los números sustentan la emoción
de la afirmación cualitativa. Obviamente, los datos del SIG apoyarán las
evaluaciones racionalistas, pero no debe relegarse o subestimarse lo que
pueden contribuir a las evaluaciones naturalistas.
Finalmente, el apuntalamiento conceptual de un SIG está dado por el
hecho de que todos los programas generan datos (tanto cuantitativos como
cualitativos) en el proceso mismo de su puesta en práctica. Los datos
cuantitativos son particularmente fáciles de obtener y la mayoría de las
burocracias los recogen regularmente para rendir cuentas interna o
externamente. Con algún esfuerzo sistemático y tímido, estos datos pueden
acomodarse a un Sistema de Información para la Gestión que sea útil y
funcione bien. Nos apresuraremos a agregar que estos pueden ser sistemas
poco costosos que usan papel y lápiz, aunque los micro-computadores
baratos y el software apropiado no deben estar fuera del alcance de la

82
SIG - Teoría, Preguntas y Diseño
mayoría de los programas que se desarrollan en el Tercer Mundo. Después
de todo, hoy día se pueden comprar diez o más micro-computadores por el
precio de un Land-Rover.
Materiales que complementan el SIG
Como se indicó anteriormente, un buen SIG debe complementarse con
materiales impresos y gráficos, tales como los documentos de la política
nacional y la planificación, los materiales de capacitación, materiales
impresos y audiovisuales relacionados que se utilizan en los programas,
recortes de periódicos y otros. Estos materiales contextúales y complementarios
serán necesarios para convertir los datos numéricos en
información útil para tomar decisiones.
Preguntas típicas que puede contestar un SIG
Un SIG normalmente incluye datos numéricos, pero estos no necesitan
simplemente representar cantidades. A las cualidades puede asignárseles
números y así constituirse en parte del SIG. Un SIG integral puede incluir
datos sobre insumos, procesos, resultados y contexto. Puede tratar unidades
sociales desde individuos a grupos, instituciones y comunidades. Al
proporcionar datos de acuerdo con distintas series de tiempo, un SIG
puede damos información sobre las estructuras de los programas, los niveles
y ritmo de rendimiento de los educandos, la efectividad de los currículos y
el impacto del programa en las comunidades.
Además de la información "antes-después" recogida en series de tiempo,
los datos del SIG pueden utilizarse fácilmente para comprender
correlaciones, por ejemplo entre la lectura y el cálculo numérico; y para
comprender, por ejemplo, las diferencias de rendimiento entre hombres y
mujeres en distintos indicadores, o las que resultan de comparar diferentes
métodos de enseñanza o diversos materiales de post-alfabetización.
La lista de preguntas que se sugieren a continuación no es exhaustiva,
pero sí indica la probable utilidad de un SIG bien diseñado que funciona
adecuadamente.
Preguntas acerca del tamaño y la estructura del programa
1. ¿Cuál es el número de educandos en el programa por (i) región,

SI G - Teoría, Preguntas y Diseño 83
(ii) origen étnico, (iii) género, (iv) grupos de edad, (v) ocupación?
2. ¿Cuál es el número de grupos de educandos por (i) género (todos
hombres, todos mujeres, mixtos), (ii) localización (urbana-rural),
(iii) situación o ubicación institucional, (iv) su relación con
enfoques de funcionalidad o concientización (v) meses/años de
incorporación?
3. ¿Cuál es el patrón de estabilidad y cambio en participación en el
programa a través del tiempo y en relación con las motivaciones
expresadas?
4. ¿Cuál es el nivel actual de rendimiento (y/o retención) de los
educandos en (i) alfabetización y cálculo (ii) funcionalidad, (iii)
concientización? ¿Quiénes llegaron a qué nivel, en qué tiempo y
por cuánto tiempo permanecieron?
5. ¿Cuál es el número de maestros en el programa por (i) género,
(ii) edad, (iii) estatus en relación con la comunidad: de adentro/de
afuera, (iv) calificación educativa, (v) ocupación primaria?
Comparaciones y diferencias a través del tiempo
1. ¿Cuáles son los patrones de diferencias en cuanto a (i)
motivaciones de los educandos, (ii) permanencia en el programa,
(iii) regularidad de la asistencia, (iv) rendimiento?
2. ¿Cuáles son las diferencias de rendimiento en relación con (i) la
ocupación principal del maestro, (ii) los métodos de enseñanza,
(iii) la lengua empleada en la alfabetización, (iv) el currículo
completo?
Correlaciones entre entidades
1. ¿Cuál es la correlación entre (i) rendimiento en la lectura y el
cálculo numérico, (ii) el cálculo numérico y la funcionalidad, (iii)
la cualificación del maestro y el rendimiento del estudiante en
general?
Preguntas sobre el impacto
1. ¿Cuáles han sido las diferencias (positivas o negativas) en el
tiempo en los indicadores de (i) calidad de vida en las

84 SIG - Teoría, Preguntas y Diseño
comunidades, (ii) participación política, (iii) salud comunitaria,
(iv) conservación del ambiente y los bienes culturales, (v) creación
de un ambiente alfabetizado?
Las anteriores preguntas relacionadas con comparaciones, correlaciones
e impacto también aparecerán al tratar la ER más adelante en este libro. La
diferencia entre los dos enfoques (SIG y ER) es que el SIG busca hacer
afirmaciones sobre el tamaño, el ámbito y la estructura superficial del
programa con el fin de presentar un perfil del mismo, mientras que la ER
lleva a cabo estudios utilizando muestras aleatorias y supuestos
seleccionados para el diseño y el análisis estadístico con el fin de poder
hacer proposiciones normativas, generalizables.
El diseño de un SIG
El diseño es esencialmente el aspecto práctico de la teoría y la metodología
de algo, el cual especifica las tareas. En el SIG los problemas de diseño
pueden manejarse como un conjunto de operaciones, así:
1. Describir la estructura dinámica del sistema de acción primero en
términos de sentido común de los actores, medios y fines; y
luego traducir la descripción en términos de los cuatro parámetros
del sistema: insumos, procesos, resultados y contextos.
2. Visualizar el sistema del programa como si funcionara bajo
condiciones ideales y hacer una lista de todas las variables posibles
considerando nuevamente los cuatro parámetros del sistema, para
hacer comparaciones y recuentos.
3. Colocar lo ideal y lo real, lo uno junto a lo otro y seleccionar
aquellas variables que constituirán un SIG completo e integral, y
sobre las cuales haya que recoger o generar la información que
servirá para la toma de decisiones diarias.
4. Definir, elaborar y analizar conceptos donde sea necesario y
desarrollar indicadores para aquellos conceptos y variables que
no sean directamente observables.
5. Identificar las fuentes de datos sobre los indicadores seleccionados
que harán parte del SIG.
6. Desarrollar un sistema que use papel y lápiz para los registros,
formatos y tabulaciones (u obtener la tecnología computacional

SIG - Teoría, Preguntas y Diseñó 85
apropiada).
7. Desarrollar un sistema de archivo complementario para incluir
documentos impresos, películas, fotografías o cintas de video o
audio.
8. Establecer los intervalos de tiempo para la entrada y recuperación
de los datos y los patrones de flujo para suministrar los informes
a los que toman las decisiones.
Mediante ejemplos de un SIG que utiliza papel y lápiz, para los
programas de alfabetización funcional en Botswana y Malawi 4
proporcionamos breves demostraciones de los pasos que para el diseño de
los SIG se han enunciado.
1. Describir el sistema de acción en términos del sistema
Recordemos nuestra discusión sobre los sistemas y su descripción en la
Parte H, Capítulo 3: La Planificación de la Evaluación. Debe comprenderse
plenamente la estructura conceptual del programa en cuestión. Comience
con el sistema tal como es realmente en su contexto y desarrolle una
descripción programática completa del mismo: El sistema de acción de la
alfabetización funcional comprende: (1) alfabetizadores que colaboran con
(2) agentes de extensión, y están apoyados por (3) capacitadores de los
alfabetizadores y por (4) administradores de los programas, y que usan (5)
materiales didácticos y (6) otros procesos de instrucción para enseñar a (7)
los estudiantes adultos, normalmente en (8) la situación de grupo de una
clase de alfabetización, que adquieren (9) nuevos conocimientos, actitudes
y destrezas que ellos pueden aplicar (10) en el hogar (11) en el campo o la
fábrica (12) en las comunidades para contribuir al (13) desarrollo individual
y nacional. Esta descripción programática permite entonces distribuir las
variables en términos de los cuatro parámetros del sistema:
INSUMOS
Estudiantes
Alfabetizadores
Agentes de extensión
Capacitadores de los alfabetizadores
Administradores del programa
Materiales didácticos

86 SIG - Teoría, Preguntas y Diseño
PROCESOS
Enseñanza y procesos instruccionales relacionados
RESULTADOS
Nuevos conocimientos, actitudes y destrezas
Mejores hogares, campos, fábricas
Desarrollo individual y nacional
CONTEXTOS
Grupos de alfabetización
2. Describir las variables de un sistema de tipo ideal bajo los cuatro
parámetros del sistema
Las variables de un programa de alfabetización funcional de "tipo ideal"
deben presentarse en una lista bajo los cuatro parámetros del sistema. Por
ejemplo, podríamos tener:
INSUMOS
Estudiantes
Alfabetizadores
Agentes de extensión
Líderes locales
Capacitadores
Administradores
Materiales didácticos
Instalaciones
Otros recursos relacionados
PROCESOS
Institucional
De distribución
Organizacional
PRODUCTOS Y RESULTADOS
Adultos recientemente alfabetizados
Maestros mejor preparados
Capacitadores mejor capacitados
Líderes comunitarios más efectivos

SIG - Teoría, Preguntas y Diseño 87
Mejores materiales de instrucción y capacitación
Mejor infraestructura desarrollada
Adopción de innovaciones
Mayor productividad
CONTEXTOS
Contextos instruccionales
Contextos organizacionales
Contextos políticos
Contextos culturales
Ese tipo de descripción de un sistema de tipo ideal permitirá al diseñador
de un SIG hacer un recuento sobre el sistema real en acción tanto (i) con el
propósito de lograr cambios programáticos como (ii) con el propósito de
anticipar las necesidades de información. Así, el evaluador será capaz de
diseñar un SIG caracterizado por su integralidad y por ser completo.
Naturalmente, no podemos ni necesitamos para nuestro SIG recoger datos
sobre todas las variables que aparecen en la lista. Será necesario hacer una
selección de las variables importantes.
3. Seleccionar las variables importantes que se incluirán en el SIG
La recolección y almacenamiento de los datos cuesta dinero. Demasiados
datos pueden crear confusión en el sistema y disminuir la probabilidad de
recuperar y utilizar los datos. Esto significa que el diseñador de un SIG
debe comprender los diferentes asuntos de política así como las distintas
orientaciones del programa y las posibilidades con que cuentan los que
toman las decisiones. Estos conocimientos servirán de criterios para
seleccionar las variables que deben incluirse en el SIG. En los programas
de alfabetización funcional de Botswana y Malawi se decidió recoger
datos sobre lo siguiente únicamente:
PARTICIPANTES ADULTOS EN LAS CLASES DE
ALFABETIZACIÓN
Nombre
Edad
Sexo

88 SIG - Teoría, Preguntas y Diseño
Educación previa
Ocupación
Fecha de entrada a la clase de alfabetización
Expectativas de la participación en la clase
Nivel de participación
Razones de ausencias
Nivel de desarrollo de habilidades en distintos intervalos de tiempo
Rendimiento en otros conocimientos y habilidades en temas
relacionados con el desarrollo
Cambios de actitud
Utilización de la alfabetización
Práctica de las nuevas actitudes
CLASE DE ALFABETIZACION/GRUPO
Ubicación
Accesibilidad
Luz, Ventilación, Asientos
Fecha de establecimiento
Nombre del supervisor
Nombre del maestro
¿Vive el maestro en la misma comunidad?
Ciclo(s) de aprendizaje y patrón de progreso esperado
Participantes potenciales
Razón de la participación (Participantes en la clase/Participantes
potenciales)
Número de veces por semana que se hacen clases
Días de la semana en que se hacen clases
Duración de la clase
Número de veces que no se hizo clases en el período del informe
Status de los educandos: Activos, Desertores, Repitentes
Razón de atención: Asistencia real/Asistencia posible (número de veces)

SIG - Teoría, Preguntas y Diseño
Calidad de la enseñanza
Colaboración de otros agentes de extensión
Patrones de rendimiento
Aplicaciones, utilización del aprendizaje
FAMILIA DE LOS PARTICIPANTES EN EL PROGRAMA
Matrícula de niños en la escuela
Participación en las clases de alfabetización y otros grupos para el
desarrollo
Utilización de las innovaciones dirigidas al ambiente familiar:
planificación familiar, nutrición, higiene, otros
Compra de bienes duraderos
Participación comunitaria como líderes/miembros
FINCAS EN QUE TRABAJAN LOS PARTICIPANTES
Tamaño
Cultivos y otros usos de la tierra
Adopción de innovaciones
Ingresos
COMUNIDADES EN LAS CUALES VIVEN LOS
PARTICIPANTES
Nombre del pueblo/distrito/provincia
Distancia del camino principal
Población (H, M)
Distribución de edades
Ocupaciones
Actividades adicionales que producen ingresos
Número de fincas
Tamaño de las fincas
Cultivos y otros usos de la tierra
89

90 SfG - Teoría, Preguntas y Diseño
Número y tipos de agentes de extensión
Niveles de adopción de innovaciones
Tasa de Alfabetización/Analfabetismo
Número de clases/centros de alfabetización
Razón de cobertura para hombres (H) y mujeres (M)
Disponibilidad de escuelas Primarias
Matrícula escolar (H, M)
Porcentaje que no se ha matriculado (H, M)
Radios
Lectores de periódicos
Instituciones religiosas
Instituciones laicas
Presencia y funcionamiento de comités de desarrollo del pueblo
Producto económico bruto
MAESTROS ALFABETIZADOS
Nombre
Edad
Sexo
Estado civil
Número de hijos
Ocupación familiar
Si es educador de tiempo parcial, qué otra ocupación ejerce
Residencia con dirección postal
Fecha de empleo
Educación
Capacitación para la alfabetización: Año, duración, calificación del

SIG - Teoría, Preguntas y Diseño 91
rendimiento
Otra capacitación para el desarrollo
Hábitos de escucha de la radio
Hábitos de lectura: libros, periódicos
Debería recogerse alguna información adiconal sobre la producción,
distribución y almacenamiento de material didáctico. Debe establecerse
que los planes de recolección de datos fueron reducidos sustancialmente
después de haber tenido alguna experiencia en la ejecución del SIG.
4. Análisis de conceptos, formulación de indicadores y determinación de
códigos
Algunas de las variables presentadas en la lista anterior, tales como edad,
sexo, asistencia, ocupación, tamaño de las fincas, etc. etc. requieren
observación, encuesta y registros. Pero muchas otras variables no se pueden
observar directamente. Inclusive, algunas ni siquiera tienen una definición
clara. Aquellas que no resulten claras tendrán que ser sometidas a un
proceso de análisis conceptual. Deberemos definir lo que entendemos por
conceptos tales como "deserción", "adopción de innovaciones" y
"participación comunicativa", etc.
Puede suceder que el análisis conceptual no sea suficiente. Aun después
de ser analizados algunos conceptos, sus partes constitutivas pueden no ser
suficientemente concretas para verlas y observarlas. El concepto de
"participación comunitaria" puede analizarse en sus componentes:
participación económica, social, cultural y política. Pero aun entonces
tendremos que encontrar indicadores de estos aspectos distintos. Tomemos
el ejemplo de la participación política. Podemos ver si las personas asisten
a reuniones políticas o votan en las elecciones. Estas dos observaciones
pueden usarse como indicadores de la participación política.
En algunos casos, a los indicadores se les tiene que dar valores no por
medio de la observación sino de "pruebas". Podemos decidir que la
calificación en una prueba de alfabetización será indicador del rendimiento
de la persona. Esto quiere decir que hay que elaborar una prueba y aplicarla.
De manera similar podemos desarrollar indicadores para la motivación
hacia el aprendizaje o para la integración nacional y entonces habrá que
construir "escalas" para dar valores a los indicadores de cambio de actitudes.
Habrá que hacer "observaciones" para recoger datos sobre indicadores de

92 SIG - Teoría, Preguntas y Diseño
utilización de las habilidades de alfabetización o la adopción de
innovaciones.
En algunos casos, habrá que inventar "códigos" para almacenar la
información en el SIG. Por ejemplo, en lugar de marcar ausencia (A) o
presencia (P) de los estudiantes adultos, podrían usarse otros códigos:
Presente (P), Enfermo (E), Viajando (V), Asistiendo a un funeral (F),
Desconocimiento (D), etc. Esto nos dará acceso a una gran cantidad de
información para el SIG, simplemente usando una buena codificación.
5. Establecer fuentes de datos
Las fuentes de datos pueden ser personas, grupos, instituciones y
comunidades: educandos, capacitadores, líderes comunitarios; clubes de
mujeres, grupos de discusión; clínicas de salud, centros de rehabilitación;
y pueblos. A veces éstas serán entidades físicas como los hogares, los
campos, tiendas, pozos, recipientes para almacenar, etc. Como parte de
este paso uno debe preguntarse quién proporcionará los datos y con qué
nivel de agregación, cuál será la cobertura, qué grupos se incluirán y
cuáles no. También deben plantearse preguntas acerca de conjuntos de
datos disponibles. ¿Será posible reunir conjuntos de datos? ¿Cuál es la
posible calidad general de los datos para que se tenga acceso a ellos,
proviniendo de diferentes fuentes?
6. Desarrollar un sistema basado en papel y lápiz o basado en computador
para almacenar y recuperar los datos
Puede establecerse un SIG basado en papel y lápiz que funcione
perfectamente. Todas las necesidades de información tendrán que incluirse
en distintos registros, formularios, libros de clases, diarios, bitácoras e
informes periódicos. Alguna información tendrá que estar repetida en más
de un formato. Ya no están fuera del alcance de la mayoría de los países
en desarrollo los SIG basados en computadores y pueden desarrollarse
programas simples, pero útiles para el SIG, que se usen en microcomputadores.
7. Desarrollar archivos complementarios para materiales impresos o
grabados
Tendrá que prestarse la debida atención a desarrollar archivos para impresos,
gráficos, películas, videos y otros materiales. Estos archivos proporcionarán
frecuentemente materiales contextúales e ilustrativos que pueda usarse en

SIG - Teoría, Preguntas y Diseño 93
los informes para los que toman las decisiones, elaborados con base en los
datos del SIG.
8. Establecer series de tiempo para la entrada, el flujo y la utilización de
los datos
Por una parte, deben establecerse series de tiempo que sean realistas -puede
ser imposible solicitar los datos mensualmente- y por otra parte, oportunas
-puede ser que suministrar la información semestralmente sea una frecuencia
insuficiente para que los que toman las decisiones puedan hacer uso de la
información.
También deben establecerse patrones para el flujo de los datos. ¿Quién
recogerá los datos y qué hará con estos, a quién los enviará, en qué forma
y cuándo?
Los problemas acerca de la utilización de los datos son los más
importantes. Deben elaborarse informes escritos para los que toman las
decisiones y su forma deberá ser la que permita utilizarlos más fácilmente.
Con demasiada frecuencia los administradores se reservan el derecho de
interpretar los datos que distintos funcionarios del sistema envían a niveles
superiores. Entonces dan órdenes hacia abajo sobre el uso de esta
información. Mientras tanto, los funcionarios quedan a la espera de estas
órdenes, aunque tengan conocimiento acerca de lo que está sucediendo y
qué es lo que debería hacerse. Mi sugerencia al respecto es: nunca enviar
arriba la información antes de que haya sido verificada, interpretada y
utilizada para entender y mejorar la parte del programa de la que usted es
responsable. También es importante establecer patrones para desechar del
SIG la "información muerta".
Conclusiones
Como se ha afirmado frecuentemente en su favor, el SIG constituye un
apoyo para comprender los procesos que abarca la acción social; permite
un análisis permanente de las políticas y la planificación; hace posible que
los funcionarios estudien el impacto de sus propios programas y aumenta
la posibilidad de rendir cuentas y establecer responsabilidades públicamente.

94 SIG - Teoría, Preguntas y Diseño
Cosas para hacer o para pensar
1. Haga una descripción programática del programa en el cual usted
trabaja. Reorganice las variables que lo constituyen en términos de los
cuatro parámetros de los sistemas. ¿Qué preguntas le suscita este
ejercicio en relación con la calidad de la estructura conceptual del
programa?
2. ¿Cuáles son los distintos formatos, cuadros, registros e informes que
se usan en su programa? ¿Constituyen éstos en conjunto un SIG
suficientemente bueno? ¿Qué habría que hacer para desarrollar un SIG
efectivo sobre la base de lo que hay?
3. Averigüe si algún programa de desarrollo o algún departamento de
desarrollo en su país tiene ya un micro-computador disponible. ¿Qué
uso le han dado? Si están operando con un SIG, pídales que les
muestre como funciona el programa del computador que utilizan.
Notas
1. Se han publicado numerosos libros sobre la teoría y el diseño de
Sistemas de Información para la Gestión. Como ejemplo, vea: Chacko,
George, Management Information Systems, Oxford: Pergamon, 1979.
2. Debe notarse la relación entre los datos y la información implicada en
esta afirmación. Los datos no hablan por sí mismos. Se usan para
generar la información que necesitan los que toman las decisiones.
3. Ver Alter, Steven, L., Decision support systems: Current practice and
continuing challenges. Reading, MA: Addison-Wesley, 1980.
4. El SIG para el proyecto de alfabetización funcional se encuentra descrito
en Government of Malawi, Functional Literacy Programme: Guidelines
for monitoring the programme. Lilongwe: National Centre for Literacy
and Adult Education, Ministry of Community Services, Government
of Malawi, December 1983. Revised 1989.

CAPITULO 6
LA ELABORACIÓN DE UNA PROPUESTA
PARA DESARROLLAR UN SISTEMA DE INFORMACIÓN
PARA LA GESTION
Un proyecto, programa o campaña de alfabetización puede generar una
gran cantidad de información, cuantitativa y cualitativa, durante el proceso
mismo de su ejecución. Mediante la introducción de cuadros, formatos, y
otros instrumentos apropiados, así como de los informes requeridos, esta
información puede recolectarse y almacenarse para ser utilizada
posteriormente. Sus posibilidades son casi ilimitadas. Pero la recolección,
almacenamiento, recuperacióny procesamiento de la información cuestan
dinero. Por lo tanto, los buenos administradores prefieren recoger y
guardar únicamente aquella información necesaria y suficiente en el
contexto de los objetivos de su programa y dentro de las restricciones de
recursos. Para hacer esto, un buen planificador y administrador de la
evaluación debe comenzar por elaborar una propuesta para desarrollar
un SIG que satisfaga las necesidades especiales de una determinada
iniciativa de alfabetización.
En el Capítulo 3 de este libro, al tratar sobre la planificación de la evaluación,
señalamos cómo en un sistema de alfabetización ideal -campaña, programa
o proyecto- habrá un conjunto de necesidades de información que deben
ser satisfechas parcialmente, por un SIG y por estudios de EN o ER
especialmente diseñados. Más adelante, en el Capítulo 5, se hizo un listado
de las necesidades de información a las cuales puede servir mejor un SIG.
Aun estas relativamente pocas necesidades de información pueden ser
abrumadoras.
La propuesta de un SIG debe incluir normalmente los siguientes
aspectos:
1. Los antecedentes y el contexto del programa
La propuesta de un SIG debe comenzar con una breve exposición de la
política de desarrollo del país y el papel atribuido a la alfabetización y a la

96 La Elaboración de una Propuesta para Desarrollar un SIG
post-alfabetización en la promoción de ese desarrollo. Deben describirse
la ideología, los objetivos, las estrategias de la campaña, programa o
proyecto de alfabetización. También deben indicarse los componentes del
desarrollo (tales como la fertilidad, la generación de ingresos, la
concientización, etc.) con los cuales la alfabetización sostiene relaciones
interactivas directas.
2. La justificación de un SIG
El establecimiento de un SIG consumirá recursos valiosos. Por lo tanto, la
propuesta debe justificar bien por qué debe desarrollarse el SIG. ¿Cómo
ayudará el SIG a la administración del programa, a mejorar la enseñanza y
a realizar el estudio de su impacto? ¿Ahorrará recursos el SIG al mejorar
la eficiencia interna y la efectividad del sistema del programa? Finalmente,
¿están los datos que se pretende incluir en el sistema disponibles en otras
partes, a través de otras fuentes?
3. La agenda de información
Debe completarse la "agenda de información" requerida para la iniciativa
de alfabetización de que se trate. Los sistemas de información sobre la
alfabetización pueden tener sus propios centros de especial interés. Un
determinado SIG puede focalizar su atención sobre los estudiantes y no
sobre los maestros. En los resultados del aprendizaje, puede focalizarse en
la alfabetización pero no en la funcionalidad y la concientización.
Finalmente, no podrá incluirse mucho sobre el impacto en las comunidades,
lo cual se dejará para ser examinado por medio de estudios evaluativos
especiales.
4. La estructura del SIG
La estructura general del SIG debe conceptualizarse como parte de la
propuesta que se haga. Esta estructura debe definirse en términos de dos
dimensiones: jerárquica (niveles) y cronológica (periodicidad). Para cada
nivel debe clarificarse lo relacionado con las unidades sociales que se
cubrirán, los indicadores que se utilizarán, los formatos que se emplearán
para la recolección y confrontación de los datos, el flujo de la información
y la utilización de la misma, de la siguiente manera:

La Elaboración de una Propuesta para Desarrollar un S1G 97
NTVEL A (Nivel de trabajo de campo)
a. Unidades sociales que se reflejarán
b. Indicadores sociales que se reflejarán
c. Formatos, cuadros, instrumentos que se utilizarán para recolectar,
consolidar y almacenar los datos
d. Flujo de la información hacia arriba y hacia abajo del sistema
e. Utilización de la información para la toma de decisiones
NIVEL B (Primer Nivel de Supervisión)
a. Información que se recibirá de abajo para ser consolidada
b. Información que se generará en este nivel
c. Flujo de la información hacia arriba y hacia abajo del sistema
d. Utilización de la información para la toma de decisiones
NTVEL C (Nivel de Diseño)
a. Consolidación de la información recibida de abajo
b. Adición de información generada en este nivel
c. Flujo de la información hacia arriba y hacia abajo del sistema
d. Utilización de la información para la toma de decisiones
NTVEL D (Nivel Regional/Zonal/Provincial)
Igual a C
NTVEL E (Nivel Nacional)
Igual aC
5. Periodicidad de la recolección de datos y suministro de información
Algunos datos estarán disponibles cada día en la vida del programa. Otros
habrá que recogerlos especialmente, a través de pruebas y cuestionarios.
Debe establecerse con claridad la periodicidad de la recolección y el envío
de informes.
6. Diseño general de formularios, cuadros y formatos de informe
El diseño de formularios, cuadros y formatos de informes es algo más que
dibujar líneas en el papel. Deberán seleccionarse los tamaños del papel
que sean fáciles de usar y baratos, y que sean fáciles de guardar en los
cajones de los archivadores y estantes. Las filas y las columnas deben
prever los requerimientos de espacio para las distintas respuestas que se

98 La Elaboración de una Propuesta para Desarrollar un SIG
espera se inserten allí dentro.
7. Clasificación, codificación y numeración
Los formularios deben ser adecuadamente clasificados para asegurar la
uniformidad de los rótulos y nomenclaturas. No use "estudiantes" en un
lugar y "adultos" en otro. No use "grupos" en una parte y "clases" en otra.
Desde luego, ambas palabras pueden usarse, distinguiendo como "clases"
a las clases de alfabetización y como "grupos" a los grupos que generan
ingresos. La codificación debe hacerse de acuerdo con un sistema que sea
congruente con la estructura del SIG. Un código con diferentes números
en distintos formularios puede sugerir un conjunto de formularios que van
juntos clasificados por niveles o unidades de estudio. Los códigos deben
ser tales que ayuden a memorizar y que no sea probable que se confundan
con otros.
8. Impresión y distribución
La propuesta debe anticipar los problemas que pueden presentarse con el
impresor. Es importante, desde luego, trabajar estrechamente con el
impresor. Se puede hacer diferenciaciones útiles en los formularios o los
cuadros con el uso de líneas y recuadros. Por otra parte, si los formularios
no se distribuyen adecuada y eficientemente todos los esfuerzos serán
perdidos.
9. La capacitación para la ejecución y utilización del SIG
La instalación de un SIG es más que un asunto de distribuir formularios.
Debe capacitarse a todos los actores involucrados en el sistema total del
programa, desde los alfabetizadores que llenarán los registros de clases
hasta los funcionarios provinciales y a los que trabajan a nivel central para
que aporten los datos necesarios al sistema y para que lo usen con el
propósito de tomar decisiones. La propuesta del SIG debe prever las
necesidades de capacitación y sugerir los planes requeridos. Las sesiones
de capacitación no tienen que ser largas y pueden ser realizadas por un
equipo ambulante. Lo bueno es que el capacitar al personal para utilizar el
sistema de información, al mismo tiempo estamos capacitándolo en
planificación, gestión y diseño de programas.
10. Ubicación de los registros
El flujo de los datos de un nivel a otro no tiene que ir acompañado de

La Elaboración de una Propuesta para Desarrollar un SIG 99
desplazamiento de registros - los formularios, diarios y otros instrumentos
concretos. Dependiendo del tipo de material de que se trate debe decidirse
en cada caso dónde debe quedar cada tipo de registro.
En el resto de este capítulo tomaremos el ejemplo real del SIG
desarrollado para el Programa Nacional de Alfabetización de Adultos de
Malawi y hablaremos de las decisiones que se fueron tomando durante el
proceso de su desarrollo.
Ejemplo de una propuesta para un SIG
La propuesta esbozada en las páginas 99 -107 sobre el diseño, la instalación
y la utilización de un SIG para el Programa Nacional de Alfabetización de
Adultos de Malawi se desarrolló en el contexto de un taller nacional, el
"Taller de Capacitación sobre el Sistema de Información y Pruebas para la
Gesüón del Programa Nacional de Alfabetización de Adultos", realizado
en Zomba, Malawi, del 21 de mayo al 3 de junio de 1989.
EL TALLER DE CAPACITACIÓN DE ZOMBA
Resulta conveniente destacar dos aspectos de este ejercicio de desarrollo
de una propuesta para un SIG:
Primero, el taller no estaba desarrollando una propuesta nueva sino
haciendo una revisión de un SIG que se había diseñado primero en 1983 y
posteriormente revisado en 1985. El sistema debía servir a la necesidades
de un programa de alfabetización que había pasado de un programa piloto
a un programa nacional. Entre tanto, se habían identificado algunos
problemas con el SIG que necesitaban corregirse. Esto hace que el caso de
Malawi sea más útil.
Segundo, el taller de Zomba era un taller con un doble propósito:
desarrollaría una propuesta revisada de diseño, instalación y utilización de
un SIG, y capacitaría a los funcionarios de los distintos niveles del Programa
Nacional de Alfabetización de Adultos para instalarlo, implementarlo y
utilizarlo.
Vale la pena resaltar este segundo aspecto del taller. Para asegurar el

100 La Elaboración de una Propuesta para Desarrollar un SIG
logro del doble propósito del mismo, se seleccionaron participantes que
representaran a funcionarios de todos los niveles de responsabilidad del
programa -alfabetizadores, supervisores, funcionarios de distrito y de las
provincias, así como funcionarios del nivel central. Por una parte, este
grupo heterogéneo de participantes dio al taller sus perspectivas particulares
con respecto a las necesidades, problemas y posibilidades de un SIG. Por
otra parte, recibieron capacitación acerca del "por qué" y los "para dónde"
del sistema y se les preparó para que a su regreso condujeran la capacitación
entre sus colegas del nivel correspondiente.
Con base en nuestras experiencias en desarrollar sistemas de
información para la gestión para varias campañas, programas y proyectos
de alfabetización en el Africa y en otros lugares, recomendamos firmemente
esta estrategia para el diseño de los SIGs en los sistemas de promoción de
la alfabetización en otras partes. Desde luego, un taller como éste para
diseñar el SIG puede también servir como un primer ciclo de cursos de
capacitación para todos los funcionarios del sistema.
i. Descripción del Programa Nacional de Alfabetización de Adultos
Aunque todos los funcionarios participantes en el taller (con la excepción
de uno o dos casos) formaban parte del Programa Nacional de
Alfabetización de Adultos, era preciso iniciar el proceso de desarrollo de
la propuesta discutiendo los objetivos de política, las estructuras
administrativas, las estrategias de ejecución y las necesidades generales de
información del programa. Se ofreció a los participantes una breve sesión
sobre estos tópicos y se puso a su disposición documentación adicional
pertinente. Esto resultó muy provechoso, ya que permitió a los participantes
darse cuenta de sus particulares obligaciones de recoger información de
manera oportuna, tomar conciencia del flujo de información del sistema
tanto hacia arriba como hacia abajo y aprender cómo utilizar la información
del SIG para la toma de decisiones.
ii. Justificación de un SIG para el Programa
En el contexto del ejemplo que venimos analizando no era necesario dar
una justificación para establecer un SIG, sino para realizar una segunda
revisión global del SIG existente después de cuatro años de funcionamiento.
Sin embargo, los problemas administrativos y técnicos que se habían

La Elaboración de una Propuesta para Desarrollar un SIG 101
encontrado en la realidad durante su uso proporcionaban la justificación
necesaria para su revisión y expansión. Estos problemas eran los siguientes:
Problemas técnicos
- El SIG existente resultaba incompleto en relación con el programa
de post-alfabetización y otros aspectos como los grupos de radioescuchas
del programa de radio.
El SIG en ese momento no reflejaba de manera adecuada los
programas de instituciones no gubernamentales asociadas.
Los datos sobre los instructores incluidos en el programa eran
insuficientes.
El personal de supervisión no siempre sabía como manejar el SIG;
y muchos no podían descifrar o analizar los errores que presentaban
los informes que recibían o compilaban.
Algunos de los registros eran muy complicados y detallados y era
necesario simplificarlos.
- En los formularios usados faltaba alguna información mientras
otra se registraba más de una ve.
Había algunos problemas de definición con respecto a algunos
términos utilizados en el SIG que necesitaban ser estandarizados y
clarificados.
En algunos casos se confundían unos formularios con otros. No
siempre estaba claro quién debía llenar un formulario, quién lo
recibiría y dónde debía guardarse.
Se recogía más información de la que el nivel central podía usar.
- El componente del SIG concerniente a las pruebas de aprendizaje
había quedado retrasado. Por ejemplo, no había cifras disponibles
acerca del número de adultos declarados como alfabetizados.
Los ítemes de las pruebas existentes para los educandos no se
habían organizado en una jerarquía apropiada. Por lo tanto, las
pruebas disponibles no permitían discriminar entre los niveles de
alfabetización.
Los supervisores carecían de preparación sobre cómo administrar
las pruebas y más grave aún era su falta de experiencia sobre
cómo calificarlas y preparar informes de los resultados.
- Se había subestimado demasiado el tiempo necesario para
administrar el sistema de pruebas.
Se requería diseñar pruebas paralelas, equivalentes, de modo que

102 La Elaboración de una Propuesta para Desarrollar un SIG
no hubiese que aplicar siempre la misma.
Había que proteger la confidencialidad del proceso de aplicación
de pruebas y de los resultados.
Problemas administrativos
- Había problemas de transporte para ir al terreno a recoger, datos, y
problemas con el servicio de correos para enviar datos hacia arriba
y hacia abajo en el sistema.
- La poca disponibilidad de formularios e instrumentos y la falta de
materiales para escribir era otro serio problema.
Muchos funcionarios no completaban los formularios y cuadros o
no lo hacían oportunamente.
iii. La agenda de información
En el contexto de la propuesta existente no era necesario proponer de
nuevo una agenda de información para el SIG. La establecida en 1983 y
actualizada en 1985 permanecía más o menos intacta. Se centraba todavía
en las habilidades alfabetas. Los datos sobre funcionalidad y concientización,
así como sobre el impacto en las comunidades se dejaban para ser recogidos
a través de estudios evaluativos especialmente diseñados para el efecto.
Por lo tanto, la propuesta del SIG incluía los siguientes puntos:
Todos los formularios debían ser revisados, buscando que fueran
consistentes entre sí.
A todos los formularios debía asignárseles nuevos códigos
mutuamente consistentes, que indicaran como se entrelazaban,
comenzando desde el nivel de la aldea hasta el nivel nacional.
Las nuevas actividades de post-alfabetización deberían reflejarse
en los formularios apropiados.
Habría que diseñar nuevos formularios para los Grupos de Radioescuchas
y una "Guía para los Supervisores".
Es necesario identificar los niveles en los cuales se consolidarían
datos para incluir el nivel de supervisores, de distrito, regional y
nacional. (Esto significa que toda la información remitida a la
Oficina Central seguiría un conducto regular a través de las Oficinas
Regionales y no se enviaría directamente de los distritos al nivel

La Elaboración de una Propuesta para Desarrollar un SIG 103
central. Por lo tanto, había que diseñar un nuevo formulario para la
primera parte de los Informes de los Coordinadores Regionales.)
Se recogería información más cualitativa como primera parte de
cada informe mensual, para sustentar los datos numéricos reunidos
en la segunda parte de cada informe mensual.
Las agencias asociadas informarían a través del Coordinador de
distrito a los niveles regionales y nacional.
Cada juego de formularios e instrumentos se acompañaría de
orientaciones claras por escrito sobre como se debían utilizar.
iv. La estructura del SIG por niveles
Se identifican cinco roles/niveles dentro del SIG de Malawi, así:
Instructor
Supervisor
Coordinador de Distrito
Jefe Regional de Desarrollo Comunitario
Personal de la Oficina Central (nivel nacional)
v. Periodicidad
No se establecieron las cuestiones relacionadas con la periodicidad en el
contexto de la propuesta, sino que se dejaron como decisiones
administrativas que deberían tomarse después. Los datos acerca de la
participación de los educandos, desde luego, se generaban a diario. Pero
había que tomar decisiones acerca de la programación de aplicación de las
pruebas. Los informes distritales se harían cada mes, pero a nivel regional
y nacional se redactarían trimestralmente.
vi. Formularios e instrumentos generales
Por razones de espacio no pueden reproducirse aquí todos los formularios
e instrumentos preparados para el SIG de Malawi. Los lectores interesados
pueden consultar el documento de Josef Müller y Anja Dietrich, (eds.)
Dossier of evaluation instruments for literacy programmes, Bonn: German
Foundation for International Development, 1989.
En las páginas siguientes se incluye una lista de los instrumentos
propuestos y diseñados para el SIG de Malawi.

104 La Elaboración de una Propuesta para Desarrollar un SIG
NUEVOS TÍTULOS Y NUMEROS DE CÓDIGOS PARA LOS
INSTRUMENTOS DE LA VERSION DE 1989
Títulos anteriores Nuevos títulos
I. Formularios para los Instructores
Perfil de la Clase FLP y
Registro de Asistencia y
Progreso
Informe
Complementario del
Primer Mes
Informe Mensual
Perfil de la Clase
con:
- Hoja de Matrícula
- Registro de
Asistentes a clases
- Visitas de agentes
de extensión
- Informes sobre
Reuniones de
Alfabetización
Informe Inicial del
Instructor sobre la clase
Informe Mensual
del Instructor
n. Formularios para los Supervisores
Perfil de la Aldea Perfil de la Aldea
Perfil del Instructor
Informe del Primer Mes
Informe Mensual I
Perfil del Instructor
Informe Inicial del
Supervisor sobre la
clase
Informe Mensual
del Supervisor
Parte 1
Código
Anterior
CP
MR-IA
MR-IB
MR-IP
MR-S1A
MR-S2A
Nuevo
Código
I-CP
I-ICR
I-MR
S-VP
s-rp
S-ICR
S-MR1

La Elaboración de una Propuesta para Desarrollar un SIG 105
Títulos anteriores
Informe Mensual II
NUEVOS TÍTULOS Y NUMEROS DE CÓDIGOS PARA LOS
INSTRUMENTOS DE LA VERSION DE 1989
ni. Agencias Asociadas
Informe del Primer Mes
Informe Mensual I
Informe Mensual II
Nuevos títulos
Informe Mensual
del Supervisor
Parte II
Informe Inicial de
las Agencias
Asociadas sobre la
clase
Informe Mensual de
las Agencias
Asociadas Parte I
Informe Mensual de
las Agencias
Asociadas Parte II
Código
Anterior
MR-SB
MR-PAI
MR-PAIII
MR-PAII
[Copias de todos los informes para los Coordinadores de Distrito]
IV. Formularios de los Coordinadores de Distrito
Nuevo
Código
S-MR2
PAI-ICR
PA-MR1
PA-MR2
Informe Mensual Informe Mensual
del Distrito Parte I MR-POA D-MR1
Progreso del Area del
Proyecto
Actividades de
Capacitación
Informe Mensual
del Distrito Parte II MR-POB D-MR2
Informe Periódico
Distrital sobre
Actividades y
Necesidades de
Capacitación MR-POC D-TR
[los Coordinadores de Distrito llenan formas especiales del D-MR 1 y el D-MR 2 para
las Agencias Asociadas y los envían a los Jefes Regionales de Desarrollo Comunitario]

106 La Elaboración de una Propuesta para Desarrollar un SIG
NUEVOS TÍTULOS Y NUMEROS DE CÓDIGOS PARA LOS
INSTRUMENTOS DE LA VERSION DE 1989
Código Nuevo
Títulos anteriores Nuevos títulos Anterior Código
V. Formularios para los Jefes Regionales de Desarrollo Comunitario
Informe Mensual
Regional Parte I - R-MR1
Informe Mensual para Informe Mensual
el Monitoreo, etc. Regional Parte II MR-ROA R-MR 2
Informe Mensual
Regional sobre
Actividades y
Necesidades de
Capacitación - R-MTR
[Los Jefes Regionales llenan formularios especiales del R-MR1 y el R-MR 2 para las
Agencias Asociadas y los envían a las Oficina Central, a nivel Nacional]
VI. Oficina Central a Nivel Nacional
Progreso Nacional Informe del Progreso
Anual por mes Anual Nacional por
Distritos
Progreso Nacional
Mensual por Proyecto
Actividades de
Capacitación (Resumen
Anual)
Informe Trimestral
Nacional e Informe
de Progreso Anual
por Regiones
Informe Nacional
sobre Actividades y
Necesidades de
Capacitación
Cuadro 1 N-Tl
Cuadro 2 N-T2
Cuadro 3 N-TR
[El R-MR 1 no se consolida a nivel nacional pero sí es recopilado y utilizado
por la Oficina Central]

La Elaboración de una Propuesta para Desarrollar un SIG 107
NUEVOS TÍTULOS Y NUMEROS DE CÓDIGOS PARA LOS
INSTRUMENTOS DE LA VERSION DE 1989
Código Nuevo
Títulos anteriores Nuevos títulos Anterior Código
VIL Formularios adicionales
Guías para la
Supervisión (para ser usadas
por el Supervisor como una
lista de control al visitar las
clases de alfabetización) S-GS
Informe de los Grupos de
Radio (para ser llenados por el
Instructor y enviados a través
del Supervisor al Coordinador
de Distrito, al Jefe Regional de
Desarrollo Comunitario y a la
Sección de Radio de la Oficina
Central). I-Radio
No se ha incluido en la lista anterior ni las pruebas de Alfabetización que se aplicarían a
los educandos ni las hojas de calificación desarrolladas para calificar la prueba. Desde
luego, los datos aparecerían en distintos formularios e informes que conforman el SIG.
[Esta lista se ha reproducido del documento de National Adult Literacy Programme,
Guidelines and Instruments for Monitoring the Programme (Third Revised Edition).
Lilongwe: National Center for Literacy and Adult Education, Ministry of Community
Services, Government of Malawi, 1989].
En la Figura 3 de la siguiente página se indica el flujo de información
a través de los niveles.

£=
a>
O
en
eu
ce
o
O
Q.
3
co
•s?
£ =
tro
ion
z
rdii
erv
rue
15
aci
"ëô
c
O
0>
•o
hi
c?
o
.52
Î;
2
H
Distrito
S
_L
co
il
Lt.
l-MR
..
__
< —
f.
ce
S
Ö
4
^
^ , 1
•ICR S •-MR
4
1
5
JL.
__
,_
£p
Z
^

La Elaboración de una Propuesta para Desarrollar un SIG 109
vii. Clasificación, codificación y numeración de los instrumentos
Los participantes del taller en el cual se formuló la propuesta habían
identificado varios problemas con la clasificación y la codificación de los
formularios y la propuesta de revisión del SIG buscó superarlos. El más
importante era la falta de uniformidad en la clasificación y la codificación.
Un examen cuidadoso de la lista de formularios presentada debe mostrarnos
claramente cómo el nuevo sistema de numeración resolvió los problemas
identificados.
viii. Impresión y distribución
Los formularios finales de los distintos instrumentos escritos a mano se
hicieron lo más parecidos posible al producto final deseado y se realizaron
"pruebas en seco" para ver si podían llenarse fácilmente. Sin embargo, la
propuesta del SIG no incluyó sugerencias para la impresión de los
instrumentos, y esto se dejó una vez más para que se tomaran las decisiones
administrativas requeridas. Se discutió el tema de la distribución de los
instrumentos a las regiones, los distritos y las clases, pero esto no se
presentó como parte de la propuesta.
ix. La capacitación de los funcionarios
Todos los participantes se sintieron complacidos por haber tenido la
oportunidad de asistir al taller. Manifestaron su satisfacción por haber
podido contribuir a la revisión del SIG, y aun más grato para ellos fue
haber recibido "capacitación" sobre el mantenimiento y la utilización del
SIG.
Todos estaban convencidos que la propuesta debía incluir
recomendaciones para la capacitación de todos los funcionarios -los
instructores, los supervisores y el personal de las oficinas distritales,
regionales, y nacionales- sobre el mantenimiento y la utilización del SIG.
Para este propósito se hicieron solicitudes de apoyo a las agencias de
financiación para realizar talleres de capacitación sobre el sistema que
cubrieran a todos los funcionarios.

110 La Elaboración de una Propuesta para Desarrollar un SIG
x. Ubicación de los registros
Al problema de la ubicación de registros se le dio menos atención de la
que merece. En general se opinaba que cuando los registros no se necesitaran
más en las localidades, distritos y regiones, estos deberían remitirse al
centro. Allí no sólo estarían más seguros, sino que podrían usarse para
realizar estudios especiales sobre la base de una selección de participantes
hecha al azar.
Cosas para hacer o para pensar
1. Haga una revisión rápida pero cuidadosa de todos los archivos y
registros que se guardan en su oficina acerca del proyecto, programa o
campaña de alfabetización de adultos. ¿Qué pasos habría que dar para
transformar los "archivos y registros" existentes en un SIG más
sistemático?
2. Piense en un conjunto mínimo de cuadros de estadísticas de
alfabetización que a usted le gustaría incluir en sus informes trimestrales,
si fuera usted el director del proyecto.
3. ¿Puede adaptarse a su situación el SIG de Malawi descrito aquí? ¿Qué
puede tomarse de éste y qué no?

CAPITULO 7
EL PROCESO EN UNA MIRADA:
HERRAMIENTAS Y TÉCNICAS PARA
LA EJECUCIÓN DE UN SIG
Para ejecutar e instalar un SIG, se necesitan habilidades para utilizar
técnicas como el análisis conceptual; para formular indicadores y
determinar los niveles y estándares; para la construcción de instrumentos
de encuestas y listas de conteos, pruebas de rendimiento y escalas de
actitudes; y elaborar guías de observación. También deben aprenderse
algunas ideas acerca del desarrollo del sistema de archivos de registros
impresos y en cintas.
Al ejecutar e instalar un SIG para una campaña, programa o proyecto de
alfabetización, tendremos que ir más allá de contar el número de
participantes y registrar su género y edad. Tenemos que considerar
conceptos mucho más complejos, tales como "deserción", "habilidad para
la lectura", "efectividad del maestro", "adopción de innovaciones",
"desarrollo" y otros.
Estos son conceptos que no pueden pasarse directamente a las columnas
y las líneas de los cuadros de registro diseñados para nuestro SIG. Antes
de llegar a hacer preguntas, observar, contar y registrar, tendremos que
"desglosar" estos conceptos mediante un proceso de elaboración continua
que comprende más de un ciclo de análisis conceptual.
Este proceso de elaboración no termina con el análisis de los conceptos.
Después del análisis, los conceptos deberán ser definidos en términos de
indicadores -acontecimientos y conductas observables- que señalarán la
probable presencia de algo que no es visible a simple vista.
Habrá que redactar para cada uno de los indicadores uno o más hemes
(preguntas que deben contestarse, alternativas que deben seleccionarse,
espacios que habrán de llenarse) para obtener algún conocimiento suficiente
sobre un mismo indicador. Habrá que organizar luego estos ítemes en
instrumentos que se llevarán al campo y se utilizarán en el proceso de
recolección de datos. Estos instrumentos pueden ser encuestas, entrevistas,

112 Herramientas y Técnicas del SIG: Análisis Conceptual
cuestionarios, pruebas de conocimientos y rendimiento, escalas de actitudes,
listas de control y guías de observación.
Después de recoger los datos, habrá que dividir los instrumentos en los
ítemes o aspectos que serán incluidos en el SIG. Habrá que combinar de
varias formas los ítemes de datos del SIG para obtener las respuestas
requeridas por las diferentes preguntas que hayan planteado los que hacen
la política, planificadores, administradores y otras personas involucradas
en el programa. Este proceso podrá requerir dar peso a las calificaciones,
establecer intervalos, niveles y estándares, así como un tratamiento
estadístico de los datos.
La Figura 4 en la siguiente página presenta el proceso total en una mirada.
A continuación se presenta una discusión detallada de algunos de los
pasos que antes se han insinuado.
SECCIÓN A: Análisis Conceptual
La evaluación debe ser emergente, así que las tareas que requiere se
establecen inicialmente en términos bastante generales. Por ejemplo, el
objetivo de la evaluación puede ser "evaluar el impacto de un programa de
alfabetización o post-alfabetización en una comunidad". Desde luego, ¡ "el
impacto" no es algo que podamos evaluar instantáneamente! Tenemos que
hacer un "análisis conceptual" del término "impacto" en el contexto
específico de un programa de alfabetización o post-alfabetización en un
determinado país. El análisis del concepto es un tipo de análisis, que es,
según la definición del diccionario, "la separación o división de un todo en
sus elementos fundamentales o partes constitutivas; un examen detallado
de algo complejo que se hace con el fin de comprender su naturaleza o
determinar sus características esenciales".
Las preguntas que hacemos en cualquier análisis conceptual son:
¿Cuáles son los significados genéricos del concepto que estamos analizando?
¿Qué es lo que el concepto no significa? ¿Cómo puede diferenciarse el
concepto de otros similares? Por ejemplo, ¿se diferenciará el "impacto" de
las "consecuencias no previstas" que tenga la alfabetización o no? También
puede ayudar un análisis que considera las condiciones: ¿Qué condiciones
deben cumplirse para que un agente de la alfabetización afirme que algo es
el impacto resultante del programa de alfabetización? Finalmente, debe

Q CO
1
I
CO k_
LUI CL
Determin ar necesidade
•
CO
de monitoreo
Desarro lar la estructu esencial de
sistema de m litoreo
b
nir término s clave y
izar concer. tos clave
o
cribir iteme s para recoger
sguntas, pr avocación, pru
k
CU
Organiz ar los itemes e
apropia dos: pruebas,
entrev stas y guías d
Figu
ra
4: El Pr
CZ O CD
i L
Escri bir
indicad ores
atos por medio
bas y observac
instrumentos
uestionarios,
observación
•o
o
V)
0) o
"O -o
e Desarr olio y
3=
^
lizac
i k
•o
c
•o
Recoger datos de
uentes apropiadas
en el proceso de
ejecución del
programa
e un Sistema
O
•a
j.
- %%
O ro o Ü »-
¿= TD CL CO ÇL
ducir los
tosen
sitivos de
enamiento
opiados
Inform ación para
1
1
re
Q-
Gesti
rocesar y analiza
los datos para
satisfacer las
necesidades del
monitoreo
LU
o
scribir informes
periódicos
n (SIG).
Herramientas y Técnicas del SIG: Análisis Conceptual
113

114 Herramientas y Técnicas del SIG: Análisis Conceptual
hacerse la pregunta: ¿Qué debe estar ocurriendo en términos de
"operaciones" para que un concepto particular se manifieste en el mundo
real? A esto es a lo que frecuentemente nos referimos como
operacionalización. En otras palabras, el concepto se define en términos
de operaciones, acontecimientos, acciones, comportamientos y otras cosas
que tienen una existencia concreta.
El análisis conceptual no necesariamente ha de ser un proceso lógico
efectuado por un experto. Consideramos que las estrategias sociológicas
para el análisis de los conceptos son tan importantes como las estrategias
lógicas. El análisis de un concepto como impacto de la alfabetización en
algún momento debe pasar por un proceso participativo de definición. De
esta forma, será posible que las diferentes personas implicadas proyecten
sus múltiples valores en relación con lo que ellos quieren que la
alfabetización o la post-alfabetización haga o que haya hecho por ellos.
Análisis del concepto "impacto de la alfabetización"
Utilizando algunas estrategias puramente lógicas del análisis conceptual
(que después serán complementadas con estrategias sociológicas con la
participación de todos los involucrados en este campo), podemos conceptualizar
el impacto de la alfabetización en los elementos fundamentales y
componentes esenciales presentados en el siguiente cuadro.
Lugar del
Impacto:
Individuos
Grupos
Instituciones
Comunidad/
Sub-cultura
DIMENSIONES GENERALES DEL IMPACTO
Socio-cultural Político Económico Ambiental
1
5
9
13
2
6
10
14
3
7
11
15
4
8
12
16

Herramientas y Técnicas del SIG: Análisis Conceptual 115
Por supuesto, hay otras formas de categorizar las dimensiones del
impacto de la alfabetización y la post-alfabetización en la vida de las
personas. A los agentes de la alfabetización les gusta hoy en día hablar de
tres dimensiones del impacto, relacionadas con (1) habilidades alfabetas,
(2) funcionalidad y (3) concientización.
Desde luego, es posible utilizar el cuadro presentado anteriormente
para elaborar una lista de elementos y componentes separadamente para
cada una de las múltiples dimensiones del impacto de la alfabetización. En
la vida real los agentes de la alfabetización elegirán análisis prácticos más
bien que teóricos. Será interesante mirar una lista de componentes y
elementos que aparecieron en un análisis conceptual del impacto de la
alfabetización y la post-alfabetización en un documento del Instituto de la
UNESCO para la Educación. Esta se presenta en el Ejemplo 1, en la
siguiente página.
Nosotros aceptamos completamente y apoyamos firmemente el
concepto de alfabetización funcional generalizada que incluye las
habilidades alfabetas, la funcionalidad y la concientización. Pero nos damos
cuenta también de que las habilidades alfabetas son centrales en un plan
de alfabetización. Siendo esto así, nos centraremos en la alfabetización y
la post-alfabetización para ilustrar la naturaleza continua del análisis
conceptual.

116 Herramientas y Técnicas del SIG: Análisis Conceptual
EJEMPLO 1
Con base en los estudios de caso de diez países, se dedujo que los programas de
alfabetización, post-alfabetización y educación continuada producían impactos de la
siguiente naturaleza:
(a) cambios de actitudes
(b) cambios en las habilidades ocupacionales y el ingreso
(c) cambios en hábitos personales, higiene, planificación familiar, etc.
(d) las orientaciones futuras, las aspiraciones
(e) aumento en la matrícula escolar
(0 apoyo comunitario a la construcción de escuelas
(g) asumir las comunidades la responsabilidad de lograr sus propias metas
(h) surgimiento de nuevos líderes en las comunidades
(i) personal capacitado para la educación de jóvenes adolescentes y adultos
(j) mayor uso de documentos con propósitos cívicos
(k) mayor uso de los servicios del Estado
0) mejores prácticas nutricionales
(m) mejores condiciones sanitarias de la población
(n) generación de actitudes orientadas hacia el logro
(o) demanda de mejores sistemas de comunicación
(p) aumento de la confianza en sí mismos y de la concientización
(q) mayor participación en el ambiente social
(r) control y transformación del ambiente
(s) niveles de conocimiento alcanzados por los educandos en las áreas de capacitación
vocacional, salud y civismo,
(t) participación en el mercado, el abastecimiento y la extensión agrícola en la
aldea
(u) aplicación de las habilidades alfabetas para propósitos individuales y comunitarios
(v) cambios en la tecnología usada
(w) cambios en las estructuras de servicios
(x) mayor conciencia política y mayor participación en la toma de decisiones
(y) mayor conocimiento de técnicas agrícolas modernas
(z) creación de un ambiente favorable a la alfabetización
[Informe de los Grupos A y B (PRG 4.32 Reunión de Reencuentro, 1984).
Instituto de la UNESCO para la Educación, Proyecto de Desarrollo de
Técnicas y Procedimientos de Evaluación en Programas de Alfabetización
y Post-alfabetización en Marco de la Educación Permanente, Hamburgo,
junio 24-28,1985].

Herramientas y Técnicas del SIG: Análisis Conceptual 117
Puesto que el impacto de los programas de alfabetización debe resultar
en la forma del aprendizaje de habilidades alfabetas por los estudiantes
adultos ¿qué elementos y componentes de éstas habrá que considerar para
poder decir que la alfabetización o la post-alfabetización han tenido
influencia en la vida de las personas y sus comunidades? De nuevo,
ofrecemos ejemplos de programas de alfabetización y post-alfabetización
desarrollados en países del Tercer Mundo.
Comenzamos por una descripción bastante simple de las habilidades
alfabetas en el Ejemplo 2 en la siguiente página. Los organizadores del
proyecto la clasifican "Criterios de Evaluación".
Lo ofrecemos como ejemplo de "análisis del concepto" de alfabetización.
Debemos señalar que estos componentes del concepto o criterios
pueden fácilmente utilizarse para construir una prueba de alfabetización.
La calificación en esa prueba vendría a ser un "indicador" del éxito o
fracaso del educando basado en su rendimiento en la alfabetización.
El análisis conceptual de la alfabetización y la post-alfabetización
desarrollado en el Programa Nacional de Educación de Adultos de la
India, que se muestra en los Ejemplos 3 y 4, en las págs. 119 y 120, es
mucho más elaborado que los presentados en el ejemplo de la campaña de
alfabetización de Kerala.

118 Herramientas y Técnicas del SIG: Análisis Conceptual
EJEMPLO 2
CRITERIOS DE EVALUACIÓN DE LA ALFABETIZACIÓN DEL
PROGRAMA MISIÓN TOTAL DE ALFABETIZACIÓN
I. Lectura
A. Leer en voz alta cualquier pasaje seleccionado por el educando pronunciando
correctamente 30 palabras en un minuto.
B. Leer en silencio, de cualquier libro de lectura sencillo con el cual no esté
familiarizado, a una velocidad de 35 palabras por minuto.
C. Leer y comprender signos del tránsito, carteles y otras instrucciones sencillas.
D. Leer literatura sencilla en su propio ambiente.
II. Escritura
A. Comprender el significado y copiar un pasaje a siete palabras por minuto.
B. Escuchar al dictado y escribir a una velocidad de 5 palabras por minuto.
C. Escribir en forma legible y dejando los espacios correctos.
D . Escribir cartas y mensajes sencillos y ser capaz de llenar un formulario simple
de uso cotidiano.
III. Aritmética
A. Escribir y leer los números de 1 a 100.
B. Realizar adiciones y sustracciones de hasta 3 dígitos y multiplicaciones y
divisiones por 2 dígitos.
C. Comprender el sistema métrico de pesos y medidas, dinero, distancia, superficie
y leer el reloj.
D. Tener conocimientos rudimentarios de proporciones e interés.
[Fuente: Center for Development Studies. Report of the Total Literacy
Mission. CDS, Trivandrum, Kerala, India, c. 1990, p.43].

Herramientas y Técnicas del SIG: Análisis Conceptual 119
EJEMPLO 3
ESPECIFICACIÓN DE NORMAS PARA ALCANZAR LA
ALFABETIZACIÓN
a) Habilidades de Lectura
Al finalizar el programa el educando debe ser capaz de:
i leer correctamente un pasaje simple de unas seis a siete oraciones en un
minuto. Debe sacarse del material utilizado en el centro y presentarse
preferiblemente con el mismo tipo de letra,
ii leer en un minuto aproximadamente de 10 a 20 palabras escritas a mano
con letra de imprenta,
iii leer comprensivamente signos de tránsito, carteles, instrucciones simples y
algunos titulares de los periódicos para neo-lectores,
iv leer los números del 1 a 100.
v comprender el material leído en los ítemes i, ii y iii y responder preguntas
relacionadas con éste.
b) Habilidades de escritura
El educando debe ser capaz de:
i copiar un mínimo de diez palabras por minuto de un pasaje corto. Las
palabras no deben tener más de cuatro letras y el educando debe comprender
lo que ha escrito,
ii escribir al dictado a una velocidad de por lo menos siete palabras por
minuto,
iii escribir en línea recta dejando el espacio apropiado en papel rayado.
c) Habilidades de Cómputo
i El educando debe ser capaz de hacer cálculos sencillos (adicionales,
sustracciones, multiplicaciones y divisiones sencillas) con cifras de hasta
tres dígitos. En las multiplicaciones y en las divisiones el multiplicador y el
divisor respectivamente será de una sola cifra.
ii Al finalizar el curso el educando habrá ganado conocimientos prácticos de
pesas y medidas métricas.
iii El educando deberá saber las tablas hasta 10.
d) Aplicación de las Habilidades Alfabetas
El educando será capaz de:
i leer encabezamientos, signos del tránsito, carteles, titulares de periódicos y
otras comunicaciones que le llegan en documentos legibles y escritos a
mano con letra de imprenta,
ii escribir cartas sencillas, llenar formularios sencillos de solicitudes de
préstamos de banco u otros como giros postales,
iii llevar la contabilidad de sus gastos diarios y sus ahorros y controlar sus
entradas en su libreta,
iv seguir instrucciones leídas en las bolsas de fertilizantes, pesticidas y envases
de medicamentos.

120 Herramientas y Técnicas del SIG: Análisis Conceptual
EJEMPLO 4
COMPETENCIAS DE ALFABETIZACIÓN Y CALCULO
NUMÉRICO QUE DEBEN HABERSE LOGRADO AL TERMINO
DE LA ETAPA DE POST-ALFABETIZACIÓN
1. Lenguaje
i Habla
- Habilidad para participar en discusiones.
- Habilidad para describir experiencias,
ii Lectura
- Habilidad de leer en voz alta de manera fluida materiales impresos sencillos
con pronunciación, entonación y acento correctos.
- Habilidad de leer en silencio con una velocidad de 70 palabras por minuto.
- Habilidad de leer comprensivamente materiales impresos (cuentos, material
informativo, libros de texto, noticias, periódicos, carteles, formularios, etc.)
- Habilidad de leer material escrito a mano (cartas, mensajes, instrucciones),
iii Escritura
- Habilidades de copiar con comprensión a una velocidad de 15 palabras por
minuto.
- Habilidad de escribir dictado a una velocidad de 10 palabras por minuto
- Habilidad de escribir mensajes sencillos comprendiéndolos.
- Habilidad de leer cartas y formularios de solicitudes, y de llenar los
formularios para préstamos bancarios, giros postales, etc.
2. Cálculo numérico
- Habilidad de leer y escribir los números hasta 10.000
- Habilidad de comparar y ordenar los números hasta 10.000
- Habilidad de comprender el concepto de valor del lugar de los números en
cifras de hasta 5 dígitos.
- Habilidad de resolver operaciones en las cuales se adicionan dos o más
números, sin que el resultado exceda a 10.000.
- Habilidad de resolver operaciones en las cuales se sustrae un número de
otro hasta de 4 dígitos.
- Habilidad de resolver operaciones en las cuales se multiplica un número
por otro, siendo el multiplicador de dos dígitos.
- Habilidad de resolver operaciones en la cuales se divide un número por otro
siendo el dividendo de hasta 4 dígitos y el divisor de hasta 2 dígitos.
- Habilidad de resolver problemas en los cuáles se realicen 2 ó 3 operaciones,
sin que se utilicen cifras de más de 4 dígitos.
- Habilidad de usar métodos uniíarios, calcular interés simple, porcentajes,
etc.
- Habilidad de hacer cálculos simples con unidades estándares de dinero,
tiempo, medida, peso, superficie, volumen, etc.
- Habilidad de llevar sus cuentas y resolver problemas cotidianos que requieran
cálculos numéricos.

Herramientas y Técnicas del SIG: Análisis Conceptual 121
[Los Ejemplos 3 y 4 son de DAE, Repon of National Workshop on Monitoring and
Evaluation. New Delhi: Directorate of Adult Education, Ministry of Education,
Government of India, 1982. También reproducido en Mathur. E.S., "Evaluation of
literacy and post-literacy programs in India", (PRG 4.32/4.38), UNESCO Institute for
Education (UDE) Project on the Development of Techniques and Procedures on
Evaluation Pertaining to Programs of Literacy and Post-Literacy in the Framework
of Lifelong Education, Hamburg, October 7-11,1985].
Niveles e intervalos
Como se mencionó anteriormente, hay un proceso continuo de elaboración
cada vez mayor al pasar de los conceptos generales a través del análisis
conceptual, hasta la formulación de indicadores y la redacción de ítemes
para los instrumentos de evaluación. Un cuidadoso examen de los Ejemplos
1 a 4 demuestra que algunos componentes de los conceptos analizados
arriba requerirán aún más análisis antes de poder determinar indicadores y
construir ítemes. Otros componentes ya estarían listos para hacerlo.
De los Ejemplos 3 y 4 debe destacarse la construcción de una jerarquía
de habilidades en el listado de criterios. Las habilidades de lectura, escritura
y cálculo numérico que se exigen en el nivel de post-alfabetización son,
desde luego, más complejas que las exigidas para el nivel inicial de
alfabetización. Aun dentro de las dos listas de componentes hay una
jerarquía implícita. En otras palabras, se han construido intervalos de logro
o niveles de rendimientos en estas listas. Los Ejemplos 5 y 6 en las
páginas 122 y 123 establecen en forma más explícita los niveles de
alfabetización.

122 Herramientas y Técnicas del SIG: Análisis Conceptual
EJEMPLO 5
NIVELES DE LOGRO EN LA ALFABETIZACIÓN FUNCIONAL
EN TANZANIA
Para evitar dividir a los educandos en categorías de pasó-no-pasó, es posible establecer
una calificación de acuerdo con el nivel de dificultad de la respuesta requerida:
Nivel I:
Educando que se ha inscrito y ha asistido a dos tercios de las sesiones de alfabetización
en un año de actividades.
Nivel II:
Participante que además de cumplir con los anteriores requisitos, ha pasado con éxito
una o las dos pruebas en los siguientes sub-niveles.
Sub-nivet (i):
Persona que puede reconocer palabras y/o símbolos, escribe las letras de las silabas,
escribe números y/o signos aritméticos y hace cálculos mentales sencillos.
Sub-nivel (ii):
Persona capaz de leer una corta oración sencilla con significado completo, que puede
escribir una oración corta sencilla y adicionar y sustraer números de un solo dígito.
Nivel m:
Persona que además de cumplir lo establecido en el nivel anterior, ha pasado con éxito
una o las dos pruebas en los siguientes sub-niveles.
Sub-nivel (i):
Educando capaz de leer una oración sencilla, y con sentido completo, que puede escribir
una oración corta sencilla y de adicionar y sustraer números de dos dígitos.
Sub-nivel fu"):
Persona que domina los símbolos en su forma escrita o puede codificar y decodificar
mensajes escritos. Será capaz de ejecutar lo siguiente: leer de manera fluida y
comprensivamente un texto simple (basado en sílabas comunes y el vocabulario que
emplean las cartillas iniciales; de acuerdo con las sílabas y el vocabulario más frecuente
en lenguaje Swahili). También será capaz de escribir un mensaje o pasaje sencillo corto;
de adicionar y sustraer números de tres dígitos, multiplicar por números de dos dígitos y
dividir por uno.
Nivel IV:
Educando que utiliza en forma continua las habilidades alfabetas adquiridas. Esta persona
habrá calificado en el nivel anterior, pero también será capaz de leer y escribir mensajes;
leer un periódico (por ejemplo, Uhuru, Ukulima wa kisasa, etc.), para mantenerse
informado de los acontecimientos de actualidad y obtener información; podrá leer libros
del tipo "hágalo usted mismo", de cómo vivir mejor, preparar mejores alimentos, utilizar
mejores técnicas agrícolas, etc.; y será capaz de mantener registros y resolver problemas
simples. También podrá llevar un libro sencillo de contabilidad de ingresos y gastos.
Los participantes que alcanzan los niveles III y IV en lectura, escritura y aritmética
combinados se consideran alfabetos o graduados y los que alcanzan el nivel IV se
consideran alfabetos funcionales.

Herramientas y Técnicas del SIG: Análisis Conceptual 123
EJEMPLO 6A
Cuadro 1. RESULTADOS DE LAS PRUEBAS
DE AUTOEVALUACION
A. Resultados definidos y detallados por nivel
Materia Nivel Habilidades requeridas
L
E
C
T
U
R
A
E
S
C
I
T
TT
U
R
A
0
la
Ib
2a
2b
3a
3b
4a
Prácticamente ninguna
Leer correctamente en voz alta palabras de una o dos sílabas
seleccionadas entre las que se enseñan en las primeras lecciones
del texto
Escribir al dictado palabras de este nivel de dificultad
Leer correctamente en voz alta oraciones de cinco a nueve
palabras, que sólo usan sílabas enseñadas en las primeras ocho
lecciones del texto. (Dos tercios de los fonemas del lenguaje
escrito)
Escribir al dictado oraciones de este nivel de dificultad
Leer correctamente en voz alta un corto pasaje de tres o cuatro
oraciones, que comprenden cada una hasta 12 palabras
compuestas por cualquier sílaba del lenguaje escrito
Escribir al dictado un pasaje corto de este nivel de dificultad
Leer un texto de varios párrafos y contestar correctamente a las
preguntas hechas sobre el mismo
4b Escribir una composición de varios párrafos

124 Herramientas y Técnicas del SIG: Análisis Conceptual
EJEMPLO 6B
Cuadro 1: RESULTADOS DE LAS PRUEBAS
DE AUTOEVALUACION
B. Resultados definidos y detallados por nivel
Materia Nivel Habilidades requeridas
A
R
I
T
M
E
T
I
C
A
0 Prácticamente ningún conocimiento
la Leer y escribir dígitos de 0 a 9
lb
2a
2b
3a
3b
4a
Leer y escribir números de tres dígitos
Adicionar, llevando, dos o tres números de tres, cuatro o cinco
dígitos
Sustraer, llevando, números de dos o tres dígitos
Multiplicar, llevando, números de dos o tres dígitos
Dividir números por dos o tres dígitos con residuo
Resolver problemas prácticos dictados que incluyan divisiones
por números de dos o tres dígitos con residuo
4b Resolver problemas prácticos dictados que requieran una serie
de operaciones incluyendo divisiones como las del nivel 4a
[Los ejemplos 6A y 6B fueron tomados de Ouane, A., "Evaluation and Monitoring of
Literacy and Post-Literacy Programmes in Mali - The Experience of DNAFLA (National
Directorate of Functional Literacy and Applied Linguistics)", PRG 4.38, Doc5, UNESCO
Institute for Education (UIE) Project on the Development of Techniques and Procedures
of Evaluation Pertaining to Programs of Literacy and Post-Literacy in the Framework of
Lifelong Education, Hamburg: UNESCO Institute for Education, March 1989].

Herramientas y Técnicas del SIG: Análisis Conceptual 125
Los ejemplos 1 a 6 no agotan todas las tareas del análisis conceptual
que deben realizar quienes trabajan en programas de alfabetización. Otros
conceptos igualmente simples, como "desertores" tendrán que definirse en
el contexto de los programas particulares. Habrá que responder a preguntas
como estas: ¿Cómo nos aseguramos de que la designación de desertor no
incluya a los que asistieron después de matricularse, a los que fueron
expulsados por los maestros porque se quedaron muy retrasados respecto
al resto del grupo o a los que llegaron con éxto hasta donde ellos se habían
propuesto y consideraron que no era necesario continuar? ¿Cómo
designamos a un participante que desertó por un período de tiempo y
regresó después?
Antes de dejar el tópico sobre el análisis conceptual, debemos tratar
otras de las preocupaciones que tienen los agentes de la alfabetización -la
efectividad del maestro y la evaluación del currículo.
¿Qué es la efectividad? Esta tendrá que ser definida en el contexto de
cada programa particular que se evalúa. El Ejemplo 7, en la página 126,
muestra las complejidades implicadas en el concepto de efectividad del
maestro.
En los Ejemplos 8 y 9, de las páginas 127 y 128 tocamos lo relaciona­
do con la evaluación curricular.

126 Herramientas y Técnicas del SIG: Análisis Conceptual
EJEMPLO 7
EL MAESTRO EFECTIVO
A. Conocimiento de la materia
¿Conoce bien la materia el maestro?
B. Organización y claridad de la exposición en el grupo
¿Es estructurada la exposición del maestro? ¿Utiliza conscientemente estrategias
didácticas? ¿Resume los puntos importantes?
C. Interacción instructor-estudiante
¿Hay discusión en clases? ¿Se anima a los participantes a que hagan preguntas?
¿Son estimulantes las preguntas del maestro?
D. Nivel de entusiasmo
¿Muestra entusiasmo el maestro al enseñar? ¿Muestra respeto por los estudiantes?
E. Uso de materiales didácticos
¿Se utilizan materiales didácticos? ¿Se producen localmente algunos de éstos?
¿Se utilizan medios autóctonos y las instituciones locales en la instrucción?
F. Utilización de extensionistas para la enseñanza
¿Existe colaboración con otros extcnsionisas en el campo?
G. Rendimiento de los estudiantes
¿Están aprendiendo los adultos? ¿Qué aprenden? ¿Con qué resultados efectivos?
H. Provisión de información de retorno a los estudiantes acerca de su progreso
¿Comunica el maestro a los estudiantes cómo cree que lo están haciendo,
honestamente, pero con tacto?
I. Ayuda a la transferencia del aprendizaje a la vida fuera de la clase
¿Ayuda el maestro a que los estudiantes transfieran lo aprendido a la vida fuera
de clases? ¿Tienen la clase un proyecto para la generación de ingresos?

Herramientas y Técnicas del SIG: Análisis Conceptual 127
EJEMPLO 8
LA EVALUACIÓN DE LA EFECTIVIDAD DEL CURRICULO
El concepto de efectividad del currículo al analizarse puede mostrar los siguientes
componentes:
1. Adecuación general
2. Incorporación de posibilidades de identificar los errores
3. Factibilidad
4. Calidad
5. Estándares
6. Utilidad
7 Suficiencia
8. Pertinencia
9. Respuesta a las necesidades del estudiante
10. Adecuación de los contenidos y métodos
11. Consistencia interna
12. Claridad
13. Coherencia con los objetivos del programa
14. Actualidad
15. Equilibrio
16. Evitar las interrupciones en la enseñanza al prever las dificultades que enfrentarán
los estudiantes
[Materiales del Instituto de la UNESCO para la Educación. Primer borrador de una síntesis
de estudios nacionales. (PRG 4.32): Evaluación del estudiante, evaluación del currículo,
monitoreo del programa y evaluación del impacto. Hamburgo, junio de 1985].

128 Herramientas y Técnicas del SIG: Análisis Conceptual
EJEMPLO 9
EVALUACIÓN DE LIBROS DE SEGUIMIENTO POR MEDIO
DE LA REVISION POR COLEGAS: DIMENSIONES/
COMPONENTES DE CALIDAD
1. Tamaño del libro
2. Calidad del papel
3. Encuademación y presentación general
4. Tipo y tamaño de los caracteres
5. Encabezamientos y espacios
6. Portada - exactitud, atractivo, composición
7. Propósito del libro
8. Construcción de argumentación
9. Unidad y coherencia del contenido
10. Calidad de las ilustraciones e integración entre el contenido verbal y los gráficos
11. Calidad del mensaje
12. Tratamiento literario y estilo de redacción
13. Nivel de legibilidad o facilidad de lectura
14. División de los capítulos y los párrafos
15. Ortografía, puntuación y errores tipográficos
16. Impresión general
[Tomado de Bhola, H.S., Writing for New Readers: A Book on Follow-up Books (Revised
Version), Bonn: German Foundation for International Development, 1984].

Herramientas y Técnicas del SI G: Formulación de Indicadores 129
SECCIÓN B: Formulación de Indicadores
Como hemos mencionado repetidamente, el proceso general de elaboración
que va desde los conceptos generales hasta los ítemes de las pruebas
envuelve varios ciclos y repeticiones de análisis conceptual y formularios
de indicadores. Después de haber analizado algunos conceptos abstractos
como alfabetización, post-alfabetización, efectividad, eficiencia y motivación
del maestro, (desglosadas y especificadas sus partes) surge otro problema:
¿Cómo sabemos que estas cosas abstractas existen en el campo y están
cambiando en algún grado, en alguna dirección? Recordemos que no
siempre es posible establecer con claridad cuándo termina el análisis
conceptual y comeinza la formulación de indicadores. Aunque ambos son
categorías de análisis útiles, pueden ser bastante ambiguas en el mundo
real del trabajo.
El problema es que muchos conceptos y sus componentes, tales como
la motivación y el compromiso individual, la capacidad para resolver
problemas, la toma de conciencia política, la cohesión de la comunidad, la
respuesta de las instituciones sociales y la calidad de vida no son observables
a simple vista. Necesitamos algunas manifestaciones concretas de
comportamiento, algunos signos que indiquen la presencia de una alta
motivación, la capacidad de resolver problemas, la cohesión de la
comunidad y la respuesta de las instituciones. Estos signos son lo que
llamamos indicadores.
El proceso de desarrollar indicadores es complejo, por decirlo así. Los
indicadores deben ser válidos, concretos y parsimoniosos (esto es, la lista
de los indicadores de una condición no debe ser tan larga que sea
impracticable). Para poder embarcarnos en la investigación sobre
indicadores, tendremos que comprender bastante bien el comportamiento
de los individuos, las instituciones y las sociedades.
Sería ideal tener suficiente formación en lógica y en teoría de las
ciencias sociales. Sin embargo, no podemos esperar a convertirnos en
cientistas sociales expertos. Quienes ejercemos la práctica o somos
evaluadores debemos aprender a desarrollar indicadores bastante buenos.
Como en el caso del análisis conceptual, discutido en la sección anterior,
las estrategias participativas pueden ser usadas también para formular
indicadores.

130 Herramientas y Técnicas del SI G: Formulación de Indicadores
Introducción a la investigación sobre indicadores
En los últimos veinte años, la investigación sobre indicadores ha surgido
como un área importante de investigación por derecho propio. Será de
utilidad en este momento hacer una breve introducción a algunas de las
tradiciones de la investigación sobre indicadores.
Indicadores económicos
Los indicadores que se han usado con más frecuencia son los económicos.
La mayoría de nosotros estamos familiarizados con el Producto Nacional
Bruto (PNB) per capita, que es el indicador económico más extensamente
usado. Otros indicadores económicos son las tasas de interés y de inflación.
Indicadores sociales
Los dentistas sociales han prestado gran atención en años recientes a los
indicadores sociales. Los indicadores sociales de bienestar de una familia,
han incluido, por ejemplo, ingresos en efectivo, valor neto de las posesiones
de la familia, la dotación de capital humano de una familia, la variabilidad
de los ingresos a través del tiempo, transferencia de ingreso dentro de la
familia, impacto de los gastos del gobierno e impuestos, y actividades de
descanso y productivas no remuneradas. Todos estos son componentes e
indicadores más concretos del concepto abstracto de bienestar familiar.
Indicadores de salud como indicadores sociales
Puede considerarse a los indicadores de salud como una clase especial de
indicadores sociales. La expectativa de vida, la mortalidad infantil, el
número de pacientes por médico, el porcentaje de población que tiene
acceso a agua no contaminada, el consumo per capita diario de calorías
como porcentaje de requerimiento, son algunos de los indicadores de
salud típicos. Aunque la mayoría de estos indicadores se refiere a los
países (al nivel nacional) estos pueden transferirse para utilizarse igualmente
en los niveles regional y comunitario.
Los indicadores de ciencia como indicadores sociales
Los indicadores referidos a la ciencia también son indicadores sociales, ya
que indican el nivel de desarrollo de la ciencia y la tecnología en una
sociedad. El número de estudiantes de la modalidad de ciencias en las
escuelas secundarias, el número de científicos que producen las

Herramientas y Técnicas del SI G: Formulación de Indicadores 131
universidades, el número de patentes otorgadas a invenciones científicas
originales, el balance comercial en productos de alta tecnología, y los
gastos en investigación y desarrollo que hace el gobierno como porcentaje
del Producto Nacional Bruto, son ejemplos de indicadores de ciencia.
Indicadores educativos
La investigación sobre indicadores en el área educativa atrae cada vez más
atención. En el ejemplo 10 se muestra la lista elaborada por Gooler 1 , que
debe ser de interés para los lectores.
Indicadores de los indicadores
Como puede notarse, algunos de los "indicadores" presentados como
indicadores económicos, científicos, de salud, sociales y educativos, son
realmente conceptos generales, demasiado amplios para usarlos en la
recolección de datos. (Recuerde: ¡los conceptos de una persona son los
indicadores de otra y vice-versa!) De hecho, con frecuencia hay que llevar
a cabo un proceso de varios pasos para desarrollar indicadores de los
indicadores y de indicadores de "los indicadores de los indicadores".
Previamente, tratamos de definir los indicadores dando ejemplos.
Queríamos mostrar que indicadores en áreas diversas de la economía, la
ciencia, la ciencia y la tecnología, la salud y la educación se parecen. La
mayor parte de la investigación sobre indicadores se ha realizado a nivel
nacional e internacional. El evaluador a veces puede hacer uso directo de
los indicadores desarrollados en estos niveles. Sin embargo, es más frecuente
que tenga que desarrollar indicadores dotados de sentido en su situación
concreta.
Indicadores de interés claro y directo para los agentes de la alfabetización
Los indicadores que interesan a un evaluador en esta área se relacionan
con las habilidades alfabetas, la funcionalidad y la concientización a nivel
individual y al impacto en términos de desarrollo en los grupos, instituciones
y comunidades en el nivel macro. No es posible en el ámbito de este
manual elaborar realmente indicadores que respondan a todas las
necesidades de los agentes de la alfabetización.
Debe tenerse en mente que no es posible contar con un conjunto
estandarizado de indicadores porque éstos, generalmente, deben formularse
en términos de un contexto particular, y referidos a las definiciones
conceptuales desarrolladas en la situación de un programa determinado. El

132 Herramientas y Técnicas del SIG: Formulación de Indicadores
EJEMPLO 10
CATEGORÍAS DE INDICADORES EDUCATIVOS
Acceso
Cuántas personas y qué clase de ellas participan en actividades educativas
Tasas de retención en actividades educativas
Catálogo de actividades o servicios educativos existentes/disponibles
Aspiraciones
Descripción de necesidades e intereses de diversas clases de personas
Auto-evaluación de las capacidades personales individuales
Descripción de metas institucionales
Rendimiento
Lo que saben hacer y sienten las personas
Lo que han obtenido las personas (diplomas, grados, certificados)
Lo que se enseña
Impacto
Consecuencias de haber asistido a la escuela
Impacto de la educación en los sistemas social, económico y cultural
Consecuencias de no haber asistido a la escuela
Recursos
Gastos de capital, personal y material
Calidad de los recursos humanos
Razones de costo o beneficio/efectividad
Calidad del clima educacional
Tiempo
Fíjese que la mayoría de los indicadores presentados en la lista se darán en números o
son por lo menos categorías nominales - Alto, Medio, Bajo, etc.

Herramientas y Técnicas del SI G: Formulación de Indicadores 133
principio general es ir de una primera abstracción por categorías y subcategories
hasta las manifestaciones de comportamiento: a cosas que pueden
verse, oírse, tocarse, sentirse, juzgarse y calificarse.
Validación de indicadores
Desafortunadamente, no podemos sugerir fórmulas estándar para formular
los indicadores y someter a prueba su efectividad, su validez y confiabilidad.
Últimamente, la efectividad de los indicadores será comprobada al ser
usados. Sin embargo, siempre será una buena idea que los agentes del
desarrollo y la alfabetización y los capacitadores hagan pruebas previas de
los indicadores sometiéndolos a una revisión por parte de sus colegas.
Deben mostrar sus indicadores y los "indicadores de indicadores" a sus
compañeros y permitirles que critiquen el trabajo realizado.
La conexión indicadores-instrumentos
Más adelante, en este capítulo y en otros que siguen, discutiremos sobre
los instrumentos de evaluación y su elaboración. Sin embargo, aquí
deseamos retornar a la Figura 4, al comienzo de este capítulo, la cual
muestra el proceso de diseño del SIG en una mirada. Debe notarse la clara
y directa conexión existente entre el proceso de formulación de indicadores
y el proceso de instrumentación. Con la elaboración de herramientas e
instrumentos estamos dando el paso que lógicamente sigue a la redacción
de los indicadores. Nos preguntamos ¿Qué datos o evidencias deben
recolectarse para demostrar la existencia o el cambio en el comportamiento
o condición relacionada con el indicador? ¿Cómo provocamos y recogemos
el dato o la evidencia requerida? ¿Qué ayudas (pruebas, cintas de grabación,
guías, etc.) podrían usarse para registrar los datos o evidencias? ¿Cómo se
construyen algunos de estos instrumentos -pruebas de rendimiento, escalas
de actitudes, guías de entrevista y de observación? Ahora nos ocuparemos
de esto.

134 Herramientas y Técnicas del SIG : Pruebas de Rendimiento
SECCIÓN C: Elaboración de Pruebas de Rendimiento
Aquí es importante volver de nuevo a la Figura 4, la cual muestra el
proceso de diseño del SIG. Una vez que se han determinado las inquietudes
y las preguntas de evaluación, se han identificado y analizado los conceptos
clave y elaborado los indicadores, es el momento de "ir al terreno" y
buscar las evidencias. Son ilimitadas las posibilidades de descubrir la
realidad, de hacer que el mundo revele sus secretos. Entre las alternativas
posibles que tenemos están las siguientes:
Podemos ver u observar
Como participantes o no-participantes
- abiertamente o de manera encubierta (no reactiva)
Podemos preguntar
A la persona correspondiente
- directa o indirectamente
A alguien más que la persona correspondiente
- directa o indirectamente
Podemos provocar comportamientos y registrarlos
- abiertamente o de manera encubierta (no reactiva)
Podemos leer
- documentos o signos reveladores
Podemos contar
La evidencia puede registrarse con la ayuda de muy diversos ítemes.
Existe la posibilidad de organizarlos en instrumentos que pueden ser
estructurados (pruebas, cuestionarios) o inestructurados (diarios, registros
anecdóticos).
Escala de medición
Los ítemes que empleamos en nuestros instrumentos son en realidad,
ítemes de medición. Así, la medición es la esencia de la mayoría de los
casos de recolección de información, especialmente tratándose del SIG y
la ER. Con frecuencia tenemos que ir más allá de las comparaciones
burdas en términos de bueno, mejor, el mejor, o grande, mayor, máximo.
Para hacer esto necesitamos unidades de medida estándar con las cuales
podamos hacer todas las mediciones que queramos y podamos establecer

Herramientas y Técnicas del SI G: Pruebas de Rendimiento 135
cuánta diferencia existe entre dos entidades y en qué dirección.
Desafortunadamente, en las ciencias sociales no tenemos herramientas
como micrómetros, el carbono para determinar fechas ni relojes atómicos.
Nuestra medición y unidades de medida son bastante burdas. Sin embargo,
tenemos que entender la naturaleza de las escalas de que disponemos, y
comprender sus posibilidades y limitaciones.
La escala nominal
La escla nominal no mide realmente, sólo nimona objetos de varias
categorías. La clasificación de los adultos de una comunidad en hombres y
mujeres y asignarles números (1 para los hombres y 2 para las mujeres)
será un ejemplo del uso de la escala nominal.
Tenemos que entender que los números que se emplean en la escala
nominal nada significan en términos de valores de las categorías, sino que
muestra que son diferentes. En el ejemplo que acabamos de dar, 2 para las
mujeres no significa el doble del 1, asignado a los hombres. Los números
2 y 1, en este contexto particular, no pueden adicionarse o sustraerse uno
del otro con significación. Sólo sirven como códigos.
La escala ordinal
Esta introduce un orden en la escala nominal, de modo que las categorías
pueden ordenarse en orden de sucesión, como "Primero, Segundo y Tercero"
o "Bueno, Regular y Malo".
A la escala ordinal pueden asignársele valores numéricos: por ejemplo,
5 para Bueno, 3 para Regular y 1 para Malo. Pero, de nuevo, hay que
señalar que 5 no es 5 veces 1 en términos de la escala ni 6 (dos veces
Regular) sería mejor que 5 (una vez Bueno).
La escala de intervalos
La escala de intervalos, como lo sugiere su nombre, se compone de
intervalos que tienen sentido matemático. En una barra de un metro, la
diferencia entre 3 y 5 cm. es la misma que la distancia entre 53 y 55 cm.
Los resultados en una prueba de rendimiento son realmente datos
ordinales, aunque con frecuencia los tratamos como si fueran datos de
intervalos. Podemos decir que B hizo 20 puntos (o 20 intervalos) más que
A. Sin embargo, si B ha hecho 40 puntos y A 20, no podemos decir que B
es dos veces mejor que A. Para poder hacer este tipo de comparación
necesitamos las escalas de razón.

136 Herramientas y Técnicas del SIG: Pruebas de Rendimiento
La escala de razón
Esta escala, además de ser a intervalos, tiene un 0 absoluto. Esto significa
que 25 es 5 puntos más que 20 y que 60 es tres veces mejor que 20. Así, la
escala de razón nos permite emplear razones y proporciones. Dos metros
es 2 veces tan largo como un metro. Una cosa puede estar dos veces más
caliente que otra.
Tenemos que tomar en cuenta las propiedades de las distintas escalas
de medición según tratemos los datos de nuestras diferentes pruebas,
herramientas e instrumentos de evaluación.
La organización de los ítemes en instrumentos
Es claro que sería absurdo mezclar todos los ítemes de medición
simultáneamente por alguna razón en una secuencia en el mismo
instrumento. Para organizados hay que hacer consideraciones sobre qué
tan completos son y otras de tipo lógico, sociológico o de simple
conveniencia.
Generalmente, es mejor separar los ítemes de observación de las
preguntas de una entrevista, y éstas de los ítemes de una prueba. (Sin
embargo, no estamos diciendo que no sean posibles o nunca deban ensayarse
estas combinaciones.)
Es deseable agrupar los ítemes similares y secuenciar los ítemes o
grupos de ítemes de tal modo que haya cierta lógica en el instrumento
como totalidad -la lógica de una conversación significativa en la guía de
entrevista o en el cuestionario y la lógica de pasar de "lo simple a lo
complejo" en una prueba de rendimiento.
Es mejor que cada instrumento separado sea auto-suficiente, incluyendo
en el mismo los datos demográficos necesarios para que pueda interpretarse
apropiadamente en un contexto particular.
Usted podría pensar en algunas otras consideraciones que debieran
hacerse al diseñar los instrumentos.
Cómo administrar los instrumentos
La literatura disponible sobre la aplicación de pruebas y otros instrumentos
a los informantes nos presenta un cuerpo completo de experiencias. No es
posible tratar extensamente esta materia en el ámbito de esta monografía.
Sólo pueden presentarse algunas ideas clave:

Herramientas y Técnicas del SIG: Pruebas de Rendimiento 137
- La necesidad de establecer una relación igualitaria, de confianza y
mutualidad entre el evaluador y quien responde
- La necesidad de explicar adecuadamente los propósitos y formas de
responder sin influir para que se den ciertos tipos de respuesta
- La creación de las condiciones de acceso, privacidad, tranquilidad y
comodidad convenientes para que el que responde dé sus respuestas.
Pruebas de rendimiento
Un SIG incluirá frecuentemente datos obtenidos de pruebas de
conocimiento, actitudes y rendimiento. A veces, se incluirán también en el
SIG datos de entrevistas y observaciones. En esta sección, trataremos
sobre las pruebas de rendimiento, ya que probablemente se incluirán sus
datos en un SIG para un programa de alfabetización funcional. Por
consiguiente, es importante que el evaluador esté familiarizado con la
elaboración y administración de pruebas tanto en sus aspectos teóricos
como con las técnicas metodológicas.
Quien haya asistido a la escuela ha sido sometido a pruebas (o
exámenes, como se conocen popularmente). Estas son una herramienta
usual que emplea el evaluador que trabaja con un SIG o bajo lo que hemos
denominado paradigma racionalista. Las pruebas o pruebas de rendimiento,
como se llaman generalmente, son pruebas de conocimientos, habilidades
y ejecución. Estas pueden construirse para medir conocimientos de
aritmética, biología, nutrición o cría de animales; habilidades de
investigación, de diagnóstico o habilidades gráficas, así como el desempeño
concreto de un determinado papel.
Las pruebas también pueden ser usadas para medir aptitudes
(habilidades naturales o adquiridas o inclinaciones mentales). De hecho,
una prueba de aptitud puede ser considerada como una clase especial de
pruebas de rendimiento.
Los evaluadores pueden interesarse a veces en probar actitudes
(disposiciones de valor y opiniones). Las pruebas de actitud se discutirán
más adelante como parte de las escalas de actitudes.
Puesto que hemos respondido muchas pruebas de rendimiento en nuestras
vidas, y tal vez hemos elaborado y administrado muchas pruebas como maestros
y capacitadores, podríamos pensar que éstas son relativamente fáciles de
hacer, administrar e interpretar. Realmente, esto no es cierto. Es bastante complejo
hacerlas, como se demuestran en la discusión que sigue.

138 Herramientas y Técnicas del SIG: Pruebas de Rendimiento
Pruebas estandarizadas referidas a normas y pruebas referidas a
criterios
Las pruebas pueden elaborarse para un grupo particular (por ejemplo,
promotores de salud comunitaria en un taller especial de capacitación) o
para una población numerosa en una región o nación (por ejemplo, todos
los estudiantes del grado VIII de las escuelas de Kenia, o aun de toda el
Africa Oriental).
En el primer caso, la prueba sería probablemente diseñada para medir
si los promotores de salud comunitaria han logrado el criterio de éxito
establecido en un contexto determinado. El criterio de éxito puede ser una
calificación de por lo menos 80 puntos de un posible total de 100 en una
prueba de rendimiento especialmente diseñada para ese grupo. Esto podría
ser un ejemplo de una prueba referida a un criterio.
En el segundo de estos casos, la prueba probablemente estaría diseñada
para medir el nivel de un estudiante, una clase o una escuela en comparación
con otros estudiantes, clases o escuelas a quienes se les aplicó la misma
prueba de VIH grado de matemáticas, lenguaje o cívica. Para poder hacer
esas comparaciones tendríamos que tener normas -cuál se supone que es el
desempeño del estudiante promedio del grado VIII en esta determinada
prueba. Cuando estas normas están disponibles, la prueba es estandarizada
y referida a normas.
El proceso de estandarización de pruebas para el desarrollo de normas
ahora es en sí mismo bastante estandarizado. Aquí no lo discutiremos
porque los capacitadores-evaluadores tratarán con más frecuencia con
pruebas referidas a criterios. Sobre esas pruebas centraremos la atención
en la discusión siguiente.
Los objetivos de la enseñanza y los de la prueba
Los objetivos de la enseñanza y los de las pruebas deberían coincidir entre
sí. Serían injusto examinar a los educandos sobre cosas que no se les
hubiera enseñado. Esto implica que quien elabora la prueba debe disponer
de los objetivos instruccionales del curso de alfabetización en forma
detallada para poder construir una prueba que efectivamente mida el impacto
del curso.
Los profesores Benjamin S. Bloom 2 , David R. Krathwohl 3 y sus
asociados desarrollaron taxonomías de objetivos de instrucción que son de
interés para los agentes alfabetizadores y para quienes elaboran las pruebas.
En las páginas 140 y 141 se presenta un esquema de estas taxonomías.

Herramientas y Técnicas del SIG: Pruebas de Rendimiento 139
Quien elabora la prueba no debe confundir lo cognoscitivo con lo
afectivo o la habilidad de sintetizar con el conocimiento simple de cosas
universales y abstracciones. Debemos caer en la cuenta de que el aprendizaje
de informaciones no asegura una real comprensión; y la comprensión no
lleva automáticamente a la habilidad de aplicar, analizar y juzgar.
Igualmente, es posible manifestarse a favor de determinada posición o
entidad verbalmente sin que haya un compromiso genuino, como lo es
tener un conjunto de valores independientes que no constituyen un sistema
de valores organizado y sistemático.
La selección del contenido de la prueba
Es obvio que no se puede incluir en una prueba todo lo que se ha enseñado
en un curso. Habrá que tomar una pequeña muestra de lo que se ha
enseñado.
La muestra de conocimientos que se incluye debe desarrollarse
sistemáticamente, tomándola de una descripción detallada e integral de la
materia enseñada. Las dos taxonomías presentadas deben ser usadas para
describir la materia: ¿Qué conocimientos verdaderos se enseñaron? ¿Qué
principios generales y generalizados se comunicaron? ¿En qué habilidades
y destrezas diagnósticas para aplicar y transferir a otras situaciones se hizo
énfasis? ¿Qué procesos de niveles superiores se esperaba que se
aprendieran? ¿Qué cambios de actitudes y valores se reforzaron?
Con base en esta descripción comprehensiva, debe hacerse la selección
de una muestra de conocimientos y valores para elaborar la prueba.

140 Herramientas y Técnicas del SIG: Pruebas de Rendimiento
OBJETIVOS INSTRUCCIONALES
EN EL DOMINIO COGNOSCITIVO
1.00 Conocimiento
1.10 de cosas específicas
1.11 de terminología
1.12 de hechos específicos
1.20 de formas y medios de tratar con cosas específicas
1.21 de cosas convencionales
1.22 de secuencias
1.23 de clasificaciones y categorías
1.24 de criterios
1.25 de metodología
1.30 de cosas universales y abstracciones en un campo
1.31 de principios y generalizaciones
1.32 de teorías y estructuras
2.00 Comprensión
2.10 Traducción
2.20 Interpretación
2.30 Extrapolación
3.00 Aplicación
4.00 Análisis
4.10 de elementos
4.20 de relaciones
4.30 de principios organizativos
5.00 Síntesis
5.10 Producción de una comunicación única
5.20 Producción de un plan o propuesta de un conjunto de operaciones
5.30 Derivación de un conjunto de relaciones abstractas
6.00 Evaluación
6.10 Juicios en términos de evidencia interna
6.20 Juicios en términos de criterios extemos

Herramientas y Técnicas del SIG: Pruebas de Rendimiento 141
OBJETIVOS INSTRUCCIONALES
EN EL DOMINIO AFECTIVO
1.00 Recibir (atender)
1.1 Percatarse
1.2 Voluntad de recibir
1.3 Atención controlada o selectiva
2.00 Responder
2.1 Consentimiento en responder
2.2 Voluntad de responder
2.3 Satisfacción en responder
3.00 Valorar
3.1 Aceptación de un valor
3.2 Preferencia por un valor
3.3 Compromiso
4.00 Organización
4.1 Conceptualizar un valor
4.2 Organizar un sistema de valores
5.00 Caracterización por un valor o un complejo de valores
5.1 Conjunto generalizado
5.2 Caracterización
Tipos de ítemes de las pruebas
Puede escribirse una gran variedad de ítemes que se incluirán en una
prueba de rendimiento.
Verdadero/Falso. Se escribe una oración y se pide que se marque si es
verdadero o falso lo que se dice.
Ejemplo:
Los tubérculos y los vegetales
son ejemplos de alimentos
constructivos del cuerpo. V/F
(Respuesta: Verdadero)

142 Herramientas y Técnicas del SIG: Pruebas de Rendimiento
Los ítemes Verdadero/Falso son comparativamente fáciles de escribir.
Sin embargo, éstos son de uso limitado en las pruebas de comprensión
profunda. La ventaja de ser fáciles de calificar tiene como contrapeso una
desventaja: los que responden se inclinan a adivinar las respuestas cuando
realmente no las conocen. Al tratar de adivinar tienen una probabilidad de
50 a 50 de acertar.
ítemes de respuesta corta y de completar. Como lo sugiere el nombre, éstos
demandan una respuesta corta, de una o dos palabras o llenar un espacio
en blanco.
Ejemplos:
¿Qué se produce en la basura y en los esputos?
(Respuesta: Microbios)
Resolver:
239
- 143
El manómetro del vaporizador
muestra que tiene
(Respuesta: 96)
(Respuesta: presión)
Los ítemes de respuesta corta y de completación tienen que redactarse
con cuidado de modo que no haya posibilidad de más de una interpretación
de la pregunta o la oración incompleta. Por la redacción del ítem debe
obtenerse la información específica que se requiere.
Establecer correspondencia. Esto implica aparear los ítemes de dos
conjuntos o columnas diferentes por su similitud o correspondencia de
acuerdo con alguna regla o relación.

Herramientas y Técnicas del SIG: Pruebas de Rendimiento 143
Ejemplo:
Columna 1
(1) Ecología
Columna 2
(A) El patrón de cadenas de alimentos interconectadas.
(2) Depredación (B) La asimilación y uso de alimentos orgánicos
para producir energía, crecer y reponer las
células.
(3) Nutrición (C) El estudio de cómo se relacionan los seres
vivos entre sí y en el medio ambiente sin vida.
(D) Una relación entre dos tipos de organismos
en la cual uno se beneficia del otro matándolo y
comiéndolo.
Los ítemes de apareamiento deben ser relativamente cortos. Fíjese que
hay tres alternativas en la columna 1 y cuatro en la columna 2. Esto
asegura que el apareamiento implicará una elección deliberada en todos
los casos bajo la Columna 1. Si una alternativa de una de las columnas
puede usarse más de una vez hágalo saber a los que responden como parte
de la pregunta.
Selección-Múltiple. Los ítemes de selección múltiple son los mas versátiles
y efectivos de todos. Un ítem de este tipo tiene un tronco seguido de varias
opciones entre las cuales se pueden seleccionar una o más:
Ejemplo:
Un agricultor debe desmalezar temprano su cultivo de algodón:
[Tronco]
(a) Para que la maleza no ahogue el algodón
(b) Para que la maleza no consuma el alimento de la planta
(c) Para que el algodón tenga suficiente aire
(d) Para que el algodón tenga acceso a la luz
(e) Para que el algodón disponga de suficiente agua

144 Herramientas y Técnicas del SIG: Pruebas de Rendimiento
(f) Porque la maleza podría facilitar la reproducción de insectos
peligrosos para el algodón.
(g) Para permitir un mejor crecimiento del algodón
(h) Para obtener una buena cosecha de algodón
Nótese, por favor, que en este caso la mayoría de las opciones son
correctas. Elegir las opciones correctas y dejar las incorrectas sería como
escribir un corto ensayo sobre las ventajas de la limpieza temprana del
cultivo del algodón.
Normalmente, los ítemes de selección múltiple no tienen más de cuatro
o cinco opciones, a diferencia del ejemplo, que tiene ocho.
Ensayo. Un evaluador que esté desarrolando un SIG no escribirá
generalmente una prueba de ensayo, pero no es imposible imaginarlo. En
una clase de alfabetización los estudiantes pueden escribir alguna
composición o ensayo como parte de su prueba al finalizar un ciclo de las
clases de alfabetización. Este es el tipo de prueba más fácil de redactar y
más difícil de calificar. Cuando los ítemes de ensayo se redactan con
cuidado, especificando exactamente lo que se solicita, este tipo de preguntas
sí propician oportunidades de analizar, sintetizar y evaluar el contenido de
la materia. La objetividad de la calificación de las preguntas de ensayo
puede aumentarse si los mismos maestros escriben respuestas modelo para
juzgar las respuestas del estudiante confrontándolas con las respuestas
modelo.
Simulaciones. Distintos tipos de simulaciones permiten posibilidades de
enseñanza y de pruebas estimulantes. Se pueden diseñar diversos tipos de
simulaciones a fin de probar las habilidades de los capacitados para
desempeñarse en situaciones de toma de decisiones similares a las de la
vida real.
Pre-prueba para mejorar las pruebas
Para ser apropiados los ítemes de las pruebas tienen que examinar lo que
se supone que se quiere medir, y deben redactarse bien para que comuniquen
a todos el mismo significado en forma clara y no ambigua.
La redacción de los ítemes toma tiempo, y requiere paciencia y
habilidades que pueden desarrollarse con tiempo y paciencia. Algo que

Herramientas y Técnicas del SIG: Pruebas de Rendimiento 145
debe hacerse es una pre-prueba de los ítemes y una cuidadosa revisión de
los mismos sobre la base de la pre-prueba.
Después de usar una prueba a gran escala en un estudio evaluativo
debe revisarse la prueba otra vez, aun cuando no se vaya a volver a usar.
Esta revisión servirá de capacitación para escribir mejores pruebas para
otros estudios evaluativos.
Pruebas de velocidad, pruebas de poder y otras consideraciones en la
administración de pruebas
Las pruebas deben aplicarse de modo que los que responden no se sientan
temerosos ni ansiosos -lo que se conoce como "ansiedad ante la prueba"
puede llegar a ser un serio problema. En efecto, en situaciones de programas
de desarrollo, en las cuales los participantes son adultos y tratamos también
con funcionarios del gobierno, encontramos que quisiéramos administrar
una prueba a los adultos involucrados pero ellos no quieren que se les
aplique. A veces se puede ocultar algunos ítemes de prueba en un
cuestionario de opiniones o en una guía de entrevistas. Al aplicar una
prueba, los que responden deben estar sentados cómodamente y deben
explicarse las instrucciones sobre cómo completar la prueba.
Finalmente, las pruebas pueden ser de velocidad o de poder. Las
primeras deben completarse dentro de un período de tiempo determinado,
por ejemplo, 45 minutos o una hora. Al terminarse este tiempo, se recogen
los papeles de la prueba, sea que hayan terminado de responder o no. Las
pruebas de poder se aplican para determinar cuánto han aprendido los que
responden (y no con qué rapidez pueden contestar las preguntas). En este
tipo de pruebas, hay muchos más ítemes que en una prueba de velocidad
típica, y se reparte el tiempo generosamente, para permitir a los estudiantes
completar la prueba.

146 Herramientas y Técnicas del SIG: Pruebas de Actitudes
SECCIÓN D: Pruebas de Actitudes,
Observación de Acciones y Resultados
En las situaciones de trabajo de la vida real, las pruebas, las listas de
control y las encuestas sencillas serán los instrumentos más usados en el
diseño de un SIG. Las actitudes que tienen los educandos y participantes y
los cambios producidos se estudiarán al realizar evaluaciones completas
usando enfoques de EN o de ER. Lo mismo es válido para los estudios de
impacto que incluyen la aplicación de las nuevas habilidades y la adopción
de ideas e innovaciones.
Sin embargo, los SIGs pueden incluir algunos datos sobre actitudes y
sobre las observaciones realizadas. En nuestro ejemplo de un SIG para un
proyecto de alfabetización funcional, los datos del SIG pueden incluir las
respuestas de los participantes a preguntas sobre aspectos de actitud como
éstas: ¿Cree usted que es tan importante que asistan las niñas a la escuela
como que asistan los niños? ¿Cómo espera usted utilizar sus habilidades
para leer y escribir?
El alfabetizador (u otro agente de extensión) puede visitar la finca en
que trabaja el participante y su hogar y observar si ha adoptado algunas
innovaciones tales como construir y usar una fosa para la basura y una
letrina, plantar el algodón en filas o usar fertilizantes y pesticidas y puede
registrar las observaciones en una lista de control. Basta un procedimiento
sencillo: asignar pesos y codificar los datos para que esta información
pueda incluirse en el SIG.
En este manual, discutiremos el uso de las entrevistas y las
observaciones inestructuradas en la Parte IV: La Evaluación a la Manera
Naturalista. Los cuestionarios, las escalas de actitudes y la observación
estructurada se presentarán en la Parte V: La Evaluación a la Manera
Racionalista.
SECCIÓN E: Análisis de los Datos
El uso de registros, formularios y pruebas en las clases de alfabetización y
los grupos para la generación de ingresos, así como la aplicación de otros
instrumentos en la comunidad -guías de entrevistas, encuestas de opinión
y guías de observación- nos darán muchos ítemes y conjuntos de datos.
Estos datos tendrán que ser procesados y analizados para que seamos

Herramientas y Técnicas del SIG: Análisis de los Datos 147
capaces de responder las preguntas que se hicieron inicialmente en un
estudio evaluative La Figura 5 en la página siguiente ilustra en un diagrama
esta necesidad.
Las dos tareas de "procesamiento de datos" y "análisis de datos" se
superponen un tanto. El procesamiento de los datos los prepara para el
análisis. Así, el procesamiento involucra el cotejo, la consolidación, la
tabulación y el verterlos en formatos adecuados para realizar el subsiguiente
análisis. El análisis de los datos es el proceso de usar una variedad de
operaciones cualitativas, cuantitativas, analógicas y lógicas para extraer de
los datos las respuestas a las preguntas iniciales del estudio evaluativo.
En el caso de los datos del SIG el procesamiento comprenderá
normalmente la tabulación de los mismos. En el contexto de los datos del
SIG el análisis de los datos consistirá en un análisis visual de conjuntos de
datos y unas pocas operaciones de estadísticas descriptivas como obtener
el promedio y porcentajes y otras razones para utilizarlas en gráficos de
barras y de pastel.
El diseño de formularios y cuadros
El diseño de formularios, cuadros, registros y formatos para informes
periódicos se ha convertido en una especialidad en sí misma. Sugerimos
que al diseñar esos formularios trate usted de aprender de otros proyectos.
Si fuese posible, se debe obtener un conjunto de formularios disponibles
para proyectos similares en otros departamentos (o países) y tratar de
adaptarlos para usarlos en el suyo. Siempre pruebe previamente el conjunto
de sus formularios, cuadros, registros e informes antes de imprimirlos en
grandes cantidades.
Presentación de los datos en gráficos
Los datos del SIG generalmente se procesan para ser presentados en
diagramas y gráficos variados. Los gráficos lineales, de barras y de pastel
pueden ser muy efectivos para presentar información útil para los que
toman las decisiones. No está dentro del ámbito de este manual enseñar el
diseño y la producción de gráficos y diagramas. Probablemente usted
encontrará algunas referencias en bibliotecas locales. En las publicaciones
estadísticas de las Naciones Unidas, del Banco Mundial, o departamentos
nacionales y agencias de desarrollo y económicas, y aun en la literatura

0
Recupera
Almacena
«0 0
"O ~0.
Calificación
de Dato:
fe
p
- tn
nde D
s en el
Combir
en Ten
^
w
Organizac ion de lo
en Forma tos Apre
Establecii dos por 1
uadros, Dia [gramas
3
O)
E
in
S2
g

Herramientas y Técnicas del SíG: Análisis de los Dalos 149
periódica, encontrará una variedad de gráficos y diagramas que le
proporcionarán ideas útiles para la presentación de los datos estadísticos
del SIG.
Cosas para hacer o para pensar
1. Realice el análisis conceptual del concepto "auto-determinación"
individualmente. Luego, hágalo participativamente en un grupo. ¿Hay
diferencias entre las dos versiones del análisis conceptual?
2. Desarrolle un conjunto de indicaciones para el concepto de
"alfabetizador efectivo" en su ambiente. ¿En qué se diferencia del
ejemplo presentado en el manual?
3. Elabore una lista detallada de ítemes de conocimientos, principios,
habilidades y actitudes que usted quisiera que sus estudiantes adultos
hayan aprendido al finalizar su curso de alfabetización. Escriba una
prueba o conjunto de pruebas referida sólo a los ítemes de conocimiento.
4. ¿Le han hecho a usted recientemente preguntas como parte de una
evaluación o algún tipo de encuesta? ¿Qué recuerda que le haya parecido
bueno de la entrevista? ¿Algo le irritó o le pareció inaceptable? ¿Fue el
entrevistador capaz de ganar su confianza?
5. ¿Qué observaría usted si quisiera incluir uno o dos aspectos informativos
sobre "Hábitos de Trabajo en la Oficina"?
6. Mire un cuadro de estadísticas de alfabetización incluido en alguno de
los más recientes informes de un programa de alfabetización o agencia
de desarrollo. ¿Falta allí alguna información útil que podría haberse
incluido fácilmente en el cuadro? ¿Ayuda el cuadro tal como está en el
análisis "visual" de los datos presentados?

150 Herramientas y Técnicas del SIG: Análisis de los Datos
Notas
1. Gooler, Dennis D. "The development and use of educational indicators"
in Educational indicators: Monitoring the state of education.
Proceedings of the 1975 ETS Invitational Conference. Princeton, N.J.:
Educational Testing Service, 1975, page 15.
Ver también Francette, S. Indicator-based educational and cultural
classification, grouping, and statistical analysis of the 25 least developed
countries. Paris: UNESCO, Division of Policy and Planning, 1977.
2. Bloom, B.S. et al. Taxonomy of educational objectives, Handbook I:
Cognitive domain. New York, NY: David Mckay, 1956.
3. Krathwohl, David R. et al. Taxonomy of educational objectives,
Handbook II: Affective domain. New York, NY: David McKay, 1964.

CAPITULO 8
LA ELABORACIÓN DE INFORMES PERIÓDICOS
Y ESPECIALES BASADOS EN LOS DATOS DEL SIG
Los informes periódicos y especiales deben ser elaborados con base en
los datos del SIG y ponerlos a disposición de los administradores del
programa en los distintos niveles del sistema de alfabetización. En los
informes periódicos se utilizarán datos que ya están disponibles en el SIG
y se presentarán en forma agregada a los administradores a intervalos de
tiempo convenidos. Los informes especiales podrán hacer un uso más
exhaustivo de los datos del SIG, o pueden requerir la recolección de datos
adicionales específicos para el propósito del informe especial. Para que
sean útiles, los informes periódicos deben presentar los datos nacionales
en el contexto del programa, un perfil del mismo que describa su desarrollo
a través del tiempo, e información que capte la dinámica del programa,
haciendo comparaciones útiles y mostrando conexiones interesantes.
Durante el proceso mismo de su ejecución se generan datos útiles en las
campañas, programas y proyectos de alfabetización. Desde luego, estos
datos son usados por los que toman las decisiones de varias formas en su
trabajo diario. Pero ese uso es frecuentemente reactivo, basado en sus
impresiones, falto de conexiones y poco sistemático. En este manual hemos
sugerido que los datos generados por los programas durante su ejecución
sean recolectados en forma sistemática y comprehensiva para ser usados
de manera prospectiva al tomar las decisiones. Desafortunadamente, no
todas las iniciativas de alfabetización instalan un SIG.
Aun más infortunado e inexcusable es que algunos programas hayan
establecido un SIG pero no lo usen para desarrollar la información útil y
necesaria para tomar decisiones a diario. En esos casos, hay un flujo de
cierto tipo de información hacia el nivel central, pero nadie hace nada con
ella. Los que toman las decisiones no han aprendido a utilizar "la
información" en la administración de los programas. No echan de menos
la información que un SIG que funcione adecuadamente podría haberles
suministrado. A su vez, no permiten que sus organizaciones dispongan del

152 Elaboración de Informes basados en Datos del SIG
mínimo de recursos de tiempo y de personal que es necesario para elaborar
informes basados en el SIG. Se trata, en efecto, de un circulo vicioso.
Presentamos nuestra discusión sobre la elaboración de informes
especiales e informes periódicos desde el punto de vista de las ventajas
para el sistema como totalidad. Aquí hablaremos de informes que son
escritos para y por los administradores del nivel más alto, y presentan un
perfil del sistema total para tomar decisiones a este nivel. Sin embargo,
debemos mantener en mente el hecho de que cualquier informe realizado
sobre el sistema total es la culminación a través de la consolidación de una
multiplicidad de informes generados en los niveles más bajos del sistema,
desde los grupos de alfabetización de adultos en las aldeas, las provincias,
distritos, hasta los niveles zonales o regionales.
También debe decirse que nuestra discusión en este capítulo se restringe
a los informes periódicos más o menos estandarizados. Los informes
especiales que hacen uso de los datos del SIG en combinación con datos
especialmente recolectados en el contexto de un estudio de ER se discutirán
separadamente en el Capítulo 16.
Un informe ideal es aquel que hace el mejor uso de los datos del SIG;
incluye un retrato del programa que puede comprenderse con facilidad;
presenta la información de una manera que se ajusta para ser utilizada en
acciones de seguimiento (monitoreo) y en la toma de decisiones; y por
último, aunque no menos importante, se entrega en el momento oportuno.
En un capítulo anterior, también hablamos de las dimensiones necesarias
y suficientes del SIG. Ahora podemos decir que un informe periódico
debe presentar al menos tres tipos de información:
1. Información sobre el contexto del programa, la cual no tiene que
ser necesariamente recolectada dentro del programa por los
funcionarios del SIG, sino que, también, puede obtenerse de otras
fuentes gubernamentales pertinentes como de la Oficina del Censo
o de las que son responsables de las estadísticas económicas,
sociales y educativas.
2. Información sobre el estado del programa, la cual describe en
unos pocos cuadros bien diseñados, el estado actual del programa
y, particularmente, la estructura de acceso y de logro, e
3. Información sobre la dinámica del programa, la cual muestra las
tendencias antes y después, y las conexiones entre los diversos
aspectos del programa.

Elaboración de Informes basados en Datos del SIG 153
La portada
El informe periódico debe ser titulado en forma apropiada y precisa. Debe
ser posible encontrar rápidamente a qué período corresponde el informe.
También debe indicar la fecha en la cual realmente se terminó el informe
para ser remitido a las autoridades más altas. En otras palabras, debe ser
fácil de encontrar el lapso de tiempo transcurrido entre el período del
programa sobre el que se informa y el momento en que se completó el
informe.
El número del informe y el volumen al que pertenece también debe
indicarse. ¿Es el primer año que se publican estos informes? ¿Es el primer
informe del año? Si es el segundo de los cuatro informes trimestrales que
se publican cada año, y si éste es el quinto año en que se publican, el
informe puede indicar Volumen 5, N Q 2.
Contexto del informe
El programa de alfabetización debe colocarse dentro del contexto del
desarrollo nacional del país. Debe establecerse brevemente el papel que se
asigna a la alfabetización dentro del cambio educativo y social que está en
marcha. De ser posible, deben incluirse cifras sobre la alfabetización a
nivel nacional para que los lectores puedan comprender el tamaño y el
alcance del programa de alfabetización particular sobre el cual se informa.
Prefacio: Cambios en los límites, categorías, definiciones e indicadores
El informe debe incluir un breve prefacio que advierta a los lectores sobre
cambios en los conceptos y definiciones que se hayan producido en el
programa desde el último informe. Algunas veces pueden haber ocurrido
cambios en los límites de las provincias o distritos, lo que puede aumentar
o disminuir las cifras de matrículasy deserción. El programa puede haber
decidido categorizar los desertores de una manera diferente a como lo
hacía antes, afectando así los datos del SIG durante ese período particular,
las definiciones de alfabetización quizás se hayan modificado hacia arriba
o hacia abajo según los cambios concurrentes en las pruebas de lectura,
escritura y cálculo numérico. Esto también originaría cambios en las cifras.
Además, pueden haber cambiado los indicadores: en lugar de aplicar pruebas
de actitudes, puede haberse decidido que se obtengan datos de auto-

154 Elaboración de Informes basados en Datos del SIG
información. Esto modificaría el aspecto general de las cifras del SIG.
Siempre que se haya hecho este tipo de cambios en el programa debe
advertirse a quien lea el informe de modo que la lectura que de éste se
haga sea apropiada.
Introducción principal e introducciones de cada sección
El informe debe comenzar con una introducción general que describa las
características sobresalientes del informe como una totalidad. De ahí en
adelante, cada sección del informe debe comenzar también con una
introducción.
Datos presentados en cuadros
Los cuadros deben tabularse, como en el Cuadro 1 de la página 155, para
mostrar los cambios en la estructura del programa a través de la dimensión
temporal. También pueden expresarse convenientemente tabulados los
niveles de participación y de logro y otros factores tales como la capacitación
y la experiencia de los maestros, como en los cuadros 2 a 8 que se
presentan en las páginas 155 a 159 1 .

Elaboración de Informes basados en Datos del SI G 155
CUADRO 1
DATOS SOBRE EL CONTEXTO GENERAL DEL PROGRAMA
Año Total de Estudiantes Hombres Mujeres Razón
Matriculados Hombres/Mujeres
1988
Urbanos
Rurales
Total
1989
Urbanos
Rurales
Total
1990
Urbanos
Rurales
Total
CUADRO 2
PARTICIPACIÓN DE FUNCIONARIOS
HOMBRES VERSUS MUJERES
Categoría Hombres Mujeres Razón
Hombres/Mujeres
Especialistas
del Programa
Supervisores
Maestros
Educandos

156 Elaboración de Informes basados en Datos del SIG
Región A
H
M
Total
Región B
H
M
Total
Región X
H
M
Total
CUADRO3
COMPARACIONES CON EL PERIODO REPORTADO
INMEDIATAMENTE ANTES
Ultimo Trimestre Presente Trimestre
(Octubre-Diciembre 1989) (Enero-Marzo 1990)
1 2 3 4 1 2 3 4
Clave
1 : número de las cifras de matriculados desde el año anterior
2: número de nuevos matriculados
3: número de desertores
4: número de graduados del programa

Elaboración de Informes basados en Dalos del SIG 157
Número
Hombres:
15-25
26-35
36-45
45 +
Mujeres:
CUADRO 4
DESEMPEÑO EN ALFABETIZACIÓN:
LECTO-ESCRITURA (L-E) Y CALCULO NUMÉRICO (N),
FUNCIONALIDAD (F) Y CONCIENTIZACION (C)
L-E
P/3 S/3 T/3
Clave
P/3: Primer tercio, significa el tercio más alto
S/3: Segundo tercio, significa el tercio intermedio
T/3: Tercer tercio, significa el tercio más bajo
Estructura de Puntajes
N F
P/3 S/3 T/3 P/3 S/3 T/3
C
P/3 S/3 T/3
CUADRO5
TIEMPO EMPLEADO EN COMPLETAR LAS DIFERENTES
ETAPAS DE LOGRO EN ALFABETIZACIÓN
(COHORTE 1989, TODAS LAS REGIONES)
Años en el programa Para completar
El E2 E3
H M H M H M
0-1 años
1-2 años
2-3 años
Clave
E: Etapa completada

158 Elaboración de Informes basados en Datos del SIG
CUADRO 6
PARTICIPACIÓN EN ACTIVIDADES
QUE GENERAN INGRESOS
N 9 Título del Año de Región/ Cobertura
Proyecto Iniciación Localidad H M
Orientadas hacia el beneficio personal
1.
2.
3.
Orientadas hacia el beneficio comunitario
X
1985
1987
1989
CUADRO 7
CAPACITACIÓN DE MAESTROS
Total Faltan Nueva Incorporación Capacitados

Elaboración de Informes basados en Datos del SIG 159
CUADRO 8
INTERRELACIONES DE EDAD, EDUCACIÓN, EMPLEO
Y OCUPACIÓN DE LOS MAESTROS POR SEXO
Edades Número Educación Años de empico Ocupación
Previa/Actual
Hombres:
15-25
26-35
36-45
46 +
Mujeres:
15-25
26-35
36-45
46 +
Datos sobre post-alfabetización y la satisfacción de los participantes con
el programa
Pueden diseñarse fácilmente cuadros comparables para programas de postalfabetización
y para almacenar información sobre el grado de satisfacción
de los participantes y su rendimiento subsecuente en opciones de postalfabetización.
Correlaciones simples basadas en los datos del SIG
No hemos tratado en esta parte del manual sobre las estadísticas disponibles
para hacer comparaciones y establecer correlaciones. Sin embargo, los
datos del SIG pueden ser tratados para producir información sobre:
- Correlación entre niveles de lectura y funcionalidad
- Correlación entre niveles de lectura y concientización
- Correlación entre niveles de cálculo numérico y funcionalidad
- Correlación ente niveles de lectura y satisfacción

160 Elaboración de Informes basados en Dalos del SIG
- Comparaciones basadas en el género
- Comparaciones basadas en las clases, y
- Comparaciones regionales
Presentación de los datos tabulados
Un informe útil, basado en los datos del SIG, siempre incluirá cuadros y a
veces gráficos de barras o de pastel. Para que los cuadros sean útiles deben
compilarse los datos con exactitud y deben ser fáciles de leer e interpretar.
Usted podrá encontrar en una biblioteca local o en una librería algún
manual para escribir artículos, tesis y disertaciones de grado. Estos
proporcionan gran ayuda con indicaciones de sobre cómo diseñar los
cuadros. No está dentro del ámbito de esta monografía proporcionar
instrucciones detalladas sobre cómo diseñarlos. Nos conformamos con
darle las siguientes sugerencias generales:
1. Numere los cuadros como CUADRO 1, CUADRO 2, etc.
2. Déle un título de cada cuadro y cuide que éste sea preciso y
completo.
3. También deberán ser precisos y completos los encabezamientos
y descripciones usados en las filas y las columnas.
4. Coloque y espacie los datos correctamente, especialmente cuando
se presenten números con decimales.
5. No invente sus propias abreviaturas. Use sólo abreviaturas
estándar, aun cuando se usen abreviaturas estándar, explíquelas
en notas al pie del cuadro.
6. A veces se presentan estadísticas de distintos años en el mismo
cuadro. Indique el año al cual pertenece cada uno, por ejemplo:
Cifras de Población Ingreso per capita Receptores de radio
en millones (1975) (1974) en uso (1975)
7. Separe las "estimaciones" de los "conteos reales". No confunda
unos con otros.
8. Donde quiera que sea necesario, cualifique sus datos. Por ejemplo,
podría tener que decir: Las cifras no incluyen datos de Corea, o
no se han incluido en los datos los trabajadores domésticos, etc.

Elaboración de Informes basados en Datos del SIG 161
9. Estandarice sus calificaciones, de ser posible. Sin embargo, si los
datos estandarizados pueden prestarse a interpretaciones erróneas,
incluya también los datos absolutos.
10. Algunas veces habrá que incluir estadísticas comparativas en
cuadros para darle sentido a un determinado conjunto de estadísticas.
Uno puede obtener una mejor idea del nivel de pobreza de
un país viendo en el mismo cuadro cifras de ingreso per capita de
los Estados Unidos, Suecia o de algún país vecino más rico.
Datos presentados en gráficos
La cuestión de preparar gráficos para presentar los datos es importante.
Los gráficos comunican las ideas en forma sencilla y atractiva, pero no
son siempre fáciles de hacer. Hay mucho que aprender sobre cómo hacer
gráficos. Puede ser de interés para los lectores saber que existe una
organización nacional especial en los Estados Unidos: El Consejo de
Gráficos Sociales en la Oficina de Investigación en Ciencias Sociales, de
Washington, D.C. Esta realizó recientemente una Conferencia General
sobre el tema "Gráficos para el Análisis de los Datos y la Elaboración de
Informes Sociales". No está al alcance de esta monografía discutir en
detalle sobre la preparación de gráficos para presentar los datos. Lo referimos
a cualquier manual estándar que pueda encontrar en su localidad sobre el
tema.
Nota sobre informes especiales
Los evaluadores pueden hacer un uso especial de los datos del SIG al
seguir los enfoques de la EN o de la ER. Los evaluadores inclinados por la
EN harán un uso descriptivo de los datos del SIG: los que prefieren la ER
pueden tomar muestras de los datos que ya existen en la base de datos del
SIG y someter a prueba distintos tipos de proposiciones.
Nota
1. Los cuadros en blanco presentados aquí fueron usados por el autor al
llevar a cabo la evaluación de un programa nacional ejecutado por una
asociación voluntaria en el Africa.

Parte IV
La Evaluación a la manera Naturista
La evaluación naturalista (EN) fue primero introducida en el Capítulo 2,
Parte I de este manual. También se incluyó una breve descripción de la
misma en el Capítulo 4, Parte II en el cual se presentó la EN como uno de
los tres componentes del triángulo metodológico de la evaluación: el SIG,
la EN y la ER. En la introducción general a la parte III, sugerimos que
debía considerarse el SIG como la parte más importante, de hecho, la más
necesaria del triángulo metodológico de la evaluación y que ésta debía
tener la primera prioridad en la asignación de recursos.
Lo que ahora sugerimos es que la segunda prioridad en la asignación
de recursos debería normalmente ser el descubrimiento de cambios
cualitativos en las vidas de los individuos y las comunidades a través de la
evaluación naturalista. Estas no son recomendaciones que surjan de algún
dogmatismo metodológico. En realidad, estas recomendaciones han surgido
de una larga y variada experiencia en llevar a cabo evaluaciones, y enseñar
sobre el tema, en situaciones del Tercer Mundo. Se ha descubierto que los
datos del SIG y de la EN son los que han tenido más amplia utilización
por parte de los que toman las decisiones.
Nuestra discusión sobre la EN se dividirá en los capítulos siguientes:
9. La Evaluación Naturalista - Teoría, Preguntas y Diseño.
10. La Elaboración de la Propuesta para un Estudio Evaluativo a la
Manera Naturalista.
11. El Proceso en una Mirada: Herramientas y Técnicas de la
Evaluación Naturalista.
12. La Elaboración de Informes sobre Evaluaciones Naturalistas y la
Elaboración de Informes Periódicos a la Manera Naturalista.

CAPITULO 9
LA EVALUACIÓN NATURALISTA - TEORÍA,
PREGUNTAS Y DISEÑO
La evaluación naturalista (EN) busca estudiar la realidad en forma natural
-como un todo, en toda su complejidad; en su propio contexto particular;
en su flujo perpetuo, sin tratar de simplificarla ni reducirla a un diseño de
evaluación manejable. La meta del diseño en un estudio de evaluación
naturalista es asegurar la confianza que en él puede tenerse, lo cual, a su
vez, depende de la credibilidad, adecuación, verificación de los datos y
confirmación del estudio.
La discusión del Paradigma Naturalista en el Capítulo 2, Parte I, nos
proporciona un marco conceptual para la discusión de la teoría de la EN en
el presente capítulo. A continuación se incluyen algunas observaciones a
manera de recuento y profundización de la explicación.
La teoría y la metodología de la EN
Lo que hemos sugerido antes sobre aspectos teóricos y metodológicos de la
evaluación puede resumirse en dos preguntas interrelacionadas: ¿Cuál es la
naturaleza de la realidad? y ¿Cómo debemos proceder para poder hacer
aseveraciones informativas y que proporcionen el conocimiento completo
de esa realidad?
Desde luego, la EN está enraizada en una teoría de la "realidad" y
nuestro "conocimiento" acerca de esa realidad. De acuerdo con el paradigma
naturalista, la realidad no está "ahí afuera" para que cada cual la vea y la
registre. La realidad es una "construcción social". En otras palabras, como
individuos construimos nuestras propias realidades individuales; y todos
llevamos en nosotros los significados especiales que personalmente damos
al mundo. ¡No es que para los cinco mil millones de habitantes que tiene
hoy el planeta, haya cinco mil millones o más de realidades absolutamente
diferentes! Las interacciones sociales en las familias, comunidades y cultura
sí crean realidades compartidas con distintos niveles de comunidad Así,
una gran parte de nuestro mundo ha sido ya construido para nosotros.

166 EN - Teoría, Preguntas y Diseño
Aun así, dentro de las comunidades compartidas de las comunidades y
culturas, hay realidades que son únicas para los individuos. Estas versiones
únicas de la realidad, estos significados, son con frecuencia, tan importantes
que deben ser estudiados como singularmente lo sostienen los individuos o
los grupos, y no debemos perdemos en nuestros intentos de llegar a leyes
universales sobre la naturaleza humana.
Esto nos lleva a la concepción de la naturaleza del conocimiento dentro
del paradigma naturalista. En este paradigma el conocimiento no es universal:
parte de éste puede ser bastante general, y otra parte es particular. El
conocimiento es contextual, aunque el contexto puede variar en su ámtito y
su vida temporal. Finalmente, el conocimiento está enraizado en la historia:
no es bueno y verdadero todo el tiempo. Por lo tanto, en la EN, no hablamos
de "generalizaciones" sino de "ideas perspicaces" (insights), que podemos
transferir a otras situaciones y otros tiempos.
En la EN, la metodología para estudiar la realidad debe ser holista. El
mundo real no debe ser factorizado y fragmentado para someter a prueba
hipótesis, estudiar causalidades o hacer predicciones. En este mundo
sistémico y dialéctico no debemos tratar de ver "redes de causalidades"
sino buscar "redes de plausibilidades" y en lugar de tratar de predecir,
debemos aspirar a construir expectativas razonables.
Puesto que la realidad es una construcción social, el conocimiento
producido por el evaluador también será una construcción individual. Sería
absurdo aplicar a tal conocimiento los criterios racionalistas de confiabilidad
y validez. Desde luego, tendremos que aplicar algún conjunto de criterios
para dar a nuestras proposiciones evaluativas el estatus de "aseveraciones
justificables". Hablaremos de estos criterios más adelante en este capítulo.
El evaluador naturalista se usa a sí mismo como instrumento y así
acepta la naturaleza subjetiva de toda evaluación e investigación. Hay una
unidad entre el que conoce y aquello que conoce. Lo que ofrece el evaluador
es una construcción social fabricada sobre la base de un "intelecto agudo" y
una "percepción clara" y refinada dentro de una dinámica que plantea
interrogantes, basada en la participación y la colaboración con otros. Así se
erradica el subjetivismo idiosincrático; se presenta con frecuencia una
multiplicidad de realidades, no una sola verdad; y puede hacerse una
proposición general sobre la realidad que "se sustenta" como realidad
"objetiva" en ese contexto, en ese momento. Volvemos nuevamente al
concepto de "aseveraciones justificables", basadas en datos que son vividos,
útiles y creíbles.

EN - Teoría, Preguntas y Diseño 167
Desde que se propusieron definiciones, se discutieron los asuntos sobre
el diseño y se elaboraron metodologías, se han realizado muchos trabajos
en el área de la evaluación naturalista 1 .
Ha surgido cierta confusión cuando las "técnicas" de recolección de
datos se han equiparado a la "metodología". Debe comprenderse, por
ejemplo, que el uso de técnicas cualitativas de recolección de datos no es lo
que hace que un estudio evaluativo sea naturalista. En efecto, tanto la ER
como la EN hacen uso de técnicas cualitativas. Lo que es decisivo son los
supuestos ontológicos (sobre la naturaleza de la realidad) y los supuestos
epistemológicos (sobre la naturaleza del conocimiento) subyacente y cómo
se procesan los datos, una vez que han sido recolectados. Así, la utilización
de técnicas etnográficas en la recolección de datos no aseguraría que se
estuviera siguiendo un enfoque de evaluación naturalista si tales datos se
vertieran en escalas nominales u ordinales y fueran sometidos a tratamiento
estadístico.
Sin embargo, hay un enfoque de la evaluación que es congénito con los
métodos de la evaluación naturalista: la Evaluación Participativa.
La EN y la evaluación participativa
Como lo sugiere su nombre, la evaluación participativa se lleva a cabo con
la participación de las personas y los públicos a quienes concierne. La
evaluación se convierte en un proceso educativo y liberador. En esencia, la
evaluación participativa es aquella realizada por todos los que están
involucrados en el desarrollo de un programa en colaboración mutua. En el
mejor caso, los organizadores juegan un papel de facilitadores, en tanto que
los usuarios del programa particular se hacen responsables de la misma. A
través de la "acción dialógica", los participantes determinan cuáles son las
necesidades de evaluación, qué información debe recogerse y cómo y qué
normas y estándares deben utilizarse para juzgar el éxito o el fracaso. La
evaluación participativa tiene los mismos supuestos que la EN, con la
característica adicional de que conlleva un fuerte compromiso ideológico
con la causa de los beneficiarios de los programas 2 .
Negociación y colaboración
De acuerdo con la definición de la EN que hemos dado en esta monografía,
ésta incluye negociación y colaboración. En el volumen que editaron Reason

168 EN - Teoría, Preguntas y Diseño
y Rowan sobre nuevos paradigmas de investigación, publicado en 1981,
consideran que la indagación colaborativa es la esencia de la indagación
humana 3 . En su libro de 1989, Guba y Lincoln llamaron negociación en su
sentido más amplio a lo que es la dinámica clave de lo que denominan
"Evaluación de Cuarta Generación" 4 . Es mediante la negociación que el
evaluador puede potenciar a las personas para que reúnan el conocimiento
con la acción.
El contexto de realidad de la EN
Cronbach 5 ha hecho una distinción entre dos contextos de la realidad: el
contexto de la acomodación y el contexto del control. En este último es que
son posibles los enfoques racionalistas. Pero en el contexto de la acomodación
no tenemos más alternativas que seguir enfoques de la indagación naturalista.
Aquí debemos señalar dos puntos: uno, que el evaluador naturalista, sin
traicionarse a sí mismo ni a nadie, a veces estará realizando estudios que
siguen supuestos y métodos racionalistas; y dos, que los evaluadores
naturalistas, en el contexto de la EN, continuarán haciendo muchos conteos
y mediciones.
Preguntas para la EN - en el contexto de la acomodación
El ámbito de la EN es, realmente amplio. La EN puede buscar y encontrar
más respuestas significativas a la mayoría de las preguntas que enunciamos
en el Capítulo 5 para el SIG. Y la EN puede también responder la mayoría de
las preguntas que serán enunciadas en el Capítulo 13 como adecuadas para
la ER. Sin embargo, la EN tiene sus preferencias. Es más adecuada para
responder preguntas sobre las cualidades de los insumos y de los resultados,
preguntas acerca de la naturaleza de los procesos, acerca de las experiencias
humanas con los currículos y los programas y sobre los impactos del
programa en los grupos, instituciones y comunidades, así como acerca de la
totalidad de los contextos, lo cual simplemente no encaja en los conjuntos
de datos del SIG o en los diseños de investigación de la ER.
La EN es quizás la única vía que podemos tomar cuando ni siquiera
sabemos qué hay que investigar o qué preguntarle a la gente. Como lo
señaló Friederick Erickson 6 de un modo perspicaz y sucinto, la pregunta
esencial en la EN es: ¿Qué es lo que está sucediendo? Esta es una pregunta

EN - Teoría, Preguntas y Diseño 169
perenne y de gran significación. De ella se deriva que en la EN no se hace
una pregunta como en el contexto de una prueba o en una entrevista
estructurada para obtener una respuesta correcta a la pregunta. Las preguntas
en la EN son excusas para iniciar conversaciones largas y sin un orden prefijado
entre los evaluadores y los informantes, durante las cuales se plantean
preguntas que no se habían anticipado y se construyen muchas respuestas
de gran significado.
En el contexto más concreto de la evaluación de campañas, programas
y proyectos de alfabetización y post-alfabetización pueden plantearse los
siguientes conjuntos de preguntas. Desde luego, esta no es una lista
exhaustiva sino solamente ilustrativa:
1. ¿Cómo explican los individuos (hombres y mujeres) en distintas
etapas de la vida su condición presente de analfabetismo y
"desventaja"? ¿Ven ellos realmente el analfabetismo como una
desventaja? ¿Cuál es su "mito" que explica sus sufrimientos?
2. ¿Cómo sobreviven los analfabetos, hombres y mujeres, campesinos
y trabajadores en las ciudades y los pueblos, en culturas
construidas sobre los supuestos de la escritura impresa? ¿Qué clase
de simbiosis han desarrollado entre la literalidad y la oralidad los
que han llegado a ser semi-letrados?
3. ¿Cuáles son las necesidades sentidas de los analfabetos y cuáles
sus expectativas sobre el programa que se les ofrece? ¿Qué pasaba
por sus mentes cuando entraron el programa?
4. ¿Cómo vivencian ellos el programa? ¿Es útil? ¿Es inconveniente?
¿Contribuye a su auto-estima? ¿Cómo influye en sus identidades?
¿Hay alguien que los esté escuchando o» es una intervención más
en sus vidas contra la cual ellos no pueden luchar para escaparse?
5. ¿Cuáles piensan los participantes en el programa que son los
propósitos de quienes formulan las políticas? ¿Preferirían ellos
programas desarrollados por organizaciones no gubernamentales
locales, o por la iglesia, la mezquita u otras organizaciones?
6. ¿Qué parte del currículo les gusta más? ¿Preferirían ellos aprender
otras habilidades primero y alfabetizarse después? ¿Preferirían
aprender a potenciar sus capacidades frente al liderazgo local, los
políticos y el Estado, en lugar de aprender a leer, escribir y hacer
cuentas?

170 EN - Teoría, Preguntas y Diseño
7. ¿Cuál de los maestros que enseñan en la comunidad es el que les
gusta y por qué? ¿Qué esperan de sus maestros?
8. ¿Cómo les parece someterse a pruebas de lectura, escritura y
aritmética? ¿Creen ellos que las pruebas deben hacerse en la clase
o que deben ser pruebas nacionales como en Tanzania, donde se
hacen pruebas cada dos o tres años en un día señalado, de modo
que todos los que quieren presentarse pueden tomarlas?
9. ¿Es útil la alfabetización una vez adquirida? ¿En qué forma?
10. ¿Qué piensan ellos sobre la lengua de la alfabetización? ¿Deberán
enseñarse en lengua materna o en la lengua nacional oficial?
¿Quieren ellos alfabetizarse en inglés o francés? ¿Por qué?
11. ¿Valió la pena el tiempo que dedicaron a participar en el programa?
12. ¿Qué querrían ellos hacer con sus habilidades alfabetas? ¿Qué
tipos de programas de post-alfabetización les gustaría seguir?
13. ¿Qué libros han leído ellos recientemente? ¿Qué les gustó de éstos?
¿Les gustaría a ellos escribir algo para que otros neolectores lo
lean?
14. ¿Está sucediendo algo en la comunidad como totalidad? ¿Hay
cambios en las relaciones sociales, económicas, y políticas? ¿Están
cambiando los patrones de liderazgo?
15. ¿Cómo ha contribuido la biblioteca o una institución como el Centro
de Desarrollo Popular a cambiar las realidades del entorno?
16. ¿Cómo ha afectado la alfabetización los hábitos de escuchar radio
en la comunidad?
Estas son las preguntas que pueden hacerse a los participantes. Otras
preguntas similares pueden hacerse a sus esposas e hijos, a los maestros,
líderes locales, funcionarios del distrito y otros. Las respuestas a estas
preguntas pueden aclarar muchas cosas.
A manera de resumen pueden destacarse los siguientes puntos acerca
de la EN:
La EN busca significados: La EN no está interesada en los comportamientos
(como actos físicos) sino en las acciones (los actos físicos más los significados
que les dan los que los ejecutan). Así, su credo es: significados en-losactos.
Primero se desarrollan significados émicos (desde dentro) lo cual
quiere decir que se delinean múltiples significados. Después se conforman

EN - Teoría, Preguntas y Diseño 171
los significados étnicos (los significados objetivados dentro de alguna
colectividad).
La EN reconoce causalidades múltiples, no nexos lineales causales: Junto
con el concepto de realidades múltiples viene el concepto de causalidades
múltiples. La causa no es lineal sino multidireccional: las entidades sociales
se hallan en un proceso continuo de definición mutua entre sí.
La EN se dirige a múltiples capas de universalidad: Gtando a Erickson, el
evaluador naturalista se interesa por "la particularidad más que por la
generalización. Los conceptos universales se descubren al manifestarse de
modo concreto y específico, no en abstracciones y generalidades". Hay
diferentes capas en la universalidad. El núcleo interno puede ser específico
en la vida de un grupo determinado en un tiempo determinado, mientras
que las capas extemas pueden aplicarse sucesivamente a otros programas,
otras situaciones y aun a otras culturas y otros tiempos.
La En no somete aprueba teorías, utiliza la teoría fundamentada: La EN no
somete a prueba las hipótesis generadas por la teoría y regresa a la teoría
para enriquecerla. Utiliza la teoría fundamentada y expande entonces su
comprensión teórica.
La teoría y la metodología de la EN también se han concretado en
términos del diseño de estudios de EN y en su metodología especial. A esto
pasamos ahora.
El diseño en la evaluación naturalista
Una razón de la inmensa popularidad de la evaluación racionalista (ER) es,
como veremos, su concreción. El paradigma de la ER puede sugerir la
validez interna y extema, la confiabilidad y la objetividad, como los pilares
de todo diseño de evaluación. Entonces es capaz de sugerir diseños
experimentales o cuasi-experimentales estándar, procedimientos de muestreo,
asignación de los sujetos a los tratamientos, controles experimentales,
métodos de instrumentación y fórmulas estadísticas que protegerían la
validez, confiabilidad y objetividad que se presume se han establecido
inicialmente.

172 EN - Teoría, Preguntas y Diseño
La EN no acepta los supuestos que hace la ER sobre el mundo. Sin
embargo, es frustrante que personas ingenuas continúen sometiendo a prueba
a la EN mediante la confrontación con las normas de la ER. Se siguen
lanzando preguntas a los evaluadores naturalistas sobre la confiabilidad y
validez del diseño, y luego sobre la objetividad y generalización de sus
conclusiones.
Algunos de los problemas de la EN pueden ser internos. Es sólo
recientemente que se están concretando procedimientos propios de la EN
en el diseño y la metodología. Somos conscientes de que no son suficientes
las aseveraciones como "el diseño de la EN es 'emergente'", y "la metodología
de la EN utiliza el 'instrumento humano' como el instrumento para la
recolección de datos". El trabajo de Guba y Lincoln, al cual nos referimos
anteriormente, está comenzando a proporcionar métodos y tácticas concretos
por los cuales el evaluador puede prepararse para que emerja el diseño (sin
sentirse engañado ni perplejo) y con las cuales puede ser "sistemático" y
"objetivo" en el estudio de la realidad subjetiva.
El diseño en el diseño de evaluación
El diseño (el propósito oculto) en cualquier diseño de evaluación es cumplir
con ciertos criterios metodológicos que aseguren las mejores "afirmaciones
verdaderas" que puedan hacerse acerca de una determinada realidad. Como
sugerimos antes, en la ER éstos son la validez interna y externa, la confiabilidad
y la objetividad. En la EN, el criterio que debe cumplirse es el de
confianza, el cual comprende cuatro componentes: Credibilidad (validez
interna en la ER), Transferencia (validez extema en la ER), Confiabilidad
(confiabilidad o respuesta en la ER) y Confirmación (Objetividad en la
ER) 7 .
Credibilidad
La credibilidad se asegura mediante un compromiso prolongado con los
usuarios del programa y la observación persistente en el campo. Se logra si
se permanece en terreno el tiempo suficiente y se pasa bastante tiempo con
las personas que responden a las preguntas. También se obtiene credibilidad
mediante la triangulación de las fuentes de datos, de los métodos utilizados
y de los investigadores o equipos de investigación. Pedir el concepto de un
colega desprevenido es probable que permita al evaluador mantenerse
honesto y alerta y esto aumentará la credibilidad del producto de la

EN - Teoría, Preguntas y Diseno 173
evaluación. Solicitar las reacciones de los participantes (control por los
miembros) a los hallazgos hechos con base en sus respuestas y cuyas
realidades son descritas por el evaluador contribuye a aumentar su
credibilidad. Finalmente, el análisis de casos negativos también es una
ayuda. Debe hacerse una búsqueda asidua de casos negativos, que parecen
ir en contra de lo general y cualificar apropiadamente todas las aseveraciones
que se hagan.
Transferencia
Las abundantes descripciones del contexto y los patrones encontrados
ayudarán a la transferencia. La gente podrá escuchar en las descripciones
ecos de sus propias realidades y podrán recibir, en lugar de instrucciones,
algunas ideas perspicaces (insights) útiles -generalizaciones ricas en
particularidades.
Confiabilidady confirmación
El uso de la verificación del proceso y del producto contribuirá a la
confiabilidad y confirmación deseadas.
Se aconseja al diseñador de un estudio de evaluación naturalista hacer
todo lo posible por aumentar la credibilidad, transferencia, confiabilidad y
confirmación. Pero esto puede no ser suficiente. ¿Qué significa ir al campo
sin una teoría a priori, buscando los significados y así sucesivamente?
Sugerimos que el evaluador naturalista no vaya al campo sin teoría, lo cual
es imposible de todos modos, sino que vaya con "un conjunto conceptual
vacío" que le permitirá "heredar la riqueza del conocimiento de las ciencias
sociales sin las condiciones y categorías impuestas por los administradores
de este conocimiento". Puesto que la evaluación está integrada principalmente
al ambiente, sería mejor si el conjunto conceptual vacío del cual hablamos
estuviera inmerso en un modelo de cambio. Disponemos de un modelo tal,
conocido como el modelo CLER (configuraciones, nexos, ambientes,
recursos) de Bhola 8 .
El uso del modelo de cambio CLER como esbozo para un diseño flexible
Es imposible ir al campo con una mente absolutamente abierta y dejar que
las teorías surjan del terreno, emerjan los diseños y los temas se muestren
por sí mismos. La intención real aquí es que vayamos al terreno de un
modo dialéctico, no del modo experimental. No vamos huérfanos de teoría

174 EN - Teoría, Preguntas y Diseño
en la tradición de las ciencias sociales, pero tampoco vamos para someter a
prueba las teorías. Miramos la realidad y observamos los patrones en los
cuales parece enmarcarse. No tenemos hipótesis que someter a prueba,
pero sí hacemos conjeturas; y queremos ser cuidadosos de que aun éstas no
nos impongan una percepción selectiva, y nos impidan observar lo que
realmente está sucediendo. No tenemos muestras aleatorias o seleccionadas
estadísticamente, pero sí tenemos ideas sobre las fuentes de los datos, los
lugares más adecuados para comenzar antes de que tenga lugar el proceso
envolvente de "bola de nieve". No tenemos instrumentos estructurados que
hayamos probado, pero sí tenemos ideas de los temas sobre los cuales
haremos preguntas y de cómo manejar la interacción entre el evaluador y el
sujeto. Finalmente, no buscamos leyes universales pero sí queremos hacer
aseveraciones sobre la realidad que sean verdaderas en su contexto y que
puedan generar ideas (no instrucciones) para los programas y para quienes
ejercen la práctica en otras situaciones.
Lo que uno realmente tiene que hacer es ir al terreno provisto de un
modelo tan flexible que pueda servir como "conjunto conceptual vacío de
contenedores" en los cuales se puedan verter las realidades según se van
encontrando. Puesto que la evaluación busca medir el cambio en la ejecución
de los sistemas de los programas, será preferible un modelo que se ocupe
del cambio. El modelo CLER es un aporte que cumple estos dos criterios
(se ocupa del cambio y es un conjunto conceptual vacío). Aquí lo
presentamos brevemente.
En el modelo la C se refiere a las configuraciones y relaciones
configuracionales, la L a los nexos Oinkages, en inglés) entre el sistema de
planificación y el de adopción y los vínculos entre los actores de ambos
sistemas. E (environment), es el ambiente que circunda estos sistemas -el
cual puede no ser el mismo para cada uno. R se refiere a los recursos- que
el sistema de planificación necesita para promover el cambio, y el de
adopción para incorporarlo.
El modelo sugiere que para promover el cambio se debería,
sinérgicamente, optimizar las cuatro variables. Para evaluar el cambio debería
observarse "lo que está sucediendo" con los significados que tienen las
configuraciones y con la calidad de las relaciones entre sí, qué está sucediendo
con los vínculos entre las personas, los grupos y las instituciones; qué está
sucediendo con la generación y asignación de los recursos; y qué está
sucediendo en el ambiente dentro del cual viven los individuos y los grupos
y las comunidades. En otras palabras, uno debe preguntar todas aquellas

EN - Teoría, Preguntas y Diseño 175
preguntas que según Erickson están preservadas especialmente a la
evaluación y la investigación interpretativas.
Así, hay que ir al terreno para ver los cambios en el conjunto de las
configuraciones, los nexos, el ambiente y los recursos en varios momentos
en el tiempo:
Tiempo (1) Descripciones en términos de cada uno de los
componentes
Tiempo (2) Descripciones en términos de cada uno de los
componentes
Tiempo (n) Descripciones en términos de cada uno de los
componentes
En el próximo capítulo, que se refiere a la elaboración de una propuesta
para un estudio evaluativo a la manera naturalista, se profundiza la discusión
sobre este tópico.
Algunos diseños populares de EN
Siguiendo el ejemplo de la ER, que tiene toda una serie de diseños
experimentales y cuasi-experimentales fijos, en la que estamos viendo los
comienzos de proponer formas de ocuparse de esto, las cuales pueden,
como procedimientos y parrones, ser compartidas con otros. Algunas de
estas formas de ocuparse de ello pueden llegar a ser diseños de clases.
Encuesta de opinión a través de círculos hermenéuticos
Los llamados círculos hermenéuticos podrán algún día verse como la
respuesta de la EN al diseño de la encuesta de opinión de la ER.
En la Escuela de Educación de la Universidad de Indiana, había
necesidad de desarrollar una proposición que reflejara el punto de vista de
las facultades sobre el futuro de la Escuela de Educación hasta el año 2000.
En lugar de realizar una encuesta típica, se llevó a cabo una EN, usando
como "diseño" los círculos hemenéuticos. Veinte miembros de la facultad
accedieron voluntariamente a servir como líderes de grupos. Cada uno
eligió hablar con otros cinco miembros de la facultad. El líder del grupo
(Gl) habló con un miembro de la facultad (Fl) primero. Las construcciones

176 EN - Teoría, Preguntas y Diseño
de este encuentro Gl-Fl se presentaron al miembro de la facultad (F2) y
así sucesivamente, hasta cubrir los cinco miembros. Se suponía que habría
una segunda vuelta pero esto fue imposible por las exigencias de tiempo.
Al finalizar la primera vuelta el líder del grupo (Gl) se reunió con todos
los otros (Fl, F2, F3, F4 y F5) en grupo. Los 20 grupos pasaron por este
proceso.
Los 20 líderes de grupo (Gs) se dividieron en cuatro grupos de cinco
miembros cada uno y eligieron en cada grupo dos miembros adicionales
todos pertenecientes al Comité de Planificación a Largo Plazo de la Escuela
de Educación, que había comisionado este estudio. Así se desarrolló una
segunda generación de construcciones.
En una tercera etapa se seleccionaron veinte representantes (por sus
diversos puntos de vista, no porque pertenecieran a distintos departamentos)
para que formaran parte de un comité que produjo un informe. Este informe
no se proponía desarrollar un consenso sino describir las divergencias que
se habían tratado.
Este informe final con sus recomendaciones se envío a toda la facultad
para someter a "votación" la aceptación del informe completo, o en parte,
con las observaciones necesarias. Entonces se remitieron todos los informes
y los datos a los que toman las decisiones para proceder a su ejecución.
En la opinión de este autor este conjunto de procedimientos equivale a
un "diseño" de encuesta de opinión. Es necesario construir otros diseños
que tengan potencial para llevar a cabo evaluaciones naturalistas.
El muestreo como elemento del diseño en la EN
Como podemos deducir de la anterior discusión, hay elementos de diseño
incorporados en la selección de muestras, instrumentación y métodos de
recolección de datos. Esto será tratado en detalle en otro capítulo más
adelante. Por el momento, recordemos a los lectores que las muestras de la
EN no son aleatorias sino propositivas y como las han designado Guba y
Lincoln, seriales y contingentes.
También queremos advertir a los evaluadores naturalistas contra el
desarrollo de una ortodoxia propia. La entrevista inestructurada y las
observaciones (con retratos, anécdotas y citas directas de los actores
involucrados) permanecerán siendo las técnicas favoritas de recolección de
datos y de presentación del evaluador naturalista. Sin embargo, hay que
recordar que la EN usará tanto la inducción como la deducción; así como la

EN - Teoría, Preguntas y Diseño 111
narración, por una parte, y los diagramas analíticos, cuadros de resumen y
estadísticas descriptivas, por la otra.
Cosas para hacer o para pensar
1. ¿Hay en su tradición cultural algo que le recuerde la teoría y la
metodología de la EN?
2. ¿Esta usted personalmente convencido de que la EN es la vía adecuada
en su programa particular? ¿Cómo puede ayudarle? ¿Podrá usted
convencer a las autoridades superiores para que apoyen la EN? ¿Cómo?
¿Con qué expectativas de éxito?
Notas
1. Ver Lincoln, Y.S. y Guba, Egon G., Naturalistic inquiry. Beverly Hüls,
CA: Sage, 1985. Y también, Williams, David D. (ed), Naturalistic
evaluation, edición especial de New directions for program evaluation,
W 30, junio 1986.
2. Para una definición y discusión de la acción dialógica, ver Freiré,
Paulo, Pedagogy of the Oppresed. New York, NY: Herder y Herder,
1970. Para la evaluación participad va referirse al trabajo que se realiza
bajo los auspicios del Consejo Internacional de Educación de Adultos,
Toronto, Canadá.
3. Reason P. y Rowan, J. (eds.). Human inquiry: A sourcebook of new
paradigm research. New York, NY: John Wiley and Sons, 1981.
4. Guba, Egon G. y Lincoln, Yvonna S. Fourth Generation Evaluation.
Newbury Park, CA: Sage, 1989.
5. Cronbach, Lee, et al. Designing evaluations of educational and social
programs. San Francisco, CA: Jossey-Bass, 1982.
6. Erickson, Frederick, "Qualitative reaserch in teaching". En M.C.

178 EN - Teoría, Preguntas y Diseño
Wittrock (ed.), Handbook of research in teaching (3rd. edition), New
York, NY: Macmillan, 1986.
7. Guba y Lincoln: Ver la Nota 4 arriba.
8. Bhola, H.S. "Planning change in education and development: The
CLER model". Viewpoints in teaching and learning, Vol. 58, N 2 4, Fall
1982, pp. 1-35. Y también Bhola, RS., "The CLER Model of innovation
diffusion, planned change, and development: A conceptual update and
applications". Knowledge in Society: An International Journal of
Knowledge Transfer, Vol. 1 W 4, pp. 56-66, Winter 1988-1989.

CAPITULO 10
LA ELABORACIÓN DE UNA PROPUESTA
PARA UN ESTUDIO EVALUATIVO
A LA MANERA NATURALISTA
El uso de diseños emergentes y del instrumento humano en la Evaluación
Naturalista (EN) no significa que puede llevarse a cabo sin preparación
formal alguna; y, por lo tanto, la elaboración de una propuesta formal
sea innecesaria. En efecto, la EN requiere una concienzuda preparación
al igual que cualquier otro tipo de evaluación o investigación. Las
propuestas deben elaborarse para demostrar que el evaluador conoce el
contexto general del estudio, tiene bases en investigación en ciencias
sociales y tiene algunas ideas sobre los temas que deben tratarse; posee
ideas preliminares sobre los lugares y las fuentes de datos; ha pensado
sobre posibles instrumentos y equipos que puede usar para registrar los
datos; ha planificado los aspectos logísticos de la recolección, confrontación
e interpretación de los datos, ha tenido el cuidado de establecer
procedimientos de verificación de los procedimientos evaluativos y los
resultados; y es sensible a la obligación de remitir informes a las distintas
partes interesadas, incluyendo a quienes respondieron a las preguntas del
estudio.
¡La EN no es para mentes débiles y confusas que no puedan manejar
realmente la materia! En efecto, la EN puede ser más exigente y desafiante
que la evaluación y la investigación racionalistas, que nos presentan un
mundo de certezas, con mapas de ruta conceptuales claramente señalados,
y pasos y fórmulas de procedimiento para todo lo que es probable que
encuentre el evaluador.
La metodología de la EN es difícil porque no ofrece fórmulas sino
marcos referenciales para el pensamiento y la acción. Nunca permite al
evaluador dejar de pensar y simplemente seguir instrucciones. Exige que
el evaluador tenga en cuenta tanto el patrón general como el detalle
específico; debe ver y ver a través; y debe utilizar, al mismo tiempo, las
dos grandes herencias de la humanidad: el pensamiento lógico y la
percepción aguda.

180 Elaboración de un a Propuesta para un Estudio EN
La EN no es la segunda mejor alternativa para responder algunas
preguntas de evaluación. En el Capítulo 9, presentamos una lista de tipos
generales de preguntas que Erickson 1 sugirió para el dominio de la EN; y
estos son los tipos de preguntas que realmente no pueden ser contestadas
por la evaluación racionalista, sin cortarlas en pedacitos y cambiando así
el fenómeno que se estudia. Recordemos algunos aspectos de la
alfabetización de adultos que podían ser evaluados a la manera naturalista:
1. ¿Qué ha sucedido y sucede en una comunidad y en sus vidas por
la llegada de las clases de alfabetización funcional?
2. ¿Cómo vivencian todos los involucrados la planificación y la
evaluación participativa?
3. ¿Qué sucede con la política de educación de adultos según se
comunica del centro a las provincias, los distritos y los polos de
desarrollo?
4. ¿Por qué en algunas comunidades completan su participación en
los programas de alfabetización más hombres que mujeres? ¿Son
los patrones de participación de los hombres y las mujeres similares
en la educación primaria formal, en otros programas de desarrollo,
en la iglesia y otros grupos sociales?
Como podemos suponer, la EN es más promisoria para llevar a cabo
estudios exploratorios y diagnósticos de necesidades, para realizar estudios
de línea de base; para la definición de los problemas y la invención de
soluciones locales; para la investigación organizacional y, finalmente, para
desarrollar estudios de impacto. Los enfoques naturalistas pueden aportar
también datos útiles a otros intereses de la evaluación, como la evaluación
del personal y la evaluación del currículo.
Las propuestas para los distintos tipos de estudios evaluativos serán
algo diferentes, pero las siguientes inquietudes se reflejan normalmente en
una propuesta 2 .
1. La evaluación debe permitir al evaluador desarrollar un escenario
conceptual dentro del cual pueda surgir el diseño de evaluación,
desarrollarse las muestras, hacer entrevistas y observaciones,
recolectar e interpretar los datos, verificar las huellas que quedaron
atrás, sin demasiadas sorpresas desagradables, rudos choques o
serias interrupciones.

Elaboración de un a Propuesta para un Estudio EN 181
2. Debe permitir al evaluador desarrollar el apoyo logístico adecuado
para la conformación de equipos de evaluación, la capacitación
de los evaluadores y sus asistentes, y su desplazamiento y
alojamiento en los lugares de trabajo de campo.
3. Debe ser un instrumento de comunicación con otros que pueden
proporcionar ayuda profesional, aprobación formal y presupuesto.
Elementos de una propuesta de EN
Una propuesta para un estudio de EN debe incluir los siguientes aspectos.
Tomemos el ejemplo de un estudio de impacto que es probable que incluya
todos los tipos de preguntas que deben plantearse y contestarse.
1. La delineation de contextos
Las muchas capas del contexto que circunda la situación deben describirse
brevemente. Esto puede incluir el contexto más amplio de desarrollo del
país, pero ciertamente contendrá las interacciones de los "medios para
obtener los fines" que están incorporadas al programa. Desde luego, incluirá
una breve historia del programa o proyecto en cuestión con una descripción
precisa del presente estado de cosas.
Debe anotarse que esto requerirá un estudio de los documentos de la
política y de los planes de desarrollo, así como de las estadísticas (quizás
del SIG) sobre el programa mismo.
2. La problemática y el foco de interés inicial
¿Cuáles son los problemas generales, contradicciones, frustraciones,
desacuerdos e interrupciones generales interrelacionados, que las personas
involucradas en el programa parecen haber vivido? Es posible organizar
todo o parte de esto alrededor de un tema de interés inicial que podría
utilizarse para penetrar y explorar la realidad. El tema no es, entonces, la
determinación del problema en el sentido clásico ni es una pregunta. El
tema debe utilizarse dentro de un contexto temporal y espacial, y de una
manera que permita que emerjan el problema y su solución, la pregunta
así como la respuesta.

182 Elaboración de un a Propuesta para un Estudio EN
3. La clarificación del tema
Los evaluadores naturalistas deben estar al tanto del conocimiento científico
social que podría sustentar sus intereses temáticos. Mientras no preparen
una reseña de la literatura en el sentido tradicional, considerarán la literatura
que ilumina la problemática. Mucho de esto será material descriptivo de
estudios de caso de otros programas y proyectos similares. Además, esto
les ayudará a desarrollar una perspectiva comparativa del proyecto que se
evalúa, así como a crear algunas conjeturas. Será útil, y aún necesario, que
el evaluador naturalista hable con colegas que tengan experiencia, quienes
pueden compartir con él su conocimiento tácito y contribuir al cúmulo de
expectativas del evaluador.
4. Un "marco del flujo" de las realidades del campo
Se dice con frecuencia que el evaluador naturalista no va al terreno a
someter a prueba hipótesis generadas de una teoría a priori. También se dice
que trabaja con una teoría fundamentada. Sin embargo, ninguna de estas
afirmaciones debe tomarse en un sentido absoluto.
Puede ser que el evaluador naturalista no tenga hipótesis, pero tendrá
interés en algunos temas generales y gran cantidad de intuiciones y
conjeturas. Es imposible dejar en casa todo nuestro bagaje teórico al ir al
terreno. Lo que necesitamos como evaluadores naturalistas son tipos
especiales de teoría que no controlen sino que estén en connivencia con
nosotros en nuestra búsqueda. Tomando prestados los términos de la
literatura sobre organización e instituciones, estas teorías tienen que ser
"potencializadoras" o "de convivencia".
El modelo CLER puede proporcionar el enfoque deseado; es un modelo
que debe usarse en la etapa de elaboración de la propuesta para generar
escenarios mayores. En un estudio del impacto de un programa este modelo
podría utilizarse para desglosar los temas como sigue:
Configuraciones
¿Cuáles deben estudiarse: Individuos, Grupos, Instituciones o Comunidades?
¿A qué relaciones configuracionales debe prestarse atención especial: las
de Hombres-Mujeres, Jefe-Comunidad, Agricultores Independientes-
Cooperativas? ¿Qué aspectos de sus relaciones deben estudiarse?

Elaboración de un a Propuesta para un Estudio EN 183
Nexos
El grado, la dirección y la calidad de los vínculos entre las personas determina
la calidad de vida en una sociedad. ¿Cuál es la estructura de clases?
¿Responden los líderes y las instituciones a las necesidades de las personas?
Recursos
El modelo CLER habla de seis tipos de recursos: conocimiento, influencia,
materiales, personal, instituciones y tiempo. ¿Están disponibles los recursos
apropiados? ¿Son bien utilizados los recursos? ¿Genera la comunidad
recursos propios? ¿Está algún grupo o clase captando los recursos que
deberían ir a otra parte si se obrara correctamente?
Ambiente
¿Hay un ambiente de esperanza? ¿Cuáles son los signos? ¿Se justifican
estas esperanzas?
Como podemos suponer, el examen en los términos del CLER
establecerá los límites de la evaluación; separará lo pertinente de lo que no
lo es, proporcionará un conjunto de "contenedores vacíos" para las ideas
perspicaces, proporcionará ideas sobre muestras y lugares que se deberá
incluir y acerca de los formatos y los contenidos de los instrumentos.
5. Lugares y fuentes para la recolección de datos
¿Qué lugares se seleccionarán para la evaluación naturalista? ¿En qué
orden podrían visitarse? ¿Qué individuos proporcionarán los datos? Desde
luego, no nos referimos a una pre-selección de los individuos en la muestra,
sino el tipo de personas que harán parte de una muestra propositiva que
habrá que identificar. ¿Dónde comenzamos a maximizar los alcances de la
información? ¿A dónde ir después, para profundizar la información?
6. ¿Cómo trabajarán los evaluadores?
¿Trabajarán en equipo? ¿habrá más de uno? ¿trabajarán por separado y
aparearán las respuestas como parte de la comprobación de los datos? Si
esto es así, ¿cómo y con qué frecuencia se haría? ¿cuándo tendrá lugar el
control por parte de los miembros que proporcionaron los datos para asegurarse
de que sean correctos? ¿en una sola vez o en múltiples ocasiones?

184 Elaboración de un a Propuesta para un Estudio EN
¿se dejarán pistas para la verificación? ¿acompañarán los auditores a los
evaluadores? ¿cómo se relacionará su trabajo con el de los evaluadores?
7. La determinación de los métodos y el uso de equipos de grabación
¿Qué métodos se usarán para la recolección de los datos? Pueden usarse
entrevistas, observaciones, análisis de documentos y registros, medidas no
reactivas de varios tipos y otros métodos cualitativos. ¿Se usarán fotos,
cintas de audio, cámaras de películas o de videos? ¿Qué se hará con los
materiales recopilados, y cuándo?
8. Auto-capacitación y capacitación de los trabajadores de campo
Los evaluadores naturalistas necesitan prepararse, especialmente si se trata
de su primera EN. No resulta inconcebible pasar por algún tipo de
experiencia grupal, que les permita lograr mayor claridad y aumentar su
sensibilidad. Deben también adquirirse habilidades específicas para realizar
entrevistas y observaciones. Estas deben enseñarse con paciencia y cuidado
a todos los que van a actuar como colaboradores del evaluador naturalista.
9. Otros aspectos logísticos
Estos incluirán los arreglos usuales de viaje, estadía en terreno, manejo de
emergencias de salud y otras.
10. Modos de interpretar los datos
La EN implica una interpretación colectiva de los datos. Debe prestarse
una atención sistemática a la forma de reunir estas colectividades y de
llevar a término el proceso de interpretación. ¿Con quiénes negociarán los
evaluadores y cómo lo harán?
11. Las pistas para la verificación
Igualmente, debe prestarse atención a la verificación del estudio. Los
evaluadores tendrán que decidir sobre qué hacer para que las auditorías
sean significativas. Una de las cosas que puede hacerse es que todos los
involucrados lleven un diario de reflexiones. ¿Qué otros registros se llevarán

Elaboración de un a Propuesta para un Estudio EN 185
para que los cambios en temas, muestras, etc., queden registrados para una
verificación posterior?
12. La elaboración de informes
Debe proponerse el tipo de informes que se harán. Algunos podrán ser
orales, otros escritos. Las audiencias serán diferentes. La propuesta también
deberá discutir cuestiones acerca de si se incluirán gráficos, diagramas,
matrices, cuadros y estadísticas descriptivas (ver Capítulo 14).
Cosas para hacer o para pensar
1. ¿Cuáles son algunas de las necesidades de información que pueden
satisfacerse por medio de la EN?
2. Escriba una propuesta para realizar un estudio evaluativo a la manera
naturalista. Pídale a un colega que lo critique.
Notas
1. Erickson Frederick, "Qualitative research in teaching". En Wittrock,
M.C. (ed.), Handbook of research in teaching. (3rd. edition), New York,
NY: McMillan, 1986.
2. Quienes están familiarizados con los trabajos de Egon G. Guba e
Yvonna S. Lincoln reconocerán mis muchas deudas con su trabajo.
También he usado y adaptado muchas ideas de "Essential Elements in
a Naturalistic Thesis Proposal", documento preparado por Egon G.
Guba para ser usado por los estudiantes de doctorado de la Escuela de
Educación de la Universidad de Indiana.

CAPITULO 11
EL PROCESO EN UNA MIRADA:
HERRAMIENTAS Y TÉCNICAS DE
LA EVALUACIÓN NATURALISTA
El hecho más importante de la evaluación naturalista es que no presenta
excusas por el uso del individuo humano como instrumento de recolección
de datos. No tiene pretensiones de construir instrumentos "confiables" que
recojan datos "objetivos". En efecto, los instrumentos más ampliamente
utilizados en la EN son la entrevista inestructurada y la observación
participante. Los materiales documentales también son muy usados. El
evaluador naturalista no pretende permanecer por juera de su estudio
evaluativo. Con frecuencia se hace uso de un diario reflexivo para registrar
las ideas y experiencias personales.
La evaluación naturalista busca estudiar la vida como una totalidad, con
todas sus complejidades, tal como está enraizada en su contexto y es
vivenciada por aquellos que están inmersos en la realidad que se estudia.
Es un encuentro personal, no cualquier examen desapasionado. 1 Por lo tanto,
no debe sorprendernos que el evaluador naturalista quiera ver, preguntar e
interactuar para reunir todas las cosas.
El instrumento básico en la EN es el humano -el evaluador mismo.
Puesto que la EN está interesada en los significados del actor y su contexto,
casi siempre se utiliza la entrevista y la observación inestructuradas de
modo que puedan hacerse ricas descripciones (que dan al lector el
sentimiento de haber estado ahí). Estas descripciones deben tener resonancia
y ser coherentes. Otras herramientas y técnicas son las del análisis de
contenido de los documentos. 2
La Figura 6 de la página 187 presenta en forma gráfica la progresión
característica de la indagación naturalista. Como puede observarse en el
diagrama, la fase de recolección de datos típicamente comprenderá
entrevistas, observaciones, análisis documentales y el uso de diarios
reflexivos. Como parte del análisis de los datos; estos datos serán sometidos
al sub-diseño del círculo hermenéutico para obtener los resultados

•e
<
U_
::
;:ZK s
c
LU
o
03
•C
CO
:>
cular las Nec
•mular las Inq
ta: El Evalua
trevistar
bservar
sa
•n
dades de Inf ormacic
tudes y Tem
í.*¿í
s:«;;
?«:
i ,
L
Instn
Transe ribir /
Revi sar
Elabo
Anal
Ï S
visar la Litera tur a ylaD ocum
ntener un Dia
•£
Reflex vo
LU
03
•o
C/3
CO
CZ
03
CD
"O
O
o
Si
o
ce
mi
ÎHC:-:
i l
il
|
tació
c
valu
#LU
t=
CO
o
| S
CO
S m
sar con
revistad
CO 03
arcon
resado
O
2
3
O)
LU
LU
LU
C/3
i
1
£
(0
z
£
•O
"5
re
,3
CO
>
LU
O
•o
o
tfl
a
o
i L
o
ce
c=
<
al
re
M
re C/3
LU
i
L
_o
3
O

188 Herramientas y Técnicas de la EN
requeridos, en términos del estudio y/o la heurística, lincamientos guía,
hipótesis de trabajo o modelos.
Métodos de recolección de datos
A continuación incluimos algunas notas sobre algunas herramientas típicas
de la EN.
La entrevista en la EN
La entrevista en la EN es inestructurada en el sentido que no pregunta al
entrevistado una serie de preguntas estándar ya hechas pero es estructurada
en un sentido más profundo y en un nivel superior. En términos de Paulo
Freiré, tal entrevista puede describirse como dialógica. Su propósito no es
obtener respuestas a las preguntas, sino permitir al entrevistado describir
su mundo en sus propias palabras. Sugiriendo cuestionamientos genuinos,
haciendo comentarios serios y tranquilizadores y proporcionando refuerzos,
el entrevistador puede llegar a interactuar profundamente con el entrevistado
quien podrá entonces formular coherentemente lo que para él significan
las realidades de su entorno. 3
El entrevistador comienza por plantear temas generales y exponer las
raíces problemáticas de ciertos temas. Después de establecer los límites
generales del tema de la entrevista, el entrevistador naturaliza deja que el
entrevistado se haga cargo del curso de la misma. El entrevistador escucha
con interés y simpatía, animando al entrevistado a profundizar sus
explicaciones, a volver a algún punto anterior, a seleccionar, juzgar y
tomar posiciones. Una entrevista como ésta dura normalmente varias horas.
La evaluación naturalista es, efectivamente, un trabajo intensivo.
Las entrevistas en profundidad pueden ser registradas por el
entrevistador tomando notas en presencia del entrevistado o inmediatamente
después, cuando el entrevistador tiene todo fresco en su mente. Si el
entrevistado lo permite sería preferible grabar la entrevista. (La discusión
sobre entrevistas estructuradas se presenta en la sección sobre "Herramientas
y Técnicas de la Evaluación Racionalista" en el Capítulo 15.)

Herramientas y Técnicas de la EN 189
Entrevistas grupales focalizadas
El evaluador naturalista puede con frecuencia hacer buen uso de entrevistas
grupales focalizadas en temas particulares. Esta técnica se ha utilizado en
la investigación de mercados en los Estados Unidos por más de veinte
años. Su objetivo es recoger información profunda a través de la discusión
grupal, llegando así a conocer los pensamientos, percepciones, sentimientos
y actitudes de personas conocedoras de un programa.
El grupo focal es, característicamente, un grupo homogéneo de siete o
más personas en interacción "dirigida" unos con otros. La dirección del
grupo está en manos de un moderador. Un observador está también presente.
La discusión comienza con una lista de inquietudes, llamadas "preguntas
estímulo". Generalmente se graban estas entrevistas, que normalmente
toman de 45 a 60 minutos.
Como en todas las técnicas de dinámica de grupos, el moderador tiene
que dirigir al grupo de modo que se produzcan bastantes ideas, que éstas
sean variadas y de buena calidad, que los participantes no se aparten del
tema, que se mantenga la espontaneidad y se compartan las ideas cuando
éstas no estén del todo desarrolladas; que los participantes produzcan ideas
y no simplemente reaccionen a las ideas de otros, y que la personalidad y
el estatus de los participantes no influyan en el grupo 4 .
La observación de campo
La observación de campo es una estrategia de recolección de datos que
puede usarse tanto para las evaluaciones racionalistas como para las
naturalistas 5 . En la tradición de la EN, la observación será inestructurada y
se hará sin prisa. Puede ser una observación participante o no-participante.
En la observación deben separarse las fases de registro y de
interpretación. El observador debe registrar lo que ha visto. Lo que pudo
significar debe reservarse para la interpretación posterior. Sea que se utilicen
en la EN o en la ER, pueden elaborarse instrumentos sistemáticos en cada
caso para registrar los datos de la observación. (Mayor discusión sobre la
observación se presenta en "Herramientas y Técnicas de la Evaluación
Racionalista", en el Capítulo 15.)

190 Herramientas y Técnicas de la EN
La realización de estudios de rastreo y cronólogos
Un estudio de rastreo, como lo indica su nombre, sigue el rastro del
progreso de una persona a través del tiempo. Así, un estudio de rastreo de
un neo-letrado parecerá una corta biografía de esta persona, registrando lo
que la alfabetización puede haber hecho con la vida del neo-letrado, cómo
aplica sus habilidades alfabetas en el trabajo y la vida en general.
El profesor Myrtle Scott, colega de este autor en la Universidad de
Indiana, ha desarrollado el concepto de cronólogo, el cual implica el
seguimiento de los sujetos durante un período de tiempo determinado -una
hora, un día, una semana- en su habitat natural (una comunidad, una
escuela, un hospital) y el registro de lo que hacen. Estos cronólogos son de
gran utilidad para el estudio de los papeles y funciones emergentes de los
agentes del desarrollo y de la alfabetización a nivel de base.
Análisis de registros y documentos
El análisis de registros y documentos puede realizarse tanto en la ER
como la EN 6 . En la primera, el análisis de contenido implica la selección
aleatoria del contenido y el uso de técnicas estadísticas para llegar a
aseveraciones generales. En la EN el análisis de contenido está más
interesado en la agregación de significados y la cristalización de temas que
puedan estar insertos en diversos documentos.
Medidas no reactivas 7
Este tipo de medidas también puede usarse en estudios evaluativos ER y
EN. Como sugiere su nombre, estas medidas no influyen en los informantes.
Se observa, por ejemplo las huellas de comportamiento que han dejado. El
estado de la cartilla que usa el educando puede ser una indicación de
cuánto la ha leído. La forma de vestirse el trabajador de campo puede
indicar la "distancia social" que mantiene con respecto a las personas a las
cuales busca servir. La basura que bota una familia puede decirnos mucho
sobre sus hábitos de compra y consumo - ¡sin que se den cuenta!

Herramientas y Técnicas de la EN 191
El diario reflexivo
El diario reflexivo es exactamente lo que sugiere su nombre -un diario en
el cual se registran las reflexiones (Lincoln y Guba usan este término para
indicar que el evaluador está registrando en el diario gran cantidad de
información acerca de sí mismo como instrumento humano de evaluación.
El evaluador mantiene un diario en el cual registra, preferiblemente a
diario, (i) el programa de cada día y los aspectos logísticos del estudio; (ii)
anota las decisiones metodológicas que va tomando día a día y por qué
fueron necesarias; y (iii) sus reflexiones personales sobre las experiencias
y las expectativas, conflictos de valores y colaboraciones con las partes
interesadas, el aburrimiento que le produce el trabajo y la emoción de las
iniciativas que surgen. El diario reflexivo se convierte así en el super-ego
del evaluador, una ayuda a la memoria y una fuente de control de sus
interpretaciones.
Casos de métodos de EN en acción
La teoría y la metodología de la EN están todavía emergiendo en un
proceso de discusión. Se combina una variedad de métodos como los
presentados arriba, manteniendo los supuestos subyacentes de la indagación
naturalista (esto es, la realidad es una construcción social) y su objetivo no
es formular proposiciones universales a manera de leyes, sino "aseveraciones
fundamentadas" en contextos particulares.
Hay pocas evaluaciones naturalistas disponibles en el campo de la
alfabetización que pudieran presentarse como modelos a seguir. Sería útil,
no obstante, esbozar los enfoques metodológicos y los métodos utilizados
por algunos evaluadores en el campo educativo, quienes afirman que
realizan análisis naturalistas o que tienen una orientación naturalista. Por
consiguiente se han esbozado dos casos en las páginas 192 a 194.
Los lectores serán capaces de derivar de estos ejemplos algunas ideas
iniciales sobre lo que significa hacer un estudio evaluativo con orientación
naturalista.

192 Herramientas y Técnicas de la EN
CASOI
John C. Creswell y sus seis asociados 8 hicieron un análisis naturalista del papel relacionado
con el desarrollo de la facultad que desempeñan los decanos de departamento en
situaciones de educación superior. Estos investigadores no pueden ser considerados
"puristas" de la metodología de la EN pero definieron su trabajo como "un proceso de
investigación con una fuerte orientación naturalista, la cual aisla inductivamente el
problema estudiado, descubre un marco teórico a priori en lugar de verificarlo, y reporta
los resultados hasta la fecha para ser sometidos a una posterior exploración cualitativa y
a una investigación cuantitativa.
El método de investigación del análisis naturalista operacionalizado para este estudio
comprendió cuatro fases:
Fase 1 : Establecimiento de la dirección para la investigación
Fase 2: Caracterización de la muestra y desarrollo de procedimientos de entrevistas
para el estudio nacional.
Fase 3: Realización de las entrevistas telefónicas.
Fase 4: Análisis de los datos de los informes verbales de los casos entrevistados.
Las acciones detalladas de cada una de las fases enumeradas fueron:
Fase 1
Identificación de las dimensiones para estudiar el papel del decano. Esto incluyó
algunas preguntas generales como: ¿Cuáles son las características demográficas de
los decanos "efectivos" y se sienten ellos responsables por contribuir al crecimiento
y desarrollo de la facultad? ¿Qué clase de situaciones de la facultad requieren su
apoyo y qué enfoques utilizan ellos? ¿Cómo es la ayuda del decano moldeada por
variables contextúales del ambiente de trabajo académico tal como la etapa de la
carrera del miembro de la facultad, si la asistencia es iniciada por el decano o
miembro de la facultad; diferencias por disciplina y diferencias institucionales?
Uso de 99 actividades que los decanos realizaban.
Desarrollo de un documento conceptual.
Reacción al documento por parte de líderes nacionales reconocidos en el campo del
desarrollo de la facultad.
Realización de un estudio piloto, el cual dio oportunidad para someter a prueba la
técnica de la entrevista telefónica.
Dirección de dos disertaciones doctorales.
En su conjunto estas acciones tuvieron como resultado el surgimiento de áreas de
cuestionamiento tales como características de los antecedentes de los decanos;

Herramientas y Técnicas de la EN 193
Fase 2
Fase 3
Fase 4
situaciones o asuntos de la facultad; prácticas de desarrollo de la facultad, en
general, y condiciones de los departamentos.
Búsqueda de representatividad en la muestra.
Desarrollo de una guía de entrevista semi-estructurada; y entrevistadores capacitados
para lograr una administración consistente y precisa de la guía.
Uso de formas de codificación para registrar las respuestas a las entrevistas.
Solicitud a las personas de que "identificaran de 3 a 5 decanos de facultades que
sobresalieron en ayudar a la facultad en su crecimiento y desarrollo" en el primer
ciclo de entrevistas.
Realización y registro de entrevistas durante un período de más de nueve meses,
cada una de las cuales duraba un promedio de 45 minutos.
Control de confiabilidad entre entrevistadores.
Iniciación del análisis tan pronto como hubo suficientes casos disponibles. Sucedió
que:
Las primeras 50 entrevistas se utilizaron para desarrollar los procesos de análisis.
Las preguntas abiertas de estos 50 casos se "rigieron" en categorías preliminares y
se clasificaron de acuerdo al enfoque de la pregunta.
Entonces se incorporaron al análisis los 135 casos restantes.
Las "historias" variadas ayudaron a identificar tipos de "situaciones de la facultad"
y de "enfoque de los decanos".
Triangulación entre el equipo de investigación para recategorizar las situaciones y/
o enfoques al examinar los casos más extremos, maximizar similitudes y diferencias
y desarrollar prototipos.
Resultados: una matriz conceptual.
Todos los datos utilizados eran de auto-informes.

194 Herramientas y Técnicas de la EN
CAson
En una reciente evaluación de los programas de la Organización de Alfabetización de
Adultos de Zimbabwe (ALOZ) realizada por Bhola y Muyoba, 9 la metodología tenía una
orientación naturalista. Los procesos y los pasos se describen a continuación:
El contrato de evaluación había enumerado preguntas generales que necesitaban
respuesta: ¿Cómo había afectado las vidas de aquellos a quienes querían servir los
programas de alfabetización de adultos y de generación de ingresos de ALOZ? ¿De qué
manera el trabajo de alfabetización había contribuido a la promoción de los esfuerzos de
alfabetización a nivel nacional en Zimbabwe? ¿Cómo contribuyó la asistencia
proporcionada por USATD/ZIMBABWE a ALOZ durante los primeros años de la
década de los 80 a cumplir la misión de ALOZ?
Se realizó un análisis detallado de la documentación relacionada con la estrategia
de desarrollo de Zimbabwe y del papel asignado a la alfabetización en la estrategia; la
política nacional de alfabetización y la ejecución de la campaña nacional de alfabetización
del gobierno, la misión de ALOZ en relación con la promoción de la alfabetización y su
materialización; y las metas y los objetivos de la subvención de USAID/ZIMBABWE a
ALOZ.
Se diseño un juego de 12 cuadros para desarrollar un retrato numérico del trabajo y
los logros de ALOZ durante el período que duró la subvención de USAID.
Se emprendió un extenso trabajo de campo para desarrollar una descripción de
como los proveedores de los programas de ALOZ y los participantes y otros beneficiarios
habían vivenciado el programa.
Se cubrió una muestra intencional de las localidades típicas para abarcar diferentes
lenguas (Shona y Sindebele) y diferentes realidades socio-económicas (área urbanoindustriales,
plantas manufactureras, agro-industrias, zonas rurales, asentamientos rurales,
etc.).
En cada localidad, se entrevistó a toda la gama de personas involucradas, entre
ellos los participantes, sus esposas y otros miembros de la familia, beneficiarios indirectos
de las actividades de generación de ingresos en las comunidades, maestros, supervisores,
capacitadores, empleados de agencias auspiciadoras y colaboradoras, etc. Se utilizaron
guías de entrevista semi-estructuradas como base para las conversaciones con los
informantes.
Primero, se elaboraron estudios de caso completos -uno por cada una de las
localidades incluidas, usando las respuestas de categorías pertinentes de personas
involucradas. Luego se usaron todos los datos -los datos numéricos organizados en
cuadros y los estudios de caso- de varias formas para responder las preguntas específicas
formuladas por los que toman las decisiones.

o -t= ^
¡fig
2 CO -Q
h= « O
to "CD
5 oc
Q o sa
S 8 8
i I - 1
to
O
c
CD
E
o
o
>
x
2 05 CO
CO CO
CD
^ -O
CD O)-^
CD CD i°
_l CO 0-
to o
CO .t=
i .i 5
h- C/D
CO
&
ü
>N
CO
CD
•4—»
c
CD
8 >
c5 co >^
Ü c Z >*
CO CO
CO CD
• TH 7« ® CO
CO o CO
k.
CO
°ü
8^-a
o
co
"5
ü
o
CD
LU
co
a>
•o
0>
a>
E
co
co
a>
o
T: c
cö o
Û Ü
CD O
CO x
CD £
to
CD
o
o
Q_ LU
8 5 w
o- 2 c ®
O Ü °< >
UJ CO
2 c
0>
0
Q
to L -'
>.
ribir
fere
Ana
"55 .2
"O c
— .2
to o CD
- "5 br
CD c
g to
.5 o
Ä E
_ to
CÖ _Ç
o to
to -o a)
to
•^ to _
a.
13
E - ö CD '

196 Herramientas y Técnicas de la EN
El Análisis de los datos en la EN
En análisis de los datos en la EN es de cierta manera un proceso mucho
más desafiante que el análisis estadístico. No se trata solamente de una
agregación de números, sino en la generación de significados y la búsqueda
de los patrones más abarcadores en los cuales residen esos significados.
El primer paso en el análisis de los datos de EN es una inmersión total
en los datos que ya se han recogido. El evaluador debe leer y re-leer las
transcripciones de entrevistas, informes de observaciones, notas del análisis
documental y el diario reflexivo, (ver la Figura 7 en la página anterior).
Las palabras y frases clave, así como los temas recurrentes deben anotarse
en tarjetas y también las citas importantes de comentarios hechos por las
personas involucradas. Mediante un proceso de síntesis, usando el modelo
CLER y el formato "ante-después" deben reportarse los cambios en las
vidas de los individuos, grupos, instituciones y comunidades. Desde luego,
no hay fórmulas estándar en el análisis de los datos de las EN, pero los
evaluadores que usan esta modalidad están seguros de sacar provecho de
la experiencia al tratar de darle sentido al mundo con base en los datos
recogidos.
Cosas para hacer o para pensar
1. Use una grabadora para grabar su entrevista con un campesino para
averiguar por qué él no puede seguir todos los consejos que le da el
agente extensionista. Escuche de nuevo la entrevista. ¿Quién habla
más, usted o el campesino? ¿Son sus preguntas un poco impacientes?
¿Está usted realmente escuchando?
2. Suponga que usted está interesado en aprender sobre el nivel de salud
de una comunidad. ¿Qué observaría usted? Compare sus observaciones
con las que haga un promotor de salud.
Notas
1. Para una discusión general sobre la investigación de campo ver Johnson,
J.M., Doing field research. New York, NY: The Free Press, 1975. Puede

Herramientas y Técnicas de la EN 197
encontrarse una discusión de la teoría fundamentada y los avances en
el concepto de ésta en Glaser, Barney y Strauss, Anselm L., The discovery
of grounded theory. Chicago, II: Aldine Publishers, 1967; y en
Glas ser, Barney, Theoretical Sensitivity: Advances in the methodology
of grounded theory. Mill Valley, CA: Sociology Press, 1978.
2. Algunas referencias son:
Bogdan R. y Bilden, S.K. Qualitative research for education. Boston,
MA: Allyn and Bacon, 1982. Patton, Michael Quinn. Qualitative
evaluation methods. Beverly Hills, CA: Sage, 1980. Miles, Matthew y
Hubermann, A. Michael. Qualitative data analysis: A source book of
new methods. Beverly Hills, CA: Sage, 1984.
3. Gorden, R., Interviewing. 3rd ed. Homewood, II: Dorsey Press, 1980
y Dexter, L.A., Elite and specialized interviewing. Evanston, II:
Northwestern University Press, 1970, son algunas referencias útiles
para hacer entrevistas. También debe uno referirse a la literatura sobre
las entrevistas etnográficas. La etnografía utiliza la descripción como
componente importante de la recolección de datos. El énfasis está en
la perspectiva émica (del interior) para poder comprender la realidad
de los sistemas sociales; y al mismo tiempo proporciona el contexto de
modo que se entiendan los datos apropiadamente. Ver Fetterman, David
M., Ethnography in educational evaluation. Beverly Hills, CA: Sage,
1984; Spindler, George y Louise, Interpretative ethnography of
education at home and abroad. Hillsdale, NJ: Lawrence Erlbaum
Associates Inc., 1987; y Spradley, James P., The ethnographic interview.
New York, NY: Holt, Rinehart and Winston, 1979.
4. Krueger, Richard A. Focus group interviewing: Step by step instructions
for extension workers. Minnesota Agricultural Extension Service. (320C
Vocational Technical Building, 1954, Buford Avenue, St. Paul,
Minnesota, 55108), 1985. También Qualitative Research Council of
the Advertising Research Foundation. Focus groups: Issues and
Approaches. New York, NY: Advertising Research Foundation, Inc.,
1985.
5. McCall, G.J. y Simmons, J.L. (eds.) Issues in participant observation:
A text and reader. Reading, MA: Addison-Wesley, 1969. También

198 Herramientas y Técnicas de la EN
Spradley, J.P., Participant observation. New York, NY: Holt, Rinehart
y Winston, 1980.
6. Krippendorff, Klauss. Content Analysis. Beverly Hills, CA: Sage, 1980.
7. Ver Webb, E. J. et al. Unobtrusive measures. Skokie, H: Rand McNally,
1966 para una discusión sobre estas mediciones. Una discusión más
reciente se presenta en Sechrest, Lee (ed.) Unobtrusive measures today.
New Directions for Methodology of Behavioral Sciences, N Q 1, San
Francisco, CA: Jossey-Bass, 1979.
8. Creswell, John W., et al. "The faculty development role of department
chairs: A naturalistic analysis". Investigación presentada en el Annual
Meeting of the Association for the Study of Higher Education,
Baltimore, Maryland, noviembre 21-24,1987.
9. Bhola, RS. y Muyoba, G.N. The role of the Adult Literacy Organization
of Zimbabwe (A) in promoting Universal Literacy - A Retrospect and
a Prospect. Harare. ALOZ/USAID-ZIMBABWE, 1989. Una descripción
interesante de la ejecución del enfoque naturalista se encuentra en
Valbuena Paz, Antonio y González Olivares, Guido, "Case Study of
CES AP Programme: 'Mucuchies Peasant Programme". Hamburg:
UNESCO Institute for Education (UIE) project PRG 5. 14/4.53,
Document 10, junio 1990. Mimeo.

CAPITULO 12
LA ELABORACIÓN DE INFORMES
SOBRE EVALUACIONES NATURALISTAS Y DE
INFORMES PERIÓDICOS A LA MANERA NATURALISTA
El informe de un estudio evaluativo naturalista (EN) es típicamente un
estudio de caso. Lo que se había ofrecido en la propuesta en tiempo futuro
se escribe ahora en pasado, con las modificaciones que hayan ocurrido.
En el contexto de cualquier programa se envía desde el terreno a la
Oficina Central una multiplicidad de informes periódicos; otros son escritos
por los funcionarios de la Oficina Central después de realizar visitas de
supervisión al campo. Se puede extender el uso de técnicas para escribir
informes de EN a la redacción de informes periódicos de campo a la
manera naturalista.
Los informes evaluativos tienen generalmente propósitos informativos:
informar a los que toman las decisiones acerca del estado de las cosas en
un programa y sugerir algunas otras posibilidades para mejorarlo. Estos
propósitos siguen siendo los principales en la EN también, pero se extienden
para cumplir otros tres:
1. Comunicación
2. Conclusión y
3 Compromiso
El informe de EN debe comunicar información a los que toman las
decisiones. Deben recibir un avance sobre el estado de las cosas. Sin
embargo, también deben dar a todos los involucrados un sentido de haber
llegado a alguna conclusión. Aunque con frecuencia decimos que la
evaluación es un proceso continuo, todas las personas involucradas deben
tener la sensación de que un estudio particular se ha completado y se ha
dejado atrás determinado asunto.
Finalmente, el informe debe impulsar a las distintas audiencias a una
fase de acción y crear una oportunidad para que éstas se comprometan
públicamente a actuar.

200 Elaboración de Informes de la EN
El paradigma naturalista exige que el evaluador proporcione al lector
"ricas descripciones" al informar los resultados del estudio evaluatívo. El
evaluador que lleva a cabo un estudio naturalista no puede simplemente
procesar los datos y ofrecer los resultados y agregar alguna discusión al
respecto. El evaluador debe referir la historia completa, "rica" en detalle.
Como es de comprender, el informe de una evaluación naturalista es un
estudio de caso.
Sin embargo, debe hacerse una advertencia. Los que toman las
decisiones de alto nivel en las burocracias no son los únicos que reciben la
información en las evaluaciones naturalistas. Las EN no sólo están
fundamentalmente en una nueva epistemología, sino que responden a una
ética social particular. El evaluador naturalista pretende dirigirse a todos
los interesados y particularmente a los desprovistos de poder.
Puede ser que alguno de estos interesados (en los países en desarrollo
tanto como en las sociedades desarrolladas) no siempre puedan recibir los
informes evaluad vos impresos. Esto quiere decir que algunos informes
tendrán que presentarse oralmente o por medios audio-visuales.
La presentación efectiva de los resultados evaluativos
Mucho se sabe sobre cómo lograr que los discursos orales sean efectivos.
Sin embargo, no es mucho lo que podemos decir al respecto en el ámbito
de este pequeño manual. Sólo pueden hacerse unas pocas sugerencias.
La información oral
No hace falta insistir en que quien presenta un informe debe estar bien
preparado. ¿Cuáles son los resultados que deben compartirse con el grupo?
¿Cuáles son las interpretaciones que el presentador quiere que el grupo
desarrolle? ¿Cuáles son las malas interpretaciones que deben evitarse? El
presentador debe anotar los puntos principales del informe y tenerlos a
mano.
Si bien debe estar preparado, el presentador no debe pretender hacer
un monólogo perfecto ante una audiencia amordazada que no puede
interrumpirlo. Debe permitirse a la audiencia que comente, pregunte, plantee
dudas y solicite la discusión de aspectos que el presentador no había
tenido intención de hacer. La lista de ideas que haya preparado de antemano

Elaboración de Informes de la EN 201
sólo debe usarse para asegurarse de cubrir todos los puntos que quería
presentar.
El presentador debe, desde luego, hablar con claridad, en tono audible
y ser cortés y paciente.
Las presentaciones audio-visuales
Realizar presentaciones audio-visuales también se ha convertido en un
arte. Lamentablemente, no podemos decir mucho aquí, pero haremos
algunos comentarios.
Primero, se debe seleccionar cada uno de los medios por el aporte
especial que pueda hacer. Se debe utilizar el cartel cuando se tenga que
mostrar algunos hechos importantes y sus relaciones, y se quiera
mantenerlos frente a la audiencia por cierto tiempo. Debe elegirse una
película cuando se quiera mostrar el movimiento, y un modelo o maqueta
en aquellos casos en que se desee que tengan la experiencia de algo en tres
dimensiones.
Segundo, una vez que se ha introducido algún medio para la
presentación, se debe dejar que cumpla su función. Mucha gente muestra
una cartelera y ni siquiera se refiere a ella al hacer la exposición. Otros
proyectan una película y más tarde no la integrarán en el resto de su
presentado. De nuevo, los aspectos logísticos de la utilización de los
medios deben manejarse adecuadamente. Debe encontrarse una manera de
colocar la cartelera en la pared o la maqueta en una mesa; debe comprobarse
que el proyector funcione y la película no se esté rompiendo a cada
momento; y debe prestarse la atención debida a la ventilación y la oscuridad
necesarias en las salas donde se harán las proyecciones.
La redacción de los estudios de caso
Un buen estudio de caso cuenta la historia completa sistemáticamente,
clara e inteügentemente. El mejor consejo para escribir un estudio de caso
sería poner en pasado lo que se prometió en futuro al hacer la propuesta
del estudio evaluativo, reflejando y explicando las modificaciones que se
hayan introducido.
El estudio de caso que se redacte para informar los resultados de una
evaluación naturalista hace uso de una organización histórica-cronológica.
El modelo CLER discutido anteriormente debe estar metido en el estudio

202 Elaboración de Informes de la EN
de caso. Este estudio debe estar lleno de anécdotas y citas reales de los
informantes. Sin embargo, esto no significa que el estudio de caso en una
EN no incluya números, cuadros o matrices. Puede ser que los use o no,
dependiendo del área de que se trate y los datos disponibles.
La elaboración de informes de campo a la manera naturalista
Dentro del contexto de un programa de desarrollo se escriben numerosos
informes periódicos: algunos son enviados por el personal de campo a la
Oficina Central, otros los escriben los funcionarios del nivel central después
de realizar visitas de supervisión al terreno. Sugerimos con énfasis que
estos informes se escriban de la manera que hemos descrito como naturalista.
Desde luego, esto no ocurrirá hasta que los funcionarios no comiencen a
verse a sí mismos como profesionales del área en vez de policías. En
cierto sentido esto implicará una revolución en las normas de las prácticas
en el área del desarrollo. Llegará a surgir una interpretación en la cual se
relieve que las intenciones del gobierno no son las que determinan el
desarrollo. La gente se desarrolla a sí misma. Si ellos no se sienten
motivados, no habrá desarrollo. Además, hay otras circunstancias que
están fuera del control de los gobiernos y de los funcionarios. Aunque
haya en el terreno funcionarios corruptos y que no estén comprometidos,
que necesiten sentirse vigilados y castigados, no es siempre su culpa que
no se logre el desarrollo. Tenemos que considerar el desarrollo profesionalmente,
como un proceso que es complejo y exige respuestas creativas.
En relación con esto surge la idea de que los funcionarios que trabajan en
distintos niveles del gobierno tienen que despojarse de su obsesión con la
subordinación-superordinación y se consideren colegas entre sí.
Los informes desde la perspectiva de los funcionarios del nivel central
Los informes escritos por los funcionarios de la Oficina Central después
de sus visitas de inspección al terreno se prestan, particularmente, para ser
redactados a la manera naturalista. Aquí hay algunas insinuaciones:
1. Piense en la evaluación como un proceso continuo. Prepare cada
visita con base en la última que se haya hecho. Estudie los informes
previos antes de emprender un nuevo viaje y anote qué hay que
averiguar.

Elaboración de Informes de la EN 203
2. Revise el contexto del proyecto y de su propia visita. Piense en
los temas que usted abordará esta vez en el campo. Recuerde que
usted nunca aprenderá mucho sobre la realidad sin encontrarse
con ella. Esto significa que no debe visitar sólo las oficinas e
indagar únicamente en los archivos y registros oficiales. Identifique
lo que personalmente quiere observar -clases, hogares; y con qué
personas va a interactuar o sobre quiénes se va a informaragricultores,
jefes, alfabetizadores, los llamados desertores, etc.
3. Durante la visita escriba un diario con descripciones abundantes.
Compruebe sus interpretaciones y percepciones con otros,
particularmente aquellos a quienes se refieren. Sugiera métodos
para solucionar los problemas y comprométase a hacer su parte.
4. De regreso a la oficina, después de la visita, redacte su informe
como se ha sugerido antes, a manera de un estudio de caso.
Comparta su informe con sus colegas.

Parte V
La Evaluación a la Manera Racionalista
En este manual hemos introducido primero el paradigma de Evaluación
Racionalista (ER) en el Capítulo 2, Parte I. En el Capítulo 4 de la Parte II
se incluyó una breve descripción de la ER, en la cual se presentaba como
uno de los tres componentes del triángulo metodológico de la evaluación:
SIG, EN y ER.
Con anterioridad hemos indicado que el SIG debe ser considerado lo
más importante, realmente, la base sólida del triángulo metodológico de la
evaluación. También sugerimos que la segunda prioridad debe recaer en la
EN, que es la más adecuada para descubrir los significados cualitativos
que los programas o proyectos pueden tener para aquellos a quienes
pretenden servir. En consecuencia, hoy pensamos que la ER ocupa el
tercer lugar en la gestión de la evaluación.
No obstante, ese tercer lugar no significa que no se use. De ninguna
manera queremos sugerir que la ER no juege un valioso papel en la
evaluación de los programas educativos y de desarrollo. De hecho, la
triangulación de las distintas metodologías de evaluación está implícita en
la denominación misma de nuestro modelo: el triángulo metodológico de la
evaluación. Lo que afirmamos es que la ER no debe ser seleccionada
simplemente porque por muchísimos años se ha considerado erróneamente
como el único enfoque "científico" de la evaluación y la investigación. El
SIG y la EN son prioritarios.
Hecha esta advertencia, podemos sugerir que habrá múltiples
oportunidades para que los evaluadores de programas educativos y de
desarrollo apliquen la ER. Recordemos el concepto de Cronbach de
"contexto de control" que discutimos anteriormente en este manual. En
efecto, hay muchos contextos en los cuales pueden asumirse los supuestos
de control sobre la realidad estudiada y, por lo tanto, puede utilizarse el
paradigma racionalista de la evaluación sin violentar la realidad. En esos
casos tendrá bastante sentido hacer uso de la ER.
Nuestra discusión sobre la ER se dividirá en los siguientes capítulos:

13. La Evaluación Racionalista - Teoría, Preguntas y Diseño.
14. La Elaboración de una Propuesta para un Estudio Evaluativo a la
Manera Racionalista.
15. El Proceso en Una Mirada: Herramientas y Técnicas de la
Evaluación Racionalista:
Sección A: Herramientas e Instrumentos
Sección B: La Recolección de Datos
Sección C: El Procesamiento y la Presentación de los Datos
Sección D: Análisis Estadístico de los Datos.
16. La Elaboración de Informes de Evaluación Racionalista y la
Promoción de la Utilización de los Resultados.

CAPITULO 13
LA EVALUACIÓN RACIONALISTA - TEORÍA,
PREGUNTAS Y DISEÑO
La evaluación racionalista (ER) parte de un conjunto particular de
supuestos sobre la realidad que incluye el reduccionismo (que la compleja
realidad social puede reducirse a aspectos más simples para su estudio) y
el universalismo (que pueden encontrarse leyes universales del
comportamiento humano que se mantienen como verdaderas independientemente
del contexto). Relacionado con estos supuestos está el
concepto del tratamiento experimental, que permite al investigador o
evaluador adecuar la realidad a su formato experimental, propiciando así
la validez, la confiabilidad, la objetividad y la generalización de los
resultados. Existen diseños específicos de evaluación y procedimientos de
muestreo que son parte de la teoría, así como procedimientos estadísticos
que hacen posible hacer inferencias de los específico a lo general con
determinados niveles de confianza.
El éxito del positivismo lógico (o paradigma racionalista) ha sido
espectacular. Los investigadores médicos, haciendo uso de este paradigma,
han erradicado muchas enfermedades mortales y plagas de la faz de la
tierra; y los físicos pusieron un hombre en la luna.
Para compartir la gloria, los dentistas sociales imitaron a los científicos
del área de la física y comenzaron a utilizar este llamado paradigma
científico, excluyendo casi todo lo demás.
La magia del paradigma positivista se está quebrantando finalmente, y
estamos comenzando a comprender que la realidad social no encaja muy
bien en el paradigma racionalista. El comportamiento individual no siempre
nos dice mucho sobre el comportamiento de los grupos o dentro de las
organizaciones. Hay propiedades que van surgiendo dentro de las totalidades
que no pueden ser explicadas en términos de sus partes constituyentes. A
la inversa, estamos comprendiendo que los fenómenos complejos no pueden
ser reducidos a aspectos más simples para ser estudiados y luego juntarlos
como si nada se perdiera, la naturaleza misma de estos fenómenos cambia
cuando éstos son fragmentados y factorizados mediante esas reducciones.

208 ER - Teoría, Preguntas y Diseño
También estamos comenzando a darnos cuenta de los límites de las
generalizaciones. Ahora sabemos que los fenómenos sociales son sensibles
al contexto donde ocurren.
La teoría de la ER
Desde luego, quienes proponen la ER no han depuesto sus armas para
marcharse a casa. Aunque estén empezando a aceptar el papel del juicio
en la ER y han admitido la existencia de problemas con la validez,
confiabilidad, objetividad y generalización, todavía creen que, de acuerdo
con un "positivismo re-acondicionado", la ER es el mejor enfoque para
llegar a proposiciones normativas.
La definición de la realidad que acepta la ER y la metodología que
típicamente la acompaña se han discutido en cierto detalle en el Capítulo 2
de la Parte I de este libro. Pero en este punto es conveniente hacer un
recuento de sus principales supuestos.
La ER acepta la existencia de una realidad objetiva ahí afuera, que
todo el mundo puede ver. Por lo tanto, admite la posibilidad de hacer
proposiciones normativas que sean universales y, en consecuencia,
generalizares a todas las situaciones. La ER se fundamenta en el concepto
del reduccionismo, lo cual significa que la complejidad de la vida real
puede reducirse a relaciones más simples - factores individuales y variables,
los cuales pueden ser estudiados en relaciones lineales para demostrar
correlaciones o causalidades. El supuesto es que después de ser estudiados,
estos pueden volver a reunirse para ayudarnos a comprender las relaciones
complejas. Puesto que así pueden establecerse relaciones causales, es posible
hacer predicciones acerca de eventos de comportamientos futuros.
La metodología de la ER se basa en el supuesto del control. El evaluador
busca establecer una situación experimental en la cual se seleccionan los
sujetos, se estandarizan los tratamientos, la recolección de datos es objetiva
y el análisis de los datos es típicamente estadístico. Esta clase de supuestos
puede ser satisfecha bajo lo que Lee Cronbach denomina el "contexto del
control". Por consiguiente habrá preguntas sobre la alfabetización y la
post-alfabetización, aunque tal vez no muchas, cuyas respuestas se podrían
hallar mejor mediante el enfoque de la ER.

ER - Teoría, Preguntas y Diseño 209
Las preguntas en la ER - en el contexto del control
En nuestra concepción la ER busca hacer proposiciones normativas acerca
de la realidad que puedan servir de guía general en una diversidad de
contextos. Al tomar muestras aleatorias de los informantes individuales (u
otras unidades sociales), persigue establecer correlaciones, comparaciones
y predicciones con determinados niveles de confianza.
Proposiciones normativas
(Las respuestas se basarán en muestras aleatorias)
1. ¿Cuál es el porcentaje de analfabetismo entre las mujeres en la
región sur de Kenia?
2. ¿Cuál es el rango de orden entre las motivaciones expresadas por
los hombres para asistir a las clases de alfabetización en un
determinado programa?
3. ¿Cuál es el perfil de los usos de la alfabetización dado por los
hombres y las mujeres entre las edades de 30 a 45 años?
El establecimiento de conexiones y correlaciones
(Estas preguntas son bastante similares a las que se enunciaron bajo el
SIG. La diferencia esencial podría ser que quien ejerce la práctica de la ER
recolecta los datos de una muestra aleatoria y trata de satisfacer los supuestos
estadísticos, necesarios para hacer inferencias que van más allá de la
población que participa en el programa.)
1. ¿Cuál es la correlación entre la lecto-escritura y las habilidades
numéricas?
2. ¿Cuál es la correlación entre la cualificación del maestro y el
rendimiento del educando?
3. ¿Cuál es la naturaleza de la correlación entre una calificación en
una prueba de alfabetización y la productividad económica?
Las comparaciones entre grupos y otras entidades
(Una vez más, estas preguntas son muy similares a las enunciadas bajo la

210 ER - Teoría, Preguntas y Diseño
sección del SIG. La diferencia, de nuevo, es que quien ejerce la práctica de
la ER recoge los datos de muestras seleccionadas al azar y satisface otros
supuestos estadísticos necesarios para poder hacer inferencias más allá de
la población participante en el programa.)
1. ¿Cuáles son las diferencias entre el rendimiento en lecto-escritura,
funcionalidad y concientización entre grupos de hombres y mujeres
participantes que proceden de familias que viven de la agricultura
de subsistencia y que pertenecen al mismo grupo de edad?
2. ¿Cuál es la diferencia en la efectividad de los maestros capacitados
para enseñar en escuelas primarias y los neo-letrados, capacitados
al interior del proyecto de alfabetización para enseñar a los adultos
en las clases de alfabetización?
3. ¿Cuál es la relativa efectividad de conjuntos de materiales
instruccionales preparados de acuerdo con la estrategia de Freiré
y el enfoque total del lenguaje?
4. ¿Cuáles son las distinciones entre los participantes y noparticipantes
en programas de alfabetización en cuanto a varias
medidas de modernización, tales como la productividad
económica, el nivel nutritional de la familia, la planificación
familiar y la participación política?
5. ¿Cuál ha sido la naturaleza y el significado del cambio en la
comunidad antes y después de la ejecución del programa A?
El diseño en el paradigma de ER
En el significado que da el diccionario del término, diseño es el desarrollo
de una concepción de algo, o la preparación de planes preliminares o
bosquejos de algo. En este sentido de la palabra diseño, todos los estudios
evaluativos deben tener un diseño. Debemos tener una concepción de lo
que queremos hacer y por qué, así como bosquejar algunos planes
preliminares referidos a cómo hacer lo que queremos hacer.
Sin embargo, en la literatura de la investigación y la evaluación, el
diseño tiene un significado altamente técnico. En el paradigma ER, el
diseño característicamente significa "el diseño experimental". Tiene que
haber un plan de muestreo y deben obtenerse muestras aleatorias. Las
variables de evaluación deben ser definidas y controladas a través de

ER - Teoría, Preguntas y Diseño 211
varios mecanismos. Los tratamientos deben ser bien definidos y aplicados
selectivamente a las muestras seleccionadas. Los instrumentos con
frecuencia son estructurados y se eligen técnicas estadísticas para aplicarlas
al análisis de los datos recolectados.
Sin embargo, se está comenzando a comprender que los "verdaderos"
diseños experimentales pocas veces son aplicables en educación y desarrollo.
Las muestras aleatorias no siempre tienen sentido cuando se trata con
categorías especiales de sujetos, en contextos comunitarios particulares.
Con frecuencia es imposible el control de variables y tratamientos. Por lo
tanto, a los evaluadores se les ofrece ahora los "diseños cuasiexperimentales"
-diseños de evaluación que son experimentales a medias.
Al usar los diseños cuasi-experimentales, sometemos a prueba tratamientos
asignados al azar, de ser posible, pero se ejerce control cuando los datos son
recogidos y sobre quien los aporta.
Confiabilidad y validez
Los investigadores y evaluadores que trabajan con el paradigma de la ER
se preocupan por la confiabilidad y la validez.
La confiabilidad se aplica a las pruebas u otros instrumentos de
medición. Se define como una consistencia razonable en los resultados
obtenidos en una secuencia o grupo de pruebas y mediciones repetidas.
Una prueba es confiable cuando sus resultados son consistentes en diferentes
aplicaciones al mismo sujeto participante dentro de un marco de tiempo
razonable; o cuando los resultados son consistentes al ser utilizado por
diferentes evaluadores, con diferentes sujetos. La confiabilidad es necesaria
pero no suficiente para obtener la validez.
La validez es el grado en que una prueba mide lo que se supone que
debe medir. El sustento de la validez puede ser lógico o empírico. Los
ítemes de la prueba pueden haber sido derivados adecuadamente de las
premisas aceptadas por medio de reglas lógicas; o los supuestos pueden
haberse basado en evidencia empírica sustentable.

212 ER - Teoría, Preguntas y Diseño
Validez interna y externa
El concepto de validez no sólo se aplica a las pruebas e instrumentos sino
que también se relaciona con otras inquietudes más generales que se
plantean sobre el diseño de evaluación. Los resultados de un estudio
evaluativo y las conclusiones inferidas de estos resultados deben ser
justificables, fundamentadas, convincentes y aceptables -esto es, deben ser
considerados como válidos.
A continuación se enuncian algunas de las aseveraciones que podrían
hacer los evaluadores con base en sus estudios y para responder a las
posibles objeciones que se plantean con respecto a la validez de tales
proposiciones.
ASEVERACIONES DE
LOS EVALUADORES
El grupo capacitado ha mostrado haber
aprendido mucho, tal como se evidencia
en el alto nivel de rendimiento en la
prueba final.
Las actitudes de los adultos hacia la
alfabetización han cambiado drásticamente
como consecuencia del proyecto.
El grupo de agricultores que participó en
la capacitación de líderes en el Instituto
de Capacitación ha asumido roles reales
de liderazgo en la comunidad con más
frecuencia que quienes no participaron.
OBJECIONES A LA VALIDEZ
Tal vez este grupo estaba ya familiarizado
con el contenido del curso de capacitación,
aun antes de incorporarse al mismo.
Tal vez la prueba era fácil o las calificaciones
han sido infladas.
Tal vez no han cambiado como consecuencia
del proyecto, sino debido a un
discurso del Presidente transmitido por
la radio nacional.
Tal vez ellos no han cambiado como
consecuencia del proyecto, sino porque
la fábrica de textiles recientemente abierta
ha manifestado su preferencia por
trabajadores letrados o semi-letrados.
Tal vez los agricultores que tomaron el
curso de capacitación de líderes ya
ejercían posiciones de liderazgo y querían
aumentar su efectividad como líderes.
Tal vez los agricultores que tomaron el
curso eran un grupo auto-seleccionado,
movido por la ambición de ocupar las
nuevas posiciones que se abren en sus
comunidades.
Tal vez los otros grupos de campesinos
que no participaron son diferentes del

ER - Teoría, Preguntas y Diseño 213
El curso de capacitación para los
campesinos incrementó la productividad
general de aquellos que asistieron en el
año el 15% del tiempo de duración.
La introducción del papel de Promotor
de Educación Familiar en Salud ha
cambiado el nivel de salud en las
comunidades seleccionadas de "Bajo" a
"Medio".
grupo de líderes exitosos en importantes
características socio-económicas y por lo
tanto, es un grupo de desventaja.
Tal vez el aumento de la productividad
de estos campesinos el año anterior fue
del 20%. Quizás otros grupos de campesinos
similares han mostrado aumentos
similares en otras partes.
Es posible que esto sea porque el calor y
la sequía del año pasado mataron todos
los mosquitos; y por la ayuda en
alimentos de alto contenido proteico que
se repartieron a las familias del área para
superar el hambre.
Estos son algunos ejemplos de las aseveraciones que podrían hacerse
y los desafíos a su validez. Los profesores Donald T. Campbell y Julian C.
Stanley 1 han enunciado doce amenazas diferentes a la validez interna y
externa de los estudios evaluativos. Los evaluadores deben encontrar su
lista sumamente instructiva:
A. Validez interna
4.
Historia. Un evento histórico externo, tal como un discurso
presidencial o el entusiasmo generado por un plan económico
recientemente anunciado, podría desafiar la validez de las
afirmaciones del evaluador.
Maduración. Los individuos sometidos a prueba como parte de
la evaluación pueden madurar y crecer de maneras tan
significativas que podrían llegar a comportarse como personas
diferentes en el tiempo que se complete un estudio evaluative
Prueba. La primera prueba puede "enseñar" los ítemes de la
prueba y demás información relacionada e implicada. La misma
prueba (o una segunda prueba equivalente) puede entonces no
medir cambios reales producidos por el programa.
Instrumentación. Puede ser que no haya habido cambios en la
realidad sino sólo en la calibración de los instrumentos que la

214 ER - Teoría, Preguntas y Diseño
estudian. O diferentes observaciones y examinadores pueden haber
calificado de manera diferente la misma realidad que no ha
cambiado.
5. Regresión estadística. Este es un fenómeno estadístico. Las
calificaciones extremadamente altas o extremadamente bajas en
una primera prueba tienden a moverse hacia el promedio de la
totalidad de las calificaciones en la segunda prueba. Así, puede
suceder que cambios en las calificaciones en una segunda prueba
no tengan que ver con los grupos, métodos o efectos del programa.
La regresión estadística ocurre especialmente en los casos en los
que los grupos han sido seleccionados con base en las
calificaciones extremas.
6. Selección. Los sesgos en la selección de los participantes de
programas de capacitación o para ser entrevistados o aplicárseles
pruebas pueden amenazar la validez de los resultados.
7. Mortalidad experimental. Muchos de los participantes iniciales
en el estudio evaluativo pueden dejar de participar. Puede ser que
deserten del programa o que se desplacen a otros lugares por
distintas razones (trabajo, búsqueda de alimentos). Así el grupo
que permanece puede no ser ya representativo del grupo o la
comunidad que se estudia.
8. Interacción entre la selección y la maduración. Las características
peculiares del proceso de selección de los sujetos en un estudio
evaluativo y la maduración pueden interactuar de modo que
muestren ciertos efectos independientemente de los insumos y
proceso del programa.
B. Validez externa
9. El efecto reactivo e interactivo de las pruebas. La prueba previa
puede aumentar o disminuir la sensibilidad o respuesta del sujeto
a ciertos tipos de tratamientos aplicados como parte de la
evaluación en un programa.
10. Interacciones entre la selección y el tratamiento. Las características
peculiares de la selección de los sujetos y los tratamientos
instruccionales y organizacionales pueden crear efectos que
falsifican los resultados en relación con los efectos reales del
programa.

ER - Teoría, Preguntas y Diseño 215
11. Efectos reactivos de la situación experimental. Las personas y los
grupos muestran un conjunto de efectos de un tratamiento dentro
de la situación experimental pero no en las situaciones de la vida
real, fuera del contexto de la experimentación. O, en algunos
casos, las condiciones experimentales pueden ser demasiado
artificiales.
12. Interferencia de tratamientos múltiples. Cuando el mismo grupo
se somete frecuentemente a prueba o es entrevistado muchas
veces en relación con diferentes cosas, pueden confundirse los
resultados. Los efectos de una prueba y una entrevista no pueden
borrarse de la experiencia de los sujetos participantes y la primera
prueba o entrevista puede influir de otras maneras que no podemos
descifrar.
El propósito del diseño de evaluación es reducir las amenazas a la
validez de los resultados de la evaluación que se han enunciado.
Algunas ideas sobre muestreo
La validez y el rigor general de los estudios evaluativos pueden aumentarse
siguiendo métodos de diseño y de muestreo apropiados. Comencemos
presentando algunas ideas sencillas sobre el muestreo.
Una muestra es una posición o parte de un todo que se toma como
representativa de una totalidad. El muestreo es frecuentemente una necesidad
práctica. Los evaluadores pueden tener que trabajar con programas muy
amplios, que cubren cientos de miles de personas. No pueden llegar a cada
uno de los miembros de la población para preguntarles lo que desean que
les respondan. En lugar de esto, seleccionan un pequeño número de
informantes de modo que la muestra sea representativa y pueda ser estudiada
para hacer inferencias sobre la totalidad.
Explicaremos las dos palabras utilizadas en el párrafo anterior: población
y representatividad. En su significado en la vida diaria población abarca a
todas las personas -hombres, mujeres y niños, jóvenes y adultos, campesinos,
trabajadores y amas de casa- que viven en una comunidad o una nación.
Para el evaluador, la población es el grupo total de personas en la cual él
está interesado. Puede ser la totalidad de las mujeres en edad de tener hijos
en un país, todas las personas que sufren enfermedades pulmonares, todos

216 ER - Teoría, Preguntas y Diseño
los trabajadores de la industria textil, todos los neo-letrados en una región
o un pueblo. Las muestras se sacan de esas poblaciones.
Las muestras tienen que ser representativas; esto es, como partes que
son deben representar el todo al que pertenecen.
Ha habido muchos avances en la teoría del muestreo. Los estadísticos
han elaborado fórmulas por las cuales pueden someter a prueba la
representatividad de sus muestras y calcular las probabilidades de error.
El tamaño es una consideración importante al seleccionar muestras.
Como es natural, la muestra representativa perfecta es la población total.
En general, mientras mayor la muestra, más representativa será de la
población. Pero muestras innecesariamente grandes no son buenas muestras.
Debemos tener el tamaño correcto para que la muestra sea económica y
representativa.
En la página 217 hemos reproducido un cuadro que puede utilizarse
para determinar los tamaños de las muestras según los tamaños de las
poblaciones. Veamos también algunos tipos de muestreo de uso frecuente.
Muestreo aleatorio
Una muestra aleatoria se obtiene cuando la seleccón se hace únicamente
con base en el azar, sin que haya un sistema o patrón subyacente, y cuando
cada ítem o persona en la población estudiada haya tenido igual probabilidad
de ser incluida en la muestra. Las muestras aleatorias de un tamaño
apropiado son las que tienen mayor probabilidad de representar todas las
características y la distribución exacta de la población total, como lo requiere
el evaluador. Un método para seleccionar muestras al azar es ordenar la
población de alguna manera, asignar a sus integrantes números y luego
sacar algunos números al azar. Cuando las poblaciones son grandes y
muchos los números asignados, pueden usarse cuadros de números
aleatorios.
El muestreo aleatorio puede aplicarse sucesivamente en los estudios
evaluativos. Puede seleccionarse al azar las regiones de un país,
seguidamente hacer la selección aleatoria de algunas comunidades de entre
las regiones seleccionadas y luego seleccionar aleatoriamente los adultos
de las comunidades que hayan sido seleccionados al azar. Nuevamente,
estos adultos pueden asignarse a grupos de aprendizaje por una nueva
selección al azar.

ER - Teoría, Preguntas y Diseño 217
CUADRO PARA DETERMINAR EL TAMAÑO DE UNA
MUESTRA DE UNA POBLACIÓN DADA 2
N
10
15
20
25
30
35
40
45
50
55
60
65
70
75
80
85
90
95
100
110
120
130
140
150
160
170
180
190
200
210
M
10
14
19
24
28
32
36
40
44
48
52
56
59
63
66
70
73
76
80
86
92
97
103
108
113
118
123
127
132
136
N
220
230
240
250
260
270
280
290
300
320
340
360
380
400
420
440
460
480
500
550
600
650
700
750
800
850
900
950
1.000
1.100
M
140
144
148
152
155
159
162
165
169
175
181
186
191
196
201
205
210
214
217
226
234
242
248
254
260
265
269
274
278
285
Nota: N es tamaño de la población; M es tamaño de la muestra.
N
1.200
1.300
1.400
1.500
1.600
1.700
1.800
1.900
2.000
2.200
2.400
2.600
2.800
3.000
3.500
4.000
4.500
5.000
6.000
7.000
8.000
9.000
10.000
15.000
20.000
30.000
40.000
50.000
75.000
100.000
M
291
297
302
306
310
313
317
320
322
327
331
335
338
341
346
351
354
357
361
364
367
368
370
375
377
379
380
381
382
384

218 ER - Teoría, Preguntas y Diseño
Maestreo por lista
Este es una modificación del método de selección al azar. Se ordena la
población que interesa al evaluador en una lista siguiendo alguna regla
-alfabéticamente, por ejemplo- y entonces se selecciona uno cada n números.
Por ejemplo, puede escogerse cada 5 o cada 20 números, dependiendo del
tamaño de la población y el de la muestra que se va a seleccionar. El
mismo punto de partida del proceso puede ser seleccionado al azar para
satisfacer el criterio de que cada unidad tenga igual oportunidad de ser
elegida.
Muestreo por área
En este tipo de muestreo se pueden seleccionar aleatoriamente algunas
localidades geográficas de todos los sitios disponibles, y entonces estudiar
todas las unidades apropiadas dentro de las áreas seleccionadas.
Muestreo estratificado
La población de interés para el evaluador puede dividirse en diferentes
estratos socio-económicos. O la población puede estratificarse de acuerdo
con grupos de edad-niños, jóvenes, adultos, viejos. En estos casos, puede
utilizarse el muestreo estratificado. De acuerdo con proporciones de la
población total se extraen muestras al azar de cada estrato de la población
proporcionalmente.
Muestreo intencional, teórico o de élite
Puede ser que el evaluador o investigador naturalista con frecuencia no
necesite una muestra aleatoria, sino intencional, una muestra que satisfaga
sus necesidades particulares pre-determinadas. El evaluador puede no estar
interesado en un grupo cualquiera de adultos seleccionado al azar en una
comunidad, sino en dos o tres personas que se supone son los líderes
responsables de la comunidad. El evaluador puede estar interesado en
pequeñas muestras élite.

ER - Teoría, Preguntas y Diseño 219
Algunos diseños simples para los evaluadores
Seguidamente se presentan algunos diseños de interés para los evaluadores
que trabajan según la ER. Algunos de estos diseños pueden también ser
usados en la EN. Estas descripciones se basan en el trabajo de Campbell y
Stanley y al cual hicimos referencia antes.
(i) Estudios de caso (de una sola vez)
Campbell y Stanley lo denominan diseño pre-experimental. Hay una total
ausencia de control. El tratamiento del programa (X) es seguido de una
observación (O):
X O
Aunque el estudio de caso compara implícitamente sus resultados con
eventos similares observados casualmente o leídos y recordados, éste puede
fortalecerse por comparaciones más sistemáticas. Debe intentarse por lo
menos una comparación más. Debemos recordar que este diseño llamado
pre-experimental puede ser una herramienta útil para el evaluador naturalista.
(ii) Diseño pr-e-prueba post-prueba con un solo grupo
Es también considerado un diseño pre-experimental y puede representarse
como sigue:
OÍ X 02
Una primera observación o pre-prueba OÍ es seguida de un tratamiento
X, después del cual se registra una nueva observación o post-prueba 02.
Los evaluadores en la modalidad de la ER utilizarán con frecuencia
este diseño en sus estudios evaluativos. Sin embargo, deben procurar
defender sus resultados de las amenazas a la validez, o en calificar sus
conclusiones a la luz de los efectos de la historia, maduración y pruebas o
instrumentación, que se discutieron anteriormente. (Allí discutimos doce
amenazas a la validez interna y extema de los resultados de la evaluación.
Sería una buena idea que los evaluadores desarrollaran el hábito de

220 £7? - Teoría, Preguntas y Diseño
confrontar sus resultados en relación con cada una de éstas cada vez que
diseñan o que terminan un estudio evaluativo.)
(iii)La comparación de grupos estáticos
Este es un diseño en el cual un grupo que ha estado sujeto a un tratamiento
se compara con otro que no lo ha sido:
X OÍ 02
Este es también un diseño cuya validez enfrenta muchas amenazas.
Las más obvias son las de selección, (los dos grupos pueden haber sido
diferentes) y la mortalidad (los sujetos en el grupo experimental y/o de
comparación pueden haber desertado por alguna razón).
(iv) El diseño pre-prueba - post-prueba con grupo de control
Campbell y Stanley lo denominan diseño experimental "verdadero". Se
seleccionan al azar dos muestras (Al y A3) de la misma población. Una se
asigna al tratamiento y la otra no:
AOl X 02
A03 04
Este diseño cumple la mayoría de los estándares de validez interna en
forma bastante adecuada, aunque debe tenerse cuidado en la generalización
de los resultados a la población general.
(v) El diseño de post-prueba solamente con grupo de control
Este es otro ejemplo de un verdadero diseño experimental. No siempre
puede hacerse la pre-prueba sugerida en el diseño inmediatamente anterior.
Aun puede no ser necesaria si puede asegurarse la selección aleatoria. El
diseño toma entonces la siguiente forma:
A X 0(1)
A 0(2)

ER - Teoría, Preguntas y Diseño 221
{Vi) Diseños cuasi-experimentales. Los experimentos de series temporales
El diseño de series temporales consiste en la medición periódica a algún
individuo o grupo antes y después de la introducción de un tratamiento y
el estudio de la "discontinuidad" en el comportamiento a través del tiempo:
OÍ 02 03 04 05 O6 07 O8
El evaluador que utiliza este diseño debe especificar por anticipado las
relaciones esperadas en el tiempo entre la introducción del tratamiento del
programa y la manifestación de su impacto. Debe asegurarse un relativo
aislamiento del grupo de influencias externas así como cierta consistencia
en las condiciones.
Este diseño puede fortalecerse trabajando con dos grupos en una serie
temporal como sigue:
O O O O X O O O O
O O O O O O O O
(vii) Diseños cuasi-experimentales. El diseño con grupo de control no
equivalente
Estre es un diseño que se utiliza mucho porque se adecúa a las realidades
que se enfrentan frecuentemente en el mundo de la educación y el desarrollo.
Con mucha frecuencia los evaluadores tienen que trabajar con grupos y
clases que ya están conformados y no puede asignarles miembros al azar.
Así, el diseño toma la siguiente forma:
O X O
O O
Debemos señalar las similitudes entre este diseño cuasi-experimental y
el diseño "pre-prueba - post-prueba con grupo de control" descrito
anteriormente como diseño experimental verdadero. La diferencia esencial
entre los dos radica en que en el caso de este último el grupo con tratamiento
y el de control se seleccionan al azar, mientras que en el diseño con grupo
de control no equivalente ninguno de los dos se elige al azar.

222
Cosas para hacer o para pensar
ER - Teoría, Preguntas y Diseño
1. Examine las conclusiones de cualquier estudio evaluatívo que haya
hecho algún colega en un instituto de capacitación o cualquier otra
situación de desarrollo. ¿Cuáles son algunas posibles hipótesis rivales
o explicaciones a las aseveraciones que hace el evaluador?
2. Mire el cuadro de "Aseveraciones de los evaluadores - Objeciones a la
validez", incluido al comienzo de este capítulo. ¿Qué tipos de diseño
podrían haberse utilizado en cada caso para defender la validez de las
conclusiones a que llegaron los educadores?
Notas
1. Campbell, Donald T. y Stanley, Julian C. Experimental and quasiexperimental
designs for research. Chicago, IL: Rand McNally, 1963.
2. Krejcie, R.V. y Morgan, D. "Determining sample size for research
activities". Educational and Psychological Measurement, 30:607-610,
1970.

CAPITULO 14
LA ELABORACIÓN DE UNA PROPUESTA
PARA UN ESTUDIO EVALUATIVO
A LA MANERA RACIONALISTA
Las propuestas de evaluación racionalista (ER), no sólo se elaboran
integralmente sino que deben seguirse estrictamente. Deben establecerse
cuidadosamente las hipótesis o preguntas evaluativas. Las variables deben
definirse apropiadamente. Los tratamientos deben estar completamente
articulados. Debe elegirse un diseño experimental o cuasi-experimental
apropiado. Deben seleccionarse adecuadamente las muestras y ser
protegidas de las influencias que se deriven de la historia y la deserción
para que los resultados sean válidos. Los instrumentos deben estar bien
diseñados y sometidos a prueba previamente. También debe decidirse de
antemano sobre los procedimientos estadísticos que habrán de utilizarse.
La culminación exitosa, eficiente y oportuna de un estudio evaluativo
requiere que se piense y planifique con bastante anticipación. La concepción
y la pre-planificación pueden realizarse mejor dentro del marco de una
propuesta "formal" para el estudio evaluativo. El proceso de desarrollar
una propuesta puede ser utilizado para sistematizar la propia concepción
del evaluador, para clarificar las necesidades técnicas, de secretaría y
materiales del estudio, para hacer un recuento de los recursos disponibles;
para solicitar y recibir ayuda de un consultor sobre varios aspectos si fuere
necesario; y como una herramienta para la comunicación con los
administradores y otras partes interesadas.
Como se ha mencionado antes, los estudios evaluativos que siguen la
modalidad racionalista buscarán, generalmente, (i) plantear proposiciones
normativas acerca de la población, con base en muestras seleccionadas
aleatoriamente, (ii) hacer comparaciones entre dos grupos, o antes-después
en relación con las características del mismo grupo; y (iii) establecer
correlaciones entre las características de individuos o grupos.
En el contexto de la ER, los evaluadores pueden recoger datos frescos
o pueden usar datos ya existentes en el SIG. Efectivamente, si hay un buen
SIG puede no ser necesario recolectar nuevos datos cada vez que se
emprenda un estudio evaluativo.

224 Elaboración de una Propuesta para un Estudio ER
Tomemos como ejemplo un estudio evaluativo de un programa de
capacitación para agentes de la alfabetización. Enunciaremos los distintos
pasos que se dan al desarrollar la propuesta de evaluación. Para un
principiante, que elabora por primera vez una propuesta para un estudio
evaluativo puede ser útil seguir lo siguientes pasos, más o menos en el
orden presentado. Si se tiene mayor experiencia se puede avanzar saltando
algunos y volver atrás, por ejemplo, del paso 4 al 7, al 10, al 12 y así
sucesivamente. En las situaciones de talleres y seminarios de capacitación
de corta duración, probablemente será necesario concentrarse en algunos
de estos pasos y no en otros.
También debe tenerse en cuenta que hasta que la propuesta final esté
lista, sus distintas partes requerirán una revisión constante. La elaboración
de herramientas e instrumentos requerirá echar una mirada a los indicadores
seleccionados para el estudio. Una revisión de los indicadores puede hacer
necesario volver a redactar la pregunta evaluad va y la justificación del
estudio. Aun después de que la propuesta esté lista en su totalidad, las
realidades en terreno pueden exigir cambios y revisiones nuevamente.
Uno debe prepararse mentalmente para estos procesos de revisión que
parecen no tener fin.
Ahora elaboraremos y ampliaremos los comentarios acerca de los
distintos pasos que implica la elaboración de una propuesta de ER para
evaluar un programa de capacitación en el área del desarrollo.
1. El contexto del desarrollo
Los roles y las funciones del instituto o programa de capacitación que será
evaluado se ubicarán dentro del contexto del desarrollo. Debería indicarse
brevemente algo sobre la contribución del programa de capacitación al
esfuerzo nacional de capacitar al recurso humano para el desarrollo.
Si la institución ofrece una variedad de programas de capacitación
debe enunciarse cada uno e indicar por separado sus objetivos generales.
En algunos casos puede ser útil incluir el organigrama de la institución o
del programa.
2. La descripción del programa de capacitación en términos de diseño
Primero presentaremos las características generales del enfoque de la
capacitación, por ejemplo:

Elaboración de una Propuesta para un Estudio ER 225
(a) ¿Se supone que la capacitación sea general o especializada?
(b) ¿Enfatiza el proceso o la enseñanza de conocimientos y habilidades?
(c) ¿Se planifica participativamente la capacitación o constituye un paquete
pre-elaborado?
(d) ¿Es académica u operativa la capacitación que se ofrece?
(e) ¿Busca la capacitación enseñar valores empresariales, comunales y
cooperativos?
Podrían hacerse otras preguntas importantes, pero las anteriores
proporcionan un buen punto de partida.
Estas preguntas generales sobre el diseño de la capacitación deben ser
seguidas por una descripción del programa de capacitación que se va a
evaluar en términos del sistema (lo que también hemos llamado términos
del diseño). Los cuatro parámetros del sistema (insumos, procesos, contextos
y resultados) deben utilizarse para describir el sistema de capacitación en
términos y valores concretos.
3. La problemática
Los problemas de evaluación surgen de la falta de información o de
comprensión. Tal vez no tengamos información o la que tenemos acerca
de los insumos y acerca del contexto de nuestro trabajo no es suficiente.
La comprensión de los procesos y su aplicación en nuestro contexto
particular puede ser insuficiente. Quizás no tengamos una medición de la
cantidad o calidad de los productos o resultados. Estos defectos juntos
crean todo un "conjunto de problemas" en cualquier programa de
capacitación. En efecto, una institución o un programa de capacitación
probablemente nunca estará exento de problemas a evaluar.
Al desarrollar una propuesta para un estudio evaluativo, el evaluador
debe hacer un recuento de la totalidad de problemas inter-relacionados que
pueden molestar a los administradores y a los que toman las decisiones del
programa en cuestión. Sin embargo, el evaluador debe distinguir entre los
problemas de evaluación y los que son puramente administrativos. Los
problemas de evaluación surgen de la falta de información y comprensión,
mientras que los administrativos se dan por la incompetencia o la negligencia
en cumplir lo debido. La evaluación no puede resolver los problemas
administrativos.

226 Elaboración de una Propuesta para un Estudio ER
4. El problema de evaluación seleccionado para ser estudiado
El problema del estudio debe sacarse de la problemática que se ha descrito
en la sección precedente. Una proposición adecuada sobre el problema
será lo más concreta y específica que sea posible:
- En lugar del esfuerzo total de capacitación de una institución o
programa, puede ser preferible evaluar una parte específica de la
acción capacitadora.
- En lugar de todos los aspectos de un esfuerzo de capacitación,
puede ser preferible evaluar sólo algunos.
- Quizás sea mejor cubrir una muestra de la población que el universo
total.
- Quizás sea preferible estudiar la ejecución de un programa de
capacitación durante un período específico de tiempo que sobre la
vida total del programa.
- Tal vez sea preferible buscar efectos específicos y concretos del
esfuerzo de capacitación que su impacto amplio y generalizado.
Esto no es sugerir que es imposible o ideseable estudiar el impacto
amplio de los programas de capacitación a gran escala en términos de sus
influencias generales y a largo plazo sobre grupos numerosos de personas
bajo entrenamiento. Todo lo que sugerimos es que en la mayoría de las
situaciones de ER, es más útil ser específico que ser general.
Aunque un problema evaluativo se defina en términos generales o
específicos, no puede tolerarse la ambigüedad en la ER bajo ninguna
circunstancia. Al establecer el problema de la evaluación, el evaluador
debe ser muy cuidadoso con la redacción. Las palabras deben significar
exactamente lo que esté en su mente, nada más ni nada menos, y no dejar
posibilidades de interpretaciones alternativas.
5. La justificación de la elección del problema de la evaluación
La elección de un problema de evaluación entre la totalidad de la problemática
no puede ser arbitraria. El evaluador debe ser capaz de justificar su
elección. Las justificaciones pueden variar desde lo político y lo
programático hasta lo meramente posible. Puede justificarse un problema
de evaluación porque las agencias donantes quieren que sea estudiado o

Elaboración de una Propuesta para un Estudio ER 227
porque el departamento de planificación o la presidencia ha solicitado
cierta información. En otros momentos, el problema elegido puede tener
implicaciones de política importantes o puede producir información de
retomo que sea crucial, absolutamente necesaria para la planificación futura
del programa. O puede justificarse en términos de su viabilidad -algo que
puede cumplirse con el mínimo de recursos aun cuando haya otras preguntas
de evaluación más importantes, las cuales debían haberse abordado primero
si hubiese habido recursos disponibles.
6. Recuento de las investigaciones y experiencias disponibles
La teoría disponible, así como la investigación previa pueden ayudar al
evaluador a definir y clarificar el problema de la evaluación y ayudarle a
plantear las preguntas adecuadas o a enmarcar las hipótesis correctas.
Otros evaluadores en otras situaciones de capacitación habrían planteado
preguntas similares. Los administradores y capacitadores que hayan
trabajado por mucho tiempo en situaciones de capacitación parecidas pueden
tener algunas experiencias. Debe hacerse un intento por recopilar
conocimientos, experiencias y opiniones disponibles como parte del
desarrollo de la propuesta de evaluación. Debemos aprender de la
experiencia de otros y ¡no gastar nuestras energías en rein ventar la rueda!
7. Redacción de preguntas y sub-preguntas
Es importante traducir el problema evaluativo en un conjunto de preguntas
que deben responderse o de hipótesis para someter a prueba. Como lo
hemos indicado, en la ER, las preguntas y las hipótesis surgen de la
necesidad de llegar a proposiciones normativas, hacer comparaciones y
establecer correlaciones. Desde luego, las preguntas pueden ser establecidas
como hipótesis y viceversa. Sin embargo, no hay necesidad de plantear
aquí en lo que se interesa la evaluación a la vez en forma de preguntas y
de hipótesis. Eso sería una redundancia inútil. En efecto, al hacer una ER
podría ser mejor trabajar con preguntas y sub-preguntas y dejar de lado las
hipótesis.
8. Modelos y enfoques de evaluación que se usarán
Los evaluadores que trabajen en la manera de la ER elegirán, desde luego,

228 Elaboración de una Propuesta para un Estudio ER
el paradigma clásico (también llamado "científico"). Sin embargo, aun
dentro de este paradigma, será posible utilizar diferentes clases de modelos
de evaluación y distintas técnicas y enfoques para la recolección de la
información. Recordemos que la ER puede (y a veces lo hace) usar
instrumentos inestructurados para recoger datos cualitativos. No obstante,
los datos que así se obtienen, se convierten en categorías nominales u
ordinales y se procesan y analizan bajo los supuestos positivistas. Las
elecciones metodológicas deben sentarse claramente y deben articularse lo
más posible los supuestos relacionados.
9. El diseño o pasos y procedimientos de la evaluación
Tener un diseño de evaluación significa hacer todo lo que sea necesario
para defender las conclusiones del estudio de los ataques sobre la validez y
la confiabilidad. En la ER, hay diseños de evaluación estándar, cada uno
de los cuales requiere un conjunto de procedimientos fijos para su ejecución.
El problema esencial aquí es elegir el diseño correcto y estar familiarizado
con los procedimientos de análisis estadístico asociados. Los principales
pasos en la realización del estudio evaluativo y los procedimientos que se
siguen en cada paso deben ser esbozados en esta sección de la propuesta.
10. Instrumentos y herramientas de recolección de datos
La propuesta de un estudio evaluativo debe incluir una discusión de las
herramientas e instrumentos que se utilizarán en la recolección de los
datos. Es preferible anexar a la propuesta los primeros borradores de las
herramientas e instrumentos.
Hay dos preguntas primordiales que el evaluador debe enfrentar antes
de comenzar la construcción de herramientas e instrumentos: (1) ¿Cuál es
la unidad de análisis? En otras palabras, ¿dónde es probable que aparezcan
los efectos y consecuencias -en individuos, familias o grupos, organizaciones
o comunidades? (2) ¿Cuáles serán los indicadores de los efectos y las
consecuencias que realmente aparecerán? Es decir ¿qué respuestas y
comportamientos indicarán, por ejemplo, cambios en las motivaciones o
en la adquisición de la auto-determinación? Las unidades de análisis deben
escogerse con cuidado y las propuestas deben incluir sugerencias para
probar las herramientas e instrumentos en situaciones piloto. Los ensayos
son tan importantes para la recolección de los datos como lo son en el

Elaboración de una Propuesta para un Estudio ER 229
montaje de una pieza de teatro.
11. El trabajo de campo y los planes de investigación relacionados
Una propuesta de un estudio evaluativo debe incluir planes de investigación
bibliográfica tanto como para la recolección de datos en terreno. Si se
necesitan documentos o informes, el evaluador debe saber dónde
encontrarlos, quién los tendrá, cómo obtener copias de ellos y cuánto
tiempo tomará conseguirlos.
Los planes para la recolección de los datos de campo deben elaborarse
cuidadosamente. Si el evaluador no puede recoger personalmente todos
los datos deben contratarse otros investigadores o entrevistadores. Esto
implica que debe planificarse su selección y capacitación. Deben identificarse
contactos locales en terreno y proporcionarles orientación acerca
de los objetivos y los planes de la investigación.
Las visitas al campo deben adecuarse a las realidades locales y a la
conveniencia de los informantes individuales. El evaluador debe tener en
cuenta consideraciones tales como la estación de la cosecha, el tiempo, las
ferias y festivales, las visitas de personajes importantes, los horarios de
exámenes en las escuelas e instituciones de capacitación y los ciclos de
planificación y elaboración del presupuesto en los departamentos oficiales
y los ministerios. Deben anticiparse y resolverse los problemas de transporte.
Manteniendo esto en la mira, debe prepararse un cronograma.
12. Planes para el procesamiento y análisis de los datos
Estos planes también deben formar parte de la propuesta del estudio
evaluativo. ¿Se necesitarán hojas de codificación o tabulación para el
cotejo de los datos? Si es así, deben ser preparadas y probadas. Debe
contratarse y entrenarse al personal que se necesite para la codificación y
cotejo de los datos. Igualmente debe preverse e incluirse en los planes las
necesidades de consultorías técnicas o asistencia estadística (aun el tiempo
de uso de computador, si se requiere).
Como en el caso de la recolección de datos, deben prepararse los
planes para el procesamiento y análisis de los datos en términos de un
cronograma. No es suficiente un simple listado de las cosas que hay que
hacer, los planes deben considerar el tiempo requerido.

230 Elaboración de una Propuesta para un Estudio ER
13. La planificación del presupuesto
La realización de un estudio evaluativo necesitará personal responsable;
ayuda de secretaría y reproducción de documentos, papel, correo, cintas y
grabadoras (en algunos casos); investigadores de campo y costos de
transporte y teléfono, etc. Todos estos recursos existen en las instituciones
y programas de capacitación y deben estar a la disposición de quienes
necesiten utilizarlos. Es imposible pensar que las instituciones de
capacitación no quieran que los capacitadores hagan el mejor trabajo de
capacitación que sea posible. La capacitación adecuada requiere información
de retomo; y, por lo tanto, la evaluación debe ser una parte integral de toda
buena capacitación. Los recursos disponibles en la institución para la
"capacitación" deben igualmente ponerse a disposición de la "evaluación
de la capacitación". Los capacitadores-evaluadores deben utilizar los
recursos que ya están disponibles en lugar de solicitar siempre nuevos
recursos en el contexto de sus estudios evaluativos. Donde son
absolutamente necesarios nuevos recursos, debe prepararse cuidadosamente
un presupuesto.
14. La elaboración de informes
La propuesta de un estudio evaluativo debe incluir también el elemento de
"planificación de los informes". ¿Serán utilizados los resultados de la
evaluación por el programa o la institución, o serán difundidos por fuera?
Si se prevé la divulgación hacia afuera de la institución debe desarrollarse
una clara descripción de los consumidores o clientes externos, interesados
en el estudio. El mismo informe no sirve necesariamente para todos los
grupos; debe considerarse la posibilidad de escribir diferentes versiones
del informe.
Al redactar un informe de evaluación, deben destacarse las implicaciones
de los datos con respecto a la política y al programa. Los datos no siempre
hablan por sí mismos. Aunque es necesario que los evaluadores resalten
las implicaciones de sus hallazgos ante quienes formularon las políticas y
planificaron el programa, no pueden derivar conclusiones injustificables.
Pueden ofrecerse opiniones e intuiciones, pero éstas no deben mezclarse
con las inferencias hechas a partir de los datos.
La información evaluativa es para ser utilizada, pero algunos abusan
de ella. Con demasiada frecuencia los lectores de estudios evaluativos

Elaboración de una Propuesta para un Estudio ER 231
buscan a quienes culpar más que las causas de las fallas; y pueden querer
castigarlos en lugar de abocarse a planificar para el futuro con mayor
entendimiento. No es de extrañarse que con frecuencia aquellos cuyo
trabajo está siendo evaluado se preocupen acerca del proceso evaluativo y
lo que pueda hallarse. Para manejar los aspectos políticos de la evaluación
de un departamento, será útil discutir un informe preliminar de la evaluación
en una situación grupal antes de producir el informe final de la evaluación.
No todos los estudios evaluativos son para ser reproducidos y
distribuidos. Una sola copia de un estudio evaluativo valdrá por mil si sus
hallazgos iluminan la acción y si sus recomendaciones llegan a ser parte
de la toma de decisiones.
15. Bibliografía
Una propuesta para un estudio evaluativo debe incluir la bibliografía de
los libros, informes y documentos utilizados en el desarrollo de la misma y
de los que probablemente se utilizarán en su realización y en la elaboración
del informe final.
Cosas para hacer o para pensar
1. Prepare una propuesta formal para realizar un estudio evaluativo a la
manera racionalista, usando una pregunta de evaluación que usted
mismo escoja.
2. ¿Ha llevado a cabo usted algún estudio de ER antes? ¿Cree usted que
su estudio evaluativo podría haber sido mejor si hubiese elaborado una
propuesta formal antes de la ejecución real del mismo? Si usted nunca
lo ha hecho, discuta sobre la utilidad de las ideas presentadas en este
capítulo con alguien que sí lo haya realizado.

CAPITULO 15
EL PROCESO EN UNA MIRADA:
HERRAMIENTAS Y TÉCNICAS DE LA
EVALUACIÓN RACIONALISTA
Es comprensible que las herramientas y técnicas de la evaluación
racionalista (ER) sean sumamente racionalizadas. Los instrumentos de la
ER son típicamente pre-estructurados y se someten a prueba previamente.
Se desarrollan códigos detallados para las preguntas abiertas que se
incluyan en los instrumentos. A los investigadores de campo se les advierte
que sean impersonales con el fin de lograr objetividad. De antemano se
establecen acuerdos sobre los métodos estadísticos y niveles de confianza
que tendrán las inferencias que se hagan.
Los problemas de la recolección de datos en el mundo real de ninguna
manera se minimizan por la racionalización de los instrumentos.
Permanecen vigentes los problemas humanos que requieren especial
atención y que son resueltos por los evaluadores racionalistas de una
manera especial. Una vez que los datos han sido recogidos, hay que
cotejarlos, procesarlos y verterlos en formatos especiales para que mediante
el análisis estadístico se sometan a prueba las hipótesis y se responda a
las preguntas de la evaluación.
Primero, será útil recordar en esta etapa que el proceso de planificación de
la evaluación", descrito antes, en el Capítulo 3 de la Parte II, se aplica para
los tres enfoques analizados de generación de información: el SIG, la EN
y la ER. Segundo, hay claros paralelos entre el diseño de un Sistema de
Información para la Gestión y el de la ER. Los pasos peculiares en la
progresión de la evaluación a la manera racionalista se muestran
gráficamente en la Figura 8, que aparece en la página siguiente.
En este capítulo discutiremos cuestiones importantes acerca del diseño
de instrumentos; la administración de éstos en el campo; el cotejo
(acumulación) de los datos recolectados; el procesamiento y presentación
de los datos; y finalmente, el análisis de los mismos para someter a prueba
las hipótesis o responder a las preguntas de la evaluación.

Determin arNec esidade
h.
CO
O)
de Inf ormac ion
Establecer Inq uietud es y Pre untas deE
Revi;
1
_cg ço
Défini r Términos Clav
Analiz ar Conceptos C
%i -Q
co
LT >.
1
Î
>
tablee er la
-pregu ntas
'
k
Escribir Iteme s para Recoger Datos
Preguntas, Pr ovoca :ión, Pruebas y
•>* >
CD CO
CO °
LU T3
J=
E a>
8\8
Organiz ar los 1 ternes e n Instrumen
apropia dos:P ruebas, Cuestionan
Entrevi stasy Guías d e Observaci
aluació
Pregun
Hipóte
scríbir
cadore
edio de
rvación
o « c
CO
CO
3
O)
CO CO
S3 '55
CO
i i
Selec
seño,
étodo
stadís
1 Anal
D
Q s LU CD
°o ^ ». ••*= co co
rel
streo,
todos
para
elos
CD ^ CO -O „
I
ce .g
O) CD
IE
$
«
I
ta
c
o
u
(0
oc
o
(0
ja
(0
>
LU
O
•o
o
M

234 Herramientas y Técnicas de la ER: Herramientas e Instrumentos
SECCIÓN A: Herramientas e Instrumentos
Cualquiera que sea la naturaleza del enfoque para la recolección de
información con propósitos evaluativos, implica algunos tipos de recolección
de datos. Habrá que ver, observar, preguntar, entrevistar, provocar reacciones
y someter a prueba. Desde luego, hay diferencias esenciales en la forma
como se recopila la información en la EN en comparación con la ER. Los
instrumentos utilizados en la EN son inestructurados o muy poco
estructurados. Hay muchas preguntas abiertas y los datos son cualitativos.
Los instrumentos estructurados se consideran un mérito de la ER. Los
datos son nominales u ordinales. Aun cuando se recogen "datos cualitativos",
éstos se "cuantifican" para procesarlos como datos numéricos o nominales.
Puede deducirse fácilmente que como el SIG típicamente guarda datos
numéricos, tiene más afinidad superficial con la ER que con la EN.
En el Capítulo 7, Herramientas y Técnicas para Ejecutar un SIG,
tratamos los temas de la elaboración y administración de las pruebas de
rendimiento. Después, en el Capítulo 11, tratamos sobre las entrevistas y
observaciones inestructuradas como instrumentos especiales de la evaluación
a la manera naturalista. Arbitrariamente dejamos para esta parte de la
monografía la discusión sobre los cuestionarios, entrevistas y observaciones
estructuradas. Ahora trataremos sobre estos instrumentos estructurados.
Los cuestionarios estructurados
Como el nombre lo sugiere, estos son "estructurados" en cuanto a las
preguntas que se formulan, las palabras exactas que deben usarse al
presentarlas, la secuencia en que se preguntan y el formato en el cual las
respuestas deben obtenerse y registrarse (debe anotarse que los cuestionarios
no son un simple conjunto de "cuestiones" con un signo de interrogación
al final. Los cuestionarios incluyen escalas, ítemes de elección múltiple y
otros dispositivos para obtener y registrar las respuestas).
Los cuestionarios estructurados se distribuyen con frecuencia por correo.
En casos especiales puede hacerse a mano y, de hecho, pueden ser llenados
también por el investigador de campo. Este será el caso cuando se usa, por
ejemplo, un cuestionario con un grupo seleccionado de adultos analfabetos.
En este caso, un cuestionario estructurado se convierte en una entrevista
estructurada.
Los cuestionarios deben se cortos y estar bien diseñados. Puesto que

Herramientas y Técnicas de la ER: Herramientas e Instrumentos 235
los informantes los llenarán independientemente, deben incluir instrucciones
claras y fáciles de entender. Una corta introducción debe presentar el
propósito del cuestionario y explicar cómo los datos que suministra el
informante lo ayudarán a él y a su comunidad en general. Debe asegurarse
y garantizarse el anonimato del informante.
Al tratar sobre las pruebas en el Capítulo 7 de la Parte III (Sección C),
sugerimos que éstas son pruebas de conocimiento. Los cuestionarios y las
entrevistas son también en un sentido pruebas de conocimiento. La
diferencia es que éstas son pruebas del "conocimiento particular" que
puede tener un individuo y lo quiera aportar. No es el conocimiento general
de una materia sino conocimientos privados de una persona -información
de la cual dispone la persona, sus percepciones, actitudes y opiniones de
distinto tipo (como se ha indicado en otra parte, algunos ítemes de las
pruebas de rendimiento pueden a veces ocultarse en un cuestionario).
Adaptaciones locales de cuestionarios disponibles
Generalmente los evaluadores tendrán que diseñar sus propios cuestionarios
para que sean adecuados a los contextos sociales especiales y del programa
en que se desarrolla el estudio evaluativo. Sin embargo, a veces pueden
adaptarse cuestionarios sobre temas similares elaboradas por otros
evaluadores en otros lugares. Muchos ítemes útiles pueden tomarse de
otros cuestionarios con pocas modificaciones.
La elaboración de buenos cuestionarios
Los buenos cuestionarios se elaboran en la perspectiva de objetivos claros.
Preguntan lo que el evaluador necesita saber y evitan las preguntas
innecesarias, pero no se olvidan las preguntas importantes. Siempre se
solicita información demográfica estándar como sexo, edad, ocupación,
ingresos, etc., de modo que se posibilite la interpretación de la totalidad de
respuestas recibidas.
La elaboración de ítemes para los cuestionarios presenta un conjunto
adicional de problemas, ya que (1) se pregunta sobre conocimientos privados
que los informantes pueden no querer compartir; (2) se busca sacar
opiniones y actitudes que es posible que los informantes no estén preparados
para compartir honestamente. Las actitudes respecto a la planificación
familiar, matrimonios entre personas de diferentes tribus, alimentos
considerados tabú, no se expresan fácilmente con honestidad. El informante
puede proporcionar respuestas "socialmente aceptables". Puede decir a los

236 Herramientas y Técnicas de la ER: Herramientas e Instrumentos
evaluadores lo que supone que refleja la actitud apropiada en lugar de lo
que realmente cree con respecto a algún aspecto particular de su mundo
social o cultural.
Para resolver algunos de estos problemas, quienes elaboran los
cuestionarios pueden intentar redactar ítemes menos directos y preguntar
lo mismo de diferentes maneras en un mismo cuestionario.
Insistimos nuevamente en probar los cuestionarios antes de
administrarlos a gran escala como parte del estudio evaluativo. La prueba
previa señalará muchos problemas que puede tener el cuestionario.
La siguiente lista muestra algunos ejemplos de errores que cometen
los evaluadores principiantes al redactar ítemes para cuestionarios. Muchos
de esos problemas se captan en el proceso de pre-prueba del cuestionario.
Con la práctica seguramente mejorará la elaboración de ítemes para
cuestionarios.
ÍTEMES COMENTARIOS
A un funcionario del distrito le
preguntan: ¿Después que se ha
comunicado la información a los
jefes/asistentes en su área, cómo
se trabaja al respecto?
Le preguntaron a un agente que
trabaja a nivel local sobre nutrición:
¿A qué se dedica en las
visitas al hogar?
Se le pregunta a un sujeto: ¿Atribuye
usted el fracaso de su amigo
a la pereza?
Se le pregunta a un sujeto: ¿Cree
usted que gozaba de buena salud
durante el período que duró el
curso de capacitación?
¿Puede el funcionario del distrito
realmente responder? ¿No será
mejor obtener esta información
directamente de los jefes? ¿No
estamos preguntando a informantes
inadecuados?
¿No es ésta una pregunta demasiado
general?
¿Qué es la pereza? ¿Tiene el
mismo significado para todos la
palabra pereza?
¿Entienden lo mismo por buena
salud el sujeto y el evaluador?
¿Qué tal si el estudiante no estaba
muy bien pero no tan enfermo

Herramientas y Técnicas de la ER: Herramientas e Instrumentos 237
A un extensionista le preguntan
en un curso de capacitación: ¿Fue
útil su visita al agricultor?
Se solicita al director de una
escuela que juzgue el compromiso
con el trabajo entre el estudiante
y el maestro, en términos de:
- insatisfactorio
- por debajo del promedio
- promedio
- por encima del promedio
- sobresaliente
El evaluador pregunta al extensionista
local: ¿Son los materiales
audio-visuales preparados localmente
mejores que los preparados
en otra parte?
Se pregunta a un asistente de cooperativas
a nivel comunitario:
¿Cuántos de sus primeros estudiantes
todavía practican las
habilidades de lectura?
como para perder clases por
mucho tiempo? ¿No deberíamos
preguntar en términos de los días
que faltó debido a enfermedad?
¿Util para quién? ¿En qué forma?
¿Con base en qué clase de evidencia,
usando qué criterios?
¿Cómo podemos garantizar que el
evaluador y el director entienden
lo mismo por compromiso con el
trabajo? ¿Definimos el compromiso
en términos de puntualidad o
de tener una sobrecarga de trabajo,
o de ofrecer tutoría a los estudiantes
con dificultades? ¿Cómo adquirirá
el director el conocimiento
sobre el cual basar estos juicios?
¿Significa "en otra parte" en otra
localidad? ¿En la Oficina Central
a nivel nacional? ¿Preparados por
una firma comercial? ¿"Mejor"
significa producido en otra parte?
¿Mejor en valores de producción
o en términos de pertinencia de la
instrucción?
¿No diría la mayoría de ellos que
"muchos"? ¿No es ésta una pregunta
cargada?

238 Herramientas y Técnicas de la ER: Herramientas e Instrumentos
Las entrevistas
Los evaluadores usan las entrevistas tanto en la indagación racionalista
como en la naturalista. En el contexto del paradigma racionalista, las
entrevistas son estructuradas o semi-estructuradas. Por semi-estructuradas
entendemos entrevistas básicamente estructuradas que contienen algunas
preguntas de sondeo que buscan mayores explicaciones.
Como indicamos antes, los cuestionarios estructurados se convierten
en entrevistas estructuradas al ser aplicados en persona. Por lo tanto, la
entrevista estructurada tiene los mismos problemas y suscita las mismas
inquietudes respecto al diseño, la elaboración de ítemes y la presentación
de los datos que el cuestionario estructurado. Pero, como las entrevistas se
llevan a cabo en situaciones cara a cara, plantean otros problemas y desafíos
adicionales. El entrevistado debe estar motivado para acceder a la entrevista
e invertir el tiempo requerido para completarla. El entrevistador debe ser
capaz de establecer confianza y empatia sin llegar a influir en las respuestas
del entrevistado. En las localidades rurales de los países en desarrollo no
siempre es posible apartar de sus ocupaciones al entrevistado (especialmente
a las mujeres) para conversar un largo rato en privado. Por otra parte, el
entrevistador debe asegurarse de que una entrevista individual con una
joven madre no se convierta en una entrevista familiar.
A veces lo que queremos son entrevistas familiares. Pero entonces
debemos preparar y realizar una entrevista familiar. El punto es que una
entrevista individual no se confunda con una entrevista familiar o grupal.
También es posible que dos entrevistadores realicen una entrevista. Un
líder de una comunidad rural puede ser entrevistado sobre su trabajo por
un panel completo de entrevistadores.
Las escalas incluidas en los cuestionarios o las escalas independientes
para registrar actitudes y opiniones
Como hemos indicado anteriormente, los cuestionarios no sólo incluyen
preguntas. En un cuestionario puede aparecer una variedad de ítemes,
incluyendo escalas. En su forma más sencilla una escala se presenta así:

Herramientas y Técnicas de la ER: Herramientas e Instrumentos 239
SI INDECISO NO
o ESTOY NO ESTOY ESTOY EN
DE ACUERDO DE ACUERDO DESACUERDO
Una escala puede hacerse más sensible simplemente añadiendo más
opciones ordinales, como en la siguiente:
ESTOY ESTOY NO ESTOY ESTOY EN ESTOY
COMPLETAMENTE DE ACUERDO DE ACUERDO DESACUERDO COMPLETAMENTE
DE ACUERDO EN DESACUERDO
A las opciones ordinarias intermedias de la escala no siempre hay que
darles definiciones y de hecho, pueden dejarse en blanco. Fíjese en la
siguiente escala que usa siete opciones ordinales sin rótulos con dos
extremos polares opuestos:
Creativo No creativo
Estas escalas pueden convertirse en escalas multidimensionales
utilizando muchas dimensiones bipolares, tales como las siguientes:
creativo-no creativo organizado - desorganizado
difícil-fácil relevante - irrelevante
flexible-inflexible práctico - no práctico
emocionante-aburrido activo - pasivo
fuerte-débil exigente - no exigente
científico-artístico envolvente - alienante
objetivo-subjetivo modificable - inmodificable
y motivante - alienante
Estas escalas pueden ser analizadas en conjunto para obtener una
visión más precisa de la estructura referente a la actitud o de los valores de
un individuo. A veces puede darse valores numéricos a estas escalas como
en la siguiente:

240 Herramientas y Técnicas de la ER: Herramientas e Instrumentos
Organizado Desorganizado
+3 +2 +1 +0 -1 -2 -3
Esto permite la cuantificación de los datos recogidos utilizando rótulos
cualitativos.
Al ser aplicadas a un grupo, estas escalas pueden utilizarse para describir
las estructuras de los grupos, al obtener los porcentajes de las respuestas.
Por ejemplo:
Creativo 3.7 22.2 26.6 23.8 18.3 5.8 No creativo
Observaciones de campo
% % % % % %
La observación de campo, repetimos, es una estrategia de recolección de
datos que puede utilizarse al seguir cualquiera de los dos paradigmas, el
racionalista y el naturalista. En el paradigma racionalista la observación de
campo puede basarse en el muestreo aleatorio y puede ser altamente
estructurada. En la tradición naturalista, la observación de campo es
inestructurada y propositiva. Pueden hacerse observaciones participantes o
no participantes.
Los evaluadores desean hacer observaciones de campo para sentir
directamente la realidad sin que un intermediario tenga que ver e
interpretarla por ellos. Sin embargo, la observación no es simplemente
cuestión de abrir nuestros ojos y oídos a la gente en las situaciones de la
vida real. Tenemos que entrenar nuestros ojos y oídos y aprender a registrar
nuestras observaciones. Los diarios, listas de cotejo, los mapas y diagramas,
guías, escalas sociométricas, escalas de calificaciones y cámaras pueden
utilizarse para registrar observaciones.
Las guías de observación no son fáciles de elaborar y pueden deslizarse
en ellas gran cantidad de errores. Examinemos los siguientes ejemplos:

Herramientas y Técnicas de la ER: Herramientas e Instrumentos 241
ITEMES COMENTARIOS
¿Pueden los alumnos sentados en
la parte posterior de la clase escuchar
al maestro-estudiante?
¿Habla el maestro-estudiante con
confianza en sí mismo?
¿Qué situación económica tienen
los que han solicitado préstamos?
¿Cómo utilizaron los fondos
quienes obtuvieron préstamos de
la sociedad cooperativa: tomaron
otra esposa, pagaron pensiones de
los niños, comenzaron a beber más
o compraron ropa nueva?
Una guía de observación busca
observar:
- actitudes de las personas antes
de que comience una reunión
pública; y
- actitudes de las personas durante
y después de la reunión.
¿Lleva la sociedad cooperativa los
libros exigidos por la ley?
¿Puede observarse esto? ¿O tenemos
que preguntar a los alumnos
sentados en los asientos de atrás si
oyen? ¿O debería el evaluador
tratar de escuchar desde la parte
trasera del salón?
¿Qué debemos mirar para observar
manifestaciones de confianza en sí
mismo?
¿Podemos "observar" la situación
económica como tal?
¿Cómo podemos observar esta
historia de comportamientos durante
una visita o un corto período
de observación? Este tipo de información
tendrá que ser recogida
por otros medios alternativos.
¿Es posible observar esto?
¿Cambiar las actitudes durante una
reunión pública?
¿Se muestran las actitudes en las
caras de las personas?
Está bien; pero ¿no es esto una
cuestión de auditoría más que de
observación?

242 Herramientas y Técnicas de la ER: Herramientas e Instrumentos
Registros y documentos
Los registros y documentos son fuentes de datos importantes para el
evaluador. El análisis de los registros y documentos puede ser cuantitativo
(adecuado el paradigma racionalista) o cualitativo (adecuado el paradigma
naturalista).
La ética de la compra de datos
Con frecuencia surge esta interrogante: ¿Debe un evaluador pagar a los
informantes en un estudio evaluativo? No hay una simple respuesta de
"Si" o "No". La producción de conocimiento es una función social; y en el
caso de un estudio de evaluación, la utilización social de la información
evaluativa puede ser bastante clara tanto para los evaluadores como para
los informantes. Si el evaluador está trabajando a nombre del gobierno o
de una agencia voluntaria sin ánimo de lucro, la evaluación está sirviendo
un interés público. Los informantes como buenos ciudadanos comprometidos,
deben participar gratis en el estudio evaluativo.
Sin embargo, si se coloca a un sujeto en una situación de tener que
elegir entre trabajar en la construcción o participar en el estudio evaluativo,
se le debe pagar para compensarlo por la pérdida del jornal.
Cosas para hacer o para pensar
1. Desarrolle una lista detallada de afirmaciones verdaderas, principios,
destrezas y actitudes que usted quisiera que hubieran aprendido los
que participan en el curso de capacitación hacia el final del mismo.
2. ¿Le han entrevistado recientemente como parte de una evaluación o
algún tipo de encuesta? ¿Qué recuerda que haya sido bueno en la
entrevista? ¿Qué le pareció irritante o inaceptable? ¿Fue capaz el
entrevistador de ganar su confianza?
3. Elabore una guía de observaciones sobre "Los Hábitos de Trabajo en
la Oficina". Ensáyela observando a un colega. Pídale a su colega que
la use para observarle a usted.

Herramientas y Técnicas de la ER: Recolección de Datos 243
SECCIÓN B: La Recolección de Datos
Nos hemos referido en otras partes de esta monografía a muchos de los
problemas de la ejecución de los estudios evaluativos directa o
indirectamente. Sin embargo, puede resultar más útil presentar una discusión
sistemática y formal de los problemas prácticos encontrados al realizar
evaluaciones, como lo haremos a continuación.
A veces las circunstancias son más poderosas que los hombres y las
mujeres. Un evaluador no puede ejercer control sobre el tiempo, la sequía
o la hambruna. Sólo se puede tratar de sobrellevar esas circunstancias y
salir de ellas lo mejor que sea posible. Pero otro conjunto de circunstancias
posibles pueden ser anticipadas y uno debe prepararse para afrontarlas.
Un conjunto nuevo de relaciones entre colegas
La evaluación es un asunto poco usual. Aun tratándose de la evaluación
que usted haga de su propio trabajo, se perturban las relaciones existentes
con sus colegas. Es importante mantener el sentimiento de vanidad e
informar a todos los involucrados lo que usted está haciendo y por qué.
Hay que aplacar los temores y mitigar los celos profesionales.
La evaluación siempre hará demandas que no son usuales a quienes
trabajan con usted en la oficina y en el campo. El evaluador tiene que
convertir a sus colegas, a los otros funcionarios y asistentes, en colaboradores
profesionales. El evaluador tiene que contar con la aprobación de sus
superiores; establecer intercambios justos con los que están al mismo nivel
y recibir ayuda de los de abajo, no mediante órdenes sino compartiendo
las emociones y los créditos por el trabajo realizado. Debe hacer un
reconocimiento justo, tanto verbalmente como por escrito a todos aquellos
que le hayan asesorado o apoyado.
La capacitación de los investigadores de campo
En la mayoría de los casos, el evaluador no tendrá oportunidad de recolectar
los datos por sí mismo. Necesitará la ayuda de sus colegas y otros
trabajadores de campo. Es importante que a todos los que han sido
movilizados como investigadores de campo se les proporcione el
entrenamiento y la orientación apropiados. El evaluador no siempre querrá
informar a los investigadores de campo las hipótesis o preguntas de

244 Herramientas y Técnicas de la ER: Recolección de Datos
evaluación con el fin de evitar prejuicios personales. Pero los investigadores
de campo deben ser bien entrenados para satisfacer todos los requerimientos
de la administración de los instrumentos de evaluación (yo mismo aprendí
un hecho muy simple por experiencia propia. No llenar los cuestionarios o
guías de entrevista con tinta. Puede correrse con la lluvia. Use lápices de
mina o bolígrafos que no se corran con el agua). Las orientaciones y la
capacitación deben ser detalladas si hay que realizar entrevistas en
profundidad.
Es importante que el evaluador pueda mantenerse en contacto con los
investigadores de campo para responder a sus inquietudes y resolver
problemas no previstos.
El aprovechamiento de los recursos institucionales existentes
Es importante que los evaluadores de programas de alfabetización aprendan
a aprovechar los recursos institucionales existentes. Esto es especialmente
válido en el caso de las facilidades de transporte. Los viajes al terreno
deben planificarse de modo que se ajusten a las necesidades de varios
funcionarios de distintos departamentos de desarrollo.
El trato con los informantes
El evaluador no puede anticipar cuándo habrá un funeral o una temporada
de escasez de alimentos, pero puede estar al tanto de los períodos de
migración de los informantes potenciales, sus patrones de trabajo diarios y
los festivales y días de fiesta.
El investigador debe tener la posibilidad de permanecer en el área el
tiempo suficiente para desvanecer el efecto novedoso de su presencia allí,
para establecer cierta compenetración con la gente y para aplicar los
cuestionarios o realizar las entrevistas. El evaluador puede tener que emplear
a una tercera persona para que lo acompañe a realizar entrevistas con las
madres jóvenes, quienes pueden sentirse molestas al estar solas con el
investigador. En esos casos, la tercera persona debe seleccionarse
cuidadosamente y todos los que se involucren deberán entender las reglas
de conducta que tienen que observar durante una entrevista o la
administración de un cuestionario.
Habrá situaciones en las cuales los informantes esperarán que se les
pague por participar como sujetos en un estudio evaluativo. Como hemos

Herramientas y Técnicas de la ER: Recolección de Datos 245
indicado en otra parte, los evaluadores (y los investigadores) no deben
pagar por la obtención de datos salvo que el informante esté perdiendo una
remuneración por participar en el estudio evaluativo.
Los cambios en las muestras e instrumentos
En las evaluaciones naturalistas el muestreo es propositivo y las muestras
se seleccionan y redefinen para ajustarse a las circunstancias. En la llamada
evaluación racionalista las muestras son pre-determinadas y preseleccionadas.
Sucederá con frecuencia que el evaluador no sea capaz de
recoger los datos de la muestra seleccionada y se vea obligado a sustituir a
los informantes que desertaron o se vea forzado a conformarse con muestras
más pequeñas. No es posible en el ámbito de este capítulo tratar los
complejos problemas de la deserción y la sustitución en las muestras. Sin
embargo, podemos ofrecer un consejo general: los evaluadores deben
mantener un registro preciso y honesto de los cambios introducidos en la
muestra de modo que puedan emitirse juicios apropiados en la etapa de
interpretación de los datos y los resultados. /
También habrá casos en los que será necesario hacer cambios en los
instrumentos de evaluación. Algunas preguntas tal vez no hayan sido
comprendidas por los informantes, no será posible contestar algunas o los
informantes pueden rehusarse a contestar otras. El evaluador debe estar en
contacto con los investigadores de campo, si los hay, para discutir estos
problemas y hacer los cambios necesarios. Si hay cambios en los
instrumentos éstos deben ser seguidos uniformemente por todos los
investigadores de campo. Es claro que algunas de estas situaciones pueden
evitarse mediante una apropiada prueba de los instrumentos.
El manejo de los instrumentos aplicados
Pueden surgir problemas debido a un descuidado manejo de los instrumentos
ya completados. Los cuestionarios y las guías de entrevista pueden
perderse o dañarse con la lluvia. Los datos deben tratarse como algo
precioso. Debe darse claras instrucciones a los investigadores de campo en
relación con el envío por correo y la remisión de los datos. ¿Deben enviarse
por mano con funcionarios que viajan del campo a la oficina en la
ciudad? ¿Deben ser siempre enviados por correo? ¿Cómo deben empacarse?
¿Deben enviarse por correo certificado? Los cuestionarios y otros

246 Herramientas y Técnicas de la ER: Procesamiento de Datos
instrumentos ya completados pueden mezclarse con otros en la oficina del
evaluador. Por eso deben ser marcados en forma apropiada y codificados
tan pronto como se reciban.
Cosas para hacer o para pensar
1. ¿Cuáles son algunos de los problemas que usted puede anticipar en el
curso de la recopilación de los datos en su situación?
2. ¿Qué sugeriría usted a los evaluadores respecto al establecimiento de
relaciones de colaboración fructíferas con los colegas y subordinados?
3. ¿Puede ustes pensar en casos en los cuales los problemas encontrados
durante la recolección de los datos en el campo pusieran fin a un
estudio evaluativo?
SECCIÓN C: El Procesamiento y la Presentación de los Datos
Los datos son sólo eso -datos; los datos no son información. Después de
haber administrado las pruebas y los cuestionarios, de haber realizado las
entrevistas y las observaciones de campo y de haber examinado los registros
y documentos, lo que tenemos son datos en bruto, que no constituyen información
por sí mismos. Los datos en bruto deben ser codificados, debe
dárseles un peso y ser cotejados, procesados, analizados y sintetizados
para producir información que pueda ser utilizada para tomar decisiones
sobre el programa.
El procesamiento y el análisis de los datos. Significado y proceso
En otra parte de este manual hemos señalado que el procesamiento y el
análisis de los datos son tareas que se sobreponen. El procesamiento
involucra todo lo relacionado con el conteo, cotejo, consolidación,
estandarización y presentación de los datos en formatos adecuados para
dar paso al análisis -que es una combinación de lo lógico y lo analógico, lo
intuitivo y lo analítico.

Herramientas y Técnicas de la ER: Procesamiento de Datos 247
De nuevo debe recordarse que en la ER normalmente los objetivos se
proponen llegar a hacer aseveraciones normativas, hacer comparaciones o
someter a prueba ciertas correlaciones. Entonces, en este caso, la tarea de
procesar los datos es hacer lo que sea necesario para poner los datos en
cuadros y matrices de modo que puedan aplicárseles los procedimientos
estadísticos estándar como parte del análisis de los mismos. Así, las
habilidades y las técnicas para el procesamiento de los datos incluyen las
de codificación, calificación, valoración, estandarización, clasificación, etc.
El análisis de los datos implica formular proposiciones normativas de
probabilidad y realizar pruebas estadísticas para establecer correlaciones y
diferencias.
Lo esencial del procedimiento y el análisis de los datos
Demos una mirada global al procesamiento y análisis de los datos y
tratemos de comprender lo esencial de estos procesos. Esto se muestra
gráficamente en la Figura 9.
La esencia del proceso que se muestra en dicha Figura es buscar las
relaciones y patrones en los datos que permitirán al evaluador:
1. Formular un conjunto de proposiciones normativas de probabilidad
sobre lo que halló (¿cuál es la importancia relativa de las razones
que dan los adultos para desertar del programa de alfabetización?
¿cuál es la estructura general del rendimiento en lectura de los
adultos que iniciaron clases de alfabetización hace un año?).
2. Comparar el conocimiento, las actitudes y el rendimiento de los
grupos y comunidades en un determinado momento; por un
período de tiempo; a través de una jerarquía social; y dentro de
contextos diferenciados (¿qué grupo tiene más conocimientos
funcionales, el Grupo I o el Grupo II? ¿es la tasa de adopción de
innovaciones en la comunidad X mejor hoy que hace dos años?
¿tienen los administradores de un nivel jerárquico superior en el
programa una visión sobre un fenómeno particular diferente de la
de los trabajadores de campo? ¿funciona mejor un método
particular de enseñanza en el contexto urbano en comparación
con el contexto rural?).
3. Correlacionar el rendimiento en un aspecto con el rendimiento en
otros (¿rinden más los adultos en aritmética que en lectura?

Instrumentos Completados
, por ejemplo,
is a los Itemes
2 TS
TJ c 3 03
< E n co
_
z ce
< 5 CA
L
0 0¡
<
c
•y r
Certificar, Ce >mbinar, Estandarizar, Codificar,
Agrupar Iteme sen términos de los Indicadores/
Conceptos Iniciales
w
Organizar y F 'resentar los Datos
mediante e 1 uso del Análisis
> Apropiado para
Responde ir las Preguntas
Comprob ar las Hipótesis
i
i
o
re
re
Estudio
Evaluativo
en Cuestión
LU
S
a
•o
Ë
SI
0)
ü
2
Q.
Á k
m
c
<
>>
o
c
0>
Análisis Real de los 1
Usando los Métodos Est
CO
o
co
o adísticos
Desarrollar Afirmaciones 1 nformadas
en Relación a las Preg untas /
Hipótesis de la Evalu ación
(fí
o
co
O
a>
•o
w
Escribir
Informes
Evaiuativos
248 Herramientas y Técnicas de la ER: Procesamiento de Datos

Herramientas y Técnicas de la ER: Procesamiento de Datos 249
¿quienes tienen buenas calificaciones en lectura, tienen también
buenas calificaciones en escritura? ¿son los adultos letrados quienes
mejor adoptan las innovaciones?).
Debe tenerse en cuenta que estas preguntas típicas se habrán anticipado
en el diseño de nuestros estudios y habrán influido en la selección de
informantes y fuentes de datos así como en la selección de muestras. Debe
recordarse también que algunos de estos datos se convertirán en información
mientras que otros se utilizarán para describir el contexto para interpretar
la información generada.
Algunas herramientas y rutinas mecánicas del procesamiento y análisis
de los datos
Todos hemos oído historias sobre cómo algunos evaluadores principiantes
se sienten abrumados por la cantidad de datos que han recogido. Ellos no
saben qué hacer con los montones de cuestionarios y guías de entrevistas
que han hecho llenar. Algunos terminan leyendo por encima ciertos datos
o todos los datos, tomando notas y escribiendo ensayos personales basados
en las impresiones de su experiencia al realizar el trabajo de campo y
estableciendo lo que han aprendido en general. A continuación se presentan
algunas de las herramientas y rutinas mecánicas del procesamiento/análisis
de datos que pueden servirle de ayuda para tratar los datos que usted haya
recolectado:
1. Buen suministro de papel blanco y rayado
2. Suministro de lápices de mina y sacapuntas
3. Borradores
4. Líquido corrector, si es posible
5. Unas tijeras
6. Cinta adhesiva
7. Clips y alfileres, y
8. Un juego de lápices de colores.
Otra sugerencia básica
En el procesamiento y análisis de los datos escriba sólo por un lado del
papel. Use una hoja de papel separada para cada idea o cuadro que

250 Herramientas y Técnicas de la ER: Procesamiento de Datos
desarrolle. Esto le ayudará al tratar de organizar el material de diferentes
formas. No tiene que usar papel limpio en esta etapa del procesamiento de
datos. Debe analizar materiales de desecho que pueda obtener. Para hacer
cuadros a mano use papel cuadriculado para leer las filas sin confusión.
Tenga cuidado con la colocación de los números en las columnas:
125 125
5 5
11 11
es correcto no. es correcto
No escriba sobre sus propios escritos. Utilice una goma para borrar, o
tache y vuelva a escribir. Si no, más tarde usted mismo se preguntará si
cambió un 3 por un 8 o un 8 por un 3.
La agrupación e identificación de piezas de datos
En aras a la conveniencia, denominaremos piezas de datos a todas las
pruebas, guías de entrevistas, guías de observación y cuestionarios llenado
y devueltos por los investigadores y los informantes. Lo primero que hay
que hacer cuando todas las piezas de datos han llegado es ordenar e
identificar las distintas piezas asignándoles números. En diferentes casos
serán apropiados distintos tipos de agrupación. Cuando los informantes no
son anónimos, las piezas de datos pueden disponerse en orden alfabético.
Pueden utilizarse otros ordenamientos para reflejar las agrupaciones de las
piezas de datos por sexo, edad, religión o etnicidad; por curso de
capacitación, grupo o año; por región, provincia o distrito; por alfabetizador
responsable; en términos de grupos de capacitados -no capacitados; y por
el tipo de metodología de capacitación utilizada.
Examine el "Cuadro General" incluido más adelante en esta sección.
La agrupación usada en éste debió preverse cuando se asignaron números
a las piezas de datos.
Este tipo de organización por agrupación y la identificación de las
piezas de datos es de gran ayuda en etapas posteriores del análisis de
datos. Una vez organizados de acuerdo con las necesidades, debe darse a

Herramientas y Técnicas de la ER: Procesamiento de Datos 251
las piezas de datos números permanentes en la esquina superior derecha,
en la primera página de cada pieza. Puede usarse también una codificación
en colores para ayudar a reconocer rápidamente las distintas piezas de
datos.
Si ha utilizado con el mismo grupo de informantes todo un conjunto
de instrumentos -una prueba de rendimiento, una guía de entrevista, una
guía de observación y un cuestionario- debe utilizarse un sistema de
numeración para aparearlos. Por ejemplo:
Nombre
Abram
Bianti
Cámaro
Daudi
Elice
Fakouri
Calificación
en la
Entrevista (E)
E-l
E-2
E-3
E4
-
E-6
Calificación
en la
Observación (C)
0-1
0-2
0-3
0-4
0-5
0-6
Calificación
en el
Cuestionario (C)
C-l
C-2
C-3
-
C-5
C-6
Calificación
en la
Prueba (P)
P-l
P-2
P-3
P-4
P-5
P-6
Asegúrese de escribir E, O, C y P lo suficientemente claro de modo
que no se confundan unos con otros.
Fíjese que en la presentación anterior, falta el cuestionario de Daudi
así como la guía de entrevista de Elice. Sin embargo, a Fakouri aún se le
asignan los códigos E-6, 06, C-6 y P-6 por sus piezas de datos. En otras
palabras, a todas las piezas para la misma persona se les da el mismo
número.
La necesidad de sumergirse en los datos
Después de ordenar y numerar las piezas de datos, será el momento de
hacer dos cosas más: recordar las preguntas de evaluación que había que
contestar por medio del estudio evaluativo y "sumergirse" en los datos ya
recogidos.
Escriba la lista de preguntas a que usted quiere que los datos respondan.
Incluya también las sub-preguntas, si las hay. Lea, como ejemplo, el
siguiente conjunto de preguntas:

252
Herramientas y Técnicas de la ER: Procesamiento de Datos
1. ¿En qué se diferencian los funcionarios auxiliares de la educación de
adultos capacitados en cuanto a su rendimiento general de los que no
fueron capacitados?
1.1 ¿Cómo se diferencian en relación con su conocimiento técnico
acerca del desarrollo y de la educación de adultos?
1.2 ¿Cómo se diferencian en cuanto a su conocimiento de la
metodología de alfabetización que se utiliza en el programa?
1.3 ¿Cómo se diferencian respecto a sus estilos de supervisión y sus
destrezas para realizar diagnósticos y resolver problemas?
1.4 ¿Cómo se diferencian en términos de su orientación respecto a
su actitud hacia los estudiantes adultos, las comunidades rurales
y su propio trabajo?
Recuerde que éstas habían sido sus preguntas guía cuando usted
comenzó el estudio evaluativo. Pero con frecuencia es necesario hacer
cambios, según se reformulan las preguntas en la etapa de procesamiento
y análisis de los datos.
Armado de una lista de preguntas como ésta, es el momento de
sumergirse en los datos. Entendemos por esto repasar todas las piezas de
datos, una por una, página por página, ítem por ítem; estudiar todas las
respuestas y hacer anotaciones cuidadosamente. Debe anotarse lo esperado,
lo inesperado y lo curioso de los patrones emergentes y de las relaciones
que aparecen, según repasa los datos. Esto requerirá más de una lectura de
las piezas de datos. Todo el tiempo que se dedica a este proceso siempre
vale la pena. Así que, sea paciente.
Posibilidades y limitaciones de los datos recolectados
Este será el momento de descubrir las posibilidades de los datos que no se
habían anticipado. Por ejemplo, un cuestionario que se utiliza con los
participantes de extensión agrícola para evaluar su experiencia de adhesión,
puede estar lleno de información acerca de las prácticas para la matanza de
animales de carne; o sobre la popularidad de la cría de aves en una región
particular. Por otra parte, se pueden descubrir problemas serios en los
datos durante el proceso de inmersión. Algunas de las preguntas de la
prueba pueden haber sido consistentemente mal interpretadas. Otras
preguntas pueden haber recibido respuestas "socialmente aceptables", no
verdaderas.

Herramientas y Técnicas de la ER: Procesamiento de Datos 253
Habrá que descartar totalmente algunas piezas por no estar completas
o no dar respuestas honestas. El evaluador puede llegar a darse cuenta de
que los datos disponibles no constituirán una prueba aplastante a favor o
en contra de una posición o un enfoque particular, y podrá tener que
advertir a los lectores para no extraer conclusiones injustificables. Habrá
que tomar nota de todo esto por escrito durante el proceso de inmersión en
los datos.
El Cuadro General
El procesamiento de datos por computador es algo diferente, en general.
Pero si hay que procesar y analizar los datos a mano, con papel y lápiz,
como probablemente lo hace la mayoría de nuestros lectores, lo mejor será
preparar un "cuadro general" en el cual idealmente puedan acomodarse en
filas y columnas y agrupaciones adecuadas, todos los datos pertinentes a
una pregunta primordial (y a veces a todo el estudio evaluativo) para
proporcionar una visión general.
Es sorprendente cuánto puede verterse en un mismo "cuadro general"
("la sábana", como se le conoce familiarmente por los participantes del
taller de evaluación de Kenia). En las páginas 254 y 255 se da un ejemplo.
Las distintas columnas del cuadro pueden usarse para incluir las
calificaciones de los diversos aspectos de conocimiento, actitudes y
rendimiento. También puede incluirse el tiempo de duración en las
columnas. Por ejemplo (a) pueden ser las calificaciones antes de la
enseñanza y (b) después. Las calificaciones en la columna (c) pueden estar
referidas a la adopción de innovaciones antes de comenzar el programa y
en (d), después de que éste ha estado efectuándose.

254 Herramientas y Técnicas de la ER: Procesamiento de Datos
Región X
Método 1
CUADRO GENERAL (SABANA)
DE UN PROGRAMA DE ALFABETIZACIÓN FUNCIONAL
Maestros (Capacitados/Hombres)
Participantes:
Hombres 0-15 años
Hl
H2
H3
H4
Hombres 16-45 años
H5
H6
Hombres 46-65 años
H7
H8
H9
H10
Mujeres 0-15 años
MI
M2
M3
M4
Mujeres 16-45 años
M5
M6
Mujeres 46-65 años
M7
M8
M9
MÍO
COLUMNAS
[a] [b] [c] [d] [e] [f] [g] ...[n]

Herramientas y Técnicas de la ER : Procesamiento de Datos 255
Maestros
(No capacitados/Hombres):
Lista de Hombres y Mujeres
Participantes separados por
grupos apropiados de edades.
Maestras
(Capacitadas/Mujeres):
Lista de Hombres y Mujeres
Participantes separadas por
grupos apropiados de edades.
Maestras
(No capacitadas/Mujeres)
Lista de Hombres y Mujeres
Participantes separadas por
grupos apropiados de edades.
Método 2
Repetir para las diferentes
categorías de maestros
(Hombres y Mujeres, y
capacitados y no capacitados),
separando a los participantes
por sexo y grupos de edad.
Región Y
Repetir para los diferentes
métodos (Método 1 y
Método 2), las categorías de
maestros, separando a los
participantes por sexo y edad.
[a] [b] [c] [d] [c] [f] fe] ...[n]

256 Herramientas y Técnicas de la ER: Procesamiento de Dalos
La acomodación de los datos en el Cuadro General
El tipo de Cuadro General propuesto no es apropiado para presentar palabras
y frases. Es mejor para números (5, 7, 11, 21, 51, 101); para letras (A, B,
C o D); o para marcas (V o X). En otras palabras, antes de preparar
cuadros generales, debemos aprender a calificar, codificar, asignar valores,
estandarizar y ordenar los datos.
Codificación. La codificación es la asignación de un código particular a
una determinada categoría de respuesta. Los siguientes son ejemplos de
marcos de codificación:
Código 1 Prefiere los condones como ayuda
a la planificación familiar A
Prefiere un dispositivo intrauterino
para su esposa B
Prefiere la abstinencia para la
planificación familiar C
Código 2 Tiene información sobre nutrición
insuficiente (grado Bajo) B
Tiene información sobre nutrición
promedio (grado Medio) M
Tiene información sobre nutrición
suficiente (grado Alto) A
Calificación. Calificar es asignar valores numéricos (puntajes) a
determinadas respuestas o a determinados niveles de rendimientos. Las
respuestas respecto a la actitud con frecuencia serán cualitativas y tendrán
que calificarse. Lo mismo es válido para las calificaciones del rendimiento,
lo cual puede implicar la observación del rendimiento, los juicios sobre lo
observado y el cambio de juicio de algún tipo de calificación cuantitativa
(puntaje).
Asignación de valores (peso) y combinación de calificaciones. Como
maestros, sabemos que al elaborar pruebas de rendimiento podemos asignar
diferentes puntajes a las preguntas en la prueba, dependiendo de la
dificultad o de la importancia de determinadas preguntas. La asignación
diferencial de los puntajes a las distintas preguntas (y respuestas) se

Herramientas y Técnicas de la ER: Procesamiento de Datos 257
denomina asignación de valores (peso). Esto también se hace en el análisis
de los cuestionarios de opinión y de actitudes y en las guías de observación.
Resulta innecesario decir que la asignación de valores (peso) a las respuestas
en una escala de actitudes debe hacerse con cuidado, especialmente con
relación a los valores de las respuestas neutrales, positivas o negativas.
Estandarización. Estandarizar las calificaciones es tratarlas de modo que
puedan ser comparadas utilizando la misma unidad de medida. Obtener 13
puntos de 20 es mejor que obtener 14 de 25. Una ganancia de 75 pesos en
una inversión de 400 no puede compararse fácilmente con una ganancia
de 15 pesos con una inversión de 50. Cuando ambas ganancias se
estandarizan como porcentajes (18.75% por comparación a 30%) se pueden
comparar con facilidad. La obtención de porcentajes es una forma
importante de estandarizar calificaciones o puntajes.
Los evaluadores de programas de alfabetización y desarrollo con
frecuencia tendrán que comparar los puntajes que las personas capacitadas
han obtenido en varias pruebas de rendimiento y ejecución. Cada vez que
hay que comparar las calificaciones, el evaluador debe averiguar si será
necesario estandarizarlas.
Ordenación por rangos. Esto tiene un significado de sentido común. Se
trata sencillamente de colocar las calificaciones de rendimiento o ejecución
en una secuencia de modo que la más alta viene primero y la más baja es
la última (el arreglo podría ser exactamente al contrario, dando la primera
posición a la calificación más baja y la última a la más alta). Cuando más
de un sujeto tenga la misma calificación, se rompe el empate así:
CONJUNTO A CONJUNTO B
Calificaciones Rangos Calificaciones Rangos
69 1.0 69 1
65 2.5 65 3
65 2.5 65 3
61 4.0 65 3
61 5
En otras palabras, las calificaciones iguales se ordenan en el medio de
las posiciones que no están empatadas: en el primer ejemplo, 2.5 está en el

258 Herramientas y Técnicas de la ER: Procesamiento de Datos
medio de 2 y 3; en el segundo, 3 está en la mitad de las posiciones 2, 3 y 4.
En los ejemplos siguientes se demuestran las técnicas de codificación,
calificación, asignación de valores, estandarización y ordenación por rangos.
EJEMPLO 1
Al evaluar la efectividad de un programa de capacitación para profesores de agricultura,
se usaron los siguientes ítemes en una guía de observación de una clase:
Habilidades para la enseñanza
(i) Hace una introducción
a la lección
(ii) Cambia de método
de acuerdo con la
necesidad
Correctamente Inconrectamente De manera
confusa
Si No Con reparos
(iii) Ayuda a los participantes Periódicamente En ningún
a recapitular la lección momento
(iv) Acepta y contesta
las preguntas
(v) Proporciona atención
individual
Siempre En ningún
momento
Sólo al final
Sólo al final
A todos Anadie A algunos
participantes
que tienen
dificultad
(vi) Ayuda a los participantes Siempre En ningún
a tomar notas momento
Aveces

Herramientas y Técnicas de la ER: Procesamiento de Datos 259
No deseamos comentar aquí sobre la calidad de los ítemes presentados.
Lo que queremos indicar es que hay que asignar valores numéricos a los
juicios hechos durante la observación; y que estos valores deben ser
agregados para usarlos en el análisis de los datos. Por ejemplo, al
comportamiento aprobado puede asignarse un puntaje de +1, al
comportamiento indiferente 0, mientras que al comportamiento inaceptable
(que impide el aprendizaje) puede asignársele un valor de -1. Esto posibilita
al evaluador una calificación agregada para las habilidades de enseñanza
evaluadas en el Ejemplo 1, como se sugiere en la siguiente ilustración.
(i)
(ü)
(iii)
(iv)
(v)
(vi)
Calificación total:
+1
-1
+1
0
0
+1
Es importante anotar que sobre los mismos datos pueden plantearse
diferentes tipos de preguntas. Por ejemplo: ¿Ayudan los maestrosestudiantes,
normalmente, a que los niños recapitulen las ideas presentadas
en una lección? Mirando las respuestas al ítem (iii) del anterior ejemplo,
referida a todos los estudiantes-maestros observados, puede encontrarse
una respuesta a esta pregunta.
2

260 Herramientas y Técnicas de la ER: Procesamiento de Datos
EJEMPLO 2
Mediante un cuestionario (llenado por cada estudiante individualmente,
pero reunidos en grupo en un salón), se buscaba evaluar la efectividad de
los estudiantes de agricultura en su servicio en el campo. La parte del
cuestionario referida al control de enfermedades se componía de los
siguientes ítemes:
1. ¿Qué enfermedad(es) notable(s) encontró usted?
2. ¿Qué métodos de control y prevención se utilizaron?
3. Mencione las campañas de vacunación que vio usted.
4. Enumere las enfermedades contra las cuales se hizo la vacunación.
5. ¿Cuáles fueron las razones para la vacunación?
6. ¿Cómo se organizó y se llevó a cabo la vacunación?
7. ¿Cómo se aplicó la vacuna? Indique cualquier precaución especial
que se haya tomado.
8. ¿Cuántos animales fueron vacunados?
9. ¿Cuál era la dosis de la vacuna?
10. ¿Cuál era el costo de la vacuna por dosis?
11. ¿Cómo pagaron los agricultores por ella?
12. ¿Cuál es la duración de la inmunidad que brindan las vacunas
utilizadas?
13. ¿Qué tipo de vacunas se usó -viva, atenuada o muerta?
14. ¿Qué problemas se encontraron en la campaña de vacunación?
15. ¿Cómo se manipularon las vacunas utilizadas?
Como puede verse, estas preguntas constituyen una combinación sobre
(i) el conocimiento del estudiante sobre información técnica; (ii) recuerdo
de "lo que" se hizo y "por qué" en alguna situación problemática en
terreno; (iii) información acerca de algunos acontecimientos locales durante
el período de servicio; y (iv) descripciones de las acciones profesionales y
las prácticas técnicas que vieron los estudiantes durante el servicio, pero
sobre las cuales ellos no tenían control.
En este caso el evaluador tendrá que separar los ítemes sobre la
responsabilidad del estudiante de aquellos que eran parte del contexto; y
entonces tendrá que hacer juicios acerca de la calidad del rendimiento del

Herramientas y Técnicas de la ER: Procesamiento de Datos 261
estudiante en las circunstancias dadas. El evaluador puede asignar calificaciones
de A, B, C, D y E (o numéricas) al rendimiento de cada estudiante.
Una vez más, debemos anotar que además de evaluar el rendimiento
del estudiante, estos datos pueden usarse de muchas maneras diferentes.
Con los mismos datos se puede evaluar la administración por inmersión o
los centros clínicos en el país; aprender acerca de la difusión de nuevas
prácticas en las comunidades rurales; o aprender sobre prácticas de
administración agrícola, en general.
Los problemas de la calificación de los datos de las entrevistas y las
observaciones para cambiar datos cualitativos o algún tipo de datos
cuantitativos no pueden eliminarse completamente en este mundo tan
cargado de valores. Sin embargo, pueden mitigarse algunos problemas
serios en la etapa de diseño de los instrumentos y construcción de ítemes.
Las herramientas y los ítemes que se incluyen en éstas pueden diseñarse
de tal manera que provoquen respuestas que pueden ser cuantificadas con
más facilidad.
Del cuadro general a los cuadros resumen
Después de terminar con la codificación, estandarización y asignación de
valores llega el momento para el evaluador de dar una mirada completa a
los datos en general. Como sugerimos anteriormente, esto puede hacerse
elaborando cuadros generales que muestran en una mirada las respuestas
de los diferentes sujetos en una prueba general, un cuestionario o algún
otro instrumento en el contexto de una pregunta o un estudio evaluativo.
Estos cuadros generales pueden ser grandes como el tamaño de la mesa de
trabajo y ocupar una gran parte de la oficina.
Una mirada cuidadosa a un cuadro general o sábana puede sugerir
muchas pistas diferentes al evaluador en cuanto a los patrones de respuestas
y diferencias y correlaciones entre los ítemes. Al focalizar la atención en
las distintac filas y columnas de la gran sábana, pueden desarrollarse
muchos cruces y cuadros resumen que responden a determinadas preguntas
de evaluación.
Afirmaciones sobre lo que cía sucediendo
Un sencillo cuadro resumen sacado del cuadro general puede referirse a
las razones de deserción, con frecuencias.

262 Herramientas y Técnicas de la ER: Procesamiento de Datos
Supongamos que bajo una de las columnas (por ejemplo, la columna
[f] informamos sobre el estado de la participación (A = Activo; D =
Desertor) y de la razones de deserción (D-l; D-2; D-3; D-4, etc.). El
código de las razones podrá ser: 1 = por estar enfermo; 2 = por enfermedad
de un miembro de la familia; 3 = por migración debida a razones
económicas; 4 = por falta de interés en los objetivos y contenidos del
programa, etc., etc. Estos códigos pueden volver a convertirse en sus
descripciones cualitativas y mostrarse en forma de porcentajes como sigue:
CUADRO RESUMEN 1
Frecuencias de las Razones de Deserción de los Estudiantes
Razones de Deserción Porcentaje de
veces mencionadas
1. Por estar enfermo 16
2. Por enfermedad de un miembro de la familia 17
3. Por migración debida a razones económicas 21
4. Por falta de interés en los objetivos y contenidos del programa 7
5. Por problemas personales con los maestros u otros estudiantes 19
6. Por alcoholismo 13
7. Por considerar que ha satisfecho sus objetivos de aprendizaje 7
Los datos presentados en el anterior cuadro resumen se han elaborado a manera de
demostración.
Comparaciones y correlaciones entre categorías de calificaciones
Los cuadros resumen que permiten hacer comparaciones pueden ser de
muchas clases: entre grupos de hombres y mujeres; a través de distribuciones
de edades; entre regiones urbanas y rurales; entre diferentes métodos de
instrucción; entre maestros capacitados y no capacitados; en un formato
antes-después; y a través de períodos de tiempo. Pueden analizarse las
lecciones de una cartilla o los ítemes de una prueba en cuanto a su
confiabilidad y validez. Pueden establecerse correlaciones entre las
calificaciones de rendimiento. En los cuadros 2 a 10 que aparecen a
continuación se presentan algunas ilustraciones.

Herramientas y Técnicas de la ER: Procesamiento de Datos 263
Hombres
Mujeres
CUADRO RESUMEN 2
Promedios de Calificaciones de Conocimientos,
Actitudes y Rendimiento por Sexo
Habilidades Alfabetas
L E A
Actitudes Rendimiento
L = Calificación en Lectura; E= Calificación en Escritura; A = Calificación
en Aritmética.
Hombres
0-15 años
16 - 45 años
46 - 65 años
Mujeres
0 -15 años
16 - 45 años
46 - 65 años
CUADRO RESUMEN 3
Promedios de Calificaciones de Conocimientos,
Actitudes y Rendimiento por Sexo y Edad
Habilidades Alfabetas Actitudes Rendimiento
L E A

264 Herramientas y Técnicas de la ER: Procesamiento de Datos
Maestros (H)
Capacitados
No capacitados
Maestras (M)
Capacitadas
No capacitadas
Región X
Método 1
Método 2
Región Y
Método 1
Método 2
CUADRO RESUMEN 4
Rendimiento del Educando por Categoría de Maestros
Habilidades Alfabetas Actitudes Rendimiento
L E A
CUADRO RESUMEN 5
Rendimiento por Regiones y Métodos Utilizados
Habilidades Alfabetas Actitudes Rendimiento
L E A

Herramientas y Técnicas de la ER : Procesamiento de Datos 265
Un diseño de evaluación "antes-después" puede aparecer como un modelo
para el análisis de los datos así:
Antes de introducir
el curso
Después de introducir
el curso
CUADRO RESUMEN 6
Mejoría en Información y Comportamiento en relación con la
Nutrición después de una Intervención Instruccional
Conocimiento Comportamiento relevante
sobre Nutrición relacionado con la nutrición
CUADRO RESUMEN 7
Mejoría en las calificaciones de Conocimientos, Actitudes y Rendimiento
de un Grupo de Educadores a través del Tiempo
Conocimientos
Hombres
Mujeres
Actitudes
Hombres
Mujeres
Rendimiento
Hombres
Mujeres
Antes de la Durante la Después de la Más tarde
Intervención Intervención Intervención como Retención

266 Herramientas y Técnicas de la ER: Procesamiento de Datos
En el cruce mostrado en el Cuadro Resumen 8, todos los educandos se
desempeñaron casi igualmente bien en el ítem 1 de la lección 1 y casi
igualmente mal en el ítem 2. En los ítemes 3 y 4 no aparece un patrón
determinado. Tal vez los ítemes 1 y 2 no son buenos ítemes, ya que no nos
ayudan a diferenciar los buenos estudiantes de los malos. O quizás los
ítemes 3 y 4 no estaban bien formulados y hay que reformularlos. ¿Por
qué todos los estudiantes se desempeñan mal en los ítemes de la Lección
H, pero se recobran en la Lección III? ¿Será que la Lección II es
excesivamente difícil? Todas estas preguntas pueden surgir de los datos
presentados.
Las calificaciones de los educandos pueden también utilizarse para
someter a prueba los ítemes incluidos en una prueba o para la prueba
previa de un conjunto de materiales de instrucción.
CUADRO RESUMEN 8
Prueba de ítemes de una Prueba o Prueba de Materiales de Instrucción
Lección
Pregunta
Número
Puntaje Total
Posible
Estudiante A
Estudiante B
Estudiante C
1234
5555
5321
5344
4254
I
Total
20
11
16
15
1234
4565
3221
4045
4455
II
Total
20
8
13
18
m
12 34 Total
65 3 6 20
4435 16
5 5 34 17
6435 18
EstudianteD 53 12 11 2321 8 4434 16

Herramientas y Técnicas de la ER: Procesamiento de Dalos 267
Los datos también pueden resumirse para establecer correlaciones entre
los diferentes componentes de un programa o aspectos del desempeño del
educando. Esto se visualiza en el Cuadro Resumen 9.
Lección
Asistencia
Estudiante A
Estudiante B
Estudiante C
Estudiante D
CUADRO RESUMEN 9
Relación entre Asistencia y Calificación Final
I
Alta Media Baja
11
11
14
15
n
Alta Media Baja
7
8
13
18
Alta
III
Media Baja
En los cruces anteriores, una inspección visual de los datos puede
darnos una idea de la relación entre la asistencia y las calificaciones finales.
Si no parece surgir un patrón, pueden plantearse nuevos interrogantes al
respecto.
Finalmente, los datos del Cuadro General pueden elaborarse para
establecer correlaciones por rangos.
CUADRO RESUMEN 10
Calificaciones ordenadas para el Cómputo de Correlaciones
Estudiante Calificación Calificación Rango
en Lectura en Escritura en Lectura
17
16
18
16
Rango
en Escritura

268 Herramientas y Técnicas de la ER: Análisis Estadístico
SECCIÓN D: Análisis Estadístico de los Datos
El análisis de los datos en la ER se caracteriza por ser un análisis estadístico.
Por ejemplo, para hacer comparaciones entre muestras independientes (dos
grupos de dos aldeas diferentes) o muestras no-independientes
(calificaciones antes y después del mismo grupo de educandos), se pueden
usar las versiones apropiadas de la "prueba t". Cuando no hay calificaciones
disponibles, sino proporciones y frecuencias, las pruebas de Chi cuadrado
pueden preferirse para demostrar diferencias entre grupos de participantes
y no participantes en un programa de alfabetización. Finalmente, para
estudiar correlaciones pueden establecerse correlaciones de orden de rango.
Los procedimientos de cotejo y procesamiento de datos discutidos
anteriormente permiten a los evaluadores presentar sus datos en las formas
adecuadas para la aplicación de pruebas estadísticas. Los evaluadores deben
consultar cualquier texto estándar de estadística, en el cual encontrarían las
fórmulas y los pasos que deben seguir al aplicarlas.
La discusión de los resultados
A continuación se harán algunas sugerencias generales sobre la discusión
de los resultados obtenidos del análisis de los datos:
1. Establecer relaciones con condiciones previas y comportamientos de
entrada
Como parte de la discusión de los resultados, deben reexaminarse los
datos disponibles sobre comportamientos de entrada y estudiar las
condiciones previas prevalecientes cuando comenzó el episodio de cambio
que nos interesa. Por ejemplo, el fenómeno de altas tasas de deserción de
los cursos a nivel universitario puede explicarse mejor en términos de los
métodos de selección defectuosos que por el contenido de la enseñanza
durante el curso. El fracaso de un programa de planificación familiar
puede explicarse mejor en términos de las condiciones existentes
previamente de tasas extremadamente altas de mortalidad infantil en la
región.
2. Contextualizar los hallazgos
Es necesario analizar los hallazgos en términos de los contextos
institucionales y sociales de los programas de capacitación. ¿Algunas de

Herramientas y Técnicas de la ER: Análisis Estadístico 269
las políticas institucionales van en contra de las políticas de rehabilitación
de las familias deprimidas o contra el aumento del ahorro individual? ¿El
contexto social promueve o inhibe el comportamiento cooperativo?
3. Establecer relaciones con lo que ya se conoce
Se trata de comparar y contrastar lo que los datos arrojan con lo que ya se
conoce. ¿Son sorprendentes los hallazgos? ¿Son reforzados los hallazgos
por lo que otros evaluadores han encontrado en otras situaciones? ¿Qué se
espera? ¿Qué es lo que no se había previsto?
4. Buscar correlaciones y causalidades
El análisis de los datos normalmente incluye búsqueda de correlaciones y
áreas de nexos causales. Al hacerlo se piensa en las hipótesis rivales
-explicaciones alternativas para explicar lo observado. Hay que considerar
todas las posibilidades antes de hacer aseveraciones generales.
5. Reexaminar los supuestos
Es importante seguir pensando en los supuestos sobre los cuales se diseñó
el estudio y se plantearon las preguntas de evaluación. ¿Se sustentan los
supuestos? ¿Cómo han cambiado los supuestos?
6. Establecer relaciones con las limitaciones de los datos
Se discuten los resultados en términos de los datos descubiertos, al realizarse
el diseño de la evaluación y según se usaron realmente las herramientas e
instrumentos. Algunas limitaciones de los datos pueden ser realmente
fatales para el estudio y para las conclusiones derivadas de éste. Otro
conjunto de limitaciones puede ser menos severo, pero puede introducir la
necesidad de ser muy cauteloso en la interpretación de los resultados del
estudio evaluativo.
7. Establecer normas de éxito y fracaso
El evaluador debe establecer las normas para juzgar el éxito o fracaso del
programa que se está evaluando. ¿Qué tipos de resultados permitirán
considerar que son satisfactorios? ¿Qué resultados se interpretarán como
un fracaso?

270 Herramientas y Técnicas de la ER: Análisis Estadístico
Cosas para hacer o pensar
1. ¿En qué se diferencian los diseños de evaluación de los modelos (o
planes) para el análisis de los datos?
2. Enumere algunos problemas que usted puede encontrar al asignar
valores a las respuestas en las escalas de actitudes.

CAPITULO 16
LA ELABORACIÓN DE INFORMES DE
EVALUACIÓN RACIONALISTA Y LA PROMOCIÓN
DE LA UTILIZACIÓN DE LOS RESULTADOS
El informe final de un estudio evaluativo sirve a muchos propósitos. Registra
la historia del programa y la del estudio evaluativo mismo, estableciendo
formal y claramente los resultados del estudio. El informe final del estudio
permite a los lectores juzgar por sí mismos la calidad del estudio y qué
tan razonables son las recomendaciones propuestas, ya que presenta las
razones por las cuales se escogieron determinados diseños y muestras, así
como los instrumentos que se utilizaron y ofrece resúmenes de los datos
en cuadros y otras formas de presentación. Los lectores con experiencia
podrían derivar de los datos presentados conclusiones diferentes u otras
adicionales. Un informe formal, si se distribuye apropiadamente, puede
expandir la utilización de los resultados del estudio evaluativo.
Un estudio evaluativo, para que tenga el mayor valor, debe concluir con
un informe escrito, el cual tiene por lo menos dos propósitos. Primero,
proporcionar al evaluador la oportunidad de organizar los datos recolectados,
sistematizar su pensamiento, derivar conclusiones y considerar y sopesar
las implicaciones del estudio, así como sus limitaciones. Segundo, el informe
sirve como instrumento de comunicación entre colegas profesionales y
otras personas interesadas en los mismos problemas o cuestiones similares.
Los estudios evaluativos se publican con frecuencia y a veces, han
ofrecido recompensas profesionales a los evaluadores. Sin embargo, las
expectativas que deben tenerse al escribir un informe evaluativo no son las
de que sea publicado ni las recompensas de fama y fortuna. Estas
recompensas pueden llegar, pero no se lucha por obtenerlas cada vez que
hay que escribir un informe evaluativo. Es más realista pensar en términos
de hacer varias copias del informe para compartirlas primero, y sobre
todo, con los colegas del programa, quienes deben saber lo que ha
encontrado el estudio, poder discutir sus conclusiones y sugerencias con el
evaluador y probablemente pueden utilizar el estudio para mejorar su
desempeño dentro de la situación institucional a la cual todos pertenecen.

272 Elaboración de Informes ER
Queremos hacer una distinción entre el informe profesional básico y
otras presentaciones orales o escritas del estudio. El evaluador debe preparar
un informe básico y completo del estudio evaluativo. Este debe utilizarse
para hacer diferentes tipos de presentaciones escritas y orales dirigidas a
diferentes tipos de personas a quienes puede interesarles, entre éstos,
aquellos que formulan las políticas y los planificadores, políticos, agentes
de programas de extensión y aun los agricultores y amas de casa, que son
generalmente los sujetos de nuestros esfuerzos de desarrollo.
El objetivo esencial del informe básico y sus partes
El objetivo esencial de un informe evaluativo es hacer un registro completo
de una experiencia de evaluación, incluyendo los antecedentes y el contexto
de las preguntas de evaluación; los supuestos de los cuales se partió al
plantear la(s) pregunta(s); el diseño de evaluación y las herramientas
utilizadas para recolectar los datos; los resultados obtenidos; las conclusiones
propuestas y las implicaciones prácticas derivadas de las conclusiones del
estudio. En otras palabras, el informe evaluativo es una especie de imagen
en un espejo de la propuesta de evaluación, como se discutió en el Capítulo
14, "Elaborando una Propuesta para un Estudio Evaluativo a la manera
Racionalista". Sin embargo, un informe de evaluación es más que una
propuesta de evaluación escrita en tiempo pasado. Un buen informe
evaluativo incluye toda la información necesaria para que el lector pueda
evaluar el estudio evaluativo mismo. Esto es, el lector conocerá exactamente
lo que se hizo y cómo se hizo; con qué muestras y qué preguntas, así cómo
qué datos se recogieron realmente. También debe relatarse al lector cuál
fue la estructura de los argumentos utilizados para cotejar y analizar los
datos y qué conclusiones se extrajeron y por qué. En todos los casos, el
lector deberá poder darse cuenta de los puntos fuertes del estudio así como
de sus limitaciones; y en caso necesario, podrá hacer un "análisis secundario"
de los datos por su cuenta para derivar conclusiones independientes, aun
alternativas. Esto significa que las herramientas e instrumentos utilizados
realmente o cualquier tipo de material que se haya utilizado como estímulo
en el estudio, deben llegar a ser parte del informe como "Anexos".
Sin embargo, esto no quiere decir que todos los datos brutos del estudio
deben presentarse en el informe o como anexos. El informe no es para
almacenar y archivar los datos brutos recolectados. Los datos que se

Elaboración de Informes ER 273
incluyen en el informe o en los apéndices deben haber sido cotejados,
organizados en cuadros y otros tipos de presentación. En algunos casos,
podrá ser necesario presentar los datos en una forma suficientemente
"desagregada" de modo que sea posible al lector agruparlos de distintas
maneras para someter a prueba los supuestos y conclusiones del evaluador
original; y como hemos sugerido antes, extraer conclusiones alternativas.
Un estudio evaluativo generalmente (aunque puede no ser siempre así)
se compone de las partes que se discuten a continuación. A manera de
ejemplo, tomamos el caso de un estudio evaluativo en el área de la
capacitación para el desarrollo, esto es, un estudio para evaluar la efectividad
de un programa de capacitación para agentes que trabajan en el área de
desarrollo.
La portada
Esta debe contener el título del estudio, el nombre del (los) evaluador(es),
la institución a que pertenece(n) y la fecha de término del informe.
El título dado al informe debe reflejar fielmente el propósito y alcance
del estudio. Este título exacto debe usarse a lo largo de todo el estudio, sin
variaciones arbitrarias. En algunos casos puede se útil tener un título largo
y otro breve. Una vez escogidos éstos deben utilizarse consistentemente,
sin cambiarlos. La fecha de salida del informe debe presentarse en las
portadas, como sugerimos antes, pero en alguna otra parte del cuerpo del
informe deben indicarse las fechas y períodos de tiempo durante los cuales
se recogieron realmente los datos (es posible que se hayan recogido los
datos durante el primer semestre de 1982 y se haya publicado el informe
en 1984).
El resumen analítico
Un resumen analítico de una o dos páginas (esto es, de unas 500 palabras)
debe preceder al informe. Este debe ser un completo resumen e incluir
información acerca de las preguntas de evaluación, las muestras y
procedimientos utilizados, los resultados y sus implicaciones para el
programa. Aun sin leer el informe completo una persona que lee el resumen
analítico debe poder formarse una idea bastante completa del contenido
del estudio.

274 Elaboración de Informes ER
Antecedentes generales
La primera parte del cuerpo principal del informe evaluatívo debe presentar
los antecedentes generales del estudio. Este material no tiene que escribirse
nuevamente, sino ser adaptado de la propuesta de evaluación que se había
escrito antes. Debe ubicar, en este caso, la capacitación para el desarrollo
en la perspectiva más amplia del desarrollo de recursos humanos para el
cambio social y comentar sobre la necesidad de evaluar la capacitación
general. Debe ser breve, ocupando no más de una o dos páginas.
Focalización en el sector de desarrollo específico y la institución que
desarrolla el programa
El interés central debe desplazarse hacia el sector de desarrollo específico
de que se trate (agricultura, cooperativismo, promoción de la salud, nutrición,
planificación familiar) y la institución. Debe hablarse, por ejemplo, acerca
del papel de la institución de capacitación y su contribución a la capacitación
del recurso humano necesario para el desarrollo. Nuevamente es importante
la brevedad. Una o dos páginas de material conciso deben ser suficientes.
El modelo de capacitación utilizado
Se debe presentar lo fundamental del modelo de capacitación, respondiendo
preguntas como las siguientes: ¿Cuáles son los supuestos que se han
hecho acerca del proceso de cambio en el modelo de capacitación utilizado?
¿Cuáles son los supuestos acerca del rol del agente de cambio? ¿Cuáles
son los objetivos de la capacitación? ¿Cuáles son los métodos especiales
de capacitación empleados? ¿Cuáles son los conocimientos, actitudes y
rendimientos que se persiguen con el programa? (no todas estas preguntas
tendrán que ser contestadas en todos y cada uno de los informes evaluativos.
Ni hay que responderlos en este orden. Estas son preguntas para "guiar" el
pensamiento mientras los evaluadores redactan sus informes finales).
Las preguntas de evaluación planteadas
Estas preguntas deben enunciarse esmeradamente. Es la lista que
posteriormente se usará para el cotejo y el análisis de los datos. Deben
tener dos nexos. Uno, en relación con el modelo de capacitación utilizado,

Elaboración de Informes ER 275
antes discutido. Debe verse claramente cómo este modelo generó este
conjunto de preguntas. El otro, en relación con la subsecuente organización
de los datos en una sección posterior y debe proporcionar los principios
sobre los cuales se analizan los datos.
¿Por qué era necesaria esta información de retorno?
Esta es una justificación de la elección de una pregunta de evaluación
particular entre un conjunto de posibles preguntas surgidas del modelo de
capacitación y las necesidades institucionales de información de retorno.
El material presentado anteriormente en la propuesta de evaluación como
"justificación" y "significación" debe utilizarse para elaborar esta sección
del informe.
Supuestos
Los supuestos acerca del cambio general y los procesos de capacitación y
acerca de la situación institucional y del campo en que se realiza el estudio
evaluativo deben establecerse aquí, según sea pertinente. Algunos de estos
supuestos habrán sido presentados en las propuestas anteriores. Otros pueden
haber sido revelados durante el proceso de ejecución.
Procedimientos y métodos utilizados
Esta sección debe incluir el diseño general de evaluación, el análisis de los
conceptos utilizados y definiciones especiales asignadas a los términos, los
indicadores utilizados y el proceso de su desarrollo y elección, criterios
que deben utilizarse para evaluar el éxito o fracaso del programa; las
muestras seleccionadas (y aquellas que originalmente se deseaban); las
herramientas e instrumentos que se usaron (las cuales deben incluirse en el
apéndice); los procedimientos de trabajo de campo, incluyendo la captación
y capacitación de los investigadores y el tiempo y la duración de la fase de
trabajo de campo.
Diseño de evaluación
Con base en la propuesta de evaluación se reproduce, con las adaptaciones
necesarias, el diseño de evaluación utilizado en el estudio. Este modelo

276 Elaboración de Informes ER
debe ser ahora congruente con el modelo escogido para el análisis de los
datos (ver la discusión sobre los modelos de análisis de datos en la Sección
D del Capítulo 15 de esta monografía).
Análisis conceptual y definiciones
Se puede haber hecho un análisis conceptual de algunos conceptos como
humanismo y auto-determinación, o haber dado definiciones propias de
términos como deserción, alfabetizado, etc., las cuales deben incluirse en
esta sección.
Indicadores - su formulación y elección
Debe clarificarse en esta sección del informe evaluativo el proceso seguido
para pasar de categorías grandes, como auto-determinación a sub-categorías
de conceptos todavía amplios y finalmente a la elección de indicadores
medibles.
Estándares y criterios de éxito
Es importante indicar en el informe los niveles de expectativa y los
estándares establecidos para juzgar el éxito o fracaso del programa evaluado.
Al lector debe dársele una idea acerca de si será satisfactorio o no que
haya una tasa del 30% de deserción en una clase de alfabetización o una
tasa de éxito del 10% en la rehabilitación de los minus válidos.
Muestra y unidades de respuesta
Es necesario explicar los procedimientos de muestreo, definir las muestras
seleccionadas y las que realmente participaron. ¿Quiénes fueron los
informantes? ¿Fueron las amas de casa u otras personas (el esposo, el hijo
mayor) quienes hablaron a nombre de la familia? ¿Se entrevistó al presidente
de un comité o cualquier miembro del mismo (o a más de una persona por
turno) para hablar a nombre del comité? ¿Cuáles eran las intenciones?
¿Qué sucedió realmente?

Elaboración de Informes ER 277
Herramientas e instrumentos
Debe indicarse la diversidad de herramientas e instrumentos utilizados y
justificar su elección. Debe informarse sobre cualquier procedimiento
especial utilizado para elaborar y probar previamente las herramientas, así
como resaltar los cambios introducidos en las herramientas y los
instrumentos con base en la prueba previa. Las herramientas e instrumentos
deben incluirse en los anexos.
Trabajo de campo
Esta sección debe aclarar cualquier estrategia implícita en el trabajo de
campo -cómo arreglárselas con las distancias o enfrentar las condiciones
del clima reinante, aprovechar sistemas de transporte y supervisión
existentes, etc. Además, debe incluir una descripción de los procedimientos
y experiencias del trabajo de campo. ¿Se emplearon investigadores? ¿Cómo
se entrenaron? ¿Cómo fueron supervisados? ¿Cómo se mantuvo la
comunicación entre el evaluador y los investigadores de campo? ¿Se llevó
a cabo algún estudio piloto antes del estudio final? ¿Hubo que recoger dos
veces los mismos datos en algún caso? ¿Qué tiempo duró el trabajo de
campo? ¿Se encontró que era necesario aplicar un cuestionario de
seguimiento o una entrevista adicional para complementar los datos
originales?
Limitaciones e interrupciones
Esta sección debe echar una mirada a la experiencia del trabajo de campo
y al análisis de los datos e indicar si hubo interrupciones y las limitaciones
que hayan aparecido en el cotejo de los datos y el posterior análisis.
Registro de los resultados
Esta sección constituye el corazón del informe evaluativo. Debe presentar
todos los datos pertinentes en forma agregada, presentando de una manera
efectiva los cuadros, diagramas y listas que sirven de evidencia a las
respuestas recogidas, los comentarios ofrecidos y las conclusiones que
pueden extraerse. Se utiliza la lista de preguntas planteadas y el modelo de
análisis discutido antes para organizar el cotejo de los datos, su presentación,

278 Elaboración de Informes ER
análisis e interpretación.
Una sección separada puede tratar sobre preguntas que originalmente
no se habían planteado pero que los datos disponibles permiten responder.
Discusión de los resultados
Deben discutirse los resultados en relación con las implicaciones para la
acción y la formulación de orientaciones para el futuro, en este caso sobre
el diseño de la capacitación. Los resultados evaluativos obtenidos deben
discutirse en términos de las expectativas, estándares y normas. Estos
también deben discutirse en cuanto a la fuerza de los datos, las correlaciones
establecidas y los posibles nexos causales.
Otras necesidades de información de retorno y de evaluación
Karl Popper ha dicho que ¡nuestro conocimiento y nuestra ignorancia
aumentan juntos! Un estudio evaluativo exitoso, al crear nueva información,
puede también mostrarnos qué es lo que ignoramos o qué más necesitamos
saber. Debe identificar nuevas necesitades de información de retomo y
hacer sugerencias con respecto a posteriores estudios.
Bibliografía
Se presentará una lista de libros, documentos e informes gubernamentales
consultados en la ejecución del estudio evaluativo y la elaboración del
informe. En el caso de documentos oficiales debe indicarse si éstos están a
la disposición del público, y de ser así, dónde pueden obtenerse o ser
consultados.
Anexos
Los siguientes tipos de ítemes deben presentarse como anexos: copias de
las herramientas e instrumentos, modelos y ejemplos apropiados; datos
cotejados que no se incluyeron en el cuerpo del informe pero que pueden
interesar a los lectores, especialmente a otros evaluadores; lista de nombres
de personas e instituciones que colaboran con elGos) evaluador(es), a
llevar a cabo el estudio; programación del trabajo de campo; mapas, etc.

Elaboración de Informes ER 279
Ejemplo del contenido de un informe evaluativo
En las páginas 280 a 283 se presenta como ejemplo una lista de contenidos
de un informe evaluativo.
Informe a quienes no son especialistas. Informes orales y escritos
Como sugerimos anteriormente, los evaluadores de la alfabetización deben
elaborar un informe profesional básico. Este se utilizará para elaborar
otros informes más breves, escritos y orales que se dirigen a personas que
no son especialistas. Estos informes deben prepararse para ajustarse a los
intereses especiales de la audiencia a la cual van dirigidos. Los informes
orales deben ser informativos y hacerse interesantes, mediante el uso de
ayudas audio-visuales apropiadas. Estos informes escritos y orales dirigidos
a audiencias especiales, de hecho deben constituirse en parte del proceso
de difusión de los resultados de la evaluación.

280 Elaboración de Informes ER
EJEMPLO
El funcionamiento y los efectos del programa de alfabetización de Kenia
I. Diseño y ejecución de la investigación
A. Antecedentes
B. Objetivos del estudio
C. Diseño de investigación
D. Ejecución de la investigación
1. Selección de las localidades
2. Selección de entrevistas
a. Estudiantes de alfabetización
b. Grupo de control
3. Preparación de los instrumentos de investigación
a. Cuestionario para los estudiantes
b. Cuestionario para los maestros
c. Prueba de alfabetización
4. Recolección de datos
5. Análisis de datos
II. El programa de alfabetización de Kenia
A. El contexto nacional
B. El programa nacional de alfabetización
C. La alfabetización antes de 1979
1. El programa nacional de alfabetización de 1979
ni. Los perfiles de las localidades
A. Características geográficas
B. Población
C. Actividades económicas
D. Características socio-culturales
E. Servicios socio-económicos
F. Auto-ayuda y desarrollo local
G. Educación escolar
H. El programa de alfabetización
I. Resumen
IV. Los centros de alfabetización: características y funcionamiento
A. Instalaciones utilizadas para la alfabetización
1. Uso original
2. Materiales utilizados para construir salas de clases para la
alfabetización
a. Condiciones de los ambientes de enseñanza

Elaboración de Informes ER 281
B. Características de los maestros
c.
D.
E.
F.
G.
H.
1. Categorías
2. Sexo
3. Edad y estado civil
4. Calificación educacional
5. Experiencia
6. Ocupación previa
7. Segunda ocupación
8. Lazos con la comunidad local
9. Actitudes y satisfacción con el trabajo
Ayudas para la enseñanza/aprendizaje
1. Ayudas para la enseñanza
2. Ayudas para el aprendizaje
3. Registros
Exposición al aprendizaje
Contenido
1. Proyectos de clases
2. Conferencistas invitados
Comités de los centros
Asistencia promedio
Resumen
V. Características generales de los participantes en la alfabetización
A. Sexo
B. Edad
C. Estado Civil
D. Números de Hijos
E. Lenguas habladas por los participantes
1. Lengua materna
2. Habilidad para hablar kiswahili e inglés
F. Religión
G. Ocupaciones
H. Resumen
VI. Ambiente de los hogares de los participantes
A. Tipo de vivienda
B. Posesión de libros y revistas
C. Disponibilidad de equipos audio-visuales
D. Exposición a los medios masivos
E. Resumen
VII. Experiencias educativas de los participantes
A. Escolarización primaria
B. Clases de alfabetización antes de obtener certificados de competencia
C. Razones para participar en el programa de alfabetización y beneficios
que esperan obtener del mismo
D. Duración y regularidad de la asistencia a clases de alfabetización

282 Elaboración de Informes ER
E. Aprendizaje después de obtener el certificado
1. Lo que quisieran aprender después
2. Duración de la asistencia a otras clases de alfabetización
posteriores
3. Participación en otros tipos de cursos
4. Escucha del programa especial de radio DAI
F. Resumen
Vin. La utilización de las habilidades de lecto-escritura y cálculo numérico
A. Diferencias entre localidades
1. Lectura
2. Escritura
3. Cálculo
B. Otros tipos de diferencias
1. Género
2. Dominio del kiswahili hablado
C. Resumen
IX. Conocimientos funcionales, actitudes y prácticas
A. Medición del conocimiento funcional, actitudes y prácticas
B. Diferencia entre alfabetos y analfabetos
1. Conocimientos
2. Actitudes
3. Comportamientos
C. Diferencias entre los alfabetos
1. Localidad
2. Otras diferencias
a. Género
b. Edad
c. Año del certificado
d. Asistencia a la escuela primaria y experiencia en las clases
de alfabetización
D. Resumen
X. Habilidades de lecto-escritura y cálculo numérico adquiridas
A. Calificación de los resultados de las pruebas y establecimiento de
estándares de rendimiento
1. Cálculo numérico
2. Lectura
3. Escritura
B. Resultados de la muestra total
1. Cálculo numérico
2. Lectura
3. Escritura
4. Relaciones entre los tres tipos de habilidades
5. Resultados globales
C. Diferencias entre localidades

Elaboración de Informes ER 283
D. Otras diferencias
1. Género
2. Experiencia de aprendizaje
3. Año del certificado de alfabetización
E. Resumen
XI. Conclusiones
A. Los participantes y su motivación
B. El funcionamiento del programa de alfabetización
C. Los efectos del programa de alfabetización
Tomado de Carrón, G., Mwizia, K. y Tzigha, G., The functioning and effects of the Kenya
Literacy programme. ITEP Research Report N 8 76. Paris: UNESCO/Intemational Institute
for Educational Planning, 1989.
Promoción de la utilización de los resultados de la evaluación
Hay una preocupación considerable entre los evaluadores (así como entre
los que comisionan los estudios evaluativos) acerca del hecho de que los
resultados de las evaluaciones no son muy utilizados. Se dice que son
demasiados los informes evaluativos que son recibidos, archivados y
olvidados y que no se utilizan sus resultados o recomendaciones.
Hay algo de verdad en estas afirmaciones y parte de la culpa recae en
los evaluadores. Con mucha frecuencia ocurre que los resultados evaluativos
sólo están disponibles mucho después del hecho, cuando el programa o
proyecto es ya historia antigua. Pero esto también puede ser un caso
moderado de incomprensión. Parece que los evaluadores piensan que el
conocimiento sólo se utiliza cuando las decisiones que toman quienes
ejercen la práctica están claramente "fundamentadas en el conocimiento".
Sin embargo, hay una forma de considerar la utilización del conocimiento
menos espectacular y más realista. Los resultados de las evaluaciones
frecuentemente pueden ser utilizados sin una aceptación formal de los
informes y sin otorgar formalmente los créditos y agradecimientos a los
estudios evaluativos ni a sus autores. Efectivamente, los estudios evaluativos
muchas veces pueden cambiar la estructura de la argumentación, aun
cuando se hayan rechazado activamente los resultados de la evaluación.
Aun esta "utilización por rechazo" es un tipo de utilización.
Esta consideración de una utilización indirecta nos lleva a la conclusión
obvia de que para mejorar la utilización, debemos mejorar la interacción

284 Elaboración de Informes ER
con los consumidores potenciales desde el comienzo mismo del esfuerzo
evaluatívo. Los evaluadores deberían pilotear un barco abierto en el cual
los participantes pueden recibir información de retorno según se va
produciendo. También ellos deben considerar presentar informes
provisionales parciales que podrían ser utilizados para mejorar el programa
a medida que van estando disponibles nuevos datos.
Una advertencia importante
Antes de pasar a la siguiente y última sección de este manual, referida a
los aspectos políticos de la evaluación y la capacitación de los evaluadores
en el Tercer Mundo, debemos recordar el capítulo anterior sobre la gestión
de la evaluación. Allí habíamos hablado del triángulo metodológico de la
evaluación, que incluye: el SIG, la EN y la ER. Aunque hemos analizado
cada uno de estos enfoques metodológicos en tres partes separadas del
manual, esto no significa, desde luego, que sugiramos que son separables.
En efecto, en las situaciones de la vida real se utilizan los tres enfoques
dentro de un mismo programa, y a veces, en un mismo estudio evaluatívo.
La necesidad y el valor de la integración entre estos tres enfoques jamás
debe perderse de vista.
Cosas para hacer o para pensar
1. Examine el informe de algún estudio evaluatívo terminado
recientemente en el centro, departamento o ministerio donde usted
trabaja ¿Encuentra usted que es un enfoque completo y comprehensivo?
¿Cómo reorganizaría usted el enfoque para mejorar la versión presente?
2. ¿Fue oportuno ese estudio para aquellos que ejecutan el programa que
fue evaluado? ¿Qué puede usted averiguar sobre la historia de la
utilización de este informe?
3. Prepare una presentación oral para un grupo de agricultores con base
en un estudio evaluatívo realizado en su país sobre el tema de las
innovaciones agrícolas.

Parte VI
Algunas Inquietudes Importantes
Relacionadas con la Evaluación
En esta parte del libro se discuten los aspectos políticos de la evaluación y
la necesidad de establecer estándares para las meta-evaluaciones. Otro
asunto importante relacionado es la capacitación de los evaluadores, que
aquí también se presenta. Esta parte se divide en tres capítulos:
17. Los Aspectos Políticos de la Evaluación, Etica y Estándares
18. La Capacitación en Evaluación en el Tercer Mundo
19. Conclusiones.

CAPITULO 17
LOS ASPECTOS POLÍTICOS DE LA EVALUACIÓN,
ETICA Y ESTÁNDARES
La información es poder. Esto puede relacionarse con cuestiones políticas.
En consecuencia, la evaluación, que crea información "objetiva" sobre la
efectividad de las acciones de alfabetización y desarrollo, tiene
implicaciones políticas. Con el fin de establecer esta objetividad es
necesario observar estándares técnicos y éticos.
El manejo de los aspectos políticos de la evaluación
¿Cómo podemos manejar los aspectos políticos de la evaluación? No
pueden enseñarse fórmulas a prueba de fuego. En todo caso, la mayoría de
quienes hemos trabajado (y sobrevivido) dentro de las burocracias, no
somos ingenuos respecto a las políticas de supervivencia y avance dentro
de ellas. Probablemente, cada uno de nosotros está calificado en el arte de
sobrevivir por diversos medios. Aun así podemos dar algunas sugerencias
generales para manejar los aspectos políticos de la evaluación.
Hay dos aspectos que considerar: (a) el evaluador no debe ser castigado
por llevar a cabo la evaluación, la cual puede haber producido información
"embarazosa" que para algunos puede resultar molesta; y (b) la información
producida por el estudio debe ponerse en práctica. Surgen problemas de
tipo político cuando, por una parte, el evaluador pretende capitalizar
demasiado el estudio; y, por la otra, cuando crea información que amenaza
a quienes están involucrados dentro del sistema. Sin embargo, aun sin
comprometer la propia integridad personal y profesional se puede tratar de
aminorar los efectos políticos del estudio evaluativo.
Defender el derecho de realizar la evaluación
Defienda su derecho de llevar a cabo la evaluación. Haga saber que la
evaluación es parte integral del trabajo de alfabetización, para que ésta sea
de calidad Refiérase a algunas citas de un discurso presidencial, documentos

288 Aspectos Políticos de la Evaluación
de planificación o publicaciones e informes de la institución que orienta el
programa. La institución debe haber declarado que la evaluación es un
aspecto necesario en el cumplimiento de su misión, aunque nadie haya
prestado mucha atención a este objetivo en particular. En una situación
educativa (a diferencia de una situación administrativa) puede defenderse
el derecho a evaluar como parte de un interés profesional. Se asume que
usted, como profesional, está interesado en la evaluación.
Mantener el perfil bajo
Es necesario que el evaluador mantenga un perfil bajo y tenga un sentido
de modestia respecto al estudio evaluativo que haya realizado. No debe
exigir ser cosiderado una estrella en el firmamento institucional. Debe
presentar su informe sin mucha pompa, en realidad, como una recolección
de información de retomo acerca del programa. Este no debe ser proclamado
como un producto fuera de serie.
Proporcionar un marco de expectativas sobre los resultados de la
evaluación
Nunca se encontrará un programa ejecutado con un nivel de eficiencia del
100%. Especialmente en programas de cambio social, a veces un nivel de
participación bajo como es el de 30% puede ser considerado aceptable.
Antes de presentar la información de retorno sobre la ejecución de un
programa, debe indicarse cuál sería el nivel razonable de ejecución que
puede esperarse, Los hallazgos deben presentarse, entonces, dentro de este
marco. En otras palabras, aquellas personas que lean el informe evaluativo
deben conocer los estándares y unidades de medición seguidos para juzgar
el éxito o fracaso de un programa de alfabetización u otra acción en el área
del desarrollo. Sin estas normas el lector no puede saber si debe sentirse
satisfecho o no con el conjunto específico de resultados presentados.
Como hemos afirmado en otra parte, el interés debe radicar en encontrar
causas, no en acusar a alguien. Esto no significa que el personal que tiene
a su cargo el programa no habrá fallado nunca ni que, como evaluadores,
tengamos que encontrar excusas para ellos. Aun así, no deben confundirse
los procesos y el personal a la hora de otorgar créditos o determinar
culpas. Debe mantenerse el equilibrio necesario.

Aspectos Políticos de la Evaluación 289
Comenzar con un informe en "borrador"
Una parte importante de la estrategia política puede ser presentar a los
colegas un "borrador" del informe, ofreciéndoles la oportunidad de preparar
la versión final con base en la revisión y discusión entre los colegas. Será
importante neutralizar los aspectos políticos en la versión revisada sin
comprender la integridad de los resultados.
Indicar posibles acciones
Deben insinuarse las acciones que habría que realizar para hacer uso de
los resultados del estudio, distinguiendo entre lo que está bajo el control de
la institución y lo que escapa a sus posibilidades. Se comienza por lo que
podría hacer la institución dentro del mandato que le corresponde -tal
como la revisión del currículo, la preparación de nuevos procedimientos
para aplicar pruebas, etc. Si la ejecución de los hallazgos demanda algún
trabajo adicional, ofrézcase a hacerlo por sí solo o con la ayuda de un
grupo o comité. Lo que aquí sugerimos no siempre funcionará, pero
aumentará las probabilidades de que el estudio evaluativo ejerza influencia
sobre las acciones que se den dentro de la situación del centro o instituto
de capacitación.
La ética de la evaluación
Se asume que los profesionales sean autodisciplinados y las instituciones
profesionales constituyan sub-culturas normativas autorizadas. Por esta
razón, el comportamiento ético ha sido siempre algo importante en la vida
profesional de médicos, abogados, maestros, ingenieros y desde luego, de
los investigadores y evaluadores.
Puesto que ha habido políticos, burócratas, banqueros y clérigos que
han hecho de su venalidad un espectáculo de televisión, el problema de la
ética de los profesionales ha llegado a ser en los Estados Unidos un tema
de gran interés. Desde luego, esta falta de estándares éticos en la vida
diaria no es exclusiva de los Estados Unidos. Los problemas éticos realmente
han aparecido en todo el mundo.
En evaluación, las cuestiones que se relacionan con la ética surgen en
diferentes contextos. Habrá problemas éticos si:

290 Aspectos Políticos de la Evaluación
1. El estudio evaluative» se lleva a cabo para avergonzar a alguien,
destruir un programa o legitimar acciones sobre las cuales ya han
tomado decisiones los políticos;
2. los datos de la evaluación son inventados o se han arreglado con
cierta intención o si se estimulan o se es cómplice de
comportamientos antisociales o criminales de modo que el
evaluador pueda obtener los datos requeridos;
3. no se garantiza la privacidad de los informantes y se incurre en
violaciones de su integridad personal;
4. se falsifican los datos durante el análisis para adecuarlos a
propósitos personales o políticos; y
5. los resultados de una evaluación se retienen con propósitos
egoístas.
Desde luego, no es posible garantizar el comportamiento ético de los
evaluadores. Sin embargo, sí es posible discutir todos los dilemas éticos
que es probable que se enfrenten, para enseñar a los evaluadores que
aprendan a comprometerse con la toma de decisiones dentro de los marcos
de la ética.
Estándares de evaluación: la evaluación de las evaluaciones
Los evaluadores deben responder por su trabajo, que debe ser juzgado de
acuerdo con algunos estándares convenidos sobre los aspectos de
competencia técnica y de ética.
El Comité Conjunto de Estándares para las Evaluaciones Educativas
de los Estados Unidos ha elaborado 30 estándares que sugiere se conviertan
en la filosofía de los evaluadores, les guíen, y gobiernen los esfuerzos
evaluativos que realizan los educadores (y los agentes de desarrollo) 1 . A
continuación se presenta un resumen de éstos:
Resumen de los estándares para las evaluaciones
A. Estándares de utilidad
La evaluación debe satisfacer necesidades prácticas de información.

Aspectos Políticos de la Evaluación 291
1 A(l) Identificación de la audiencia
Deben identificarse las audiencias interesadas o afectadas por
la evaluación.
2 A(2) Credibilidad del evaluador
El evaluador debe ser digno de confianza y competente.
3. A(3) Alcance y selección de la información
El alcance y la selección de la información recogida debe
permitir dar respuesta a las preguntas pertinentes.
4. A(4) Interpretación valorativa
Los juicios de valor emitidos por los evaluadores deben
presentarse claramente a los lectores.
5. A(5) Claridad de informe
Los objetivos, procedimientos empleados, resultados y
recomendaciones deben establecerse con claridad.
6. A(6) Difusión del informe
Deben difundirse los resultados para ser utilizados.
7 A(7) Oportunidad del informe
La evaluación debe completarse a tiempo para ser utilizada
por los que toman las decisiones.
8 A(8) Impacto de la evaluación
Los evaluadores deben propiciar que haya un seguimiento
por parte de las audiencias interesadas.
B. Estándares de factibilidad
La evaluación debe ser realista, prudente, diplomática y frugal.
9 B(l) Procedimientos prácticos
Los procedimientos deben ser prácticos y deben evitar
introducir perturbaciones en el trabajo normal.
10 B(2) Viabilidad política
Los evaluadores deben procurar la cooperación de diversos
grupos interesados, evitar sus ataques y asegurarse que no se
utilicen mal los resultados.
11 B(3) Costo-efectividad
Los resultados deben justificar los recursos invertidos.

292 Aspectos Políticos de la Evaluación
C. Estándares de lo que es correcto
La evaluación debe llevarse a cabo legal y éticamente y debe contribuir al
bienestar humano.
12 C(l) Obligación formal
Pueden desarrollarse obligaciones formales y contratos entre
las diversas partes involucradas (especialmente en el caso de
evaluaciones externas).
13 C(2) Conflicto de intereses
Deben evitarse los conflictos de intereses y si esto no es
posible deben abordarse en forma abierta y honesta.
14 C(3) Exposición completa y franca
Los hallazgos pertinentes deben ser completamente expuestos;
las limitaciones deben establecerse con franqueza.
15 C(4) El derecho del público a conocer
Debe respetarse el derecho del público a conocer los resultados
de la evaluación (a no ser que haya un problema de privacidad
individual o seguridad pública).
16 C(5) Derechos de los sujetos humanos
Estos deben ser respetados y protegidos
17 C(6) Interacciones humanas
En su interacción con los sujetos, los evaluadores deben
respetar la dignidad y el valor de los individuos
18 C(7) Informe equilibrado
La presentación de la información debe equilibrar los puntos
fuertes y las debilidades de lo que se evalúa.
19 C(8) Responsabilidad fiscal
Deben rendirse cuentas de los recursos financieros y de otro
tipo que se hayan invertido.
D. Estándares de precisión
La evaluación debe entregar información técnicamente adecuada.
20 D(l) Identificación del objeto
Debe identificarse claramente lo que se está evaluando.

Aspectos Políticos de la Evaluación 293
21 D(2) Análisis del contexto
El contexto de la evaluación debe ser suficientemente descrito,
de modo que pueda identificarse su influencia sobre el objeto
evaluado.
22 D(3) Descripción de los propósitos y procedimientos
Los propósitos y procedimientos de la evaluación deben ser
descritos con bastante detalle
23 D(4) Fuentes de información justificadas
Las fuentes de información deben ser discutidas de modo que
el lector pueda ver si se justifica su selección.
24 D(5) Mediciones válidas
Los instrumentos de evaluación deben elaborarse y aplicarse
de manera que aseguren su validez.
25 D(6) Mediciones confiables
Los instrumentos de evaluación deben elaborarse y aplicarse
de manera que aseguren su confiabilidad.
26 D(7) Control sistemático de los datos
Los datos deben ser revisados y corregidos en las distintas
etapas del estudio.
27 D(8) Análisis de la información cuantitativa
El análisis debe ser apropiado y sistemático.
28 D(9) Análisis de la información cualitativa
El análisis debe ser apropiado y sistemático.
29 D( 10) Conclusiones justificadas
Las conclusiones deben ser explícitamente justificadas.
30 D( 11 ) Informe objetivo
La información debe presentarse en forma objetiva y libre de
sesgos.
Algunos de estos estándares pueden parecer a los evaluadores que
trabajan en culturas distintas a la de los Estados Unidos (donde éstos se
acordaron) demasiado duros y otros demasiado remilgados y fastidiosos.
Sin embargo, en todas partes los evaluadores deben tenerlos en cuenta en
la medida de lo posible.

294 Aspectos Políticos de la Evaluación
Cosas para hacer o para pensar
1. ¿Qué opina usted sobre la posibilidad de poner en práctica las
sugerencias que se hicieron en la primera parte de este Capítulo para
manejar los aspectos políticos de la evaluación?
2. Evalúe algún estudio evaluativo realizado en su país en términos de
los 30 estándares de evaluación enumerados aquí.
Nota
1. The Joint Committee on Standards for Educational Evaluation.
Standards for Evaluations of Educational Programs, Projects and
Materials. New York, NY: McGraw-Hill, 1981.

CAPITULO 18
LA CAPACITACIÓN EN EVALUACIÓN
EN EL TERCER MUNDO
La capacitación de evaluadores es un desafío en cualquier contexto, pero
en el ambiente del Tercer Mundo presenta problemas especiales. La
capacidad local para hacerlo es casi inexistente. Generalmente, la
capacitación de la evaluación, llega a estos países a través de personas de
fuera; y frecuentemente, en el marco de la asistencia técnica. El Modelo
de Capacitación en la Acción (MCA) que aquí se presenta se desarrolló
inicialmente para ofrecer capacitación en evaluación a agentes de
alfabetización y desarrollo de Kenia entre 1979 y 1982. Desde entonces,
ha sido sometido a prueba en distintas situaciones en varios países
diferentes. Ahora se presenta como un modelo de que puede elegirse entre
otros para llevar a cabo programas de capacitación dirigidos a personal
que trabaja en evaluación. El MCA se ha adaptado muchas veces para
ser usado en un país por capacitadores en evaluación y para la capacitación
en el área del desarrollo en general, en el Tercer Mundo. Otras veces,
algunos componentes seleccionados del modelo han sido incorporados a
otros programas de capacitación.
Este libra fue concebido y escrito como parte de un enfoque de capacitación
particular que se concretó en el "Modelo de Capacitación en la Acción"
(MCA). 1 Desde luego, el libro no está atado exclusivamente al modelo
sino que sirve a objetivos múltiples y podrá utilizarse en situaciones de
capacitación variadas.
El Modelo de Capacitación en la Acción se desarrolló y sometió a
prueba inicialmente en el contexto de una serie de talleres de evaluación
en Kenia durante 1979-82. El M C A se ha usado en otras situaciones de
capacitación para capacitar a los que desarrollan currículo, a los que escriben
material para los nuevos alfabetizados, y en talleres para producir materiales
de educación a distancia en Botswana, Kenia, Malawi y Zimbabwe entre
1979 y 1990 bajo los auspicios de la Fundación Alemana para el Desarrollo
Internacional. La experiencia directa con el modelo y su evaluación

296 La Capacitación de la Evaluación
sistemática han señalado su efectividad. 2 Por lo tanto, podemos
recomendarlo como un modelo efectivo para la capacitación de personal
de los niveles intermedios en situaciones de desarrollo. Aunque el M C A
fue desarrollado en un contexto internacional de asistencia técnica, se ha
utilizado con igual efectividad en situaciones internas a nivel nacional. En
condiciones en las cuales la utilización completa del modelo no ha sido
posible por escasez de recursos o falta de aceptación total por los
involucrados, se han usado algunos de sus componentes para ofrecer la
capacitación con resultados sumamente satisfactorios.
Bajo cualesquiera circunstancia la capacitación de evaluadores es difícil. 3
Y aun más en las condiciones del Tercer Mundo. Las instituciones de
educación superior en los países del Tercer Mundo pocas veces cuentan
con los recursos necesarios para ofrecer capacitación profesional en
evaluación ni a sus estudiantes ni a quienes ya se están desempeñando
productivamente. Los departamentos de educación del gobierno, o los
institutos especiales de capacitación para el desarrollo están igualmente
mal preparados para ofrecer este tipo de capacitación a su personal. El
problema no se soluciona por el hecho de que son muy pocas las personas
que podrían conformar un núcleo inicial de capacitadores por su experiencia
como investigadores, adaptando sus habilidades al área de la evaluación.
Finalmente, las normas y expectativas institucionales, en general, no son
favorables a la evaluación. Es muy poca la tolerancia ante información
evaluativa, que pueda arrojar malas noticias sobre algunas personas y
programas en la cultura política de la mayoría de las naciones.
El Modelo de Capacitación en la Acción (MCA)
El M C A fue diseñado para superar los problemas que se han enunciado.
Desde luego, no surgió de la nada. Aprendimos de nuestra experiencia y
vivimos un proceso continuo de reinstrumentación y refinamiento del
modelo a lo largo de muchos meses y años.
También debe indicarse aquí que la introducción del M C A en nuevas
culturas de capacitación no deja de presentar problemas: Mientras que casi
todo el mundo -planificadores, "personas recurso" y sujetos de la
capacitación- estarían de aucuerdo con el enfoque a nivel retórico, habrá
mucha demora a la hora de la ejecución. La certeza es cómoda y la falta de
seguridad suscita ansiedad en todos. Da mucha más tranquilidad haber

La Capacitación de la Evaluación 297
establecido objetivos de capacitación, horarios bien diseñados, lecturas de
apoyo a las conferencias escritas y reproducidas de antemano, aun cuando
los objetivos adoptados sean irrelevantes, la totalidad de los materiales
sean académicos y no se produzca aprendizaje alguno durante la
capacitación. Trabajar en un sistema de capacitación vivo, con objetivos
reales, necesidades de aprendizaje concretas y demandas de una información
particular no sólo está lleno de incertidumbres sino que constituye un gran
desafío para todos los involucrados. Los planificadores temen perder el
control y no estar en condiciones de aprobar o sancionar lo que sucederá
durante la capacitación. Las "personas recurso" (facilitadores) en el sitio
de la capacitación temen equivocarse y sentirse expuestas a la crítica. Los
sujetos de la capacitación tienen miedo de asumir la responsabilidad de su
propio aprendizaje.
Algunas descripciones analíticas del M C A y las evaluaciones de su
ejecución han sido publicadas en otra parte. 4 Aquí describiremos el modelo
en sus pasos más o menos cronológicamente y en términos familiares para
los usuarios.
La ideología de la asistencia técnica y la filosofía de la transferencia del
conocimiento por medio de la capacitación
Compromisos a largo plazo
Si hicieron compromisos a largo plazo. Esto se esperaba de los organismos
donantes, las instituciones del país que recibía la ayuda, los miembros de
la facultad del taller, los facilitadores y, desde luego, de los participantes.
En la mayoría de los casos no había un contrato legal pero había expectativas
de compromiso a largo plazo, las cuales se cumplieron casi siempre.
Proyectos internacionales, regionales y nacionales
En la asistencia técnica tiene cabida todo tipo de programas o proyectos:
internacionales, regionales, nacionales y sub-regionales. Sin embargo, la
capacitación del personal a los niveles intermedios funciona mejor en el
contexto nacional. Las necesidades nacionales pueden definirse con mayor
claridad. Puede capacitarse a un número bastante grande de personas para
dotar al país de un contingente crítico de recurso humano capacitado en un
sector profesional nuevo. Pueden mantenerse bajos los costos, ya que los
costos de transporte dentro del país son más bajos y no se aplican en la
mayoría de los casos las tasas de transporte y viáticos internacionales.

298 La Capacitación de la Evaluación
Transferencia de responsabilidad
La transferencia de responsabilidad a los profesionales del país anfitrión
deben, desde luego, ser una consideración importante en todo tipo de
asistencia técnica, incluyendo la que se refiere a la transferencia de
conocimientos por medio de la capacitación. No se justifica que haya una
dependencia continua de un equipo de extranjeros. Puesto que la
responsabilidad sólo puede ser transferida a profesionales nacionales que
estén dispuestos y capacitados para aceptarla, requiere la capacitación
profesional de la facultad del país y otros facilitadores.
Esta orientación y capacitación deben ser parte importante del proyecto
de capacitación.
Institucionalización de iniciativas
Las habilidades adquiridas a través de la capacitación y la experiencia
local se viciarán si no existen estructuras para "contener" las habilidades y
capacidades aprendidas. Esas estructuras pueden ser oficiales o no
gubernamentales, esto es, voluntarias. En cualquier caso, es necesario
institucionalizar, es decir, integrar el programa a los programas existentes
es una institución del país que se considere apropiada, y comprometer
recursos locales. Tanto la propiedad como la responsabilidad del programa
deben trasladarse al país a su debido tiempo.
Intervenciones generadoras
Las intervenciones generadoras son fértiles. Tienen consecuencias favorables
para una multiplicidad de sistemas interconectados por un período de
tiempo. En la evaluación hay un proceso generador inherente. Es, en
efecto, la contraparte de la "planificación" e interactúa directamente con la
gestión y la ejecución. Sin embargo, los aspectos generadores de la
capacitación en evaluación no deben dejarse que surjan en las mentes de
los sujetos de la capacitación, pero deben señalarse explícitamente.
La planificación colaborativa
La colaboración es la clave de toda planificación y de toda capacitación.
Es necesaria ideológicamente, puesto que las personas deben tomar el
control de su propia capacitación y socialización. Pero la colaboración es
también sabia funcionalmente, ya que las personas a nivel local poseen
información sobre sus comunidades y sus culturas que no es accesible a un
planificador o capacitador externo. También puede decirse que las personas

La Capacitación de la Evaluación 299
se motivan más a actuar si han tenido cierta participación en la planificación,
diseño y ejecución del programa. Las estrategias de cooperación deben
poder aplicarse en todas las situaciones de decisión, de aprendizaje y de
evaluación en los diferentes niveles.
Obligaciones mutuas
Las obligaciones mutuas de los capacitadores y de los sujetos capacitados
deben establecerse claramente. Los capacitadores, sean de fuera o
nacionales, no deben tratar de "comprar" a los participantes para que
colaboren con sus programas y proyectos de capacitación.
En la serie de talleres sobre evaluación de Kenia, una vez que se
recibían los participantes, se esperaba que trabajaran. Si un participante no
era capaz de completar el trabajo de campo requerido entre el primer taller
y el panel para la revisión del trabajo (o el siguiente taller), se le pedía que
no regresara. En algunos talleres se devolvió a uno o dos participantes que
no trajeron su trabajo terminado.
Pompa mínima
Los talleres del M C A eran talleres de trabajo. Había un mínimo de pompa.
Las ceremonias de apertura y de clausura sólo tenían lugar cuando era
necesario dar relieve a nivel nacional a algún asunto en particular o cuando
se invitaba a alguna institución o a líderes importantes.
Evaluación interna
El material de este libro puede utilizarse para llevar a cabo evaluaciones
pequeñas o a gran escala, internas y extemas. Sin embargo, el M C A está
basado en los supuestos de la evaluación interna. Creemos que la evaluación
es un instrumento del que dispone el profesional de la alfabetización, no
un arma de la política educativa; y pensamos que es para buscar causas, no
culpables, razones, no rechazados. Aunque la evaluación externa seguirá
siendo realizada por agentes de afuera, al servicio de los intereses de la
política de la institución y las necesidades de asignación de recursos,
creemos que el personal de los niveles intermedios que se desempeña en
áreas de desarrollo debe ser capacitado para llevar a cabo la evaluación de
sus propios programas por sí mismos, para obtener continuamente
información de retomo acerca de los éxitos de sus programas y detectar en
qué pueden estar fallando.

300 La Capacitación de la Evaluación
Tiempo y esfuerzo de modelamiento
El M C A expande el tiempo. No todo tiene que hacerse dentro de los
límites de un taller de dos semanas. Los participantes pueden regresar a
sus ocupaciones y trabajar por sí mismos. En efecto, el enfoque de capacitación
desarrollado consiste en un ciclo de una duración aproximada de
un año compuesto por dos talleres (Al y A2) de dos semanas cada uno
con un panel (Pa) hacia la mitad. Un segundo ciclo de dos talleres (Bl y
B2) y un panel (Pb) se traslapa con el ciclo A como sigue:
(Al)...(3-4 meses)...(Pa)...(3-4 meses)...[(A2)(B1)]...
(3-4 meses).. .(Pb).. .[(B2)(C1)], etc.
Cada uno de los dos períodos de tres o cuatro meses de duración se
usaba sistemáticamente como parte del ciclo de capacitación (los paneles
después se convirtieron en talleres completos). Estos eran períodos de
"aprender haciendo" -proporcionaban el tiempo para la acción.
Efectivamente, es de esta característica que el modelo toma el nombre de
capacitación en la acción, pues demanda de los sujetos una acción en la cual
se aplican en su trabajo o en la vida real en situaciones institucionales, las
habilidades que aprendieron durante la capacitación.
La Planificación del Proyecto General
Descripción del proyecto
La descripción del proyecto por escrito era el primer paso de la planificación
de un taller (o serie de talleres, según se considerara apropiado). Esta se
convertía en un instrumento de discusión y comunicación entre todos los
involucrados. Se utilizaba para explicar el proyecto a los funcionarios de
los ministerios, las instituciones anfitrionas, los patrocinadores, los
participantes potenciales y quienquiera que estuviera interesado. La
descripción contenía mucha de la información que incluimos en este capítulo
sobre la capacitación.
La selección de una institución
Ya hemos mencionado la necesidad de institucionalizar las iniciativas
cuando son foráneas. La selección de una institución que se responsabilice
de la capacitación en evaluación depende del contexto del país. Una
universidad, puede ser un sitio ideal, pero cualquier institución de

La Capacitación de la Evaluación 301
capacitación en las áreas del desarrollo, en alfabetización, educación para
la salud o planificación familiar podría servir igual, lo mismo que algún
departamento de gobierno o una organización no gubernamental, como
por ejemplo en la India la Asociación de Educación de Adultos de Nueva
Delhi.
La orientación de la facultad a nivel local
Es esencial proporcionar una orientación apropiada a los miembros de la
facultad a nivel local y a los facilitadores. Esto implica algo más que una
introducción al curso por medio de este libro. La ideología y la filosofía
del M C A deben ser explicadas extensamente. El presente capítulo se debe
leer con cuidado y hay que utilizar el material suplementario al que se
hace referencia en las "Notas" de este capítulo.
En efecto, trabajar en el M C A requiere una nueva manera de hacer las
cosas, una nueva socialización para trabajar en talleres. El M C A asume la
existencia de una comunidad de aprendizaje, que comprende a todos los
sujetos de la capacitación y a todos los capacitadores. Estos no vienen,
dictan sus conferencias a la hora fija y se van, simplemente. Se espera que
ellos sean parte del "sistema viviente", lo cual significa que deben estar
presentes todo el tiempo, asumiendo la responsabilidad de lo que sucede.
No siempre está claro a quién le corresponderá qué ni a qué hora. Varios
facilitadores pueden contribuir al desarrollo de una sesión de capacitación
determinada. No hay intervenciones que se consideren como interrupciones.
Un centro de recursos en evaluación
Las bibliotecas profesionales en el Tercer Mundo son absolutamente pobres.
Muy pocas tienen en sus colecciones libros sobre evaluación. Es importante
que como parte de la institutionalization de la iniciativa de capacitación
se establezca un pequeño centro de recursos en evaluación en la biblioteca
de la institución responsable. La colección que se adquiera deberá llevarse
a los distintos lugares donde se realicen los talleres, según se necesite.
Grupo Nacional de Evaluación
Aquellos que sean miembros de la facultad en los talleres y algunas otras
personas deben seleccionarse para constituir un Grupo Nacional de
Evaluación que ayudara a los participantes del taller por correo, por teléfono
o por medio de visitas personales, en el desarrollo de sus proyectos. Este
grupo deberá, en el momento oportuno, formar el núcleo para organizar

302 La Capacitación de la Evaluación
una Asociación Nacional o Regional de Evaluación.
Contacto cor las agencias auspiciadoras
Durante la pre-planificación, los capacitadores deben establecer contactos
con las instituciones que auspiciarán la participación de los sujetos de la
capacitación en los talleres. Estas no serán solamente las instituciones de
alfabetización. Deben incluirse todas las instituciones que llevan a cabo
programas de desarrollo. Puede darse preferencia a las "instituciones de
capacitación" de modo que se logre un efecto multiplicador. Las
instituciones auspiciadoras deberían tener una clara idea de los beneficios
que recibirán, pero también de la importancia del compromiso contraído
por su parte.
La preparación de un taller o serie de talleres específicos
Selección y orientación de la facultad
El núcleo para integrar la facultad puede provenir de la institución que
adquirirá la responsabilidad de esta capacitación, pero el grupo total debe
contar con una representación nacional. Deben asignarse recursos separados
para la orientación de los integrantes de la facultad y el desarrollo profesional
a largo plazo. Como lo indicamos anteriormente, debe quedar muy clara la
forma especial como se hacen las cosas siguiendo el MCA.
Debe recordarse que aunque la facultad haya estado de acuerdo con la
metodología del M C A a un nivel intelectual, en la práctica habrá resistencias.
Es más cómodo para un conferencista presentar un grupo de conferencias
ya preparadas y contestar unas pocas preguntas que satisfacer las muchas
y variadas demandas que se hacen a un instructor en el contexto del MCA.
La selección de los participantes
No debe solicitarse simplemente a las instituciones que envíen delegados a
un taller. Debe considerarse una combinación del mérito y el interés
personal, por una parte, y el compromiso institucional, por la otra. Esto
quiere decir que los individuos deben postular, los responsables del taller
seleccionarlos y la instituciones acceder a comisionar a los participantes
para cumplir una función oficial. La selección debe ser precedida siempre
por entrevistas en los lugares de trabajo de los candidatos. Debe explicarse
claramente a todos los interesados el tipo de compromiso que se exige de
los participantes.

La Capacitación de la Evaluación 303
La elección del lugar
La sede debe permitir que las incomodidades e interferencias sean mínimas.
Debe evitarse que los participantes lleven sus automóviles particulares.
Diagnóstico de necesidades
Debe realizarse un diagnóstico general de necesidades, no para discutir un
currículo, sino para desarrollar un concepto sobre cuáles podrían ser las
necesidades y conceptualizar un "currículo tentativo". Probablemente
surgirán tópicos como los siguientes:
¿Qué es la evaluación?
La planificación y la gestión de la evaluación
- La elaboración de propuestas de evaluación
- La formulación de ítemes
Cartilla de evaluación
- La elaboración de informes, etc.
Algunos grupos pueden desear capacitarse en el diseño y utilización
de un sistema de Información para la Gestión (SIG). Otros querrán llegar a
ser capaces de manejar la EN. En todo caso, hablamos de no focalizar
demasiado la capacitación. No queremos adelantarnos al esfuerzo que
honestamente se haga por reinventar el currículo en el contexto local, con
la colaboración del grupo real de participantes.
En la sede, durante el taller
Preparación de la sede
La sede debe ser cómoda y agradable. Las instalaciones deben incluir un
salón grande con mucho espacio disponible en la paredes, en el cual
puedan acomodarse de 35 a 40 personas sentadas en una disposición en
forma de herradura. En otras palabras, los participantes deben sentarse
como en una mesa redonda y no enfilas como en la escuela. Debe haber,
además, cuatro recintos disponibles para el trabajo en grupos y una oficina
para la secretaría. Debe haber un saloncito adyacente donde los integrantes
de la facultad pueden atender las consultas individuales. La iluminación
debe ser buena en todas las áreas, incluyendo los dormitorios. Finalmente,
debe haber también un salón social con radio y periódicos.

304 La Capacitación de la Evaluación
Recepción e inscripción
Es importante que la recepción e inscripción de los participantes se maneje
bien, de modo que los participantes se sientan bienvenidos e integrados.
Los recursos en la sede
Debe haber suficientes recursos para la instrucción en el taller: materiales
para distribuir entre los participantes y facilitadores; papel, lápices, reglas,
tijeras, etc. y la biblioteca móvil de libros sobre evaluación que debe
traerse.
El primer día de taller
El primer día del taller es el más importante. Debe comenzar con una
sesión plenaria. Es importante que ésta se dirija bien, pero a veces los
participantes pueden sentirse sobrecargados por tener un presidente, un
moderador y un maestro de ceremonia. No debe perderse mucho tiempo.
En lo posible una sola persona debe dirigir la sesión a no ser que solicite
ayuda.
Es esencial que los miembros de la facultad constituyan un equipo y
construir una comunidad que aprenda involucrando a cada participante.
Lo primero que debe hacerse es la presentación por parte de los participantes.
Ellos, además, deben llenar un formulario con sus datos personales sobre
el cual hagan su presentación y sirva luego para preparar el directorio de
participantes. El tiempo dedicado a la presentación es un tiempo bien
invertido, no hay que apresurarse.
Debe solicitarse a los participantes que expresen lo que desean aprender
en el taller. Deben escribirse con paciencia las palabras claves que
representen todos los intereses, en cartulinas o papel que se exhiba en las
paredes. Una vez que todos hayan tenido la oportunidad de expresar sus
intereses, estos se agrupan y se establece una secuencia de necesidades de
aprendizaje.
Se les explica entonces cómo se procurará atender a sus intereses tanto
como sea posible en el programa del taller. Y se les debe indicar por qué
no se les ha dado un horario pre-establecido, sino que se va a construir el
programa del taller, una versión particular adaptada a sus necesidades. Es
importante indicar que irán conociendo más el Modelo de Capacitación en
la Acción (MCA) según se vaya desenvolviendo el taller, después de
hacerles una presentación general.

La Capacitación de la Evaluación 305
Tras explicar el papel de un comité de animación, éste debe establecerse.
Debe incluir de cinco a siete personas, entre las cuales por lo menos dos
sean participantes. Todos los asistentes pueden turnarse en hacer parte del
comité. Se explicará lo que se hará en las reuniones del comité de animación
y por qué.
Al distribuir los materiales del taller, se debe hacer algún comentario
sobre ellos, es decir, hacer que los participantes se familiaricen con lo que
contienen los materiales y cómo pueden utilizarlos durante el taller.
Se debe hablar de los distintos métodos que se utilizarán para la
instrucción -las sesiones plenarias, el grupo, la consulta entre los
participantes y el trabajo individual dentro de situaciones colectivas.
Finalmente, se permitirá que el grupo aprenda "el lenguaje del discurso",
esto es, los significados y definiciones de los términos de evaluación que
deben conocer para comenzar a trabajar. Esto será más que suficiente para
el primer día. No debe ser causa de preocupación si hay que dejar algo
para la primera parte del día siguiente.
La primera reunión del comité de animación
En la primera reunión del comité, el director del taller, como presidente
provisional del comité, debe hacer un recuento sobre el papel que juega el
comité de animación en todo el MCA. Debe destacarse que el comité de
animación es el instrumento de evaluación formativa del taller, un
mecanismo de reflexión colectiva y de control que debe ejercer el grupo y
no el equipo de expertos de fuera. Las preguntas que se hará el comité al
finalizar cada jornada deben ser siempre las mismas: ¿Qué tal fue el día de
hoy? ¿Estamos haciendo lo mejor que podemos -los facilitadores, el
personal, los participantes? ¿Estamos todos aprendiendo? ¿Están
comprometidos los participantes? ¿Logramos lo que esperábamos para
hoy? ¿En qué tuvimos éxito y en qué fallamos? ¿Qué debíamos haber
hecho de otra manera? ¿Con base en lo que ahora sabemos, cuál debe ser
el plan para mañana? ¿Qué debe hacer quién, cuándo, tomando cuánto
tiempo?
El comité de animación no necesita reunirse por más de una hora.
Desafortunadamente, algunas reuniones del comité se han extendido por
dos o tres horas. Así que debe haber equilibrio entre la democracia y la
efectividad al dirigir la reunión. Es oportuno que sólo personas que hayan
tenido experiencia dirijan las reuniones del comité. Puede ser una buena
idea solicitar al coordinador local del taller que asuma la dirección

306
La Capacitación de la Evaluación
permanente de este importante mecanismo de planificación y evaluación
formativa.
Para evitar tener que programar el comité de animación para cada día,
se establece la hora y el lugar en que sesionará diariamente durante toda la
duración del taller.
El segundo día en adelante
Cada día debe comenzar con una breve sesión plenaria, en la cual se hacen
los anuncios de tipo administrativo que se requiera y luego se presenta un
resumen del programa del día anterior tal como realmente se desarrolló y
un resumen de las deliberaciones del comité animador de la tarde anterior.
Se recordará a los participantes seleccionados que deberán asistir a la
reunión del comité. Entonces se continuará con el programa tal como se
haya convenido en el comité animador, una vez aprobado por los
participantes.
La estrategia de instrucción central de los talleres de evaluación
La estrategia instruccional debe propiciar que todos y cada uno de los
participantes elabore una propuesta de evaluación aceptable para ser
ejecutada a su regreso al trabajo. Todo lo demás que se haga debe apoyar:
(i) el desarrollo de la propuesta de evaluación, y (ii) el aprendizaje de
conceptos y habilidades que permita a los participantes desarrollar planes
de evaluación en el futuro por cuenta propia.
Los materiales de instrucción esenciales
Hay una tendencia por parte de los participantes de los talleres a recolectar
los documentos, las notas y los esquemas de las conferencias. Los
conferencistas padecen del mismo mal en los talleres. Aunque puede ser
necesario distribuir algunas notas y esquemas, debe evitarse la tendencia a
rehacer lo que ya está en los documentos o textos del taller. Debe hacerse
uso del manual elaborado para el taller y ahorrar tiempo y recursos, los
cuales deben orientarse hacia la enseñanza y el aprendizaje.
Situaciones de instrucción ampliadas
Se visualizan por lo menos cuatro diferentes formas instruccionales: las
sesiones plenarias, en las cuales se dan insumos o se ofrecen los aportes
individuales o de los grupos al conjunto de participantes; el trabajo de
grupos, las consultas individuales y el trabajo individual. Este último debe

La Capacitación de la Evaluación 307
desarrollarse en el contexto de un grupo. Esto es, se puede trabajar
individualmente, pero en una situación grupal, de modo que un facilitador
pueda colaborar con cada uno de los participantes reunidos en determinado
lugar.
Las relaciones entre el facilitador y los participantes
El M C A no se basa en un conjunto de conferencias seguidas de una
discusión cortés. Implica encuentros educativos entre los facilitadores y
participantes en los cuales se provee información de retomo mutuamente.
En las situaciones en que haya diferentes nacionalidades o grupos étnicos
y diversos estatus sociales y burocráticos, la información de retomo que se
produzca debe ser útil y darse con tacto. Esto no es tan fácil. Sin embargo,
cuando las personas han establecido inicialmente relaciones de confianza
tienen mucho que decirse unas a otras. La emoción del aprendizaje
compensa cualquier momento de tensión ocasional.
Ambiente social
Lo anterior constituye una de las razones por las cuales debe prestarse la
debida atención al ambiente social del taller. Algunos de los problemas
que se haya previsto se vayan a presentar deben abordarse abiertamente.
Debe hacerse un uso efectivo de las recepciones oficiales y reuniones
sociales que siempre son parte de estas reuniones nacionales e
internacionales. Una reunión social en la noche del tercer día de un taller
de dos semanas de duración puede ser más útil que una gran fiesta ofrecida
el último día como despedida.
Un perfil bajo de dirección: los días 3,4,5 y demás
El M C A está centrado en los participantes, es participativo y flexible. Pero
esto no significa que en éste el experto no cuente, se margine del proceso
de participación y no quiera servir de guía por miedo de imponer sus
opiniones. Nada estaría más lejos de la realidad. Al centrarse en los
participantes, el M C A les permite participar en la elección de lo que se
aprende y cómo se aprende, pero esto no quiere decir que el experto no
guíe o no enseñe. El M C A es participativo, lo cual no significa que el
experto no participe o no presente el punto de vista que conoce como
especialista. El M C A es flexible, pero es un deber moral del experto no
permitir que la flexibilidad vaya más allá de los límites razonables y evitar
que el evento fracase.

308 La Capacitación de la Evaluación
Una vez que el grupo ha expresado sus necesidades curriculares y
éstas se han exhibido en carteles en las paredes, y una vez que el comité
animador ha entrado en acción, es deber del director del taller mantenerlo
funcionando como un sistema. Esto implica dialogar con los distintos
interesados, mantener discusiones y dar lugar a gran cantidad de reflexión.
El director debe convertirse en "la conciencia" del taller, comunicando
a todos lo que ve que está ocurriendo y por qué. También debe ser quien
se preocupe por el horario, haciendo que el grupo se dé cuenta de cómo se
está utilizando el tiempo y qué cambios podrían ser necesarios para poder
terminar a tiempo la elaboración de la propuesta de evaluación.
Con base en la experiencia previa de haber desarrollado talleres similares
y el contacto con los participantes del taller, el director deberá mantener la
mira en las necesidades expresadas por los participantes y determinar qué
tanto puede hacerse dentro del tiempo disponible restante y cuánto habrá
que dejar para un segundo taller o para ser abordado por otros medios a
distancia.
El director también deberá trabajar con el grupo de facilitadores
procurando que se constituyan en un equipo, ayudándolos a crecer y a
preparar los insumos que ellos ofrecerán.
La víspera del último día
Parte del día anterior al último día del taller debe dedicarse a hacer un
recuento de lo que se ha hecho y lo que falta por hacer, de modo que
puedan tomarse las medidas de emergencia necesarias para dar una
resolución satisfactoria a la experiencia del taller.
El último día y la prospectiva
En el último día deben incluirse por lo menos dos ítemes: una evaluación
de la experiencia del taller y una visión sistemática prospectiva. La
evaluación de la capacitación en evaluación debe ser diseñada por un
grupo en el cual intervengan representantes de los participantes. Se puede
solicitar a todos los participantes que sugieran ítemes para ser incluidos en
la evaluación final. De ser posible debe procesarse la evaluación y
devolverse a los participantes los resultados antes de partir.
Debe darse el tiempo necesario para la mirada prospectiva. Debe quedar
claro lo que hay que hacer, cuándo y cómo. Los participantes deben
comprender lo que deben hacer entre este momento y el próximo taller,
dónde encontrar ayuda, quién pagará por servicios prestados o que se

La Capacitación de la Evaluation 309
obtengan, etc. Debe desarrollarse una programación prospectiva por escrito
como parte de un esfuerzo de cooperación.
Notas
1. Una descripción de la prueba-en-la-utilización del MCA, que fue escrita
al concluir la primera fase del proyecto de Kenia y antes de transferir
la responsabilidad a los colegas de este país en junio de 1982 se ha
incluido en Bhola, H.S., Action training model (ATM): An innovative
approach to training literacy workers. Paris: UNESCO Unit for
Cooperation with UNICEF, marzo 1983. Recientemente se ha publicado
un análisis más sistemático de los supuestos y experiencias con el
MCA en Bhola, H.S., "Training evaluators in the Third World:
Implementation of the Action Training Model (ATM) in Kenya",
Evaluation and Program Planning, Vol. 12 pp. 249-258,1989.
2. Los ejemplos son:
Müller, Josef, "Evaluation of basic education and development training
programmes". Bonn: German Foundation for International
Development, August 1980.
Nturibi, Daudi N., "Experiences in training evaluators from training
and development programmes in Kenya, 1979-82". Bonn: German
Foundation for International Development, January 1983.
Mulusa, Tom, Evaluation of basic education and development training
programmes: Mid-term evaluation of a workshop series. Nairobi:
College of Adult and Distance Education, University of Nairobi, April
1985.
Gachuhi, D. Kenyi, C, y Matiru B., Designing and Writing Distance
Education Materials for Basic Education and Development Training
Programmes (Mid-term Evaluation 1985-1989). Bonn: German
Foundation for International Development.
3. Ver Sechrest, Lee (ed.), Training program evaluators. San Francisco:
Jossey-Bass, 1980. También Davis, Barbara Gross, (ed.) Teaching of
evaluation across the disciplines. San Francisco, CA: Jossey-Bass, 1986.
4. Ver Bhola, H.S., "Training Evaluators in the Third World", op. cit.

CAPITULO 19
CONCLUSIONES
Un libro no puede ser más que una declaración personal de su autor. Aun
así, hemos buscado escribir un libro a nombre de la comunidad profesional
de educadores y evaluadores de la alfabetización de adultos y la educación
no formal. Hemos tomado posiciones claras y, a veces, únicas. Sin embargo,
estas posiciones han surgido de nuestra experiencia en la práctica de la
evaluación en el Africa, Asia y América Latina. Lo que hemos propuesto
no ha surgido de dogmatismos ideológicos o metodológicos, sino de las
realidades de la "cultura de la evaluación" que prevalecen hoy día alrededor
del mundo y particularmente en el Tercer Mundo.
Aunque aceptamos la necesidad de la evaluación externa para hacer
comparaciones interrégionales e internacionales, hemos enfatizado la
evaluación interna. Por eso hemos aceptado la consideración de que el
educador y el evaluador pertenecen a la misma comunidad ideal en continuo
aprendizaje. 1 Hemos sugerido que, idealmente, el papel del evaluador no
debe separarse del papel del educador.
Puesto que esperamos que todos los agentes educativos, incluyendo los
del nivel de base, actúen como evaluadores, hemos tomado parte en
desmitificar la evaluación. Algunos lectores del libro pueden pensar que
hemos presentado las cosas de una manera más sencilla de lo que en
realidad son. A ellos les diremos que a cualquiera que se le da la responsabilidad
de conducir el proceso educativo puede dársele la de conducir el
proceso evaluativo. Dicho esto, señalamos otro punto: que necesitamos
involucrarnos en un proceso continuo de aprender más como educadores y
evaluadores en el contexto de nuestros programas particulares de
alfabetización de adultos y educación no formal. La desmitificación debe
ser seguida por la requerida capacitación en evaluación y el aprender a
evaluar haciendo evaluaciones.
Este libro ha tratado sobre la toma de decisiones "informadas". Esto
tiene una fuerte implicancia a lo largo del mismo: que "la evaluación" se
inscriba bajo la categoría más general de "generación de información".
Hay razones teóricas y prácticas para dar este paso conceptual, pasar del
"concepto de evaluación" a la "categoría de información". La razón técnica
es, desde luego, que evaluar es producir información para tomar decisiones.

Conclusiones 311
Pero las decisiones sobre los programas necesitan algo más que información
evaluativa. Necesitan información descriptiva también. Tomando en
consideración la "categoría de información" que es más amplia, podemos
comprender la necesidad de información que se obtenga de otras fuentes
distintas a los estudios evaluativos ocasionales. La razón práctica para este
paso ascendente, de evaluación a información, es aún más importante.
Cuando se discute el mejoramiento del programa dentro del marco
conceptual de la "evaluación", quienes ejercen la práctica sacan una
conclusión que no se esperaba: que lo que necesitamos para tomar decisiones
efectivas sobre el programa son estudios evaluativos ocasionales.
Surge una confusión entre la parte y el todo. En lugar de pensar en una
"cultura de evaluación" totalizadora en donde se acomoden tanto la
información evaluativa como la descriptiva, terminan centrándose en
pequeños trozos de información generada solamente por estudios evaluativos.
Se pierde de vista la información generada por el programa en el
proceso de ejecución y la información contextual que puede obtenerse de
fuentes externas.
Debemos recordar que hemos sugerido tres formas de abordar la
generación de información: (a) los sistemas de información para la gestión;
(b) la evaluación naturalista y (c) la evaluación racionalista. Juntas
propiciarán el desarrollo de una "cultura de evaluación" dinámica en las
campañas, programas y proyectos de alfabetización de adultos y educación
no formal. Un SIG basado en papel y lápiz es una fuente indispensable de
información descriptiva que puede presentar el perfil del tamaño, el alcance
y la estructura superficial de un programa de alfabetización de adultos.
Vemos el SIG en una relación simbiótica con la EN y la ER. La naturaleza
numérica de un SIG no debe llevamos erróneamente a pensar que el SIG y
la ER son congruentes y el SIG y la EN no guardan relación.
Un estudiante de evaluación principiante puede haber encontrado
algunas partes del libro "muy pesadas de leer". Puede ser que conceptos
tales como "sistema", "paradigma", "reduccionismo" y otros no hayan
quedado claros. El proceso de elaboración que parte de los conceptos para
formular indicadores y de éstos redactar los ítemes de las pruebas puede
parecer sencillo en teoría pero difícil de practicar. Estas no deben ser
razones para desesperarse, sinouna invitación a leer de nuevo y a practicar
más. No esperemos que todos los lectores acepten todo lo que se ha dicho
en este libro. Si el libro se utiliza como un trampolín para buscar otras
fuentes (especialmente en otros idiomas además del inglés) y posiciones

312 Conclusiones
alternativas sobre el concepto y los métodos de evaluación, se habrá logrado
su propósito.
No sólo hemos analizado cómo debe conceptualizarse la evaluación
en una perspectiva holista, 2 sino también cómo debe llevarse a cabo la
capacitación de los evaluadores en situaciones no académicas en el Tercer
Mundo. En esto también, nuestro sesgo ha sido a favor de los enfoques
naturalistas. Hemos hablado de un diseño de la capacitación contextualizado
y del aprendizaje participativo de los conceptos y métodos de la evaluación.
Terminamos este libro comentando que la evaluación es cuestión de
ser al mismo tiempo intelectualmente disciplinado, agudamente perceptivo
y maravillosamente intuitivo. También debe decirse que los evaluadores
tienen que ser algo más que metodológicamente astutos: tienen que ser
morales.
Notas
1. Marshall, James y Peters, Michael. Evaluation and education: The
ideal learning community, Policy Sciences 18 (1985), pp. 263-288.
2. Chinapah, Vinayagum, y Mirón, Gary. Evaluating Educational
Programmes and Projects: Holistic and Practical Considerations. Paris:
UNESCO, 1990.

GLOSARIO DE TÉRMINOS
Análisis conceptual. Proceso "de desarrollar" los conceptos para definirlos
con tal precisión que para la mayoría de los lectores tengan significados
innovadores al máximo.
Análisis de contenido. Identificar, categorizar y hacer un listado de
conformidad con ciertas reglas, ideas, referencias, sentimientos o juicios
que se encuentran en un conjunto de transcripciones, documentos, etc.
Análisis de costo-beneficio. La apreciación de los insumos y resultados de
un programa en términos de valores monetarios.
Análisis de costo-efectividad. La apreciación de los insumos, procesos y
resultados de un programa en términos de la efectividad de los medios
empleados para obtener los fines.
Análisis de datos. El proceso de identificar ideas, temas o hipótesis a partir
de los datos y el uso de los mismos para sustentarlas.
Análisis de varianza (ANOVA). Un método para determinar si las
diferencias encontradas entre los grupos son estadísticamente significativas.
Análisis estadístico. Examen de las relaciones complejas entre variables
que utilizan datos empíricos y las reglas de las estadísticas.
Análisis modus operandi. Procedimiento similar a la labor detectivesca,
por la cual se hacen hipótesis sobre causas y efectos y éstas se someten a
prueba y se analizan para llegar a establecer los patrones de eventos más
probables y sus consecuencias.
Apareamiento. Proceso por el cual los sujetos que se asignan a grupos
diferentes pueden considerarse lo más equivalentes posible (el apareamiento
puede hacerse sobre variables como sexo, edad, educación, estatus socioeconómico,
etc. Unos gemelos estarán perfectamente apareados para los
propósitos de algunos estudios).

314
Apreciaciones rápidas. Evaluaciones efectuadas con rapidez, menos
comprehensivas y menos exhaustivas que las regulares y que se conducen
bajo condiciones de emergencia para investigar la causa de un fracaso o
anticipar problemas para obtener rápidamente resultados sobre el impacto
de un programa.
Auditoría de una evaluación. Examen y verificación por parte de otro equipo
independiente de la calidad de un plan de evaluación, la adecuación de su
ejecución, la precisión de sus hallazgos y la validez de sus conclusiones.
Capacitación para el desarrollo. La capacitación de agentes de cambio,
quienes a su vez, impartirán habilidades económicas, sociales y políticas a
los agricultores, obreros, amas de casa y jóvenes, las cuales les posibilitarán
generar y sostener el desarrollo de sus sociedades.
Codificar. Convertir un conjunto de datos o ítemes determinados en un
conjunto de símbolos cuantitativos o cualitativos (ejemplos: 1, 2, 3 y 4; o
J.MyH).
Coeficiente. Estadístico (o valor) que representa el grado de ocurrencia de
una propiedad o una relación (ejemplo: coeficiente de correlación).
Confiabilidad. Propiedad de un instrumento cuando arroja el mismo puntaje
al ser utilizado por diferentes investigadores a la misma entidad o por el
mismo investigador repetidas veces en la misma entidad.
Construcción institucional. Proceso de desarrollar las formas organizativas
o sistemas para la ejecución de programas o proyectos sobre una base a
largo plazo (institucionalizar es propiciar que el programa llegue a ser más
o menos permanente mediante la construcción institucional).
Correlación. Estadístico que indica el grado de relación (ir juntos o suceder
conjuntamente) entre variables. Las correlaciones pueden variar entre
-1.00 y +1.00.
Criterio. Un estándar respecto al cual se juzga algo.
Datos. Material recogido durante el transcurso de un estudio evaluativo

(tanto cuantitativo como cualitativo), el cual se usa para generar información
para la toma de decisiones.
315
Datos cualitativos. Hechos, declaraciones y aseveraciones presentados en
forma narrativa, no numéricamente (sin embargo, los datos cualitativos
pueden convertirse en una forma numérica mediante la codificación y la
calificación).
Datos cuantitativos. Hechos, declaraciones y aseveraciones presentados
en forma numérica.
Desarrollo. El proceso que conduce a una mayor producción de riqueza
en una sociedad y a una justa y equitativa distribución de esa riqueza,
acompañado de un consumo progresivo de educación y cultura y
compromiso con la hermandad, la paz y la conservación del mundo.
Desarrollo del recurso humano. La educación y capacitación de recursos
humanos, tanto para el sector formal como para el sector informal de la
economía, utilizando sistemas de instrucción formales y no formales.
Descripción abundante o rica. Descripción detallada y fiel en forma de
registros fotográficos y protocolos o estudios de caso escritos.
Deserción. La pérdida de sujetos de una muestra seleccionada, durante el
desarrollo del estudio. También se conoce como "mortalidad".
Desviación estándar. Medida de variabilidad calculada sobre la base de
las diferencias de los puntajes individuales en un grupo con respecto a la
media del grupo. La desviación estándar al cuadrado se denomina varianza.
Diagnóstico de necesidades. El proceso de averiguar las necesidades de
aprendizaje, de salud y otras necesidades de desarrollo de los beneficiarios
de programas educativos y de desarrollo. El diagnóstico de necesidades es
una mezcla de las necesidades "sentidas" expresadas por los beneficiarios
y nuevas necesidades "puesta de moda" por los agentes de cambio.
Diferencia no significativa. Forma de expresar que la diferencia observada

316
entre dos estadísticas podría haber ocurrido por azar (ver Nivel de significación).
Difusión. Proceso de divulgar información acerca de los objetivos y los
resultados de la evaluación entre aquellos a quienes concierne el estudio
evaluative Los métodos de difusión pueden ser escritos u orales.
Diseño. Un modelo o conjunto de procedimientos claramente establecidos
que determinan cómo se realizará un estudio evaluativo (ver también
Diseño de capacitación).
Diseño de capacitación. Modelo o conjunto de procedimientos establecidos
para desarrollar un programa de capacitación, que incluye la selección
planificada de objetivos educativos, las características de los educandos,
las metodologías de enseñanza y los ambientes de aprendizaje.
Educación no formal. Un conjunto de actividades educativas organizadas
o semi-organizadas, que operan por fuera del sistema de educación formal
y que satisfacen necesidades educativas inmediatas de estudiantes
convencionales y no convencionales (te educación formal es aquella que
se ofrece en las escuelas, colegios y universidades. La educación informal
es aquella en la cual ni el educador ni el educando son conscientes del
proceso de enseñanza-aprendizaje que está ocurriendo).
Enfoques participatívos. Diseños, procedimientos y métodos de planificación,
ejecución y evaluación que se construyen con el compromiso
activo de los beneficiarios potenciales de los programas y proyectos.
Estadística. La ciencia y los métodos utilizados para analizar los datos
obtenidos de las observaciones empíricas para hacer descripciones o
inferencias. Asi, existen la estadística descriptiva y la estadística inferencial.
Estadístico. Número que describe en forma resumida las características o
propiedades de una muestra.
Estudio de caso. La descripción y el análisis detallados de un programa,
proyecto, curso o material de instrucción determinado, conducido dentro
de su contexto educativo o social particular.

317
Estrategia para la situación específica (Modelo 3S de evaluación) [por las
iniciales en inglés]. Modelo que se desarrolla en cinco pasos y relaciona la
evaluación con el cambio; requiere una articulación de los medios y los
fines dentro de un programa educativo o de desarrollo; propone el desarrollo
de perfiles de necesidades de información; sugiere que se desarrollen
agendas de evaluación estratégicas y específicas para cada situación y que
se escojan métodos y técnicas apropiadas técnicamente y que sean viables
en la práctica dentro de la situación de evaluación.
Evaluación. La recolección objetiva y sistemática de información acerca
de un programa, proyecto o material de instrucción para mejorarlo (más
recientemente, se define en la literatura como "la investigación sistemática
sobre el valor o el mérito de un objetivo; por ejemplo un programa,
proyecto o material de instrucción").
Evaluación del contexto. La apreciación y evaluación de las variables del
medio en que se desarrolla un programa.
Evaluación de los insumos. La apreciación de los distintos recursos
utilizados en el desarrollo de un programa.
Evaluación de los procesos. La apreciación de estrategias de procedimientos
así como de la efectividad de diferentes enfoques de la instrucción,
extensión, animación y organización.
Evaluación de los productos. La apreciación de la efectividad de los
productos curriculares o de instrucción.
Evaluación de los resultados. La que aprecia la cualidad y cantidad del (de
los) productos(s) final(es) de un programa y que toma en cuenta también
los productos colaterales no intencionados del programa.
Evaluación externa. La evaluación realizada por evaluadores que no son
parte del personal de un programa o proyecto.
Evaluación formativa. La evaluación realizada durante la formación misma
de un programa, proyecto o material de instrucción.

318
Evaluación interna. Evaluación realizada por uno o varios integrantes del
equipo institucional desde dentro de la organización, cuyo programa,
proyecto o material de instrucción es objeto de evaluación.
Evaluación libre de metas. Evaluación de los resultados de los programas
y proyectos en la cual el evaluador realiza sus trabajos sin conocer los
propósitos ni metas de los mismos.
Evaluación responsiva. Evaluación que responde a las necesidades de
información de las distintas partes a quienes concierne un programa, al
proporcionar información evaluativa de retorno sobre los intereses y los
asuntos que éstos plantean, en lugar de evaluar lo que el evaluador piensa
que vale la pena.
Evaluación sumativa. Apreciación y valoración del impacto de un producto,
programa, etc., comparando los efectos observados con los efectos previstos
o deseados.
Extrapolar. Inferir de lo conocido algo que no se conocía (cifras sobre la
población que tendrá un país en el año 2000 pueden extrapolarse de las
cifras de crecimiento de la población entre 1950 y 1980).
Generalización. El grado en que las proposiciones y aseveraciones que se
hacen sobre un programa, proyecto o material de instrucción en una
situación puede aplicarse a otras situaciones.
Grupo de control. Grupo lo más parecido posible a un grupo experimental
(el que se expone a un programa o un método particular) al cual no se
aplica el programa o método cuyos efectos se estudian. Sirve así al propósito
del evaluador de hacer comparaciones.
Indicador. Algo que indica, señala, significa; un calibrador que representa
otra entidad. Así, una alta tasa de deserción en un programa de educación
de adultos puede ser un indicador de falta de motivación en la comunidad.
Información de retorno (Feedback). Término tomado de la electrónica:
consiste en la devolución de parte del producto del sistema a la entrada
con el propósito de modificar y controlar el producto. En el contexto de la

planificación del programa, el feedback equivale a información evaluatíva
sobre los efectos del programa.
319
Instrumento. Un dispositivo para hacer apreciaciones (prueba, cuestionario,
guía de entrevista o de observación) utilizado con el propósito de evaluar.
Levantamiento de una línea de base. Una encuesta inicial que puede servir
de base para comparar los cambios subsiguientes observados.
Media. La suma de un grupo de puntajes dividido por el número de
puntajes.
Mediana. El puntaje en un grupo de puntajes que está en el medio de la
distribución de los mismos.
Medidas no reactivas. Métodos para examinar con los cuales los evaluadores
no interfieren materialmente en la situación, sino que se basan en
procedimientos indirectos para recolectar los datos.
Moda o Modo. El puntaje más frecuente en un grupo de puntajes.
Modelo. Diseño, descripción o analogía utilizado para ayudar a visualizar
o a comprender algo que es más complejo.
Modelo de Capacitación en la Acción (MCA). Un modelo de capacitación
desarrollado bajo los auspicios de la Fundación Alemana para el Desarrollo
Internacional de Bonn, República Federal de Alemania. El modelo surgió
en el contexto de una serie de talleres sobre la evaluación de programas de
capacitación para la educación básica y el desarrollo. El modelo llama así
por su énfasis en la acción. Se solicita a los participantes que se
comprometan a completar un ciclo de experiencias de capacitación: primero,
un taller en el cual aprenden cuestiones generales sobre la evaluación y
desarrollan propuestas específicas de estudios evaluativos; segundo, un
panel hacia la mitad del ciclo, al cual llevan los participantes los datos
evaluativos recolectados por ellos durante unos seis meses de ejecución de
sus estudios evaluativos, hacen un recuento de sus experiencias y se preparan
para el análisis de los datos, y, finalmente, otro taller en el cual los
participantes antiguos vuelven a participar para informar sus hallazgos y

320
un nuevo grupo inicia un nuevo ciclo de capacitación bajo el Modelo de
Capacitación en la Acción.
Modelo de sistemas. Modelo que estudia la realidad social como un sistema
que siempre puede describirse en términos de insumos, procesos, resultados
y contexto (ver también Modelo y Sistema).
Monitoreo. Monitorear es controlar el progreso de un programa o proyecto
en marcha para identificar sus desaciertos o fracasos de modo que los que
toman las decisiones puedan regular las actividades o introducir acciones
correctivas. El monitoreo se basa normalmente en un sistema de información
para la gestión.
Muestra. Parte de la población seleccionada de acuerdo a algún método
para que represente a la población total.
Muestra aleatoria. Porción representativa elegida entre los integrantes de
la población; asegura que cada individuo en la población tenga igual
oportunidad de ser elegido cada vez que se hace una selección.
Nivel de significación. El valor de probabilidad determinado que se usa
para decidir si los resultados de un estudio evaluativo fueron realmente
una consecuencia del programa, proyecto o material de instrucción, o si
éstos ocurrieron al azar (p=.01 significa que sólo hay una probabilidad
entre 100 de que el efecto del programa haya aparecido por azar).
Norma. Valor o patrón de valores que representan el desempeño típico de
un grupo o población.
Paradigma. Ejemplo o patrón; ejemplo claro de un arquetipo. En evaluación
el paradigma equivale a la "ideología intelectual" de un evaluador.
Paradigma de indagación naturalista. El estudio de los fenómenos
conductuales en situaciones naturales y en su contexto normal, usando los
métodos de la etnografía, la antropología y de los estudios de campo
sociológicos. También se conoce como paradigma etnográfico o
fenomenológico.

321
Paradigma de indagación racionalista. Enfoque tomado de las ciencias
exactas que incluye diseños experimentales, muestras aleatorias, grupos de
control y análisis estadístico.
Parámetro. Cualquier conjunto de propiedades cuyo valor determina las
características o el comportamiento de algo.
Piezas de datos. Las pruebas individuales, guías de entrevistas, cuestionarios
y diarios completados durante la fase de recolección de datos en un estudio
evaluativo.
Población. Todas las personas en el grupo a las cuales se aplicarán los
resultados del estudio (ejemplos: todos los agricultores que cultivan algodón
en las Regiones de los Lagos de Tanzania, todas las mujeres en edad de
tener hijos en Indiana).
Post-prueba. Prueba que determina los efectos de un programa, proyectos
o material de instrucción después que ha sido terminado.
Pre-prueba. Prueba que determina el nivel de desempeño antes del
comienzo o aplicación de un programa, proyecto o material de instrucción.
Problemática. El conjunto de problemas interrelacionados (de planificación
de gestión o de evaluación) que surgen alrededor de un punto de decisión
dentro de un sistema.
Prueba de campo. Estudio preliminar de un programa, proyecto o material
de instrucción en una situación muy similar a aquella en la cual será
posteriormente ejecutado o utilizado a escala mucho mayor.
Pruebas estandarizadas. Pruebas cuyos puntajes se interpretan en
comparación con normas establecidas en términos de algún grupo más
amplio o poblaciones.
Pruebas referidas a criterios. Pruebas cuyas calificaciones se interpretan
de acuerdo con los criterios de desempeño específicamente definidos por
el maestro con respecto a un determinado grupo y no tomando como
referencia el desempeño de otras poblaciones comparables.

322
Pruebas referidas a normas. Ver Pruebas estandarizadas.
Pruebas referidas a objetivos. Pruebas cuyos puntajes (calificaciones) son
interpretados de acuerdo con los objetivos para cuya enseñanza un programa,
proyecto o curso fue diseñado, sin establecer comparaciones con el
desempeño de otros grupos en la prueba.
Réplica. Repetición de un estudio evaluativo en el cual todos sus aspectos
esenciales se mantienen sin modificaciones.
Seminario operacional. Método de capacitación desarrollado en la
UNESCO en el cual los participantes vivencian en una escala de tiempo
reducida el proceso total del trabajo comunitario, diagnóstico de problemas
y necesidades, organización en el campo, diseño de materiales y evaluación
en una situación real de campo.
Sesgo. La consistente alineación a un punto de vista particular que puede
hacer improbable la obtención de resultados objetivos de evaluación.
Sistema. Totalidad que emerge de un conjunto de partes interdependientes
en interacción, sujetas a un plan común y que comparten un propósito
común.
Sistema de evaluación. El conjunto estructurado de métodos, procedimientos
y planes de acción diseñados para suministrar información a los que
toman las decisiones sobre los insumos, los resultados, el contexto y los
procesos de un programa determinado.
Sistema de Información para la Gestión (SIG). Un sistema (computarizado,
manual o mixto) que incluye datos de la planificación y la ejecución de un
programa o proyecto (ver también Monitoreo).
Taxonomía. Clasificación ordenada que tiene alguna sustentación teórica.
Triangulación. Comparación y prueba de los resultados desde dos o más
enfoques diferentes para solucionar el mismo problema.
Unidad de análisis. Unidad social como el individuo, la diada marido-

323
mujer, la familia, el grupo, la organización o la comunidad que constituye
el centro de interés para el evaluador, que determinará cómo se organizan
los datos y sobre la cual se hacen las afirmaciones, declaraciones y
aseveraciones como resultado del análisis.
Validez. Propiedad de un instrumento que es capaz de medir lo que se
supone que debe medir.
Variable. Característica que puede tomar diferentes valores.
Variable dependiente. Una medida (por ejemplo, mejores hábitos
nutricionales) que se supone varíe como resultado de la introducción de
una variable independiente (por ejemplo, la enseñanza de hábitos
nutricionales por parte del promotor de salud familiar).
Variable independiente. La variable que se introduce en el tratamiento en
una situación de evaluación (ejemplo: un nuevo método de enseñanza), la
cual se espera que creará efectos que varían en una variable dependiente
(por ejemplo, el desempeño en una prueba).
Varianza. Medida de variabilidad que se calcula sobre la base de las
diferencias de los puntajes individuales dentro de un grupo respecto a la
media del grupo. La raíz cuadrada de la varianza es la desviación estándar.