Maldonado JC. ECC-UAM-ColegiosAPÉNDICE Nº 11Evaluación e investigación <strong>de</strong> la efectividad <strong>de</strong> las intervenciones <strong>educativa</strong>sUna evaluación educacional es <strong>una</strong> aproximación sistemática <strong>de</strong> la calidad <strong>de</strong> la enseñanza y elaprendizaje, <strong>de</strong>stinada a mejorar las activida<strong>de</strong>s <strong>educativa</strong>s a través <strong>de</strong> la i<strong>de</strong>ntificación <strong>de</strong> áreas quepodrían ser optimizadas. La evaluación <strong>educativa</strong> utiliza datos obtenidos durante el seguimiento <strong>de</strong> <strong>una</strong>actividad <strong>educativa</strong> específica [1] y para efectuar esta evaluación se han <strong>de</strong>finido cuatro tipos <strong>de</strong>metodologías:• Orientadas al estudiante: utilizan mediciones <strong>de</strong>l <strong>de</strong>senvolvimiento <strong>de</strong>l estudiante comoindicador principal.• Orientadas al programa: comparan el <strong>de</strong>senvolvimiento <strong>de</strong>l curso así como la totalidad <strong>de</strong> susobjetivos; frecuentemente incluyen <strong>de</strong>scripciones <strong>de</strong>l contenido curricular o <strong>de</strong> las activida<strong>de</strong>sdocentes.• Orientadas a la institución: usualmente son ejecutadas por organismos externos al lugar don<strong>de</strong>se realiza la actividad <strong>educativa</strong> y tienen por objetivo <strong>de</strong>terminar la calidad <strong>de</strong> la enseñanzapara propósitos comparativos; utilizan <strong>una</strong> amplia variedad <strong>de</strong> información y <strong>de</strong> mo<strong>de</strong>losevaluativos.• Orientadas al sostenimiento <strong>de</strong> las acciones: consi<strong>de</strong>ran los aspectos y <strong>de</strong>mandas <strong>de</strong> losinvolucrados por el programa educativo, incluyendo los estudiantes, la institución académica,las organizaciones y niveles administrativos, entre otros.Adicionalmente a estas metodologías, la evaluación <strong>de</strong>be consi<strong>de</strong>rar otros resultados <strong>de</strong> la intervención<strong>educativa</strong> que incluyen sus objetivos y organización. Entre estos aspectos se encuentran: la forma enque los participantes alcanzaron los objetivos docentes <strong>de</strong>l programa, la magnitud en que la intervencióncondujo a cambios en el comportamiento (a <strong>largo</strong> <strong>plazo</strong>) como resultado <strong>de</strong> los conocimientos ohabilida<strong>de</strong>s adquiridos, y, la forma en que el programa educativo produjo efectos a <strong>largo</strong> <strong>plazo</strong> en elmejoramiento <strong>de</strong> la salud en la sociedad.Por otra parte, la investigación <strong>sobre</strong> la efectividad y utilidad <strong>de</strong> las intervenciones <strong>educativa</strong>s utiliza<strong>una</strong> metodología que no suele ser distinta a la empleada en otros tipos <strong>de</strong> investigaciones científicas,siendo necesario prestar atención a los objetivos <strong>de</strong> la investigación, así como a la vali<strong>de</strong>z <strong>de</strong> losmétodos e instrumentos utilizados. La investigación <strong>sobre</strong> intervenciones <strong>educativa</strong>s utilizaprincipalmente dos tipos <strong>de</strong> diseños: naturalísticos y experimentales [2] .El diseño naturalístico se emplea para estudiar, en temas específicos o generales, la forma en queocurren ciertos aspectos relacionados con <strong>una</strong> intervención <strong>educativa</strong>. En este sentido permiterespon<strong>de</strong>r preguntas como: ¿qué hace que los médicos cambien sus prácticas? ; ¿qué tanfrecuentemente se da <strong>una</strong> retroalimentación <strong>de</strong> conocimientos en las unida<strong>de</strong>s <strong>de</strong> salud? ; ¿quéprocesos ocurren durante el <strong>de</strong>sarrollo <strong>de</strong> un programa educativo? ; ¿cuáles son las diferentesexperiencias y resultados para los participantes <strong>de</strong> la intervención <strong>educativa</strong>, y, cómo se explican estasdiferencias?De forma similar a los reportes <strong>de</strong> casos, los estudios poblacionales y otros diseños observacionales, losestudios naturalísticos pue<strong>de</strong>n generar información útil para <strong>una</strong> amplia audiencia. Así, por ejemplo, unestudio [3] conducido en tres estados norteamericanos <strong>sobre</strong> <strong>una</strong> población <strong>de</strong> 109 mujeresembarazadas, las cuales se encontraban participando durante 6 o menos meses en <strong>una</strong> intervención<strong>educativa</strong> diseñada para disminuir el consumo <strong>de</strong> alcohol en mujeres embarazadas <strong>de</strong> alto riesgo,encontró que existían severas diferencias en el tiempo <strong>de</strong>stinado a la intervención según el lugar don<strong>de</strong>ocurría la intervención. El estudio <strong>de</strong> Sale y colaboradores [4] analizó las relaciones entre posiblesfactores <strong>de</strong> riesgo (influencia <strong>de</strong> la familia, vecinos y compañeros <strong>de</strong> escuela) y <strong>de</strong> protección(estructura familiar, vinculación escolar), con el consumo <strong>de</strong> alcohol, marihuana y cigarrillo, en 10473adolescentes con eda<strong>de</strong>s entre los 9 y 18 años, resi<strong>de</strong>ntes en 48 comunida<strong>de</strong>s consi<strong>de</strong>radas <strong>de</strong> riesgo.Informe final. Versión (3). Septiembre 2004. 98
Maldonado JC. ECC-UAM-ColegiosLos hallazgos aportaron información útil para los programas educativos <strong>de</strong> prevención, en cuanto lanecesidad <strong>de</strong> implementar relaciones más estrechas entre los jóvenes y sus familias.El diseño experimental se utiliza específicamente para <strong>de</strong>terminar la eficacia <strong>de</strong> <strong>una</strong> intervención<strong>educativa</strong>, por lo que resulta muy similar a los estudios experimentales conducidos en temas clínicos. Ladificultad para conducir un estudio experimental que evalúe <strong>una</strong> intervención <strong>educativa</strong> radica en lanaturaleza <strong>de</strong> la intervención, el número <strong>de</strong> participantes y la medición <strong>de</strong> los <strong>de</strong>senlaces.En este sentido, en cualquier intervención <strong>educativa</strong> varios componentes actúan <strong>de</strong> forma sinérgica yalgunos factores pue<strong>de</strong>n afectar la eficacia <strong>de</strong> la misma, como por ejemplo la motivación y actitu<strong>de</strong>s <strong>de</strong>los participantes, los conocimientos y experiencias previas, las habilida<strong>de</strong>s y el entusiasmo <strong>de</strong> losinstructores o facilitadores, el contexto en el que ocurre la intervención, etc.Por otra parte, a diferencia <strong>de</strong> los ensayos clínicos con medicamentos, en estos estudios que evalúan<strong>una</strong> intervención el número <strong>de</strong> sujetos que pue<strong>de</strong>n ser reclutados para participar podría ser insuficientepara encontrar diferencias estadísticamente significativas en los resultados. A<strong>de</strong>más, el grupo que esutilizado como control es susceptible <strong>de</strong> sufrir un sesgo por contaminación, es <strong>de</strong>cir, los participantesque conforman este grupo pue<strong>de</strong>n tener acceso a la información entregada en el grupo experimental.Finalmente, la medición <strong>de</strong> los <strong>de</strong>senlaces <strong>de</strong>be ser factible, reproducible y relevante. Se pue<strong>de</strong> evaluarcomo <strong>de</strong>senlaces la “reacción” (satisfacción <strong>de</strong>l participante), el “aprendizaje” (conocimientos ohabilida<strong>de</strong>s adquiridas), el “comportamiento” (transferencia <strong>de</strong> lo aprendido a la práctica) o los “logros”(transferencia o impacto en la sociedad). Por lo tanto, las mediciones objetivas, el número <strong>de</strong> posiblesfactores <strong>de</strong> confusión y el tiempo necesario para realizar la medición, se complican según el resultadoque se <strong>de</strong>sea obtener.Algunos autores [5] consi<strong>de</strong>ran que el mejor diseño para <strong>de</strong>terminar el impacto <strong>de</strong> <strong>una</strong> intervención<strong>educativa</strong> es el ensayo clínico controlado aleatorizado, seguido <strong>de</strong> los estudios con mediciones “antes y<strong>de</strong>spués” sin grupo control. No obstante, algunos <strong>de</strong> los otros diseños experimentales que se emplean enla investigación clínica podrían ser aplicables para la evaluación <strong>de</strong> las intervenciones <strong>educativa</strong>s; por loque sus resultados podrían ser juzgados y clasificados en alg<strong>una</strong> <strong>de</strong> las categorías para recomendación<strong>de</strong> aplicación <strong>de</strong>finidas, según el tipo <strong>de</strong> evi<strong>de</strong>ncia científica que aporte el estudio, es <strong>de</strong>cir, conforme lamisma filosofía <strong>de</strong> la medicina basada en evi<strong>de</strong>ncias que se utiliza para recomendar el uso <strong>de</strong> <strong>una</strong>intervención terapéutica [6] .Referencias:1. Wilkes M, Bligh J. Evaluating educational interventions. BMJ 1999; 318: 1269-72.2. Hutchinson L. Evaluating and researching the effectiveness of educational interventions. BMJ1999; 318: 1267-9.3. Dunnagan T, Haynes G, Christopher S, Leonardson G. Formative evaluation of multisite alcoholconsumption intervention in pregnant women. Neurotoxicol Teratol 2003; 25: 745-55.4. Sale E, Sambrano S, Springer JF, Turner CW. Risk, protection, and substance use in adolescents: amulti-site mo<strong>de</strong>l. J Drug Educ 2003; 33: 91-105.5. Hogerzeil HV. Promoting rational prescribing: an international perspective. Br J Clin Pharmacol1995; 39: 1-6.6. Shekelle PG, Woolf SH, Eccles M, Grimshaw J. Developing gui<strong>de</strong>lines. BMJ 1999; 318: 593-96.Informe final. Versión (3). Septiembre 2004. 99