¿MISION CUMPLIDA? EVALUACIÓN DEL PROGRAMA DE ... - Novib

¿Misión cumplida? Evaluación Programa ON-LAC
La existencia de tales medidas ofrece un criterio para determinar si la eficiencia ha sido
activamente aplicada para mejorar el desempeño de intervenciones.
En la evaluación, el criterio sobre impacto ha sido abordado pragmáticamente, utilizando
distinciones centrales de lo primario versus lo secundario, intencional y no intencional,
efectos directos e indirectos. El trabajo (aparte de entrevistas semi-estructuradas con
individuos seleccionados y reuniones con grupos focales) no se embarca en la recopilación
de datos de carácter primario de los grupos meta. Las fuentes de información secundaria
incluyeron un limitado número de evaluaciones de impacto externas; no obstante, ninguna
de estas mide “diferencias en las diferencias”, es decir, medir el efecto de las
intervenciones en diferentes puntos en el tiempo con evidencia contrafactual de grupos de
control. 23 Las (pocas) evaluaciones de impacto, con encuestas a nivel supra-local, también
se basan en el criterio de plausibilidad, ya que la falta de evidencia contrafactual es
compensada por factores que pueden ayudar a inferir que el Programa ha producido
razonablemente los resultados esperados.
La sostenibilidad del Programa ON-LAC después de su terminación es tradicionalmente
evaluada por circunscribir los beneficios de la intervención exclusivamente a un área de
resultados tangibles de proyectos. En la mayoría de los análisis aplicados para esta
evaluación bajo las tres Metas, el concepto se refiere a los resultados de proyectos así
como al entorno institucional en el cual las contrapartes han estado trabajando. La
inclusión de fortalecimiento institucional de las contrapartes está directamente
relacionada a la relevancia del Programa, ya que los numerosos objetivos en el futuro solo
serán alcanzados por organizaciones capaces y bien equipadas. Por otra parte, el tema de
sostenibilidad está relacionado a la reversibilidad de los resultados. Los beneficios de las
intervenciones no son seguros cuando las organizaciones contrapartes enfrentan la
perspectiva de tener que reducir el alcance de sus operaciones.
El anterior argumento también se relaciona con la perspectiva de género, la cual como un
tema transversal en esta evaluación fue incorporada tanto en el análisis de proyectos
como de contrapartes. A pesar que la información relevante al respecto no estaba
completa y no siempre fue comparable, los cambios en equilibrio de género fueron
evaluados en el área de empleo, condiciones e influencia, ambos a nivel de organizaciones
contrapartes y el universo de grupos meta.
El estudio de la documentación de los proyectos, como primera etapa de la Fase Uno, fue la
actividad principal llevada a cabo por el equipo de evaluadores. A falta de parámetros
detallados para las evaluaciones realizadas en el Programa ON-LAC en sus sub-áreas y
aspectos, las contrapartes y sus proyectos fueron investigados según un desglose
metódico de las Metas en sub-áreas e indicadores para cada una de las mismas (Ver
Apéndice A: Informe de Enfoque). Tratándose de un estudio hecho principalmente en base
de fuentes segundarias, la experiencia profesional y el intercambio de evaluadores es un
factor crítico. La fase del estudio de escritorio se concentró en 77 contrapartes con un
gasto total – fondeado con recursos públicos del Estado Neerlandés – de 56.9 millones de
Euros. El estudio de escritorio también incluyó el análisis contextual que dirige el marco
de trabajo para determinar la relevancia total del Programa de Oxfam Novib en la región.
Por otra parte, los evaluadores se entrevistaron con personal especializado de Oxfam
Novib y con ejecutivos del Programa en lo que se refiere a políticas, procedimientos (de
monitoreo) y la comunicación de Oxfam Novib con las contrapartes.
23 Aún si los resultados de tal medición de impacto han estado disponibles, la robustez de los mismos – y su
oportunidad de ser repetidos en otro lugar – habría dado lugar a serias dudas. El programa ON-LAC ha sido
muy diverso en temática, geografía y en términos institucionales para justificar la indiscriminada transferencia
de modelos de un lugar a otro.
25