organización y diseño de los procesos de evaluación - Lanbide

28ORGANIZACIÓNY DISEÑO DE LOSPROCESOS DE EVALUACIÓN

28ORGANIZACIÓNY DISEÑO DE LOSPROCESOS DE EVALUACIÓN2

COLECCIÓN: CUADERNOS DE TRABAJO-FORMACIÓN, EMPLEO, CUALIFICACIONES-INICIATIVA PROMOVIDA POR EL DEPARTAMENTO DE JUSTICIA,TRABAJO Y SEGURIDAD SOCIAL. GOBIERNO VASCONÚMEROS PUBLICADOS1. EDUCACIÓN Y TRABAJO PRODUCTIVO2. CAMBIO TECNOLÓGICO Y REPERCUSIONES EN EL EMPLEO3. PREVER Y FORMAR4. ANÁLISIS PREVISIONAL DE LOS EMPLEOS DEL COMERCIO MINORISTA EN DONOSTIA5. EXPERIENCIAS DE FORMACIÓN CONTINUA PARA DIRIGENTES DE PYMES6. LAS CUALIFICACIONES PROFESIONALES ANTE EL MERCADO ÚNICO7. LAS MUJERES Y EL MERCADO DE TRABAJO EUROPEO8. PARO DE LARGA DURACIÓN EN EUROPA: ESTRATEGIAS Y ACCIONES9. INVESTIGACIÓN Y DESARROLLO EN FORMACIÓN CONTINUA10. FORMACIÓN DE FORMADORES: RETOS Y AVANCES11. GUÍA 1 FORMACIÓN PARA LA PYME: COMPETENCIAS GENÉRICAS DE LOS FORMADORES Y ORGANI-ZADORES DE PROGRAMAS DE FORMACIÓN PARA PEQUEÑAS EMPRESAS12. NUEVO CONTEXTO SOCIOECONÓMICO Y ESTRATEGIAS DE DESARROLLO LOCAL13. CRECIMIENTO, COMPETITIVIDAD Y EMPLEO. ESTRATEGIAS EN LA UNIÓN EUROPEA. RETOS Y PERS-PECTIVAS PARA EL PAÍS VASCO14. MANUAL PARA LA ELABORACIÓN DE PROYECTOS DE DESARROLLO ECONÓMICO LOCAL Y EMPLEO15. GUÍA 2 FORMACIÓN PARA LA CREACIÓN DE PYMES. COMPETENCIAS DE LOS FORMADORES PARAPROMOVER EL ESPÍRITU E INICIATIVA EMPRESARIAL Y LOS PROYECTOS DE CREACIÓN DE EMPRESA16. ANÁLISIS Y EVOLUCIÓN DE LOS EMPLEOS DEL TERCIARIO DE OFICINA17. ANÁLISIS Y EVOLUCIÓN DE LOS EMPLEOS DE LA INDUSTRIA METALMECÁNICA18. FLEXIBILIDAD Y DISTRIBUCIÓN DEL TRABAJO19. NUEVOS YACIMIENTOS DE EMPLEO20. LA FORMACIÓN EN CENTROS DE TRABAJO21. LA CALIDAD DE LA FORMACIÓN22. TELETRABAJO. IMPACTO DE LAS NUEVAS TECNOLOGÍAS EN LA ORGANIZACIÓN DEL TRABAJO23. ORIENTACIÓN Y ASESORAMIENTO PROFESIONAL24. PERFILES Y COMPETENCIAS PROFESIONALES EN EL SECTOR DE LA CONSTRUCCIÓN25. LOS JUEGOS DE SIMULACIÓN, UNA HERRAMIENTA PARA LA FORMACIÓN26. INSERCIÓN A TRAVÉS DE LA FORMACIÓN. INSTRUMENTOS PARA INNOVAR LOS PROCESOS DE FORMACIÓN-INSERCIÓN27. COMPETENCIAS PROFESIONALES. ENFOQUES Y MODELOS A DEBATENÚMERO 28TITULO: ORGANIZACIÓN Y DISEÑO DE LOS PROCESOS DE EVALUACIÓNCIDEC. Centro de Investigación y Documentación sobre problemas de la Economía, el Empleo y las CualificacionesProfesionalesDONOSTIA-SAN SEBASTIÁNAvenida de la Libertad 17-19 Telf: 943 42 52 57 Fax: 943 42 93 31 • E-mail. cidec@sarenet.esD.P. 20004Impresión: Michelena Artes Gráficas S.L.D.L.: SS-104-91I.S.S.N.: 1135-0989P.V.P.: 2.000 ptas.3

ORGANIZACIÓN Y DISEÑO DE LOSPROCESOS DE EVALUACIÓN

ÍNDICEHITZAURREA/PREFACIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7PRESENTACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91. LA EVALUACIÓN. CONCEPTOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111.1. Conceptualización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121.1.1. Psuedoevaluaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.1.2. Cuasievaluaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.1.3. Evaluaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.2. Institucionalización de las prácticas de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . 171.2.1. La génesis de la evaluación en los EE.UU. . . . . . . . . . . . . . . . . . . . . . . . . . . 171.2.2. La extensión a otros países . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181.3. Principios de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191.4. Criterios de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211.5. Momentos de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242. LA EVALUACIÓN DE PROGRAMAS EN LA UNIÓN EUROPEA.ORIENTACIONES PARA PROCEDER A SU ORGANIZACIÓN Y DISEÑO . . . . . . . . . . 272.1. Marco general . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282.2. Cómo organizar el proceso de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.3. Las etapas básicas y su contenido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322.3.1. Fase A: Mandato de Evaluación y Estructuración del Proceso . . . . . . . . . . . 332.3.2. Fase B: Elaboración de los Términos de Referenciay Convocatoria del Concurso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342.3.3. Fase C: Selección de Evaluadores y Elaboración del Plan de Evaluación . . . . 352.3.4. Fase D: Gestión del Proceso y Evaluación de su Calidad . . . . . . . . . . . . . . . . 362.3.5. Fase E: Difusión de Resultados y Puesta en Práctica . . . . . . . . . . . . . . . . . . 382.4. Articular el control, seguimiento y evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382.4.1. La lógica de la programación y su incidencia enel seguimiento y la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392.5. Cómo diseñar el sistema de seguimiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432.6. Las evaluaciones intermedias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462.6.1. Contenido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462.6.2. Metodología. Enfoques y técnicas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483. PROGRAMA MEANS: IDENTIFICACIÓN Y MEDICIÓNDE EFECTOS ESTRUCTURALES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543.1. Identificación de efectos estructurales y su medición. Dificultades,limitaciones y recomendaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553.1.1. Dificultades y limitaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563.1.2. Recomendaciones para la evaluación de efectos estructurales . . . . . . . . . . . 573.2. Evaluación de efectos sobre el empleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585

3.2.1. Medición de efectos sobre el empleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583.2.2. Identificación de lo que se quiere medir . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593.2.3. Indicadores para la medición de efectos sobre el empleo . . . . . . . . . . . . . . . . 614. PRÁCTICAS DE EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634.1. Evaluación intermedia de programas cofinanciados por el FSE . . . . . . . . . . . . . . . . 644.2. Ejemplos de buenas prácticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694.2.1. Una estrategia de autoevaluación: Ostrobothnian del Sur. Finlandia . . . . . . . . 694.2.2. Evaluación intermedia de la iniciativa comunitaria Interreg II en el Alto Rhin:la implementación de una metodología participativa . . . . . . . . . . . . . . . . . . . 724.2.3. Evaluación de la innovación en la primera fase ADAPT. Grecia . . . . . . . . . . . 764.2.4. Evaluación intermedia de los Programas Operativos y del MarcoComunitario de Apoyo cofinanciado por el FSE, 1994-1999. Irlanda . . . . . . . 804.2.5. Evaluación ex-post de Programas Objetivo 2, 1989-1993 . . . . . . . . . . . . . . . . 834.2.6. Evaluación temática del DOCUP Objetivo 2, 1994-1996.Región de Yorkshire y Humberside . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 865. CONSIDERACIONES FINALES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90ANEXO: MODELOS DE EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 971. El modelo CIPP: Contexto, Input, Proceso y Producto . . . . . . . . . . . . . . . . . . . . . . . . 981.1. El modelo CIPP como estrategia para el perfeccionamiento de los sistemas . . . . 991.2. Las dimensiones del modelo CIPP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 991.3. El modelo CIPP como enfoque sistémico de la evaluación . . . . . . . . . . . . . . . 1042. El método evaluativo centrado en el cliente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1052.1. Las aportaciones de Stake . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1052.2. La evaluación respondente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1062.3. Evaluación preordenada versus evaluación respondente . . . . . . . . . . . . . . . . 1062.4. La estructura de la evaluación respondente . . . . . . . . . . . . . . . . . . . . . . . . . . 1083. La evaluación innovativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1113.1. La evaluación innovativa: un paradigma socio-antropológico . . . . . . . . . . . . . . 1123.2. Organización y métodos de la evaluación innovativa . . . . . . . . . . . . . . . . . . . . 112BIBLIOGRAFÍA BÁSICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1156

HITZAURREAPREFACIOInolako zalantzarik gabe, premiazkoaketa funtsezkoak dira ebaluazio prozesuak,herri administrazioaren erakundeek etorkizuneanizan ditzaketen eskuhartzeak berenlegezko helburuetarantz gidatzeko eta orientatzeko.Alabaina, sarri askotan ikustendugunez, ebaluazioen emaitzek iruzur egitendiete bai politiken antolatzaileei bai haienonuradunei eta, azken finean, gizarte osoari.Administrazio erakundeok beti izan duguargi eta garbi ebaluazioa instituzionalizatzekojoera, eta batzuetan lortu dugun gauzabakarra zera izan da, legalitatearen printzipioagordetzea, ekonomiaren gardena izatea,eta abar, hau da, administrazioaren prozedurabetetze hutsa. Baina gaur egun, esandakohori guztia ez da nahikoa.Gure ikuspegitik begiratuz, ebaluazioak,objektibotasun eta neutraltasun printzipioetanoinarriturik, aldez aurreko akordio baterairistera eskatzen die ebaluazioaren edukieta hedapenean parte hartzen duten agenteguztiei. Ebaluazioaren onuradunen asetasunmaila zein politika kudeatzaile edo sustatzaileenada interesatzen zaiguna, baldin etaezarritako prozesuek etorkizuneko programazioakhobetzeko ildoen nondik-norakoariburuzko informazioa ematen badute.Une hau egokia iruditu zaigu, ebaluazioeraginkorrari dagokion esparru kontzeptualeansakontzeko eta ebaluazioaren erabilgarritasunabermatzen duten irizpideak aztertzeko.Hortaz, lan koadernoetako ale hauebaluazio prozesuak antolatzeko eta diseinatzekobehar diren orientabideei eskaintzeaerabaki dugu.Resulta incuestionable la utilización deprocedimientos de evaluación en las intervencionespúblicas que las guíen y orientenhacia la consecución de sus legítimos objetivosen actuaciones de futuro. Sin embargo,en muchas ocasiones constatamos que losresultados de las evaluaciones defraudanbien a los planificadores de las políticas,bien a los beneficiarios de las mismas, y endefinitiva a la sociedad en general.Las administraciones hemos tenidodesde siempre una clara tentación por institucionalizarla evaluación de forma que aveces lo único que hemos conseguido esvelar por el principio de legalidad, la transparenciaeconómica... para dar conformidaden definitiva al procedimiento administrativo.En la actualidad esto se muestra claramenteinsuficiente.Desde nuestro punto de vista la evaluaciónexige, dentro de unos principios básicosde objetividad y neutralidad, un acuerdoprevio entre los diversos agentes implicadossobre el contenido y alcance de la misma.Interesa tanto el grado de satisfacción de losbeneficiarios como el de los propios gestoresde las políticas o el de sus propulsores,siempre que los procesos establecidos proporcioneninformación que apunten hacialíneas de mejora en futuras programaciones.Nos ha parecido un buen momento paraprofundizar en el marco conceptual querequiere una evaluación eficaz y sobre loscriterios que garantizan su utilidad. Por ellohemos decidido dedicar este número de laColección Cuadernos de Trabajo a proporcionarorientaciones para proceder a la organizacióny diseño de procesos de evaluación.7

Europako Batzordeak ekarpen metodologikogarrantzitsuak egin ditu azken urteotan,egitura fondoen eraginak ebaluatzeko; zentzuhorretan, aipatu batzordea biziki interesaturikagertu da burutu diren praktika onakhedatzeko.Lan koaderno honen bidez horiek guztiakeman nahi ditugu ezagutzera eta, bide batez,dauden ebaluazio eredu guztien ikuspegiorokor bat eskaini, ahal den neurrian behinikbehin, enplegu eta prestakuntza politikeiburuzko jardueretan kalitatearen kulturazabaltzeko.La Comisión Europea, en los últimosaños, ha realizado importantes aportacionesmetodológicas para la evaluación del impactode sus fondos estructurales y se muestramuy interesada en la difusión de las buenasprácticas realizadas.Nosotros pretendemos, a través de estapublicación, difundirlas además de ofreceruna panorámica general de los diferentesmodelos de evaluación existentes de formaque contribuyamos en la medida de lo posiblea instaurar una cultura de la calidad en lasactuaciones referidas a políticas de empleo yformación.Vitoria-Gasteiz, 1999ko UztailaVitoria-Gasteiz, Julio de 1999Jesús MONREAL ZIAEusko Jaurlaritzako Justizi, Lan etaGizarte Segurantzako SailarenEnplegu eta Prestakuntza ZuzendariaJesús MONREAL ZIADirector de Empleo y Formación delDepartamento de Justicia,Trabajo ySeguridad Social del Gobierno Vasco8

PRESENTACIÓNLa evaluación se ha constituido en un valioso instrumento de reflexión sobre laeficacia global de las intervenciones públicas. El interés por su aplicación y elvalor que pueden llegar a tener sus resultados están haciendo se dedique unacreciente atención a la definición de los contenidos y al análisis de losprocedimientos operativos que deben aplicarse en cada caso.Las actividades de evaluación en la U.E. han tenido, durante los últimos cuatro años,un desarrollo considerable en los Estados miembros. A ello ha contribuido decisivamentela institucionalización de estas prácticas debido, principalmente, a los requisitosestablecidos en los reglamentos de los Fondos Estructurales. Esta recienteinstitucionalización ha venido acompañada de un notable desarrollo metodológicopromovido por las instancias comunitarias. De todas formas, y aunque la calidad mediade las evaluaciones –fundamentalmente intermedias– efectuadas durante el período 1994-1999 ha mejorado respecto al período precedente 1989-1993, se siguen apreciandoimportantes lagunas y deficiencias que deben mejorarse cara a obtener resultados másútiles y mejores bases valorativas en las que sustentar de forma razonada la toma dedecisiones de reprogramación y anticiparse a los problemas importantes.La experiencia revela que sigue siendo necesario mejorar la organización, el diseño y lacalidad de los procesos evaluativos, perfeccionando las metodologías de evaluación,transfiriendo y extendiendo las buenas prácticas. Este Cuaderno de Trabajo se dedicaprecisamente a estas cuestiones y ha sido concebido con la finalidad de ofrecer un marcoconceptual y metodológico general del cual extraer los aspectos decisivos del procesoevaluativo en términos organizativos, funcionales y operativos.Una de las primeras preocupaciones que surgen a la hora de construir los procesos deevaluación es la necesidad de superar los enfoques más tradicionales, los que sitúan a laevaluación como el contraste estricto entre objetivos y resultados. Se trata de superar esteenfoque para permitir juzgar el valor y el mérito atribuible a una determinadaintervención. Para ello resulta clave que el proceso sea sensible a la diversidad de actoresy usuarios que –con miradas, experiencias y percepciones distintas– deben concurrir eneste tipo de procesos (evaluación participativa), adoptando un enfoque prospectivo yestratégico mediante el establecimiento de distintos planos y dimensiones objeto deobservación en profundidad.Lo señalado apunta la conveniencia de que estos procesos se sustenten en un importantegrado de consenso de todas las partes implicadas en torno a los aspectos metodológicos,dimensiones y objetivos que se asignan a la evaluación, para no incurrir en falsasexpectativas. En paralelo, se advierte la necesidad de optimizar las técnicas e instrumentos9

de evaluación existentes que vendrán convenientemente seleccionadas y aplicadas de formaflexible y combinada. En pocas palabras, se trata de adoptar un enfoque del procesoevaluativo que prime la reflexión conjunta, la participación y cooperación de los diversosactores implicados en la intervención de que se trate. Desde esta perspectiva, los problemasy dificultades de índole técnica y metodológica, así como la multiplicidad de aspectos ycomplejidad que pueden llegar a revestir este tipo de procesos, se podrán conducir deforma adecuada y, en última instancia, conseguir que las prácticas de evaluaciónconduzcan a resultados útiles que se aplicarán e integrarán en la gestión diaria.Se trata así mismo de ofrecer respuestas de carácter integral y específico a lascuestiones más relevantes. Por tanto, los procesos de trabajo a implementar se sustentaránen principios, criterios y métodos lógicos y aceptados por todas las partes. Si esto no seconsigue la evaluación, estará, desde su inicio, condenada al fracaso.El presente Cuaderno de Trabajo comienza por delimitar el concepto de evaluación ydefinir cuáles son las prácticas que deben considerarse como verdaderas evaluaciones, lasrazones que han llevado a su institucionalización así como los principios y criterios quedeben guiar los procesos evaluativos.A partir de aquí se entra de lleno en el terreno de las cuestiones más prácticas–Capítulos 2, 3 y 4– acotadas a los programas europeos. Abordando básicamente lassiguientes cuestiones: organización del proceso, etapas básicas y contenidos; la necesidadde articular el control, el seguimiento y la evaluación de programas; la manera de diseñarel sistema de seguimiento a todo lo cual se añade una panorámica de los enfoques ytécnicas de evaluación existentes. A continuación se describen las dificultades que suelenplantearse para identificar y medir los efectos de los programas estructurales, lasproblemáticas vinculadas a estos y las recomendaciones que conviene tener presente paraabordarlas. Como cierre, se presenta un caso de modelización del proceso evaluativo y unaserie de prácticas de evaluación consideradas como ejemplares por los expertos encargadosde valorar la calidad de las evaluaciones en la U.E.Por último se ofrecen una serie de Consideraciones Finales que, partiendo de lasprincipales lagunas y problemáticas que presentan las evaluaciones, vienen a establecer lalógica que debe presidir el diseño metodológico, organizativo y operacional sobre el quesoportar las evaluaciones. Complementariamente, en forma de Anexo, se ofrecen tresmétodos de evaluación que aportan esquemas de razonamiento y conceptos de gran utilidad.Donostia-San Sebastián, Julio de 1999Juan José DE ANDRÉS GILSPresidente de CIDEC10

1. La evaluaciónConceptos

1. La evaluaciónConceptosCon carácter previo a la formulación de los procesos de evaluaciónde las intervenciones públicas, conviene efectuaralgunas aproximaciones previas de carácter general parasituar las siguientes cuestiones: qué se entiende por evaluación, cualha sido la génesis de su institucionalización, qué principios y criteriosdeben guiar el proceso de evaluación, cuáles son los distintosmomentos para su implementación.1.1. CONCEPTUALIZACIÓNUn primera consideración hace referencia al hecho de que laevaluación no debe concebirse como una investigación, a pesar deque toda evaluación implica recogida sistemática de información yanálisis de datos. La evaluación de programas 1 debe ir más allá dela investigación aplicada aunque parta de ella y, para poder efectuarla,resultará necesario el acopio de información fiable y válida.Evaluar significa, en esencia, emitir juicios sobre el valor y elmérito de un programa o aspectos del mismo. Como señala Scriven,para poder conducir el proceso de evaluación se requieren unos criteriosde valor, unos estándares respectos a los mismos, una mediciónde la información referida a esos criterios o dimensiones de valor ycontrastes diversos para poder emitir juicios. Aunque evaluar suponeemitir juicios ello no deberá impedir que los procesos de evaluaciónse apoyen en la objetividad y la neutralidad. Dicho esto, las discrepanciaspueden surgir en los criterios de valor a utilizar.En linea con estos primeros rasgos apuntados se procede a delimitarconceptualmente qué tipo de prácticas deben ser consideradascomo evaluaciones. La diversidad de formas de concebir la evaluacióny enfoques utilizados para afrontar este tipo de procesos, danlugar a lo que los teóricos vienen a denominar como:• Pseudoevaluaciones• Cuasievaluaciones• EvaluacionesMientras las pseudoevaluaciones conducen normalmente aconclusiones predeterminadas, las cuasievaluaciones incluyenestudios e investigaciones encaminados a dar respuestas a ciertascuestiones de interés, pero no alcanzan a determinar el valor deEvaluar significa, enesencia, emitir juiciossobre el valor y elmérito de un programao aspectos del mismo1. A lo largo de este Cuaderno se emplearán indistintamente los términos “programa”. “proyecto”e “intervención”, referidos todos al objeto del proceso de evaluación.12

una intervención, proyecto o programa. Por su parte, las verdaderasevaluaciones incluyen estudios e investigaciones que se centranen examinar el valor y el mérito de una intervención, proyectoo programa. Como ha quedado precedentemente señalado, nobasta con conocer los efectos o resultados sino que además demedirlos hay que otorgarles un valor: “Evaluar es enjuiciar unmérito” C.H. Weis, 1991.1.1.1. PseudoevaluacionesEn ocasiones, los evaluadores y sus clientes se ponen de acuerdopara llevar a cabo un tipo de evaluación que concuerde con los resultadosprevistos; en otros casos, los evaluadores, creyendo que realizanuna valoración objetiva, descubren que sus clientes esperabanotros resultados. Así, el cliente puede intentar intervenir para dirigirel proceso evaluativo y extraer del mismo determinado tipo de resultados.Los evaluadores tienen que estar alertas, más de lo que suelenestarlo, ante este tipo de conflictos latentes, para solventarlos anticipadamentey conseguir que el proceso de evaluación se desarrollecorrectamente, con objetividad y neutralidad.Cabe señalar dos tipos de procesos que conducen a una pseudoevaluación:• Las Investigaciones encubiertas (o procesos de evaluaciónpolíticamente controlados): normalmente el cliente quiere quela información obtenida sea técnicamente sólida pero tambiénque se le garantice la posibilidad de controlar la difusión de losresultados obtenidos. La información puede ser revelada selectivamentepara crear una imagen determinada del valor de unprograma, o incluso no revelada, para ocultar situaciones nodeseadas o imprevistas.• Los Estudios dirigidos: estudios planificados, realizados y utilizadospara satisfacer propósitos establecidos. La intención deeste tipo de estudios es ayudar al cliente a crear una imagenpositiva de una institución, programa, etc., que le ayude a mantenero incrementar el apoyo público.El cliente puedeintentar intervenir paradirigir el procesoevaluativo y extraer delmismo determinadotipo de resultados. Losevaluadores tienen queestar alertas, más de loque suelen estarlo,ante este tipo deconflictos latentes,para solventarlosanticipadamente yconseguir que elproceso de evaluaciónse desarrollecorrectamente, conobjetividad yneutralidad1.1.2. CuasievaluacionesLas cuasievaluaciones se inician con el planteamiento de un problemaconcreto y luego buscan la metodología apropiada para darsolución al mismo. El hecho de que la información obtenida sea suficientepara apoyar un juicio sobre el valor de la intervención pasa, eneste tipo de prácticas, a segundo plano.13

En todo caso, las cuasievaluaciones pueden tener usos legítimos.Por tanto, la principal cautela a adoptar es la de no considerarlasequivalentes a una evaluación.Entre los procesos más habituales asimilados a las cuasievaluacionesse encuentran los Estudios basados en objetivos y losEstudios basados en la experimentación.• Los Estudios basados en objetivos han impulsado el movimientode sistematización del trabajo evaluativo 2 . Su propósitomás común es determinar si los objetivos han sido alcanzadosy, de acuerdo con esto, concluir si se ha tenido éxito o no. Esprecisamente este tipo de estudios el que más frecuentementese califica como evaluación: disponen de una construcciónracional, se acumula experiencia mediante su utilización yemplean las técnicas propias de la evaluación por objetivosrecogiendo información de forma regular.Las principales críticas apuntan a que producen una informaciónque llega con frecuencia demasiado tarde para ser utilizada en elperfeccionamiento de las intervenciones, y lo que es más importante,esta información tiende a tener un alcance demasiado limitadocomo para constituir una base sólida a la hora de emitir juiciossobre el valor y el mérito de una intervención.• Los Estudios basados en la experimentación pueden ser clasificadosdentro de las cuasievaluaciones porque incluyenaspectos y metodologías en ocasiones relacionadas, aunque nosiempre, con un juicio de valor. La investigación experimentaltrae a colación la advertencia de Kaplan ante la llamada “leydel instrumento”, según la cual un método se equipara a unainvestigación. Como consecuencia, el campo de estudio sereduce a los problemas que pueden ser solucionados medianteun método determinado. El propósito más común es determinaro demostrar vínculos causales entre ciertas variables dependientese independientes.La principal ventaja de los estudios experimentales en el procesoevaluativo es que pueden llegar a proporcionar métodossólidos para la determinación de relaciones causales relativamenteinequívocas entre una intervención (proyecto o programa)y sus resultados. Los problemas que plantea, no obstante,Las cuasievaluacionesse inician con elplanteamiento de unproblema concreto yluego buscan lametodologíaapropiada para darsolución al mismo. Laprincipal cautela aadoptar es la de noconsiderarlasequivalentes a unaevaluación2. Los métodos utilizados en los estudios basados en objetivos incluyen esencialmente la recopilacióny el análisis de los datos sobre el trabajo en cuestión, relativas a objetivos específicos.Ralph Tyler es generalmente admitido como pionero de este tipo de estudios.14

adican en que los métodos utilizados proporcionan con frecuenciauna información mucho más restringida de la que esnecesaria para evaluar actuaciones de gran alcance en losámbitos social, educativo, sanitario, etc. Además, los estudiosexperimentales tienden a proporcionar una información finalexcesivamente descriptiva que no siempre resulta útil comoguía para el desarrollo de futuras intervenciones.1.1.3. EvaluacionesLas denominadas verdaderas evaluaciones, oponiéndose a laspseudoevaluaciones, subrayan la necesidad de evitar los estudiosdirigidos y, en contraste con las cuasievaluaciones, recomiendan larealización de investigaciones integrales objetivas y neutras cubriendouna multiplicidad de planos y aspectos que permitan abordar lascuestiones de valor y mérito. De forma general, dentro de las verdaderasevaluaciones se pueden identificar cinco grandes grupos ocategorías de análisis:• Estudios orientados a la toma de decisiones: básicamente suobjetivo consiste en proporcionar conocimientos y bases valorativasque permitan tomar y justificar decisiones a los responsablesde los programas o intervenciones evaluados.• Estudios centrados en el cliente: dirigidos, principalmente, aayudar a quienes prestan un servicio a valorar y perfeccionarsus contribuciones en función de la percepción que el serviciogenera entre sus diversas clientelas.• Estudios basados en el método holístico: y, en particular, lainvestigación innovativa que, a partir de diagnosticar la insuficienciade los métodos de evaluación tradicionales en el ámbitoeducativo (experimentales, psicométricos, etc.) plantean lanecesidad de un estudio intensivo de los programas en su totalidad,utilizando más la descripción que los números.• Estudios políticos: su propósito básico consiste en describir yvalorar los costos y beneficios potenciales de diversas políticasaplicables.• Estudios basados en el consumidor: su finalidad principal esjuzgar el valor relativo de bienes y servicios alternativos y,como, consecuencia ayudar a los usuarios y clientes a perfeccionarla forma de elección y el uso de los mismos.Los evaluadores deben tener particularmente en cuenta que quizáse encuentren con importantes dificultades si la concepción del pro-Las denominadasverdaderasevaluaciones,oponiéndose a laspseudoevaluaciones,subrayan la necesidadde evitar los estudiosdirigidos y, encontraste con lascuasievaluaciones,recomiendan larealización deinvestigacionesintegrales objetivas yneutras cubriendo unamultiplicidad deplanos y aspectos quepermitan abordar lascuestiones de valor ymérito de unaintervención15

pio proceso de evaluación que pretenden llevar a cabo difiere de lade sus clientes o audiencias.Si los evaluadores ignoran este tipo de posibles conflictos, la evaluación,probablemente, estará condenada al fracaso desde el principio.La ética debe ser lo primero. Los evaluadores deben atendertanto a lo que ellos piensan como a la concepción y expectativassobre el contenido y alcance de la evaluación de los clientes y losdiversos actores implicados (gestores, beneficiarios directos e indirectosy sociedad en general). Es más, los evaluadores deben prevenira las partes implicadas de los posibles conflictos que pueden producirseen lo que se refiere a los propósitos y desarrollo del procesode evaluación, llegando, desde un primer momento, a un acuerdocomún sobre los principios que van a guiar el mismo y los objetivosque se pretende alcanzar.Lo señalado vendría así mismo a garantizar la utilización de losresultados de la evaluación. Maximizar esta utilización puede requeriradoptar principios realistas, en función del tiempo y los recursosdisponibles, lo que lleva en ocasiones a seleccionar métodos que,aunque no sean los óptimos, reúnan las necesarias condiciones decredibilidad y fiabilidad.Para finalizar estas consideraciones, se señalan de forma sintéticalos rasgos característicos del planteamiento metodológico querequiere una verdadera evaluación:• Determinar hasta qué punto han sido alcanzadas las metas,ayudar a distinguir las virtudes y los defectos de un programa,y proporcionar los conocimientos suficientes y unabase valorativa para orientar la toma de decisiones.• Enmarcar el estudio de las intervenciones en su contextooperacional y socioeconómico, para lo cual se deberán estudiarlas condiciones previas a las mismas, los cambios producidosy las posibles relaciones causa-efecto.• Situar la evaluación en un proceso dinámico y comparativocon relación a otros momentos o fases.• Ofrecer un marco de análisis adaptado a la necesidad deevaluar la interacción entre los diversos agentes intervinientes,así como el nivel de coordinación que presentan,respondiendo de forma adecuada a la existencia de múltiplesactores de diversos niveles (públicos y privados,comunitarios y estatales, regionales y locales…), atendiendoa la complejidad de sus relaciones.Los evaluadores debenprevenir a las partesimplicadas de losposibles conflictos quepueden producirse enlo que se refiere a lospropósitos y desarrollodel proceso deevaluación, llegando,desde un primermomento, a unacuerdo común sobrelos principios que van aguiar el mismo y losobjetivos que sepretende alcanzar16

• Captar los efectos e impactos producidos por las intervencionesen los beneficiarios directos, los colectivos sociolaboralesimplicados y, en términos más amplios, en el contextosocioecónomico en el que tienen lugar.• Enmarcar los aspectos evaluatorios parciales, vinculados aaspectos específicos (colectivos, subprogramas, etc), desdeuna perspectiva que priorice la valoración integral.Desde este planteamiento, la evaluación pretende contribuir alperfeccionamiento de los programas mediante la identificación desus deficiencias y la presentación de las recomendaciones pertinentespara su modificación, generando la información cuantitativa ycualitativa necesaria para orientar la toma de decisiones y llevar acabo las oportunas reprogramaciones.1.2. INSTITUCIONALIZACIÓN DE LAS PRÁCTICASDE EVALUACIÓNLa Administración Pública, en su modelo más tradicional, no estabaconcebida para organizarse como un sistema de prestación de servicioseficaz y eficiente, sino que su criterio fundamental de actuación consistía,inicialmente, en velar por el cumplimiento del principio de legalidad.Por ello, sus mecanismos de control se focalizaban, en mayor medida,hacia la conformidad administrativa de sus actuaciones.En este orden de cosas, y siguiendo a Ballart 3 , se pueden constatarritmos diferenciados en el desarrollo, institucionalización e innovaciónen la evaluación de políticas y programas públicos. EE.UU.puede considerarse como el país con una tradición más rica y unainstitucionalización más temprana de las prácticas de evaluación enel seno de las administraciones públicas, mientras que en el resto depaíses se aprecian ritmos diversos y un proceso de institucionalizaciónacorde a su tradición y a su propio modelo de AdministraciónPública.La evaluación pretendecontribuir alperfeccionamiento delos programasmediante laidentificación de susdeficiencias y lapresentación de lasrecomendacionespertinentes para sumodificación,generando lainformacióncuantitativa ycualitativa necesariapara orientar la tomade decisiones y llevar acabo sureprogramación1.2.1. La génesis de la evaluación en los EE.UU.Como ha quedado señalado, EE.UU. se ha caracterizado desde losaños 60 por una constante innovación metodológica y un elevadonivel de institucionalización de la evaluación de las políticas y losprogramas públicos. El éxito de la implementación en elDepartamento de Defensa del Sistema de Presupuestación y Gestiónpor Programas “Programing, Planning and Budgeting System(PPBS)”, uno de cuyos componentes esenciales era la evaluación3. X.Ballart. ¿Cómo evaluar programas y servicios públicos?. MAP.199217

“ex-ante” de la eficacia y eficiencia de programas alternativos, llevóa extender su implantación a todas las agencias del gobierno federal.La definitiva institucionalización de la evaluación se produce conla creación de las unidades de evaluación de las oficinas federales yla promulgación de leyes que requerían a la General AccountingOffice (GAO) la realización de análisis de la eficacia de los programaspúblicos 4 . En el ámbito del desarrollo e innovación metodológicas,se crea en 1980 un instituto propio de evaluación dentro de laGAO denominado División de Evaluación de Programas yMetodología.De esta forma, a lo largo de las tres últimas décadas, la evaluaciónde programas en ámbitos de actuación pública tan cruciales como laeducación o la salud ha sido una referencia clave en el marco de losdebates públicos en EE.UU., generando información valiosa tantopara los detractores de la intervención pública como para los partidariosde la misma.En este orden de cosas, se ha considerado la oportunidad de recogeren forma de anexo gran parte de esta experiencia, mediante la descripciónde una serie de modelos de evaluación diseñados por autores norteamericanoscomo Stufflebeam o Stake, preocupados por encontrardiseños metodológicos que permitieran ir más allá de la evaluación centradaen el mero cumplimiento de los objetivos planificados, proporcionandouna base valorativa para la toma y justificación de decisiones yposibilitando el perfeccionamiento de las actuaciones públicas.EE.UU. se hacaracterizado desde losaños 60 por unaconstante innovaciónmetodológica y unelevado nivel deinstitucionalización dela evaluación de laspolíticas y losprogramas públicos1.2.2. La extensión a otros paísesDesde que en los años 60 se pone en marcha el movimiento evaluadoren EE.UU, el desarrollo e institucionalización de la evaluaciónen otros países se manifiesta más tardíamente y de forma incipiente.De hecho, la adopción de prácticas evaluativas está directamente vinculadaal desarrollo de las políticas de bienestar y cohesión social,planes sanitarios, educativos, etc. y/o ligada a la participación en programasfinanciados por organizaciones internacionales como laONU, el Banco Mundial, la FAO o, más recientemente en el casoespecífico europeo, por la Administración Comunitaria.Países como Canadá, Alemania, Suecia o Gran Bretaña comenzarona desarrollar iniciativas para la evaluación de las actuacionespúblicas a mediados de los setenta, mientras que Francia, Noruega,Dinamarca o Holanda no lo hicieron hasta los años ochenta. Al igual4 Como la “Economic Opportunity Act” de 1967.18

que en el caso norteamericano, el desarrollo de estas prácticas evaluativasvino impulsado por la generalización de las políticas debienestar social y la introducción de reformas presupuestarias.Por tanto, aunque el proceso de adopción de prácticas evaluativasatiende a las mismas razones en los diversos países, su grado de utilizacióne institucionalización, así como la cultura de evaluaciónalcanzada, es muy diferente. Estas diferencias se relacionan, por unlado, con el hecho de que sean los parlamentos quienes cuenten concompetencias en el ámbito de la evaluación o, por el contrario, éstasrecaigan únicamente sobre los niveles ejecutivos. Por otro lado, tambiénestá relacionado con los distintos niveles de centralización odescentralización existentes 5 .Es en 1988 cuando la evaluación queda institucionaliza en la U.E.La reglamentación europea introduce la obligatoriedad de evaluar losprogramas cofinanciados por sus fondos que cubren una gran variedadde ámbitos de actuación. Desde entonces, se han llevado a caboun gran número de evaluaciones en todos los países miembros. Comose irá desgranando a lo largo del documento, la institucionalizaciónde las prácticas está requiriendo de un cuerpo común más unificadoy un direccionamiento adecuado, siempre desde un planteamientoflexible que ayude a la mejora generalizada en la concepción de losprocesos evaluativos y, por extensión, en la obtención de resultadosútiles y en la aplicación/integración de los mismos.1.3. PRINCIPIOS DE LA EVALUACIÓNLa complejidad que puede llegar a revestir una evaluación requiereestablecer un marco conceptual en el que soportar el diseño metodológicoy operacional de la misma. Dentro de este marco conceptualtienen cabida una serie de principios básicos y criterios que debenguiar a los diversos actores participantes en el proceso evaluativo.De forma general, e independientemente del tipo y característicasprecisas de la evaluación de que se trate, ésta debería responder alcumplimiento de cuatro principios básicos: rigor y credibilidad, neutralidad,utilidad y transparencia.De forma general, eindependientementedel tipo ycaracterísticas precisasde la evaluación de quese trate, ésta deberíaresponder alcumplimiento decuatro principiosbásicos: rigor ycredibilidad,neutralidad, utilidad ytransparencia❏ Rigor y CredibilidadEl principio del rigor de las evaluaciones se concreta en la necesidadde efectuar una definición metodológica objetiva y cientí-5. Países como Canadá y Suecia, desde mediados de los años setenta, y Gran Bretaña en 1983,han llegado a constituir unidades especializadas en el control y la evaluación de las políticaspúblicas siguiendo el modelo de la GAO norteamericana.19

fica del proceso. La credibilidad se materializa básicamente enla necesidad de adoptar marcos organizativos y de consenso claros,sobre la base de un enfoque de trabajo participativo, pluralistae interactivo. Lo señalado vendría, así mismo, a garantizarla utilidad y uso de los resultados de la evaluación.❏ NeutralidadEl principio de neutralidad o independencia pasa por situar a launidad, organismo o equipo evaluador de forma externa alorganismo gestor o ejecutor del programa objeto de evaluación,dotándole de autonomía para el ejercicio de sus funciones yseleccionándolo de forma imparcial.Este principio de independencia no implica necesariamente larealización de la evaluación por personas ajenas al programaobjeto de evaluación o a la administración responsable delmismo. Es más, en ocasiones la evaluación por parte de institucioneso empresas externas puede ser percibida por sus ejecutoresnegativamente como un control externo que se inmiscuyeen sus funciones. Esta percepción viene dada por el carácterde determinados procesos evaluativos que han puesto elacento en los mecanismos de control.Sin embargo, aún optando por una evaluación realizada dentrode la propia estructura organizacional responsable del programa,lo que siempre debe observarse es la externalidad funcionalde la evaluación, es decir, la independencia total de la unidadde evaluación de las unidades responsables de la programación,gestión y ejecución del programa.❏ UtilidadEl principio de utilidad de la evaluación requiere la necesariaparticipación a lo largo del proceso evaluador de los diversosactores implicados (beneficiarios directos e indirectos, gestoresy ejecutores, organismos e instituciones concernidas) y,para ello, puede llegar a requerirse la integración del organismoque promueve la evaluación en la estructura institucionalque dirige el proceso de evaluación.Del mismo modo, resulta necesario la aptitud del equipo evaluadorque, como culminación del proceso, genere una seriede conclusiones, recomendaciones y aprendizajes; así como elestablecimiento de unos canales de retroalimentación fluidospara lograr que dichas conclusiones puedan ser integradasdentro de la gestión diaria del programa.El principio deneutralidad oindependencia pasapor situar a la unidad,organismo o equipoevaluador de formaexterna al organismogestor o ejecutor delprograma objeto deevaluación, dotándolede autonomía para elejercicio de susfunciones yseleccionándole deforma imparcial.El principio de utilidadde la evaluaciónrequiere la necesariaparticipación a lo largodel proceso evaluadorde los diversos actoresimplicados20

❏ TransparenciaEl principio de transparencia requiere de una difusión suficientementeamplia de los resultados de la evaluación entretodos los actores implicados y el público en general, así como,en ciertos casos, la puesta en juicio del propio sistema de evaluación( o metaevalaución), y del equipo evaluador.El principio detransparencia requierede una difusiónsuficientemente ampliade los resultados de laevaluación1.4. CRITERIOS DE LA EVALUACIÓNSe parte de la idea de que los criterios de evaluación deben proporcionarun referente para la obtención de conocimientos útiles alobjeto de poder tomar decisiones sobre las intervenciones evaluadas.Hay que subrayar que los criterios no deben ser consideradoscomo categorías excluyentes o exhaustivas sino como elementos guíapara enfocar las evaluaciones, sus correspondientes procesos y parámetrosde referencia.A continuación se definen los criterios que son empleados deforma más habitual en los procesos de evaluación:❏ EficaciaSe trata de medir el grado de alcance del objetivo/s establecidosy de los resultados esperados de un programa acotado a unperíodo de tiempo predefinido y un público objetivo, sin teneren cuenta los costes en los que se incurre para obtenerlos.Por tanto, la medición de la eficacia será más sencilla de realizarcuanto mejor definidos se encuentren los objetivos yresultados esperados, los beneficiarios directos e indirectos,así como los indicadores básicos y las fuentes de verificacióncorrespondientes. En este sentido, la información necesariapara realizar la valoración de la eficacia provendrá de losdiversos informes de seguimiento disponibles, siendo necesario,cuando esta información no resulte suficiente, procedera comprobaciones adicionales sobre el terreno.En consecuencia, el sistema de seguimiento resulta clave en elsuministro de datos e información necesaria para poder llevara cabo el proceso de evaluación.Asimismo, la definición de los objetivos y de los resultados quese pretende alcanzar debe estar realizada de forma que resultenoperativos para su logro y su evaluación, siendo necesario que ensu formulación resulten precisos, verificables y realistas.No es infrecuente que la definición de objetivos se haya realizadode una forma ambigua o poco clara, siendo necesarioLa eficacia trata demedir el grado dealcance del objetivo/sestablecidos y de losresultados esperadosde un programaacotado a un períodode tiempo predefinidoy un público objetivo,sin tener en cuenta loscostes en los que seincurre para obtenerlos21

poner de manifiesto este hecho y proceder a su clarificaciónrecurriendo a otras informaciones disponibles y/o la realizaciónde entrevistas a informantes clave.Del mismo modo puede resultar que del análisis de la eficacia sededuzca que el programa ha resultado ineficaz respecto al objetivou objetivos planteados, pero eficaz respecto a los resultadosprogramados para el cumplimiento de dichos objetivos. Estaaparente paradoja puede estar indicando la existencia de deficienciasen la formulación del proyecto y/o cambios en el contextodebidos al surgimiento de aspectos y factores no previstos.❏ EficienciaEs una medida del logro de los resultados en relación con losrecursos consumidos. Por tanto, viene a complementar el criteriode eficacia, valorando el nivel de utilización de todos los recursosdisponibles: financieros, materiales, físicos, técnicos yhumanos.Aplicar el criterio de eficiencia lleva a contrastar los resultadoscon los recursos empleados; así, si los resultados están predeterminadosla intervención será más eficiente cuantos menosrecursos se utilicen en la misma, mientras que si los recursosestán predeterminados, la intervención será más eficientecuando se alcancen mayores o mejores resultados.Puede suceder que de los documentos programático-presupuestalesdisponibles no se deduzca necesariamente losrecursos imprescindibles para llevar a cabo el programa y,por tanto, no se puedan calcular los costes con el debidorigor. En este caso, el proceso se complica y es necesarioreforzar los mecanismos e instrumentos de obtención deinformación previa. Del mismo modo, en algunos casosresulta pertinente la identificación de posibles costes indirectosgenerados por la intervención y, también, la consideraciónde los costes de oportunidad en contraste con otrasalternativas posibles.Las herramientas que tradicionalmente se vinculan al análisis dela eficiencia son: el Análisis Coste-Beneficio (ACB), el AnálisisCoste-Efectividad (ACE) y el Análisis Coste-Utilidad (ACU).En el ACB se requiere una expresión monetaria de los costesy efectos de la intervención; en el ACE únicamente serequiere una expresión monetaria de los costes mientras losefectos pueden ser medidos mediante otro tipo de unidadesLa eficienciaes una medida dellogro de los resultadosen relación con losrecursos consumidos.Por tanto, viene acomplementar alcriterio de eficaciavalorando el nivel deutilización de todos losrecursos disponibles:financieros, materiales,técnicos y humanos22

no monetarias; en el ACU los efectos pueden ser medidosen escalas no cuantificables.❏ PertinenciaLa pertinencia refleja el grado de adecuación/inadecuación de losresultados y los objetivos al contexto en el que se implementa elprograma objeto de evaluación. En esta valoración se debe considerartanto el contexto en el que fue formulado el programa comoel contexto posterior en el que se lleva a cabo, analizando los posiblescambios surgidos entre esos dos momentos.De esta forma, el criterio de pertinencia abre la reflexión a unenfoque más cualitativo que la eficacia y la eficiencia, centrándose,fundamentalmente, en el análisis de los objetivosbásicos del programa. En el marco de este análisis deberántenerse en cuenta también los objetivos colaterales además delos planteados explícitamente.❏ ImpactoEl análisis del impacto de un programa hace referencia a la valoraciónde los efectos producidos por el mismo en sentido amplio.Por tanto, este es un criterio que va más allá de la eficacia ya que:• Incluye el análisis tanto de los efectos directos como de losindirectos 6 .• No se limitará a examinar los efectos previstos sino quedeberá tener en cuenta los no previstos 7 .• No se circunscribe a los efectos deseados, sino que tiene encuenta los no deseados.• No se reduce al análisis de los efectos sobre la población identificadacomo beneficiaria sino que tiene en cuenta a los públicosno incluidos en la programación de la intervención.La pertinencia reflejael grado deadecuación/inadecuaciónde los resultados ylos objetivos alcontexto en el que seimplementa elprograma objeto deevaluaciónEl análisis del impactode un programa hacereferencia a lavaloración de losefectos producidos porel mismo en sentidoamplio6. Los efectos indirectos son aquellos efectos inducidos por la intervención, en especial de carácterpsicosocial (cambios de autopercepción, motivación, etc.), vinculados particularmente aaspectos de percepción y actitud en relación al proyecto, tanto por parte de los colectivos de usuariosúltimos o de los operadores intervinientes en el programa.7. Como efectos no previstos se pueden citar los siguientes:• Efectos multiplicadores de la oferta/demanda: incrementos en la oferta/demanda impulsada porun programa concreto.• Efecto de sustitución: resultados generados por un programa que evaluados de forma aisladaresultan positivos pero que, analizados en su contexto van en detrimento de los objetivos establecidosen otra o en otros segmentos de población.• Efecto de peso muerto: porcentaje de subsidios, asignaciones o beneficios producidos en unbeneficiario que, sin embargo, no logran mejorar su status social.• Efecto de desplazamiento: beneficiarios de un programa que desplazan en su status a los nobeneficiarios.23

Mediante el criterio de impacto se trata de llegar a identificarlos efectos netos de la intervención objeto de evaluación, comprobandola relación de causalidad existente entre ésta y elimpacto, independientemente de los efectos provocados porotras acciones o intervenciones.❏ ViabilidadLa viabilidad hace referencia al grado en que los efectos positivosderivados de la intervención continúan después de finalizada lamisma. Por tanto, se trata de valorar en qué medida y bajo qué condicioneslos beneficiarios o las instituciones que han actuado comocontraparte, asumen o están en condiciones de proseguir con elcumplimiento de los objetivos planteados en la intervención.Para efectuar el análisis de la viabilidad se deben tener en cuentalos diversos factores que configuran el contexto en el que seimplementa el programa, bien sean económicos, sociales, culturales,tecnológicos, políticos o institucionales, poniendoespecial énfasis en el análisis de aquellos que en cada casoresultan determinantes.1.5. MOMENTOS DE LA EVALUACIÓNLas particularidades del proceso evaluativo vienen dadas, además,por el momento en que la misma se implementa; es decir, en funcióndel ámbito temporal que cubre la misma.En los proyectos de gran relevancia y alcance social se identificancuatro momentos para la evaluación asociados a una determinadafase de desarrollo del proyecto:• Evaluación ex-ante o previa• Evaluación intermedia• Evaluación final• Evaluación ex-post o posteriorLa viabilidad hacereferencia al grado enque los efectospositivos derivados dela intervencióncontinúan después definalizada la mismaLas particularidadesdel proceso evaluativovienen dadas, además,por el momento en quela misma seimplementa; es decir,en función del ámbitotemporal que cubre lamisma❏ La evaluación ex-anteSe centra en el análisis de varias medidas o intervencionesalternativas para la solución de un problema determinado o lasatisfacción de determinadas carencias/necesidades colectivas.Planificar y evaluar son procesos estrechamente interrelacionadose interdependientes que se complementan y se condicionanmutuamente, de ahí la importancia de este tipo de evaluación.Si el diagnóstico de necesidades es desde toda lógica elpaso previo a cualquier intervención, una vez que se ha elabo-24

ado un plan o un programa resulta obvio proceder a una evaluacióndel mismo; diseño, conceptualización, etc..; la evaluaciónse entrelaza de esta forma con la planificación y al revés.Para ello, en este tipo de evaluación el criterio predominante esel de la pertinencia de la intervención que se está planteandollevar a cabo, estableciendo diferentes planos de observaciónanalítica que permitan identificar, por ejemplo:• La importancia para la población beneficiaria y el contextoeconómico y social en el que se va a llevar a cabo.• La factibilidad y viabilidad financiera, técnica e institucionaldel proyecto en la coyuntura y contexto en el que se pretendeimplementar.• La adecuación del diseño de la intervención a los objetivosque se pretenden alcanzar.• El grado de legitimación social que se le atribuye, etc.La evaluación ex-antese centra en el análisisde varias medidas ointervencionesalternativas para lasolución de unproblema determinadoo la satisfacción dedeterminadascarencias/necesidadescolectivas❏ La evaluación intermediaSe lleva a cabo durante la ejecución del programa aprovechandoel final de una etapa o fase del mismo en la que ya se handebido producir resultados significativos o que pueden serrelevantes para retroalimentar la formulación y ejecución de lafase siguiente.Conviene distinguir la evaluación intermedia del seguimientodel programa. La evaluación intermedia tiene una fecha decomienzo y una duración que está previamente programada,mientras que el sistema de seguimiento se construye al inicio yse desarrolla de forma continuada a lo largo de todo el programa.Del mismo modo, el seguimiento y la evaluación intermediadifieren en los términos de referencia a partir de los que se desarrollany en sus usuarios finales; el seguimiento tiene, de formageneral, un carácter continuista y más vinculado al control y lagestión interna, mientras que la evaluación intermedia se destinaa valorar de manera integral el estado de desarrollo alcanzado.Por tanto, de los resultados, conclusiones y aprendizajes extraídosmediante la evaluación intermedia se pretende corregir ymejorar, en la medida de lo posible, el programa evaluado,adoptando una perspectiva integral del mismo.La evaluaciónintermediase lleva a cabo durantela ejecución delprogramaaprovechando el finalde una etapa o fase delmismo en la que ya sehan debido producirresultadossignificativos❏ La evaluación finalComo su mismo nombre indica, se realiza en el momento en elque finaliza el programa. Esta evaluación se centra en analizar25

la consecución de los resultados y de los objetivos del programa.Además de emplear los diversos criterios de evaluación, alsituarse una vez finalizado el programa, los resultados, conclusionesy aprendizajes serán definitivos y deciden el valor y elmérito de la intervención.❏ La evaluación ex-postEsta evaluación se realiza un tiempo después de finalizado elprograma. Además de emplear los criterios de eficacia, eficiencia,pertinencia…, en esta fase se analiza de forma profundael impacto que ha producido, si ha resultado viable yqué tipo de efectos ha producido sobre la población identificadaen un principio como beneficiaria, así como sobre elresto de la ciudadanía.Este tipo de evaluación decide normalmente la extensión/generalizaciónde la intervención.La evaluación final secentra en analizar laconsecución de losresultados y de losobjetivos del programaCon la evaluaciónex-post se analiza deforma profunda elimpacto que haproducido laintervención y decidenormalmente laextensión/generalizaciónde la misma26

2. La evaluación de programasen la Unión EuropeaOrientaciones para proceder a suorganización y diseño

2. La evaluación de programas enla Unión EuropeaOrientaciones para proceder a suorganización y diseñoTeniendo en cuenta que la evaluación se ha constituido en parteintegrante del diseño de las intervenciones públicas en el senode la U.E. destinada a conocer qué resultados tiene la accióngubernamental, qué efectos e impactos reales produce, etc. y que,paralelamente, el propio concepto de evaluación y su función evolucionan,el presente capítulo dirige la mirada a Europa y, más concretamente,al modo de organizar y diseñar un proceso óptimo para laevaluación de las intervenciones estructurales comunitarias 8 .2.1. MARCO GENERALLa evaluación de las intervenciones cofinanciadas por los fondosestructurales se enmarca en un entramado institucional complejo queconviene abordarlo, aunque sea de forma sucinta, por su influencia directaen la configuración de los procesos evaluativos.Como es sabido, estas intervenciones se inscriben en un marco deprogramación establecido para períodos de duración predeterminada.Así, actualmente nos encontramos en el final del período de programación1994-1999.Cada uno de los fondos estructurales tiene un ámbito de actuaciónpredefinido. A grandes rasgos, el FEDER está vinculado a la cofinanciaciónde inversiones, el FSE a la inserción en el mercado de trabajoy la formación, el FEOGA-O al sector agrícola, ganadero yforestal, y el IFOP al sector pesquero.Durante el período 1994-1999 los fondos estructurales se han configuradoen torno a los siguientes Objetivos Prioritarios:El presente capítulodirige la mirada aEuropa y, másconcretamente, almodo de organizar ydiseñar un procesoóptimo para laevaluación de lasintervencionesestructuralescomunitarias• Objetivo nº 1: Desarrollo y ajuste estructural de las regionesmenos desarrolladas.• Objetivo nº 2: Reconversión de las regiones o zonas gravementeafectadas por el declive industrial.• Objetivo nº 3: Lucha contra el paro de larga duración, inserciónprofesional de los jóvenes e integración de las personasexpuestas a la exclusión del mercado laboral, promoción dela igualdad de oportunidades entre hombres y mujeres en elmercado laboral.8. Se recogen las orientaciones emanadas de la Comisión Europea así como diversas aportacionesmetodológicas desarrolladas en el marco del Programa MEANS (Métodos de Evaluación de lasAcciones de Naturaleza Estructural).28

• Objetivo nº 4: Adaptación de los trabajadores a las mutacionesindustriales y a la evolución de los sistemas de producción.• Objetivo nº 5: Desarrollo rural mediante:• Objetivo 5a): La adaptación de las estructuras agrariasen el marco de la reforma de la PAC; modernización yreestructuración de la pesca.• Objetivo 5b): El desarrollo y ajuste estructural de laszonas rurales.En el debate presupuestario que se viene desarrollando durantelos últimos meses de cara a la nueva configuración de los FondosEstructurales, y vista la necesidad de concentrar las ayudas paramejorar su eficacia, ha quedado planteada la necesidad de reducira tres el número de Objetivos Prioritarios.• Objetivo nº 1: Ayuda a las regiones menos desarrolladas.• Objetivo nº 2: Reconversión económica y social de zonasindustriales, urbanas, rurales o pesqueras con importantesdeficiencias estructurales.La responsabilidad enmateria de evaluaciónen la U.E. correspondetanto a la Comisióncomo a cada Estadomiembro.• Objetivo nº 3: Mejora de los sistemas de educación, formacióny empleo.• Institucionalización de la evaluaciónLa reforma de los Fondos Estructurales llevada a cabo en 1988introdujo la obligatoriedad de evaluar las políticas estructuraleseuropeas. En 1993 esta obligatoriedad queda reforzadamediante la reglamentación modificada resultante de la revisiónde los Fondos Estructurales 1994-1999 y las cláusulasnormalizadas de los Marcos Comunitarios de Apoyo (MCA) yde los Documentos Únicos de Programación (DOCUP).La responsabilidad en materia de evaluación corresponde tantoa la Comisión como a cada Estado miembro. La Comisión presentaun informe trienal de evaluación sobre los progresos efectuadosen materia de cohesión social y económica y la contribuciónde los Fondos Estructurales a este objetivo fundamental.La Comisión presentaun informe trienal deevaluación sobre losprogresos efectuadosen materia de cohesiónsocial y económica y lacontribución de losFondos Estructurales aeste objetivofundamental• Concepción de la evaluaciónEn las principales disposiciones reglamentarias sobre losFondos Estructurales 9 , la evaluación se define como una apreciaciónde la eficacia a tres niveles:9. Art. 6 del Reglamento marco nº 2052/88 (modificado por el nº 2081/93) sobre las funcionesde los fondos con finalidad estructural y la coordinación de sus intervenciones.29

a) el impacto del conjunto de las acciones estructurales sobrelos objetivos contemplados (Art. 130 A del Tratado).b) el impacto del conjunto de las acciones propuestas en losplanes y empresas en cada marco comunitario de apoyo(MCA).c) el impacto específico de cada intervención operativa (programasy formas de intervención).En este sentido, el Reglamento de coordinación establece que,tanto en lo que concierne a la apreciación como a la evaluación,se utilicen los distintos elementos que pueda ofrecer elsistema de seguimiento para apreciar el efecto socioeconómicode las acciones, en su caso en estrecha colaboración con losComités de Seguimiento. De esta forma, según proceda, laapreciación y la evaluación se deberán realizar comparandolos objetivos con los resultados obtenidos atendiendo a:• Los objetivos e indicadores macroeconómicos y sectorialesbasados en datos regionales y nacionales.• Los datos generados por estudios analíticos y descriptivos.• Los análisis de carácter cualitativo.• El Programa MEANSDesde 1994, el programa MEANS (Métodos de Evaluación delas Acciones de Naturaleza Estructural), promovido por laComisión Europea, ha contribuido decisivamente a la difusiónde la cultura evaluativa.El programa MEANS se establece con el objetivo de propiciarun desarrollo metodológico uniforme y coherente a aplicar enlos Estados miembros y la presentación de buenas prácticastransferibles.En principio, la diversa documentación metodológica producidaen el marco del citado programa se llevará a textos pedagógicosdestinados a incrementar el nivel medio de la culturaevaluativa de las diversas administraciones nacionales yregionales.Está previsto que antes del 2000 la Comisión publique una seriede informes sobre diversos aspectos metodológicos donde quedaránrecopiladas las aportaciones metodológicas producidas alo largo de estos años. Los documentos que se prevé publicarabordarán aspectos metodológicos como la selección y utiliza-La apreciación y laevaluación se deberánrealizar comparandolos objetivos con losresultados obtenidosatendiendo a:• Los objetivos eindicadoresmacroeconómicos ysectoriales basados endatos regionales ynacionales.• Los datos generadospor estudios analíticosy descriptivos.• Los análisis decarácter cualitativo.10. Reglamento nº 4253/88 modificado por el nº 2082/93.30

ción de los indicadores, las técnicas principales de evaluacióno la evaluación del impacto producido por las intervencionesde naturaleza estructural sobre el medioambiente, el empleo yotra serie de ámbitos de actuación prioritarios en la políticacomunitaria. A la espera de estas publicaciones el seguimientopróximo efectuado por CIDEC de ésta y otras actuaciones llevadasa cabo por la Comisión permiten presentar una serie deavances importantes.2.2. CÓMO ORGANIZAR EL PROCESO DE EVALUA-CIÓNLa organización y el diseño del proceso de evaluación resultaclave para el buen fin de la misma y la obtención de resultados útilesy fiables. En los últimos años, desde las instancias comunitarias,se han producido avances substanciales en el desarrollo metodológicoy en el establecimiento de orientaciones comunes.Buena parte de las aportaciones efectuadas en el marco delPrograma MEANS 11 están orientadas hacia la definición del importantepapel que deben jugar los gestores de los programas y las autoridadesque tiene la facultad de decidir la puesta en marcha de unproceso evaluativo para que éste pueda desarrollarse, desde sucomienzo, de forma óptima.El punto de partida sobre el que debe construirse el proceso deevaluación pasa porque los responsables y gestores de los programastengan una idea clara y realista de las expectativas que pueden depositaren dicho proceso y de cómo pueden ser utilizados los resultadosy las conclusiones que del mismo se deriven.Del mismo modo, la organización del proceso debe partir de la diversidadde actores implicados en los diferentes niveles de responsabilidady ejecución, siendo consistente con el carácter de partenariado de lasintervenciones comunitarias, tanto en su vertiente vertical o de financiación12 como en su vertiente horizontal 13 . De esta forma, se deberáimplicar en el proceso de evaluación a las diversas partes procurando suparticipación en el seno del Grupo de Pilotaje del Programa.El punto de partidasobre el que debeconstruirse el procesode evaluación pasaporque losresponsables y gestoresde los programastengan una idea clara yrealista de lasexpectativas quepueden depositar endicho proceso y decómo pueden serutilizados losresultados y lasconclusiones que delmismo se deriven11. En esta dirección se enmarcarían el manual nº 1 “Organising Intermediate Evaluation in thecontext of Parthership” (1995) y el nº 5 “Quality Assessment of Evalaution Reports: aFramework” (1996).12. Generalmente compuesta por la Comisión, las autoridades nacionales y las autoridades regionalesy locales.13. En la que se incluyen aquellos actores que pueden intervenir legítimamente en la definicióno implementación de los programas.31

PARTENARIADO VERTICALFigura 1PARTENARIADO VERTICAL Y HORIZONTALResponsablesAutoridadesnacionalesAutoridadeslocalesAgentessocialesGrupo dePilotajeSectorprivadoPARTENARIADO HORIZONTAL2.3. LAS ETAPAS BÁSICAS Y SU CONTENIDODesde la perspectiva del gestor del programa, la organización dela evaluación cabe estructurarla en cinco etapas básicas que aparecenreflejadas en el siguiente esquema y cuyo contenido se detallamás adelante.Figura 2ETAPAS BÁSICAS DE LA EVALUACIÓNFASE AMandato de evaluacióny estructuración del procesoLa organización delproceso debe partirde la diversidad deactores implicadosen los diferentesniveles deresponsabilidad yejecución, siendoconsistente con elcarácter departenariado de lasintervencionescomunitarias, tantoen su vertientevertical o definanciación 12 comoen su vertientehorizontalFASE BPreparación de los términos dereferencia y convocatoria del concursoFASE CSelección de evaluadoresy plan de evaluaciónFASE DGestión de la evaluacióny de su calidadFASE EDifusión y puesta en prácticade los resultados32

2.3.1. Fase A : Mandato de Evaluación y Estructuracióndel ProcesoUno de los factores fundamentales para lograr el éxito en el procesode evaluación reside en conseguir la implicación de los diversosagentes concernidos. Una adecuada estructura organizativa y laelaboración de un mandato de evaluación en el que dichos agentesidentifiquen la información y las cuestiones que requieren ser evaluadasa lo largo del proceso constituyen los elementos centrales deesta fase.A1. Formulación de un mandato de evaluaciónDonde se clarifiquen las orientaciones, prioridades y responsabilidadesdel proceso de evaluación, identificando:• Quién es el responsable de la organización y del desarrollo delproceso.• Cuáles van a ser las cuestiones clave que deberán abordarse yse incluirán en los términos de referencia, diferenciando claramentela evaluación del sistema de seguimiento y sus correspondientescontenidos.Este mandato formalizado por escrito constituye un elementofundamental para dotar de mayor credibilidad a la evaluación y promoverel diálogo siempre que se formule de forma consensuadamediante la participación de los diversos actores. Del mismo modo,el mandato se configura como el documento que va a servir de referentepara la propia evaluación del trabajo de los evaluadores.A2. Identificación de los objetivos y de las cuestiones a las que sepretende dar respuesta mediante la evaluaciónPara poder desarrollar los términos de referencia de la fasesiguiente, las cuestiones que hayan sido incluidas en el mandatodeben quedar concretadas y detalladas, atendiendo a las implicacionesmetodológicas que las mismas conllevan.A3. Estructuración del procesoDe cara al seguimiento específico del proceso de evaluación esconveniente establecer un grupo de trabajo formado a partir delpropio Grupo de Pilotaje que actúe como Subcomité de evaluación.En él tomarán parte no sólo los miembros del propio Grupo dePilotaje sino también expertos en metodologías de evaluación, asesoresexternos, etc.Este subcomité permitirá:Uno de los factoresfundamentales paralograr el éxito en elproceso de evaluaciónreside en conseguir laimplicación de losdiversos agentesconcernidosadoptando unaadecuada estructuraorganizativa y unmandato de evaluacióndonde se clarifiquenlas orientaciones,prioridades yresponsabilidades delproceso evaluativo33

• Involucrar más activamente al Grupo de Pilotaje en el procesode evaluación.• Liberar a los responsables de los programas de una excesiva responsabilidaden la organización de la evaluación.• Integrar la aportación técnica de los expertos externos.2.3.2. Fase B: Elaboración de los Términos de Referenciay Convocatoria del ConcursoCon el fin de garantizar que las cuestiones a evaluar resultan suficientementerelevantes y precisas conviene dar contenido a lossiguientes aspectos: en primer término, la identificación de las relacionesexistentes entre los objetivos; en segundo lugar, la elaboraciónde los términos de referencia para la convocatoria del concurso.B1. Identificación de los objetivos y de las relaciones implícitas adiversos nivelesResulta muy recomendable que la formulación de los objetivosincluya su estructuración en diferentes niveles jerárquicos, identificandolas relaciones causa-efecto existentes entre dichos objetivos.Ello va a permitir:• Clarificar las relaciones causa-efecto implícitas y explícitas quedeben ser tenidas especialmente en cuenta en la evaluación.• Identificar los puntos donde van a interactuar los efectos provocadospor las diversas medidas y subprogramas.Con el fin de garantizarque las cuestiones aevaluar resultansuficientementerelevantes y precisas,conviene darcontenido a lasrelaciones existentesentre objetivos y a lostérminos de referenciaque guiarán el procesoevaluativo• Establecer puentes entre los objetivos de los subprogramas y losprogramas.• Clarificar los objetivos definidos al inicio del programa y cómohan ido variando a lo largo de su implementación.B2. Elaboración de los términos de referencia y convocatoria delconcurso de tal forma que se presenten propuestas metodológicamenteadecuadasEl contenido de los términos de referencia debe incluir una seriede aspectos básicos.Introducción: breve caracterización del programa a evaluar y desus objetivos principales.La normativa sobre la que se sustenta el proceso de evaluación allevar a cabo.Una sucinta, pero completa, descripción del programa a evaluar:34

• Cuáles son los problemas económicos y sociales que motivaronsu puesta en marcha.• Cuáles son los objetivos del programa.• Cuáles son los efectos que se esperan obtener del mismo.• Cuáles son sus beneficiarios.• Cómo va a ser implementada la evaluación.Breve descripción de la estructura organizacional que acompañaa la evaluación, especificando:• Las relaciones estructurales con el Grupo de Pilotaje.• Las funciones que debe desarrollar el equipo evaluador.• Los procedimientos requeridos para asegurar que los resultadosde la evaluación sean discutidos y difundidos convenientemente.El contenido de la evaluación en términos de pertinencia, eficacia,eficiencia, coherencia, impactos, mecanismos de gestión, etc.Una aproximación al plan de trabajo que incluya consideracionesrelativas al enfoque a seguir en la evaluación, métodos de evaluación,herramientas de análisis, duración del proceso, productosesperados, presupuesto, etc.Por último, se deberán incluir los criterios que van a ser empleadospara la selección del equipo evaluador.2.3.3. Fase C: Selección de Evaluadores y Elaboracióndel Plan de EvaluaciónLa calidad de la evaluación depende, en buena medida, de tres factores:la capacidad del Grupo de Pilotaje para especificar adecuadamentesus necesidades y expectativas en torno a la evaluación, la designaciónde un equipo de evaluadores cualificado y el establecimiento deuna comunicación fluida entre el Grupo de Pilotaje y los evaluadores.Esta relación comienza por la selección y la definición conjuntade un plan de trabajo detallado que va a permitir ahorrar tiempo yesfuerzos más adelante e incrementar la credibilidad y aplicabilidaddel informe final de la evaluación.C1. Realizar una óptima selección de los evaluadores, para lo quese requiere asegurar que:El contenido de lostérminos de referenciadibujan el marco guíapara el desarrollo delcorrespondiente plande evaluación• Las metodologías propuestas se ajustan a las cuestiones que sedesean evaluar.35

• El Grupo de Pilotaje se involucra en la selección definitiva delos evaluadores.• La independencia de los evaluadores, garantizando su no vinculacióncon la formulación del programa y su implementación.C2. Concretar los términos de referencia en un plan de evaluacióncoherente, pasa por:• Formular un cronograma de la evaluación que se ajuste a losmomentos clave del ciclo del programa.• Establecer los criterios para la selección de las medidas y subprogramasque deben ser evaluados en profundidad y el momentoen que deberán realizarse.• Llegar a un acuerdo sobre el formato del informe final de evaluación.• Lograr que el Grupo de Pilotaje valide el plan de trabajo desarrollado.2.3.4. Fase D: Gestión del Proceso y Evaluación de su CalidadCualquier tipo de evaluación requiere de un contacto fluido y permanenteentre los evaluadores y el Grupo de Pilotaje o el subcomitécreado al efecto. Para ello, una vez iniciado el proceso de evaluación,los responsables del programa deben:D1. Gestionar la evaluación como un proceso de diálogo y adaptacióncontinúa, lo que implica:La calidad de laevaluación depende,en buena medida, detres factores: lacapacidad del Grupode Pilotaje paraespecificaradecuadamente susnecesidades yexpectativas en torno ala evaluación, ladesignación de unequipo de evaluadorescualificado y elestablecimiento de unacomunicación fluidaentre el Grupo dePilotaje y losevaluadores• Mantener a los miembros del Grupo de Pilotaje informados delos avances experimentados por el proceso de evaluación.• Asegurar que la evaluación se realiza conforme a los términosde referencia y al plan de evaluación establecido.• Controlar el cumplimiento del cronograma.• Reservar un tiempo para la incorporación de sugerencias y observacionesen los informes entregados por el equipo evaluador.• Verificar la metodología empleada a lo largo del proceso de evaluación.D2. Evaluar la calidad del proceso de evaluación, lo que implica:• Verificar que los criterios de objetividad e independencia hansido respetados.36

• Asegurar que se han cumplido los términos de referencia y, encaso contrario, justificar los cambios realizados.• Animar a lo evaluadores a presentar sus resultados de formaque resulten útiles para los responsables del programa.Criterios para evaluar la calidad de la evaluaciónLa valoración cualitativa de los resultados de una evaluaciónquedará articulada en torno a los siguientes criterios (ProgramaMEANS):Grado de cumplimiento de las necesidades expresadas¿La evaluación cumple con las necesidades de información delGrupo de Pilotaje y se ajusta a los términos de referencia?Enfoque relevante¿Se evalúan sistemáticamente los resultados, realizaciones eimpactos producidos por el programa, incluyendo los efectosprevistos y no previstos, así como las interacciones con otrosprogramas y políticas similares?Gestionar la evaluacióncomo un proceso dediálogo y adaptacióncontinua y evaluar lapropia calidad delproceso evaluativo deacuerdo a criteriosestablecidos sonetapas que, por sutrascendencia, sedestacan sobre el restoDiseño apropiado¿Resulta adecuado el diseño implementado en la evaluacióncara a asegurar que las conclusiones alcanzadas permiten respondera las principales cuestiones planteadas?Fiabilidad de los datos recopilados y procesados¿Hasta qué punto los datos recogidos y seleccionados, resultanapropiados y ofrecen un nivel de fiabilidad suficiente?Análisis apropiado¿Resulta adecuada y sistemáticamente analizada la informacióncuantitativa y cualitativa, de forma que las cuestiones dela evaluación son respondidas correctamente?Resultados fiables¿Se puede afirmar que los resultados y las conclusiones de laevaluación se fundamentan y justifican a partir de análisis einterpretaciones basadas en hipótesis lógicas y cuidadosamentedescritas?Conclusiones imparciales¿Las conclusiones obtenidas resultan justas, imparciales, noinfluidas por la opinión de los diversos actores y suficientementedetalladas para poder ser aplicadas?37

Claridad expositiva del informe¿El informe describe claramente el contexto y el propósito delprograma evaluado, incluyendo los procedimientos y resultadosde la evaluación, de manera que la información provista puedaser comprendida fácilmente?2.3.5. Fase E: Difusión de Resultados y Puesta en PrácticaLa difusión de los resultados alcanzados tras el proceso de evaluacióndebe atender a dos criterios básicos: transparencia y confidencialidad.E1. Difusión de los resultados de la evaluación.• Todos los miembros del Grupo de Pilotaje deben recibir elinforme completo de la evaluación.• Cualquier difusión del informe o de sus resultados más allá delpropio Grupo de Pilotaje, debe ser aprobado previamente poreste grupo de forma que se asegure la confidencialidad y laconfianza mutua.• Los evaluadores deben generar diferentes tipos de documentosadaptados a los diversos tipos de audiencia, sin alterar la integridadde su trabajo.• Debe tomarse en consideración la posibilidad de utilizar otrosmedios de difusión además de los tradicionales tales como conferencias,seminarios, videos, etc., de forma que se facilite ladifusión horizontal entre los grupos objetivo.E2. Utilización óptima de los resultados de la evaluación, para loque conviene asegurarse de que:• Las conclusiones y los juicios de valor que aparecen en el informese sustentan en evidencias suficientemente identificadas enel mismo.La difusión de losresultados alcanzadostras el proceso deevaluación debeatender a dos criteriosbásicos: transparenciay confidencialidad.• Las conclusiones incluyen referencias directas a las decisionesque se deben tomar sobre la reprogramación y la redistribuciónde los fondos.2.4. ARTICULAR EL CONTROL, SEGUIMIENTO YEVALUACIÓNDe forma adicional a los avances metodológicos realizados en elmarco del Programa MEANS, la propia Comisión establece en38

1996 14 una serie de orientaciones comunes para llevar a a cabo elseguimiento y las evaluaciones intermedias principalmente.Se ha procedido a su examen y a sintetizar los aspectos másrelevantes de las mismas. Estas orientaciones comunes debenentenderse como el marco de referencia sobre el que construirmodelos y procesos evaluativos concretos. En este sentido, seapunta explícitamente la necesidad de combinar la flexibilidad delos métodos de seguimiento y evaluación con su coherencia interna.Para ello, conviene utilizar estas orientaciones de forma rigurosapero flexible, en función de las realidades específicas de lasdistintas regiones o Estados miembros concernidos. La siguienteFigura visualiza cómo se plantea la articulación entre el control,seguimiento y la evaluación.Estas orientacionescomunes debenentenderse como elmarco de referenciasobre el que construirmodelos y procesosevaluativos concretosFigura 3ARTICULAR EL CONTROL, SEGUIMIENTO Y EVALUACIÓNMediosInputControlRealizacionesOutputSeguimiento (de gestión)Evaluación (de los efectos)RepercusionesOutcomeReferentesConformidad a lostextos administrativosNormas de buenagestiónSatisfacción de laciudadaníaEn términos de contenido de la evaluación, ésta deberá articularsede forma coherente a la estructura de los programas comunitarios,haciendo corresponder a cada ámbito o elemento del programa (objetivos,medios, realizaciones) unos criterios de evaluación específicos.La Figura 4 esquematiza las relaciones que se pueden establecer parajuzgar el valor de un programa.2.4.1. La lógica de la programación y su incidencia en elseguimiento y la evaluaciónLa propia programación de las intervenciones cofinanciadas porlos Fondos Estructurales presenta una articulación en “cascada” quepretende facilitar su seguimiento y evaluación.La programación se realiza a partir de un cierto número de hipótesisque permiten esperar que las acciones planificadas van a producirdeterminados resultados y generar determinado tipo de impactos.Así, las intervenciones se programan:14. Orientaciones comunes para el seguimiento y las evaluaciones intermedias.ComisiónEuropea.39

Figura 4JUZGAR EL VALOR DE UN PROGRAMASOCIEDADACCIÓN PÚBLICANECESIDADESP e r t i n e n c i aOBJETIVOSESPECÍFICOSGLOBALESU t i l i d a dRESULTADOSE f i c a c i aE f i c i e n c i aE f i c a c i aMEDIOSRECURSOSINTERVENCIONESREALIZACIONESEFECTOS-IMPACTOS• En un contexto determinado y atendiendo a un objetivo globalque ofrece la perspectiva básica desde la que deberán implementarselas intervenciones.• Este objetivo global supone la consecución de una serie de objetivosespecíficos que permiten precisar la naturaleza y característicasde las intervenciones a realizar.• La ejecución de estas intervenciones implica la realización concretade un cierto número de acciones que, a su vez, van a produciruna serie de resultados que deben permitir alcanzar losobjetivos específicos programados.En las Figuras 5 y 6 se esquematizan las etapas de esta lógica y suaplicación a una intervención concreta en el ámbito de los recursoshumanos:El objetivo básico que se asigna al sistema de seguimiento de losprogramas consiste en verificar con regularidad su realización progresivay efectiva, tanto física como financiera, así como su impacto respectoa los objetivos prefijados. Como refuerzo al sistema de seguimientolas evaluaciones intermedias deben aportar un juicio crítico sobre losresultados obtenidos y contribuir, con regularidad, a una gestión eficaz.El objetivo básico quese asigna al sistema deseguimiento de losprogramas consiste enverificar conregularidad surealización progresivay efectiva, tanto físicacomo financiera, asícomo su impactorespecto a losobjetivos prefijados40

Figura 5SEGUIMIENTOREALIZACIÓN(Ejecución financiera)(Realizaciones físicas)Resultados(Efectos directos o inmediatos)(Calidad, rendimiento)Impacto específicoImpacto globalFigura 6INTERVENCIÓN EN RECURSOS HUMANOSIntervenciónDescripciónRealizaciónResultadosCursos de formaciónNúmero de beneficiarios que han finalizadoy superado la acción de formaciónObjetivo específicoObjetivo globalPerfiles mejor adaptados a las necesidadesdel mercado laboralIncremento de empleabilidadDe esta forma, el seguimiento del programa sigue la lógicaesquematizada:• Las acciones realizadas, consumidoras de una cantidaddeterminada de recursos, producen unos resultados o efectosdirectos con los que juzgar el rendimiento o calidad de lasmismas.A la hora de evaluar losimpactos generadospor el programaconviene tenerpresente que éstos noson ni mecánicos niautomáticos y puedenhaberse vistoafectados por factoresde incidencia externosal propio programa• Los resultados generan un impacto que debe contrastarse conlos objetivos específicos prefijados.• Estos impactos coadyuvan a la generación de un impacto globalque es el que debe compararse con el objetivo global propuestoen el programa.41

A la hora de evaluar los impactos generados por el programa convienetener presente que éstos no son ni mecánicos ni automáticos ypueden haberse visto afectados por factores de incidencia externos alpropio programa. En este sentido, se apunta el interés de comprobarpor el sistema de seguimiento las relaciones de causalidad (indicadores)entre las acciones y los resultados, así como entre los resultadosy los impactos.En las intervenciones cofinanciadas por los FondosEstructurales este esquema lógico de articulación en cascada sematerializa en base a los diversos niveles de programación que configuranel marco de apoyo comunitario (MCA), estableciendo unosejes prioritarios de actuación. Cada eje puede exigir la puesta enmarcha de cierto número de programas operativos y, a su vez, cadaprograma diversas medidas que deben permitir alcanzar los objetivosplanteados en el programa. 15De esta forma, en sentido descendente, los objetivos específicos deun nivel deben servir como marco de referencia global para la intervenciónen el nivel inferior y constituyen su objetivo básico, mientrasque los resultados esperados de un determinado nivel constituyen losobjetivos específicos que han de alcanzarse con la intervención en elnivel inferior.A la inversa, en sentido ascendente, los objetivos específicos de unnivel constituyen los resultados que se espera conseguir en el nivelsuperior y, del mismo modo, el objetivo global de un nivel es contribuira la consecución del objetivo específico del nivel superior.En la Figura 7 se incluye un ejemplo práctico que concreta estaarticulación por niveles tomando como referente el eje “competitividadde las empresas”. La competitividad empresarial es uno de losresultados necesarios para que el MCA alcance sus objetivos, pero estambién:En sentidodescendente, losobjetivos específicosde un nivel debenservir como marco dereferencia global parala intervención en elnivel inferior yconstituyen su objetivobásico, mientras quelos resultadosesperados de undeterminado nivelconstituyen losobjetivos específicosque han de alcanzarsecon la intervención enel nivel inferior• El objetivo específico del eje correspondiente• El objetivo global de un programa operativo dirigido a reforzarlos servicios tecnológicos a las empresa.La aplicación de este lógica de intervención no es sencilla y deberealizarse caso a caso, teniendo en cuenta los recursos movilizados yla propia complejidad de las intervenciones.15. Del mismo modo, en algunos casos se establecen subprogramas como una categoría de programaciónintermedia entre el Programa y las medidas del mismo.42

Figura 7EJEMPLO DE ARTICULACIÓN “EN CASCADA” DE OBJETIVOS, RESULTADOSY REALIZACIONESMarco comunitariode apoyoEje prioritarioCompetitividad delas empresasPrograma operativoServiciosTecnológicos de lasempresasMedidaREDCentros TecnológicosObjetivo GlobalContribuir a la modernizacióneconómica delpaís consolidando unaeconomía dinámica,abierta y competitiva.Objetivo GlobalReducir lasdisparidades y los retrasosde desarrollo y mejorarla cohesión económicay socialObjetivo GlobalMejorar lacompetitividad de lasempresas.Objetivo GlobalReforzamiento de losservicios tecnológicosa las empresas.Objetivo EspecíficoReducir lasdisparidades y los retrasosde desarrollo y mejorarla cohesión económicay social (Objetivonº 1)Objetivo EspecíficoMejorar lacompetitividad de lasempresas.Objetivo EspecíficoReforzamiento de losservicios tecnológicosa las empresas.Objetivo EspecíficoCreación de Centros deServicios Tecnológicosa las empresas.Resultados (Ejes)Cualificación de RecursosHumanos.Competitividad de lasempresas.Calidad de vida y cohesiónsocial.Reforzamiento de la baseeconómica regional.Resultados (Programas)• Reforzamiento de I+D• Reforzamiento de losServicios Tecnológicos.• Infraestructuras de Telecomunicaciones.• Simplificación de losProcedimientos Administrativos.• …Resultados (Medidas)• Red de Centros deServicio• Ayudas para la utilizaciónde los Servicios• Ayuda para la utilizaciónde expertos.• …Resultados (Proyectos)• Centro Telecomunicaciones.• Centro Mecánica• Centro Nuevos Materiales.• Centro Documentación.• …RealizaciónConjunto de Programasque constituyen el MCAy el DOCUP.RealizaciónConjunto de Medidasque constituyen cadaPO.RealizaciónConjunto de Proyectosincluidos en cadamedida.RealizaciónEtapas o fases necesariaspara la creación delos diferentes Centros.2.5. CÓMO DISEÑAR EL SISTEMA DE SEGUIMIENTO.Como norma general, el comité de seguimiento de cada programarecurre a evaluadores independientes para realizar las evaluaciones.En el caso del sistema de seguimiento de los programas, únicamentese recurre a expertos externos cuando se considera necesario completarel sistema existente, mejorar las condiciones de ejecución uoptimizar la eficacia del mismo.Seguidamente se presentan las orientaciones que establece laComisión cara al diseño del sistema de seguimiento. Conviene tenerpresente que las evaluaciones intermedias están planteando (y vienena figurar entre sus objetivos) la necesidad de reforzar los mecanismosde seguimiento para poder disponer de un instrumento eficaz cara a lagestión y la toma de decisiones. La eficacia de las evaluaciones intermediasdepende en gran medida del sistema de seguimiento. Se tratade evitar la concepción exclusiva del seguimiento como un controlLa eficacia de lasevaluacionesintermedias dependeen gran medida delsistema deseguimiento. Se tratade evitar la concepciónexclusiva delseguimiento como uncontrol financiero43

financiero y, paralelamente, reforzar ciertas funciones atribuibles almismo en aras de alcanzar una mayor operatividad y dinamicidad.Se establecen así tres aspectos básicos que deben ser objeto deobservación permanente: el seguimiento del contexto operativo, elseguimiento de la gestión y el seguimiento de las realizaciones, resultadose impacto de las mismas.Como ha quedado señalado, las intervenciones estructurales secaracterizan por su articulación en cascada: proyectos, medidas, programas,MCA… Por tanto, para garantizar el adecuado seguimiento yposterior evaluación, se deberá identificar detalladamente en cada unode los niveles los tres aspectos básicos apuntados.Contexto operativoEl seguimiento del contexto debe poner especial énfasis en lossiguientes aspectos:• Los cambios que se han producido en los diversos factores odimensiones que afectan al programa, bien sean de tipo económico,social, político, jurídico y que pueden condicionar su ejecucióny los resultados de las acciones.Tres aspectos básicosdeben ser objeto deobservaciónpermanente: elseguimiento delcontexto operativo, elseguimiento de lagestión y elseguimiento de lasrealizaciones,resultados e impactode las intervenciones• La coherencia y complementariedad con otras políticas generaleso sectoriales que se están aplicando en la región o en el Estadorespectivo, ya sean de origen regional, nacional o comunitario.• El cumplimiento de las disposiciones establecidas como condiciónprevia para el éxito del programa.Gestión del ProgramaDel mismo modo, se efectuará un seguimiento particularizadosobre diversos aspectos de índole operativa, tales como:• La instrumentación y el funcionamiento de los mecanismos degestión financiera y administrativa.• La instrumentación y alimentación del sistema de seguimiento.• La sistematización de la recogida la información y los datosnecesarios.• La adecuación de los criterios para la selección de proyectos.• Las actividades de difusión.• La participación de los diversos actores implicados.• Los aspectos normativos y legislativos, así como las políticasque actúan como marco general del programa.44

Realizaciones, resultados e impactoLa estructura del sistema de medición de la eficacia y eficienciacabe apoyarla en tres grandes grupos de indicadores:• Indicadores de realización: miden el grado de ejecución financieray/o el nivel de utilización de los medios establecidos, asícomo el grado de ejecución física del programa.• Indicadores de resultados: miden los resultados, los efectosdirectos o inmediatos, la calidad o el rendimiento logrado conla acción.• Indicadores de impacto específico y global:• Específico, acotado a las realizaciones y resultados alcanzados.• Global, cuando los objetivos específicos han coadyuvadoa producir el objetivo global programado 16El siguiente cuadro ilustra la complementariedad entre indicadoresy medición en términos de eficacia y eficiencia.COMPLEMENTARIEDAD ENTRE INDICADORES YMEDICIÓN DE EFICACIA Y EFICIENCIACuadro de base Indicadores Medida eficaciaSe trata medir losefectos directos yprevistos, los efectosindirectos y aquellosno previstos pero quese han producidoMedida eficienciaRealizaciónDe realización• Ejecución financiera• Ejecución físicaEjecución realizada/previstaEjecución efectuada/previstaRealizaciones respecto a loscostesResultadosDe resultadosResultados obtenidos/resultadosprevistosResultados obtenidos respectoa los costesObjetivo especificoDe impacto específicoImpacto obtenido/impacto previstoImpacto obtenido respecto alos costesObjetivo globalDe impacto globalImpacto obtenido/impacto previstoImpacto obtenido respecto alos costesEl seguimiento debe realizarse:• De forma cuantitativa, mediante indicadores/ratios.• De forma cualitativa, a partir de otro tipo de informaciones disponibles,estudios y análisis.16. Este nivel de impacto global será medido una vez concluida la ejecución del programa cuandose efectúe la evaluación ex-post del mismo.45

Conviene tener presente que la construcción de un sistema de indicadoresde seguimiento plantea una serie de dificultades y limitacionesentre las que cabe destacar las siguientes:• Los problemas para comprobar las relaciones de causalidadentre las realizaciones, los resultados obtenidos y el impactoproducido; por lo que resulta conveniente tener en cuenta otrosfactores exógenos que han podido afectar a los resultados eimpactos observados.• La complejidad de medición del impacto que requiere de instrumentosapropiados que analicen varias intervenciones realizadasal mismo tiempo.• La dificultad para agregar determinados indicadores comosucede con los físicos.• La dificultad para disponer de las informaciones y datos necesariosque alimenten el sistema de seguimiento y sirvan de basepara la evaluación en los plazos de tiempo previstos.Lo señalado plantea importantes retos y una revisión de los sistemasde seguimiento establecidos, máxime si se quiere dar cumplimientoa la medición de los efectos directos y previstos, de efectosindirectos y de efectos no previstos pero que se han producido.2.6. LAS EVALUACIONES INTERMEDIASCon carácter general, las intervenciones cuya duración supera lostres años son objeto de evaluación intermedia a fin de generar las evidenciasque permitan, en su caso, realizar las adaptaciones necesarias.A través de este tipo de evaluación se pretende realizar un análisiscrítico de las informaciones proporcionadas por el sistema de seguimientoy otras fuentes de información, estudiar si se están cumpliendolos objetivos planteados, analizando las causas de los desvíos y prever,de forma anticipada, los resultados e impactos que se está en vías dealcanzar.Las intervencionescuya duración superalos tres años sonobjeto de evaluaciónintermedia a fin degenerar las evidenciasque permitan, en sucaso, realizar lasadaptacionesnecesarias2.6.1. ContenidoA continuación, con carácter no exhaustivo ni limitativo, se procedea presentar el contenido que se atribuye a las evaluaciones intermedias.Primera etapa, a partir de las primeras decisiones de ejecución delas intervenciones, se destina a:• Verificar la coherencia y relaciones de causalidad entre realiza-46

ciones, resultados y objetivos, según los niveles de intervenciónen cascada.• Examinar la viabilidad, pertinencia y fiabilidad de los indicadores,así como la disponibilidad de las informaciones necesarias,según los niveles de intervención establecidos.• Analizar los diversos procedimientos de selección de proyectos,su calidad, adecuada aplicación y su coherencia con los objetivosdel programa.• Analizar los mecanismos de gestión y ejecución.• Supervisar el sistema de seguimiento, garantizando que del mismose pueda obtener la información necesaria para realizar las evaluacionesdel programa en base a los diversos criterios de evaluaciónestablecidos.Segunda etapa, realización de la evaluación de medio camino:• Reactualización de los análisis llevados a cabo en la etapa anterior;analizando la puesta en práctica de las propuestas elaboradasen la misma.• Análisis de la pertinencia de la estrategia seleccionada inicialmenteatendiendo a los cambios producidos en el contexto.Las evaluacionesintermedias abordaránel análisis crítico de lasinformacionesproporcionadas por elsistema deseguimientoexaminando si se estáncumpliendo losobjetivos planteados,analizando las causasde los desvíos yanticipando losresultados e impactosque se estánalcanzando• Evaluación de la eficacia alcanzada por el programa: comparaciónde los resultados y realizaciones alcanzadas en el momentode la evaluación respecto a las previstas.• Evaluación de la eficiencia del programa: realizaciones efectuadasy resultados obtenidos en comparación con los mediosempleados.• Presentación de propuestas rectificativas con el fin de reforzarlas intervenciones futuras del programa y su viabilidad.• Análisis de los mecanismos de ejecución y gestión.• Análisis de las políticas comunitarias vinculadas al programa.Tercera etapa, con el objetivo de proseguir las propuestas deajuste de los programas y la evaluación final y ex-post:• Análisis de la eficacia de las intervenciones respecto a los objetivosiniciales y las adaptaciones y cambios realizados.47

• Análisis de la eficiencia respecto a los medios empleados.• Análisis del impacto de la intervención.• Análisis de la viabilidad futura.• Análisis de los mecanismos de ejecución y seguimiento, asícomo de los progresos alcanzados.2.6.2. Metodología. Enfoques y técnicasA continuación se presentan cuales han sido los enfoques y técnicasde evaluación que se vienen implementando a lo largo de estosúltimos años en las prácticas de evaluación desarrolladas en la U.E.Conviene tener en cuenta que, en su mayor parte, las evaluaciones quese han llevado a cabo durante el período 1994-1999 han sido evaluacionesintermedias (de medio camino).Debido en parte a la dificultad intrínseca de evaluar el impactoproducido por los resultados solamente dos años después de la puestaen marcha de los programas, este tipo de evaluaciones no se hanrealizado de la forma más adecuada: las evaluaciones intermedias hanprivilegiado el análisis de los procesos de gestión y ejecución programáticaasí como el reparto de los fondos entre las diversas prioridadesestablecidas 17 , dejando de lado otros aspectos relevantes.Considerando que en la evaluación de los programas cofinanciadospor los Fondos Estructurales se otorga la misma importancia a laevaluación ex-ante, intermedia y ex-post, a las evaluaciones intermedias,debido al momento de su realización, se les asigna una influenciadirecta en la configuración de los programas para lo cual debenayudar a la identificación de sus deficiencias y presentar recomendacionesque favorezcan su mejora y/o modificación 18 .Las evaluaciones intermedias quedan así estrechamente relacionadas,por un lado, con las evaluaciones ex-ante (con el objeto de deter-Las evaluacionesintermedias hanprivilegiado el análisisde los procesos degestión y ejecuciónprogramática así comoel reparto de losfondos entre lasdiversas prioridadesestablecidas, dejandode lado otros aspectosrelevantes17. Conferencia Europea sobre las prácticas de evaluación de programas cofinanciados por losFondos Estructurales Sevilla, 1998.18. Tal y como la propia Comisión entiende las evaluaciones intermedias, éstas deben generar lainformación y los datos necesarios para posteriores evaluaciones, recomendaciones sobre los problemasde organización del programa y sobre la reprogramación a llevar a cabo (identificandoaquellos destinos para los fondos que resultan más adecuados). Para ello, estas evaluaciones debenincluir seis elementos básicos:• análisis de la absorción de los fondos por cada medida programada;• identificación del output físico alcanzado hasta la fecha en comparación con los objetivosplanteados;• análisis de la eficiencia;• evaluación del impacto;• evaluación del impacto sobre los indicadores socioeconómicos;• análisis de la calidad del sistema de gestión.48

minar si los objetivos fijados en la fase de planificación se estánalcanzando) y, por otro lado, con las evaluaciones finales/ex-post(con el objeto de incluir las disposiciones necesarias para la medicióndel output bruto final). Cuando estas relaciones son débiles,bien por la falta de un nivel de precisión adecuado en la definición ycuantificación de los objetivos en las apreciaciones ex-ante, bien pordeficiencias en el propio sistema de seguimiento, tanto las evaluacionesintermedias como las finales/ex-post se resienten y no llegana cumplir plenamente su función.Enfoques de evaluación: Evaluación ascendente (botton up) ydescente (top down)Aunque estos dos enfoques no resulten excluyentes (más adelantese incluye un caso práctico que combina ambos), con el objeto defacilitar la estructuración metodológica, la propia Comisión diferenciael contenido de las evaluaciones realizadas bajo estos dos tiposde enfoques.En la evaluación ascendente (botton up), el evaluador recopilala información a nivel de proyecto para ser tratada e interpretada,posteriormente, a nivel de medida y a nivel del programa.Dado que el número de proyectos que comprende unprograma suele ser elevado, se define una muestra de proyectosque serán objeto de evaluación específica.Este tipo de enfoque resulta apropiado máxime cuando losdatos y la información generada por el sistema de seguimientodel programa no resulta suficiente y no se puede adoptar unenfoque descendente. Por tanto, de esta forma se genera informaciónadicional a la disponible sobre los resultados alcanzadosy el impacto generado por los mismos. Este enfoque se sustenta,fundamentalmente, en la realización de encuestas directas alos beneficiarios y entrevistas en profundidad a testigos privilegiadose informantes clave. Este tipo de enfoque requiere que sededique suficiente atención al trabajo de campo cuya fiabilidaddepende, en buena medida, de la representatividad de las muestrasestablecidas e informantes seleccionados.El enfoque descendente (top down) permite la observacióndel programa en su conjunto, no requiriendo de la selección deuna muestra de proyectos ya que las informaciones son tratadasa nivel agregado (por medida). Por ello la calidad de losdatos generados por el sistema de seguimiento es primordialya que el evaluador no analiza directamente los proyectos indi-En la evaluaciónascendente, elevaluador recopila lainformación a nivel deproyecto para sertratada e interpretada,posteriormente, a nivelde medida y a nivel delprograma49

viduales sino que utiliza la información generada por dicho sistemade seguimiento para evaluar las medidas.Para profundizar en los aspectos señalados, el enfoque descendenterecurre al análisis de caso o análisis en profundidad relacionadoscon prioridades o medidas específicas que permitenrecoger información a nivel de proyecto. Este tipo de enfoquesuele requerir de menos tiempo y de menos recursos financierosque el ascendente y permite centrar la atención en la contribuciónglobal del programa al cumplimiento de los objetivos finales.La determinación del enfoque de evaluación y las correspondientesherramientas de análisis es un factor clave dentro del diseño delproceso de evaluación, de tal forma que los resultados generados porcada uno de los dos enfoques resultan diferentes. En la elección influyendiversos factores como el presupuesto y el tiempo disponible, elcontexto institucional en el que se desarrolla la evaluación, etc.El equipo evaluador efectuará su propio diseño metodológico y setrata de incluir en él una combinación de técnicas y herramientas deanálisis vinculadas a ambos enfoques 19 con el fin de lograr un equilibrioóptimo entre la observación a nivel de programa y medida(macro) y la realizada a nivel de proyecto (micro).A continuación se efectúa un recorrido por las diversas técnicas yherramientas de evaluación (desde las vinculadas más estrechamentecon el análisis micro, a las relacionadas con el análisis macro), a partirde las cuales el equipo evaluador deberá proceder a seleccionar lasmás adecuadas para el programa específico objeto de evaluación.El enfoquedescendente permite laobservación delprograma en suconjunto, norequiriendo de laselección de unamuestra de proyectosya que lasinformaciones sontratadas a nivelagregadoTécnicasLas diversas técnicas de evaluación existentes pueden estructurarsede acuerdo a los dos enfoques de evaluación presentados (ascendentey descendente), partiendo de las técnicas vinculadas más estrechamentecon el nivel micro de la evaluación hasta las correspondientesal análisis macro, tal y como se recoge en la Figura 8.Como ya se ha indicado, uno de los mayores problemas que surgenen el momento de llevar a cabo las evaluaciones es la deficientecalidad de la información generada por los sistemas de seguimiento.Frente a estas situaciones se recurre a técnicas diversas quepermitan generar información cuantitativa y cualitativa complementariaa la suministrada por el sistema de seguimiento: estudios de19. Como, por ejemplo, la realización de estudios de casos junto a la aplicación de un modelo econométricoo el análisis de información estadística.50

Figura 8ESTIMACIÓN DE EFECTOS E IMPACTOSDesagregación del impacto globalDESCENDENTE Nivel Macro: Estimación del impacto globalModelos EconométricosTablas Inpout/OutputAnálisis estadísticosMultiplicadores, coeficientesEstudios y análisis de casoNivel Micro: Estimación de efectos específicosASCENDENTEcaso, análisis en profundidad o estudios monográficos, entrevistas yencuestas.Este tipo de técnicas permiten observaciones precisas y la extracciónde evidencias que van más allá de la evaluación de los efectosdirectos simples y que resulta especialmente útil para profundizar enel análisis de las relaciones causa-efecto, de los efectos indirectos,complejos o no previstos, así como en la validación de los resultadosobtenidos mediante otras técnicas e instrumentos 20 .La entrevista es uno de los instrumentos que se han utilizado conmayor frecuencia en la evaluación de programas cofinanciados porlos Fondos Estructurales. Se realizan con el fin de recopilar informacióncualitativa sobre el proceso de gestión del programa (entrevistandoa los responsables, ejecutores) o sobre la opinión que tienen losbeneficiarios en relación al mismo.Sin llegar a la complejidad de los modelos econométricos, se vienenaplicando diversas técnicas estadísticas. Estas técnicas permitenla recogida de información cualitativa y cuantitativa, y resultan necesariascuando el número de beneficiarios es elevado y el sistema deseguimiento no ha generado la información necesaria. Para ello se formalizauna muestra de proyectos o acciones representativas de cadaAgregación de los efectos específicosUno de los mayoresproblemas que surgenen el momento dellevar a cabo lasevaluaciones es ladeficiente calidad de lainformación generadapor los sistemas deseguimiento. Frente aestas situaciones serecurre a técnicasdiversas que permitangenerar informacióncuantitativa ycualitativacomplementaria a lasuministrada por elsistema deseguimiento: estudiosde caso, análisis enprofundidad o estudiosmonográficos,entrevistas y encuestas20. En el marco de estas técnicas pueden formularse preguntas que analizan, en profundidad, losefectos producidos por los programas. Por ejemplo, al evaluar los efectos sobre el empleo pueden formularsecuestiones para recoger la motivación o la percepción de los beneficiarios, si el empresariohubiera contratado al trabajador en ausencia de programa, etc.51

medida y del programa sobre la que se aplicarán las encuestas. A partiraquí, el equipo evaluador puede estimar con rigor el impacto ycobertura alcanzados.Un caso particular de análisis estadístico es la realización de unacomparación entre un grupo de beneficiarios del programa y gruposde control (cuyos miembros no han sido favorecidos por el programapese a presentar rasgos similares a los de los beneficiarios). Esto permiteobservar en profundidad los efectos atribuibles al programa. Sinembargo, su utilización implica establecer con rigor el carácter deeste grupo de control para que pueda ser comparado de forma apropiadacon el de los beneficiarios 21 .En el caso de observaciones a gran escala (nivel estatal oregional 22 ) se utilizan técnicas más complejas de modelizacióny simulación (modelos econométricos o tablas input/output).Este tipo de técnicas son habitualmente utilizadas en la evaluaciónde los efectos generados por los programas comunitariossobre el empleo.Los modelos econométricos permiten simular la interacción entrediversas variables socioeconómicas mediante diversas ecuaciones enlas que se distinguen las variables exógenas 23 y las variables endógenas24 . Estas variables se relacionan mediante parámetros de ponderacióny se validan a través del procesamiento de series temporales.Las tablas input/output permiten obtener una visión pormenorizadade los impactos generados por una intervención a nivel de cadauno de los sectores que conforman la economía, identificando bajouna estructura matricial los coeficientes que representan las relacioneseconómicas entre los diversos sectores 25 .Un caso particular deanálisis estadístico esla realización de unacomparación entre ungrupo de beneficiariosdel programa y gruposde control (cuyosmiembros no han sidofavorecidos por elprograma pese apresentar rasgossimilares a los de losbeneficiarios)21. Un caso práctico en la aplicación de esta técnica fue la evaluación de los efectos sobre el nivelde ingreso y el empleo de un programa de formación desarrollado en Suecia durante 1995. Endicha evaluación se estableció un grupo de análisis con 4.000 personas formadas en 1992 y otrogrupo de 6.000 personas formadas en 1994. Del mismo modo, se configuró un grupo de controlcompuesto por personas que no habían recibido ningún curso de formación. De esta forma sepudieron obtener conclusiones sobre los efectos comparados del programa entre las personas formadasen 1992 y 1994, así como de ambos grupos en comparación al grupo de control, mediantela aplicación de herramientas estadísticas como el análisis de regresión. Estas conclusiones pusieronde manifiesto la existencia de un nivel de empleo similar entre los grupos de 1992 y 1994, asícomo una diferencia significativa de ambas respecto al grupo de control.22. Por ejemplo, la evaluación de los efectos generados por el FSE a nivel nacional o por los programasdesarrollados en el marco de un Objetivo comunitario concreto.23. Variables cuyo valor se determina fuera del modelo.24. Variables cuyo valor es determinado por el modelo.25. Una experiencia concreta de aplicación de esta técnica, fue la evaluación del ProgramaOperativo correspondiente al Objetivo 1 en Italia. En este caso, se utilizó la matriz conocida comoSAM (Social Accounting Matrix) que permite integrar los multiplicadores keynesianos dentro dela tabla input-output.52

Por su parte, las técnicas de los multiplicadores y los coeficientesresultan particularmente útiles para poner en relación los nivelesmicro y los niveles macro dentro del proceso de evaluación. Dada susencillez se aplican en la evaluación de programas de gran y pequeñadimensión. Tanto los multiplicadores como los coeficientes sonvalores provenientes de análisis realizados con anterioridad, decarácter macroeconómico los primeros, o del estudio de casos ymonográficos los segundos. Estos valores quedan estandarizados enforma de coeficientes o de multiplicadores y aplicados en la evaluaciónde nuevas intervenciones y programas.En cualquier caso, hay que tener en cuenta las limitaciones propiasa cualquier modelización por lo que estas tienen de simplificaciónde la realidad.Por último, conviene subrayar que la metodología debe ser flexibley adaptada a las particularidades espaciales, funcionales y/o temporalesexistentes lo que lleva a priorizar el uso de metodologías eclécticasy combinadas que permitan plantear de modo explícito los resultados,tendencias, limitaciones y virtudes de las intervenciones.La metodología debeser flexible y adaptadaa las particularidadesespaciales, funcionalesy/o temporalesexistentes53

3. Programa MEANSIdentificación y medición deefectos estructurales

3. Programa MEANSIdentificación y medición deefectos estructuralesLas intervenciones comunitarias de carácter estructural vienenimplementadas con el fin de que produzcan una serie de efectosbeneficiosos, de mayor o menor calado en las estructuras socioeconómicas,que perduren en el tiempo una vez finalizadas las mismas.A continuación se ofrecen algunas consideraciones metodológicasprovenientes de los trabajos realizados en el marco del ProgramaMEANS 26 para proceder a la identificación de los efectos estructuralesy, más concretamente, a la evaluación de su contribución a lageneración de empleo.3.1. IDENTIFICACIÓN DE EFECTOS ESTRUC-TURALES Y SU MEDICIÓN. DIFICULTADES,LIMITACIONES Y RECOMENDACIONES.El término “efecto” resulta, prácticamente, sinónimo del término“impacto”. Sin embargo, la identificación de efectos pone un mayorénfasis en la relación de causalidad. De forma que, tal y como semuestra en el siguiente esquema para el caso de una intervenciónconsistente en una serie de acciones de formación, los efectos estructuralesproducidos por los programas comunitarios constituyen elúltimo eslabón de la cadena formada por los recursos, las realizacioneso outputs y los resultados.Los efectosestructuralesproducidos por losprogramascomunitariosconstituyen el últimoeslabón de la cadenaformada por losrecursos, lasrealizaciones o outputsy los resultadosFigura 9CADENA RECURSOS-OUTPUTS-RESULTADOSRecursos Outputs ResultadosAsignaciónpresupuestariaOferta decursos deformaciónPersonas quehan concluidocon éxitola formaciónEfectosestructuralesCohesióneconómicay socialLos recursos hacen principalmente referencia a los recursos financierosdisponibles. Los outputs a lo que los operadores (autoridades oinstancias que implementan el programa) producen directamente yofrecen a los beneficiarios. Los resultados entendidos como los cam-26. Las consideraciones que aparecen a continuación proceden de las aportaciones realizadas enel marco del Programa MEANS y, más concretamente, de los manuales:• Nº 2. Identifying the Structuring Effects of Community Interventions(1995)• Nº 3. Measuring the Employment Effects of Community Structural Interventions (1995)• Nº 6. Evaluating the Contribution of the Structural Funds to Employment55

ios que se generan, por ejemplo, en el comportamiento de los beneficiarios,pueden calificarse como impactos inmediatos. Por último,el término efecto se aplica a cualquier cambio ulterior (no inmediato)o de carácter indirecto al que se califica como “impacto intermedio”o “impacto global”.En la Figura 10 se presenta el esquema lógico ilustrativo de los mecanismosmediante los que, desde diversos ejes de intervención (recursoshumanos, estructuras productivas e infraestructura básica), se alcanza elobjetivo final de incrementar la cohesión económica y social.Figura 10EFECTOS ESTRUCTURALESInversión enRecursos HumanosInversión eninfraestructuras productivasInversión eninfraestructuras básicasDesarrolloendógenoReduccióndel desempleoFactores de desarrolloa corto plazoFactores de desarrolloa largo plazoIncrementode los ingresosCohesión económicay socialDesarrolloexógenoMejora delas condiciones de vidaUna cuestión esidentificarteóricamente la cadenade relaciones que va dela inversión al impactoy otra llegar aconcretizarla en unproceso de evaluación.La práctica muestra laexistencia una serie dedificultades ylimitacionesmetodológicas paraefectuar este tipo deanálisis3.1.1. Dificultades y limitacionesUna cuestión es identificar teóricamente la cadena de relacionesque va de la inversión al impacto y otra llegar a concretizarla en unproceso de evaluación. La práctica muestra la existencia una serie dedificultades y limitaciones metodológicas para efectuar este tipo deanálisis, por ejemplo:• ¿Cómo definir la situación de partida e identificar los efectosproducidos por el programa cuando se carece de la informacióny registros necesarios?• ¿Cómo aislar los efectos netos producidos por el programa?• ¿Cómo evaluar lo que hubiera sucedido de no existir el programa?56

• ¿Cómo distinguir los efectos estructurales atribuibles a las políticascomunitarias y los que producen otro tipo de políticas enel contexto socioeconómico?Por tanto, conviene tener presente este tipo de limitaciones para noincurrir en falsas expectativas. En este sentido, resulta necesario efectuaralgunas precisiones relativas a los diversos tipos de relaciones decausalidad identificables que vienen a despejar algunos de los obstáculoscon que suelen tropezar las prácticas evaluativas:• Relaciones de causalidad lineales: resulta factible su identificacióny análisis siempre que se esté dispuesto a asumir el coste de llevara cabo una evaluación en profundidad.• Relaciones de causalidad circulares: estas relaciones resultandifíciles de establecer con rigor, al no poder identificar claramentecual es la causa y cual la consecuencia de un efecto observado.• Relaciones de causalidad estructuradas de forma reflexiva: ensistemas en los que existen multitud de factores interactuando resultamuy complejo detectar relaciones de causalidad. Sin embargo, en sistemasestables, pueden aislarse (mediante análisis de correlación)variables explicativas que van a poder ser utilizadas para la predicciónfutura del comportamiento de otra serie de variables 27 .• Relaciones de causalidad irreversibles: los sistemas estables permitenla identificación de determinadas relaciones causa-efecto pero sólohasta el momento en que dejan de ser estables. El problema es que no puedepredecirse cuando dejarán de serlo. En este orden de cosas, resulta especialmenteintrincado evaluar el impacto producido a nivel micro en organizacionesque se desenvuelven en mercados altamente competitivos y, portanto, caracterizados por su comportamiento errático e impredecible.3.1.2. Recomendaciones para la evaluación de efectosestructuralesCuando los evaluadores tienen serias dificultades para evaluar losefectos estructurales, cabe trasladar esta valoración bien a los beneficiarios,bien a los destinatarios de la evaluación, de forma que seanlos propios beneficiarios y destinatarios quienes respondan a estascuestiones, encargándose el equipo evaluador de recoger y sintetizarlas opiniones vertidas por aquellos 28 .Cuando losevaluadores tienenserias dificultades paraevaluar los efectosestructurales, cabetrasladar estavaloración bien a losbeneficiarios, bien a losdestinatarios de laevaluación, de formaque sean los propiosbeneficiarios ydestinatarios quienesrespondan a estascuestiones27. Un ejemplo de ello fue el comportamiento de la economía irlandesa cuando, al ser evaluado suPrograma Operativo, mostró un perfil de comportamiento a partir del cual se pudo comprobar (estudiandolos últimos veinte años) que la competitividad ( medida en términos de cuota de mercado) dela economía irlandesa estaba correlacionada positivamente con el nivel competitivo de sus costes.28. Sin embargo, hay que tener en cuenta que en contextos caracterizados por la incapacidad paraformular ciertas predicciones e identificar relaciones causa-efecto, estas opiniones pueden incluirvaloraciones erráticas o poco fidedignas.57

En estos casos, partiendo de que, como se afirmaba al comienzo deeste capítulo, el objetivo final de las políticas y los FondosEstructurales consiste en producir efectos positivos en las estructurassocioeconómicas y su permanencia en el tiempo, la evaluación deberácentrarse en juzgar si el programa satisface una serie de factores críticosde sostenibilidad predefinidos Por tanto, los evaluadores puedenllegar a obviar la tarea de identificar cuales son los efectos estructuralesque genera el programa, así como sus relaciones de causalidad, centrándoseen valorar los efectos positivos y negativos y su permanenciaen el tiempo mediante aproximaciones y filtros sucesivos.3.2. EVALUACIÓN DE EFECTOS SOBRE EL EMPLEO.A continuación se aborda la evaluación de los efectos generadospor los Fondos Estructurales en relación con el empleo, dadoque se trata de un objetivo central de la política comunitaria. Laevaluación de los efectos generados en términos de empleo resultaespecialmente relevante por dos motivos fundamentales: lanecesidad de proveer de información detallada a los responsablesde la gestión de programas y la necesidad de contabilizar elimpacto global de las políticas financiadas con el fin de suministrarinformación a los decisores para juzgar si resultan pertinenteso conviene modificarlas, superando el mero contraste entre objetivosy resultados obtenidos.En primer término se presenta la variedad o formas diferentes demedir los efectos sobre el empleo y, en segundo lugar, se incluye unaserie de consideraciones metodológicas sobre la evaluación de dichosefectos.3.2.1. Medición de efectos sobre el empleoExisten diversas formas de categorizar los efectos producidossobre el empleo. Así, por ejemplo, se puede analizar la forma en quelas intervenciones de carácter estructural producen efectos sobre elempleo atendiendo a:• El empleo generado en términos sectoriales, por ramas de actividad,en determinadas zonas y/o colectivos.• El empleo generado como consecuencia directa de las intervenciones.Por ejemplo, el generado por las empresas creadas en elmarco de la intervención o los incrementos del volumen de empleologrados a través de las ayudas o la financiación ofrecida.• El empleo generado como consecuencia indirecta de las intervencionesque pueden tener o no un objetivo inmediato de creaciónLa evaluación de losefectos generados entérminos de empleoresulta especialmenterelevante por dosmotivosfundamentales: lanecesidad de proveerde informacióndetallada a losresponsables de lagestión de programasy la necesidad decontabilizar el impactoglobal de las políticasfinanciadas con el finde suministrarinformación a losdecisores para juzgar siresultan pertinentes58

de empleo, provisión de nuevas demandas de bienes y servicios atribuiblesal programa, incremento de la eficiencia del tejido productivode la economía local, etc.• El empleo generado como respuesta al incremento de la demandaproducido por el aumento de los ingresos que ha generado la intervención(efecto multiplicador del ingreso).• En determinadas circunstancias, las intervenciones pueden producirefectos macroeconómicos incluso pueden ralentizar el crecimiento,causando efectos negativos sobre el empleo que no estabanprevistos en el momento de la programación.Las intervenciones cofinanciadas por los Fondos Estructurales nosolamente producen efectos diversos sobre el empleo sino que tambiénla tipología del empleo generado resulta diferente. A la hora deevaluar un programa o intervención, conviene no limitarse a realizarun recuento del número de empleos creados sino tener en cuenta tambiénsu tipología distinguiendo:• El empleo estable del empleo temporal. La práctica muestra quebuena parte del empleo generado por las intervenciones no permaneceen el medio plazo. Por tanto, convendría utilizar unidades de medidaapropiadas: tasas de mortalidad y supervivencia periodificadas,“años de empleo” creados, etc.• Las modalidades de contratación ya que éstas pueden ser atiempo completo, a tiempo parcial, etc. Resulta, pues, de interéstener en cuenta una magnitud que “traduzca” el empleo a tiempoparcial en unidades equivalentes a tiempo completo. Por ejemplo,un empleo a media jornada se podría medir como 0,5 empleos atiempo completo.• La creación de empleo o el mantenimiento de los existentes: considerandolos empleos mantenidos o conservados por la intervención,es decir aquellos que se hubieran destruido en ausencia de la mismay/o que se transforman en empleo viable 29 .3.2.2. Identificación de lo que se quiere medirAtendiendo a los aspectos señalados y con carácter previo a la evaluaciónes necesario proceder a la clarificación de los objetivos articuladosen el programa: objetivos globales e intermedios, que vendránesquematizados en un “árbol de objetivos” tal y como se recoge,a modo de ejemplo, en el siguiente esquema.Las intervencionescofinanciadas por losFondos Estructuralesno solamenteproducen efectosdiversos sobre elempleo sino quetambién la tipologíadel empleo generadoresulta diferente. Portanto. a la hora deevaluar un programa ointervención, convieneno limitarse a realizarun recuento delnúmero de empleoscreados sino tener encuenta también sutipología29. Esta distinción resulta especialmente pertinente en el caso de las intervenciones que pretendenmantener los niveles de empleo existente mediante la recualificación de los/las trabajadores/as yla transformación técnica y organizacional de las empresas.59

Figura 11OBJETIVOS GLOBALES E INTERMEDIOSRestaurar la empleabilidad enlos parados de larga duraciónInserciónlaboralAumentar la cualificaciónde los jóvenesOtrosFomentodel empleoApoyar los proyectos dedesarrollo de las PYMEIncremento de lasoportunidades de empleoAtraer inversionesextranjerasDesarrollar elsector terciarioOtrosObjetivos globalesObjetivos intermediosUn esquema como el presentado permite, en primer lugar, clarificarlos objetivos así como las relaciones establecidas entre los mismos(su jerarquía); visualizar la coherencia interna del programa,tanto vertical (entre objetivos de diferente nivel) como horizontal(entre objetivos de diferentes componentes del programa); así comoapreciar la coherencia externa del programa en relación a otras políticaseconómicas y sociales.En este orden de cosas, se trata de aislar los efectos sobre el empleoatribuibles a la intervención o al programa objeto de evaluación.Mediante la evaluación debe llegarse a identificar los efectos netos sobreel empleo, entendidos de la forma siguiente:Efectos Netos = Efectos Brutos - Pesos Muertos - DesplazamientosEl término “Peso Muerto” corresponde a aquellos efectos quehabrían existido igualmente en ausencia del programa y, por tanto, nopueden ser atribuidos al mismo 30 .Del mismo modo, puesto que las intervenciones de naturalezaestructural se dirigen a colectivos específicos (grupos objetivos) yáreas geográficas determinadas, deben detectarse dos tipos de efectos:• Efecto sustitución: se produce cuando, debido a una intervención,se crea empleo entre individuos que, en principio, no eran ele-Se trata de aislar losefectos sobre elempleo atribuibles ala intervención o alprograma objeto deevaluación30. Para su cálculo es necesario elaborar escenarios de contraste (counterfactual situation)mediante la proyección de las variables clave que definirían dicha situación si la intervención nose hubiera producido.60

gibles como beneficiarios de dicha intervención y que, de todas formas,hubieran encontrado empleo aún en ausencia de la misma.• Efecto desplazamiento: se produce cuando una intervenciónincrementa la actividad económica y el empleo en una zona a expensasde la actividad económica y el empleo de otra.Por último, conviene tener bien presente qué es lo que se pretendeevaluar. Aunque se evalúen los efectos sobre el empleo deuna forma meticulosa, no puede considerarse que el desempleovaya a disminuir en la misma proporción en que se ha incrementadola ocupación. Así, el incremento de la tasa de actividad debidoal carácter más atractivo que puede tener el mercado de trabajopara segmentos de población que permanecen inactivos o parainmigrantes potenciales, estaría impidiendo una visualización delos efectos en algunos indicadores.3.2.3. Indicadores para la evaluación de efectos sobre elempleoLos indicadores pueden agruparse en función de la fase deimplementación lo que lleva a considerar: indicadores de recursos,indicadores de outputs, indicadores de resultados e indicadores deimpacto. Los indicadores para la evaluación de los efectos sobre elempleo se sitúan al nivel de los resultados y de los impactos. Así,por ejemplo, los indicadores correspondientes a los principalesejes de intervención estructural cabe formularlos de la siguientemanera:Los indicadores para laevaluación de losefectos sobre elempleo puedenagruparse en funciónde la fase deimplementación lo quelleva a considerar:indicadores derecursos, indicadoresde outputs, indicadoresde resultados eindicadores de impactoTipo deindicadoresInfraestructuras básicasInfraestructurasproductivasRecursos HumanosResultadosEmpleo generado directamentepor la construcciónde infraestructurasEmpleo generado por lasnuevas empresas instaladasen el territorio, así comopor los incentivos directosal empleoEmpleo creado por losnuevos emprendedoresapoyados por el programaImpactoEmpleo creado y mantenidodebido al incrementode la actividad económicaatribuida a las nuevasinfraestructurasEmpleo creado o mantenidopor el aumento de lacompetitividad de las empresasbeneficiariasEmpleo creado debido a lareadaptación/mejora de lascualificaciones de los beneficiariosEn general, los programas cofinanciados por los FondosEstructurales se caracterizan por presentar un elevado número de objetivosy de componentes por programa (expresados en términos demedidas, submedidas y acciones), no resultando siempre posible lainclusión de indicadores vinculados a todos los componentes y a todos61

los niveles. En estos casos, es necesario proceder a realizar una selecciónde los indicadores clave o aspectos esenciales del programa quese ajusten a las necesidades de información de los gestores y de losresponsables del programa y que puedan elaborarse a un coste razonable.Si se quiere disponer de un sistema de indicadores sobre el empleoque permita un análisis en profundidad del mismo, será necesario diseñarun sistema que recoja el volumen de empleo generado y las característicasdel mismo dado que, como ha quedado precedentemente señalado,no todos los empleos creados tienen la misma relevancia. Por ello,el sistema de indicadores debería reflejar, entre otros, los siguientesaspectos:• El nivel de cualificación requerido por el empleo ocupado.• El tipo de contrato establecido (temporal o fijo, a tiempo completoo parcial, etc.).• La remuneración salarial.• El perfil económico y social de los beneficiarios.• El itinerario profesional seguido por los beneficiarios.También puede ser conveniente incluir indicadores que permitan elanálisis de otros factores externos al programa y que están influyendoen la creación de empleo. Por último, conviene tener presente ladimensión temporal de los indicadores debido al plazo que transcurreentre la adopción de una medida y sus efectos sobre el empleo 31 .Una vez recogida la información y construidos los indicadores,se procederá al análisis e interpretación de los mismos.Si se quiere disponerde un sistema deindicadores sobre elempleo que permita unanálisis enprofundidad delmismo, será necesariodiseñar un sistema querecoja el volumen deempleo generado y lascaracterísticas delmismo31. Por ejemplo, en la evaluación de los efectos sobre el empleo de acciones formativas destinadasal reciclaje profesional (resultados) con el fin de mantener la empleabilidad de los/las beneficiarios/as(impacto), el resultado podría medirse después de transcurridos cierto número demeses desde la conclusión del curso, mientras que el impacto en términos de empleo, deberá sermedido dos y tres años después de la finalización del período formativo.62

4. Prácticas de evaluación

4. Prácticas de evaluaciónComo se ha venido señalando en anteriores capítulos, noexiste un modelo único de evaluación. En el Anexo se presentande forma sintética tres modelos teóricos que hantenido una especial incidencia en las prácticas evaluativas: elmodelo CIPP (Contexto, Input, Proceso y Producto), uno de losmás completos y encuadrado dentro de la orientación para la tomade decisiones; el modelo de evaluación respondente, centrado enel cliente; y el modelo innovativo, vinculado a la evaluación deprogramas sociales y, más concretamente, al ámbito educativo. Ala diversidad de enfoques teóricos conviene añadir el margen devariabilidad derivada de la diversidad de situaciones concretas conlas que se enfrentan las prácticas evaluativas. Esta diversidad haceaconsejable la combinación de enfoques teóricos y el mestizajemetodológico con el fin de facilitar el acercamiento a realidadesmúltiples y la obtención de resultados lo más útiles y certerosposibles.El presente capítulo se dedica, en primer término, a presentar uncaso práctico de configuración del proceso de evaluación apoyado enlos planos de observación principales que establece el modelo CIPP.Le siguen una serie de ejemplos que han sido considerados comobuenas prácticas en el marco del programa europeo MEANS: la destacadalabor exploratoria y de análisis realizada por los expertosencargados del citado programa justifica la inclusión de estos ejemploslos cuales, por otro lado, permiten dar una idea del momento enque se encuentra las buenas prácticas y el camino que abren parafuturos procesos evaluativos.A la diversidad deenfoques teóricosconviene añadir elmargen de variabilidadderivada de ladiversidad desituaciones concretascon las que seenfrentan las prácticasevaluativas. Estadiversidad haceaconsejable lacombinación deenfoques teóricos y elmestizajemetodológico4.1. EVALUACIÓN INTERMEDIA DE PROGRAMASCOFINANCIADOS POR EL FSEEl modelo CIPP –Contexto, Input, Proceso, Producto– (verAnexo) facilita la configuración del proceso de evaluación y superalos planteamientos propios de las metodologías evaluativas denominadas“preordenadas” (contraste entre objetivos y logros) para desplazarel interés último hacia los efectos de las intervenciones y latoma de decisiones.Este modelo estructura la evaluación en torno a cuatro dimensionesfundamentales del programa, articulando las diversas variables e indicadoresen función de las mismas.64

Figura 12MODELO CIPPCONTEXTOIMPUTPROCESOPRODUCTOA continuación se realiza una aproximación de los aspectos másrelevantes a evaluar en cada dimensión, así como algunas variables eindicadores por criterio de evaluación que serían relevantes a la horade evaluar un programa cofinanciado por el FSE cuyo objetivo básicoconsiste en lograr la inserción laboral de diversos colectivos desfavorecidos:parados de larga duración, jóvenes sin cualificación,minorías étnicas, etc.• El Contexto: Evolución del escenario de desarrollo de lasAcciones F.S.E.Análisis del tejido socioeconómico y laboral en el que se sitúan lasintervenciones. Siguiendo las recomendaciones metodológicas establecidas,el análisis del Contexto pondrá el acento en el examen evolutivomás que en su caracterización.• Evolución global y sectorial de la economía nacional/regional/local.Indicadores socioeconómicos.• Mercado de trabajo y evolución de los indicadores sociolaborales.• Estrategias, políticas y recursos nacionales/regionales/localesen materia de promoción del empleo y formación de recursoshumanos.• Otras políticas de acompañamiento: PYMEs, Garantía Social,Tercer Sistema, I+D, etc.• El Input: Situación de partidaCaracterización del conjunto de planteamientos y recursos que apartir de un soporte regulador, legislativo y de planeamiento, integrainstalaciones y dotaciones físicas con equipos humanos y serviciosEl análisis del contextopondrá el acento en elexamen evolutivo deltejido socioeconómico ylaboral y no tanto en sucaracterizaciónLa caracterización de lasituación de partida yde las diferentes líneasde intervenciónprogramadas65

poniendo en marcha diferentes líneas de intervención para la ejecucióndel programa.• Objetivos finales.• Objetivos instrumentales.• Cuantificación de resultados previstos.• Estrategias adoptadas para alcanzar los objetivos.• Recursos asignados: financieros, materiales, técnicos, etc.• Intervenciones realizadas: estimación de resultados por objetivos,acciones y medidas.• Recursos aplicados: financieros, materiales, humanos, etc.• Ajustes, reprogramaciones y grado de ejecución financiera.• Procesos de gestión.• Participación y seguimiento.• Adicionalidades registradas.• El proceso: Enfoque sistémico de la interacción de múltiples actoresInteracción de las estructuras que soportan a los distintos gestoresy ejecutores y las funciones por ellos desarrolladas. Interacción quegenera todo un sistema relacional –clima– en el que se integran intereses,valores, culturas, roles que es necesario armonizar, consensuary hacer congruentes para el buen fin del proyecto.Su desarrollo se vincula al estudio de los efectos institucionalesque pretende salvar la brecha entre el registro estadístico de resultadosy la realidad de la actuación. Su análisis se vinculará a intervencionesesencialmente cualitativas y participativas.• Grado de compromiso ante el programa.• Nivel de conflicto.• Replanteamientos competenciales.• Clima.• El producto: Logros alcanzadosConsecuencias en términos de logros alcanzados, productos elaborados,sistemas articulados, aprendizajes y desarrollos en relacióna los objetivos fijados. Los beneficiarios del Programa son protagonistasy usuarios; y los distintos ejecutores, consultores, etc. son proveedoresy/o gestores del sistema.El sistema de indicadores puede configurase en términos deCobertura, Eficacia, Eficiencia y Pertinencia. A título indicativo,cabe mencionar algunos posibles indicadores:Análisis del procesocomo enfoquesistémico de lainteracción entremúltiples actoresCaracterización de loslogros alcanzados ensentido amplio yatendiendo a unamultiplicidad decriterios e indicadores66

• Eficacia: Definida como el grado en el que se alcanzan los objetivosprogramados para un período determinado. Este criterio ha deaplicarse sobre todos los niveles del proyecto.Así, en relación con el proceso de ejecución del programa en suintegridad se podrían identificar diversas variables a analizar comolas siguientes:• Grado de cumplimiento financiero.• Ajuste temporal de intervenciones.• Fluidez en la gestión: verificación de la existencia de incidencias,desfases, interrupciones, etc.• Relación entre recursos humanos/materiales/financieros yusuarios.• Consolidación de estructuras: técnicas, metodológicas, burocráticas,organizativas.• Consolidación de infraestructuras: espacios, instalaciones,recursos financieros.• Análisis de congruencia entre previsión, reprogramación y ejecución.Por su parte, en lo que concierne a los resultados, efectos e impactosgenerados sobre los beneficiarios pueden estructurarse los indicadoressegún los objetivos del programa. Por ejemplo, atendiendo alos objetivos que, en términos generales, establece el Reglamento delF.S.E. en el ámbito de la inserción y resinserción ocupacional de desempleados(eje prioritario 4) en su objetivo primero 32 :• Indicadores de resultado:• Formación profesional: alumnos formados, número de cursos yhoras impartidas.• Formación previa: alumnos formados, formadores, etc.• Orientación, asesoramiento y acompañamiento a la inserción:acciones realizadas, horas y beneficiarios atendidos.• Ayudas al empleo (apoyo a la creación de empleo, apoyo a lacontratación indefinida, contratos de interés social…): ayudaslibradas, plazo de entrega de las ayudas, contratos efectuados,número de beneficiarios, número de proyectos.• Estructuras de formación, empleo y apoyo a la inserción: accionesde formación de los equipos humanos necesarios para suEl sistema deindicadores puedeconfigurase entérminos de Cobertura,Eficacia, Eficiencia yPertinencia32. Que pretende “facilitar la inserción profesional de los parados amenazados por una situaciónde desempleo de larga duración...”67

funcionamiento así como la consolidación de espacios, de métodos,de instrumentos técnicos y servicios.• Tasa de aprovechamiento: porcentaje de beneficiarios que hanfinalizado la acción o servicio.• Tasa de deserción: porcentaje de beneficiarios que abandonanla acción o servicio, con indicación expresa de motivos.• ...• Indicadores de impacto:• Inserción profesional: permanencia sostenida en la ocupacióndurante un período no inferior a tres años.• Indicadores de efecto:• Inserción profesional: tasa de ocupación.• Tiempo invertido en la búsqueda de empleo.• Definición específica de un objetivo profesional.• Adquisición de cualificación profesional.• Tasa de permanencia en la ocupación de los beneficiarios.• Tasa de permanencia de establecimientos empresariales creados.• Tasa de crecimiento de las inversiones.• Tasa de incremento del nivel de renta.• Grado de dependencia de la ayuda social.• Calidad percibida y grado de satisfacción de los beneficiarios.• Eficiencia: Puede definirse como la relación entre el logro de losobjetivos y los recursos invertidos en su consecución.• Coste de las acciones.• Coste por curso, alumno y hora de formación.• Coste por beneficiario..• Coste por beneficiario que ha accedido a la ocupación.• Coste por medida y población objetivo (gasto en la medida/poblaciónobjetivo total).• Cobertura: Proporción entre la población total que tiene la necesidadde dicho programa y la que se beneficia del mismo.• Tasa de Prevalencia..• Tasa de Cobertura..• Grado de Especificidad del Programa..• Tasa de Eficacia de la Cobertura..En lo que concierne alos resultados, efectose impactos generadossobre los beneficiarios,los indicadores puedenestructurarse según losobjetivos específicosdel programa68

• Pertinencia: La evaluación de la pertinencia requiere de un análisisen profundidad de carácter básicamente cualitativo para el quehabrá de tenerse en cuenta la diversa información generada a travésdel resto de criterios. La pertinencia se vinculará a la satisfacciónde las necesidades de los colectivos de particular interés,tales como:• Parados mayores de 45 años.• Parados de muy larga duración: > 2 años desempleados.• Mujeres jóvenes (

actores desde las autoridades regionales y municipales hasta losempresarios y las diversas asociaciones regionales. Los objetivos delmismo eran los siguientes:• Aumentar el nivel de vida.• Crear oportunidades de empleo.• Incrementar la actividad empresarial.• Mejorar la formación de los recursos humanos.• Mejorar la calidad de vida y el medio ambiente.• Desarrollar las infraestructuras regionales.En 1996 se decide proceder a evaluar el Plan de forma que,simultáneamente, la evaluación contribuyera a su posible modificacióny la renovación de sus estrategias, permitiera el lanzamientode nuevos proyectos y motivara el incremento en el compromisode los diversos actores implicados para trabajar de formamás coordinada.METODOLOGÍAPara alcanzar los objetivos definidos más arriba, la metodologíaque se consideraba como más apropiada consistía en la implementaciónde un proceso integral de autoevaluación al que se le asignaronlos siguientes fines principales:• La puesta al día y la redefinición de las estrategias del PlanRegional de Desarrollo.• La promoción de la participación e implicación de los diversosactores en el desarrollo de la región.• La promoción de la generación de nuevos proyectos.Por tanto, la autoevaluación resultó ser una metodología especialmentepertinente para lograr fortalecer y mejorar las relaciones de confianzay colaboración entre los diversos actores implicados en el Plan,fortaleciendo la identidad regional y fomentando la cooperación.La metodología utilizada consistió en la realización de 3 cursosdiferentes, de 7 días de duración cada uno, a los que asistieron 25personas representando a los municipios, instituciones educativas,asociaciones y algunos empresarios. A lo largo de los cursos se realizarondiversas actividades:• Exposiciones sobre el Plan Regional de Desarrollo, sus estrategias,objetivos e instrumentos para facilitar el desarrollo denuevos proyectos.La metodología que seconsideraba como másapropiada consistía enla implementación deun proceso integral deautoevaluación al quese le asignaron lossiguientes objetivosprincipales:• La puesta al día y laredefinición de lasestrategias del PlanRegional de Desarrollo• La promoción de laparticipación eimplicación de losdiversos actores en eldesarrollo de la región• La promoción de lageneración de nuevosproyectos70

• Grupos de trabajo para:• El diagnóstico de las fortalezas y debilidades regionales.• La evaluación de la pertinencia del propio Plan Regionalde Desarrollo para lograr resolver los problemas y debilidadesregionales y aprovechar sus fortalezas.• Las propuestas de nuevas estrategias y objetivos paraincluir en el nuevo Plan Regional de Desarrollo.De forma más concreta, los temas tratados se centraron especialmenteen el análisis de:• La posición estratégica provincial (DAFO) y las posibles estrategiasde desarrollo para el futuro.• Las ventajas comparativas de la región y su posible implementaciónen el marco del Plan Regional de Desarrollo.• Las posibilidades de potenciar la internacionalización de laregión.• Las fortalezas y debilidades del propio Plan de DesarrolloRegional así como la detección de aquellos aspectos a priorizaren el mismo.• Las medidas que pueden ser implementadas para promoverentre los diversos actores una mayor involucración respecto alPlan de Desarrollo Regional que favorezca su implementación.• Las organizaciones, empresas y actores clave que deben participaren los diversos proyectos para garantizar el éxito de losmismos.De forma individual, cada participante fue invitado a evaluar quéelementos o instrumentos del Plan de Desarrollo Regional resultabanmás útiles para su aplicación en el seno de su organización o empresa,así como qué tipo de información necesitarían para proceder aesta aplicación.En la última sesión los participantes se concentraron en la planificaciónde proyectos concretos en los que estaba implicada laorganización a la que representaban. Del mismo modo, el equipo deconsultores que actuaron como coordinadores y dinamizadores delas reuniones quedó a disposición de los diversos participantes paraproceder a la realización de consultas durante los meses posterioresal evento. En total, se analizaron 50 proyectos en diversas fases dedesarrollo, algunos ideados en las propias sesiones, otros en fase deformulación y planificación y el resto ya implementados.En la última sesión dela evaluación, losparticipantes seconcentraron en laplanificación de losproyectos concretos enlos que estabaimplicada laorganización a la querepresentaban. Delmismo modo, el equipode consultores queactuaron comocoordinadores ydinamizadores de lasreuniones quedó adisposición de losdiversos participantespara proceder a larealización deconsultas durante losmeses posteriores71

APRENDIZAJESLos resultados del proceso fueron ciertamente positivos:• Evaluación y reformulación del Plan de Desarrollo Regional.• Puesta en marcha de nuevos proyectos y perfeccionamiento delos ya existentes.• Consciencia compartida del diagnóstico regional y de nuevasoportunidades potenciales de desarrollo.• Reidentificación de nuevas fuentes estratégicas de desarrollo.• Fortalecimiento de las relaciones entre los actores clave para eldesarrollo regional.De esta forma el proceso de autoevaluación demostró ser un métodosumamente útil para el aprendizaje conjunto, el perfeccionamientodel Plan, y la identificación de nuevos proyectos y actividades viablesy pertinentes mediante el establecimiento de relaciones clavebasadas en la confianza, el diagnóstico compartido y el aprendizaje.Desde el punto de vista metodológico, la experiencia analizadasirvió para identificar una serie de factores clave para el buen fin delproceso evaluativo:• La necesidad de que la autoridad regional ejerza un liderazgoque impulse el proceso y fomente la participación e involucración delos diversos actores, poniendo a disposición del proceso de evaluaciónlos recursos necesarios en términos de personal y financiación.• Los participantes en el proceso deben estar convencidos de quesu participación, materializada en sus opiniones y propuestas, estásiendo tomada en cuenta y va a servir para cumplir los objetivos inicialmenteprevistos.• Las reuniones deben durar el tiempo suficiente y debe crearse elclima de participación adecuado.• Los participantes son un importante recursos para el desarrolloregional una vez terminado el proceso de evaluación, facilitando sucolaboración en el futuro, tanto en el desarrollo del Plan como en eldesarrollo regional.El proceso deautoevaluacióndemostró ser unmétodo sumamenteútil para el aprendizajeconjunto, elperfeccionamiento delPlan, y la identificaciónde nuevos proyectos yactividades viables ypertinentes medianteel establecimiento derelaciones clavebasadas en laconfianza, eldiagnósticocompartido y elaprendizaje4.2.2. EVALUACIÓN INTERMEDIA DE LAINICIATIVA COMUNITARIA INTERREG II EN ELALTO RHIN: LA IMPLEMENTACIÓN DE UNAMETODOLOGÍA PARTICIPATIVAANTECEDENTESLas iniciativas comunitarias enmarcadas en Interreg II pretendenestimular la cooperación transfronteriza mediante la dinamización72

económica y social de las regiones situadas en las fronteras que separana los Estados miembros. Por ello, existe, en cada caso, un programaoperativo para cada lado de la frontera que agrupa un conjuntode objetivos correspondiente a ámbitos diversos (infraestructuras,desarrollo económico, promoción social, etc.), que vienen cofinanciadospor los diversos Fondos Estructurales en función del carácterque presente cada objetivo (FEDER, FSE,...).De esta forma, los proyectos agrupados bajo estas iniciativascorresponden a una amplia variedad de ámbitos de actuación (configuradosdentro de su programación como ejes de desarrollo) querequieren de una aproximación evaluativa adaptada a cada tipologíay, finalmente, de una evaluación integral de los objetivos del programaque resulta compleja.En cuanto a la evaluación concreta desarrollada para el AltoRhin, las especificaciones requeridas en los términos de referenciade la evaluación se centraban en cuatro aspectos básicos objetode evaluación:• La consistencia de los objetivos en los diversos niveles del programa.• El logro de los objetivos del programa.• La eficiencia.• La eficacia.El proceso de evaluación se desarrolló entre noviembre de 1996 ymayo de 1997 y, durante todo el proceso, el equipo de evaluación semantuvo en permanente contacto con un grupo de trabajo creado alefecto en el que estaban representados diversos responsables del programa.Conviene subrayar que el equipo de evaluadores, además dedisponer de las competencias suficientes en el ámbito de la evaluación,destacaba por su profundo conocimiento de la zona.Cuando en noviembre de 1996 dio comienzo el proceso de evaluaciónel equipo evaluador, de acuerdo con el grupo de trabajo,estableció tres grandes prioridades que orientaran dicho proceso:• La selección de objetivos del programa en función de su complementariedad,consistencia, los grupos a los que van dirigidos y losconflictos potenciales.• La evaluación y revisión de los procedimientos de ejecución yseguimiento y, en algunos casos, la formulación de nuevos indicadores.• La identificación de los déficits existentes en la implementacióndel programa en todos los niveles y la formulación de las recomendacionespertinentesDurante todo elproceso, el equipo deevaluación se mantuvoen permanentecontacto con un grupode trabajo creado alefecto en el queestaban representadosdiversos responsablesdel programa.Conviene subrayar queel equipo deevaluadores, ademásde disponer de lascompetenciassuficientes en elámbito de laevaluación, destacabapor su profundoconocimiento de lazona73

Figura 13ESTRUCTURA Y SECUENCIA DE LA EVALUACIÓN SISTÉMICADESARROLLO METODOLÓGICODesarrollo dela base de datosDiseño delcuestionarioEntrevistasa expertosAnálisis detodos los proyectos14 grupos de trabajosobre proyectosEvaluación5 grupos de trabajosobre ejesRetroalimentaciónPropuestassobre indicadoresFinalización dela base de datosEvaluación final de todoslos proyectos yejes programáticos1 grupo de trabajoa nivel de programaINFORME FINALMETODOLOGÍAComo contrapunto al sistema de programación estructurado de arribahacia abajo o top down, el equipo de evaluadores diseñó un proceso deevaluación de abajo hacia arriba o botton up, estableciendo 17 grupos detrabajo en los diversos niveles de gestión y ejecución del programa.La metodología diseñada parte del convencimiento de que el evaluadorexterno nunca dispone de un conocimiento tan profundo delprograma y de las diversas operaciones que lo componen, como puedandisponer las organizaciones y personas implicadas en el mismo.De esta forma, la metodología está presidida por una orientaciónhacia el diálogo y la autoevaluación que resulta especialmente pertinenteen el caso de las evaluaciones intermedias. Esta se puede resumiren base a cinco características básicas:• Evaluación de abajo hacia arriba, en sentido inverso al procedimientode programación.La metodología estápresidida por unaorientación hacia eldiálogo y laautoevaluación queresulta especialmentepertinente en el casode las evaluacionesintermedias.74

• Utilización de diversas fuentes de información.• Involucración activa de una multiplicidad de actores.• Utilización de procedimientos estandarizados.• Orientación hacia la autoevaluación y el diálogo.En el esquema de la Figura 13 se presenta la estructura y lasdiversas fases del proceso de evaluación. Se puede apreciar elimportante papel que tienen en el mismo las técnicas de evaluaciónparticipativa, estableciendo grupos de trabajo en los tres niveles deprogramación: proyecto, eje de desarrollo y programa 33 . Comoresultaría ineficiente establecer grupos de trabajo para todos losproyectos del programa, se configuró una muestra de 14 para losque se estableció un grupo de trabajo, mientras que, para todos losproyectos, se aplicó un cuestionario como base de generación de lainformación necesaria para la evaluación.Toda la información generada a lo largo del proceso quedóincluida en una base de datos que se configura como un productode la evaluación adicional al tradicional informe (Ver Figura 13).APRENDIZAJESComo resultados del proceso de evaluación se presentaron unaserie de recomendaciones y propuestas de modificación referidasa la casi totalidad de ámbitos que conforman el programa, desde suconcepción, objetivos, programación, seguimiento, procedimientosadministrativos y financieros, etc.Se señalan las conclusiones y aprendizajes vinculados de maneramás estrecha con el proceso de evaluación de programas cofinanciadospor la U.E. y, en concreto, relativos a Interreg II, queapunta la necesidad de:• Superar la concepción de la evaluación como un simplecontrol que evalúa la correcta implementación del programaprefijado.• Que todas las partes implicadas conciban la evaluación como unComo resultados delproceso de evaluaciónse presentaron unaserie derecomendaciones ypropuestas demodificación referidasa la casi totalidad deámbitos queconforman elprograma, desde suconcepción, objetivos,programación,seguimiento,procedimientosadministrativos yfinancieros, etc.33. Los grupos de trabajo se configuraron bajo la idea básica de la necesidad de crear un diálogoentre los diversos actores basado en la mutua confianza. La duración media no sobrepasabalas tres horas y, a nivel de proyecto, los evaluadores establecieron una agenda de diez puntos básicosde discusión que permitían una comparación posterior con los resultados de cada proyecto.Por su parte, a nivel de eje, los grupos se centraban en la reflexión en torno a los objetivos de cadaeje y al logro de los mismos mediante los proyectos programados para el mismo, para lo que seincluía la información generada en la evaluación de dichos proyectos. Por último, el grupo de trabajodel programa se centró en los objetivos del programa y su cumplimiento mediante los ejesestablecidos, los procedimientos de programación, así como los procedimientos administrativosy financieros del programa.75

proceso motivador del aprendizaje que ayude al desarrollo de nuevasy más eficaces soluciones en todos los niveles del programa(proyecto, eje y programa), la modificación y el desarrollo de losobjetivos, y el uso de los fondos en los diversos niveles.• Configurar un proceso de evaluación orientado por el diálogo,que promueva la participación y la autoevaluación de los diversosactores implicados.• Concebir el papel del equipo evaluador como dinamizador delprograma, estimulando y estructurando el diálogo entre losdiversos actores implicados, estableciendo un lenguaje comúnque permita este diálogo y la comparación entre los diversosproyectos que conforman el programa.4.2.3. EVALUACIÓN DE LA INNOVACIÓN EN LAPRIMERA FASE ADAPT. GRECIAANTECEDENTESEn este caso la experiencia desarrollada corresponde a la evaluaciónde la primera fase de la iniciativa comunitaria ADAPT enGrecia. La iniciativa ADAPT pretende adaptar la mano de obra a loscambios producidos en la industria.La puesta en marcha y ejecución de la iniciativa atiende a tresfases fundamentales:• Fase 1: Formulación de la estrategia del Programa Operativo.• Fase 2: Selección de los proyectos conforme a los criterios establecidos.• Fase 3: Implementación de los proyectos y acciones que losconforman.METODOLOGÍAFases de la evaluaciónEsta evaluación se ha desarrollado en dos fases diferenciadas porel enfoque y la metodología adoptada en cada una de ellas.La primera fase destinada a generar una descripción completa de losdiversos aspectos que caracterizan la implementación del ProgramaOperativo, de los proyectos que lo conforman y de su grado de ejecución,todo ello a partir de un seguimiento completo de dichos proyectos.La segunda fase incluía el desarrollo de 22 estudios de casomediante los que se generó información cualitativa, se verificó losEl sistema deevaluación seestructura en dosniveles básicos deanálisis. El primer nivelcorresponde alfuncionamientointerno del ProgramaOperativo, mientrasque el segundo nivel secentra en la evaluacióndel contexto o entornoen el que seimplementa elPrograma Operativo76

Figura 14ESTRUCTURA CONCEPTUAL Y CRITERIOS DE EVALUACIÓNC O H E R E N C I ACumplimiento de los objetivosestratégicos de la iniciativaADAPTFUNCIONAMIENTO INTERNOGrado de integración en laplanificaciónC O N S I S T E N C I AConsistencia de la articulacióndel Programa respecto a laestructura del ADAPTEficiencia Operacional:• progreso en la implantación• funcionamiento del sistemade partenariadoEficiencia económicaEficacia en la gestión y seguimientodel programaN i v e le r1ENTORNO DE LA IMPLEMENTACIÓN DEL PROGRAMAIntegración de las políticasdel mercado de trabajonacionales y de la U.E.POLÍTICASS I N E R G I AComplementariedad conotros programas Comunitarios.USUARIOSBENEFICIOS/RESULTADOSUtilización de los productosintermedios y finales generadospor el programaValor añadidoEfecto multiplicador2 º N i v e lresultados de la primera fase y analizaron en profundidad los factoresque resultaban críticos para el éxito del Programa Operativo y elcumplimiento de los objetivos de la iniciativa ADAPT.Niveles de evaluaciónEn lo que respecta al sistema de evaluación, éste se estructura en dosniveles básicos de análisis. El primer nivel corresponde al funcionamientointerno del Programa Operativo, mientras que el segundo nivelse centra en la evaluación del contexto o entorno en el que se implementael Programa Operativo. En el esquema de la Figura 14 se muestrael contenido de la evaluación en cada uno de los dos niveles.La evaluación del primer nivel estuvo presidida por los criterios decoherencia y consistencia. En el marco de este proceso de evaluacióncada uno de estos criterios venía definido de la siguiente manera:77

• La coherencia se ha definido como el grado en el que los resultadosalcanzados y los mecanismos y procedimientos operativos aplicadospara la ejecución del Programa Operativo se corresponden conlos objetivos estratégicos de la iniciativa ADAPT.• La consistencia del Programa Operativo refleja la eficiencia operacionaly comprende:• El grado de ejecución alcanzado a nivel de proyecto (tercernivel).• El nivel de participación e involucración de los diversosactores.• La eficiencia de los resultados generados por los proyectos.• La eficiencia en los mecanismos de gestión y administracióna nivel nacional.El segundo nivel de evaluación corresponde al contexto o entornode la implementación del Programa Operativo y comprende dosámbitos diferenciados, el relativo al marco político y las consiguientessinergias que se pueden generar con el Programa Operativo y elde la interacción del Programa Operativo con los usuarios (la utilizaciónque de los productos generados hacen los usuarios y el valorañadido para los mismos).EVALUACIÓN TEMÁTICA DE LA INNOVACIÓN ENEL MARCO DE LA EVALUACIÓN DE ADAPTSegún el diseño de la evaluación presentado, se procede a ofrecer,a modo de ejemplo, la aplicación práctica de la evaluación de uno delos dos niveles señalados. Así, dentro del primer nivel (funcionamientointerno) se analiza en particular el grado en el que, con laimplementación del Programa Operativo, se estaba incrementado elnivel de innovación en el tejido empresarial de forma:• Coherente con los objetivos estratégicos de ADAPT 34 .• Consistente con la articulación de los proyectos que conformanel Programa Operativo.En el marco de ADAPT la innovación se define como un procesoevolutivo vinculado al cambio industrial. Este proceso seconcreta mediante el concepto de “Capacidades innovadoras” yse evalúa en cada uno de los proyectos mediante el criterio deLa evaluación delprimer nivel estuvopresidida por loscriterios de coherenciay consistencia. Elsegundo nivel deevaluacióncorresponde alcontexto o entorno dela implementación delPrograma Operativo ycomprende dosámbitos diferenciados,el relativo al marcopolítico y lasconsiguientes sinergiasque se pueden generarcon el ProgramaOperativo y el de lainteracción delPrograma Operativocon los usuarios34. Ya que la innovación, como factor clave para acelerar el cambio industrial (objetivo básico delADAPT), es uno de los objetivos estratégicos fundamentales de la iniciativa ADAPT78

“Eficacia innovadora” 35 . Del mismo modo, la acumulación de la“capacidad innovadora” lograda mediante la implementación delos proyectos corresponde a diferentes etapas del proceso de adaptaciónal cambio industrial 36 y, a su vez, el grado de utilización dela capacidad tecnológica alcanzada se puede estructurar en tresfases diferentes 37 .Así, las cuatro preguntas básicas que deben responderse mediante elproceso de evaluación son:Primera: ¿Qué tipo de “capacidad innovadora” contribuye a crearel proyecto?Segunda: ¿Qué etapa del proceso de adaptación empresarial ayudaa alcanzar cada proyecto?Tercera: ¿Existe una correlación positiva entre la acumulación de“capacidad innovadora” y el nivel de “eficacia innovadora”?.Cuarta: ¿Cuál es la fase que maximiza la utilización de la capacidady su impacto en la productividad del trabajo?.Tal y como se expuso al presentar la metodología de evaluación, éstase realizó en dos etapas. En la primera, todos los promotores de proyectosdebieron rellenar una serie de cuestionarios en los que debían identificarque acciones de sus proyectos podían ser consideradas comoinnovadoras. Durante la segunda fase, los promotores de proyectosseleccionados para los estudios de caso debieron profundizar en el análisisde la innovación en el seno de sus proyectos, ofreciendo una des-En el marco de ADAPTla innovación se definecomo un procesoevolutivo vinculado alcambio industrial. Esteproceso se concretamediante el conceptode “Capacidadesinnovadoras” y seevalúa en cada uno delos proyectos medianteel criterio de “Eficaciainnovadora”35. Se puede afirmar que el cambio industrial y la innovación se concretan en tres categorías básicasde “Capacidades innovadoras” vinculadas a:• La inversión: conocimientos y habilidades necesarias para identificar, producir y generar tecnología.• La producción y la mano de obra: habilidades vinculadas a la organización de la produccióny el trabajo que agrupan, desde las habilidades básicas que requieren las operaciones decarácter simple y de mantenimiento, hasta las habilidades necesarias para la investigación yla creación innovadora.• El entorno empresarial: habilidades necesarias para la transmisión y recepción de informacióny tecnología.36. Las tres etapas o nieveles de contribución a la innovación de los proyectos son las siguientes:1ª) Los proyectos generan habilidades que ayudan a las empresas a efectuar cambios de rutinaque permiten resolver problemas simples2ª) Los proyectos generan habilidades que permiten que la empresa vaya adaptándose a loscambios del entorno mediante la búsqueda y adopción del “saber-hacer” y la tecnologíaexistente tanto dentro, como fuera de la empresa.3ª) Los proyectos generan las capacidades necesarias para que la empresa, en su conjunto, adopteuna actitud proactiva hacia los cambios tecnológicos, convirtiéndose en un agente activodel cambio industrial que investiga y desarrolla su propia tecnología.37. Una primera fase de utilización mínima durante la que se procede a efectuar un diagnósticoy planificación de la situación, una segunda fase de utilización reducida en laque se comienza a implementar lo planificado mediante proyectos piloto y, finalmente,una tercera en la que se produce una utilización completa de las capacidades disponibles.79

cripción cualitativa de las características en el terreno de la innovación(según el esquema expuesto con anterioridad), así como de las accionesque fueron identificadas como innovadoras.4.2.4. EVALUACIÓN INTERMEDIA DE LOSPROGRAMAS OPERATIVOS Y DEL MARCOCOMUNITARIO DE APOYO COFINANCIADO POREL FSE, 1994-1999. IRLANDAANTECEDENTESLa regulación de los Fondos Estructurales requerían la realizaciónde una evaluación a mitad de camino de la ejecución que se estaba llevandoen relación a los Programas Operativos 39 y al propio MarcoComunitario de Apoyo (MCA) establecido para el conjunto de Irlanda.Los términos de referencia de la evaluación intermedia partían deuna premisa fundamental: el coste de oportunidad de los fondospúblicos era elevado, por lo que cualquier gasto público debe analizarseen comparación con la mejor alternativa de uso de los fondosexistentes al margen de la elegida. Para evaluar el uso de estos fondosno es suficiente afirmar que el gasto ejercido está dentro del programadoy que mediante su ejecución se está contribuyendo a losobjetivos predefinidos para el mismo.Desde este planteamiento, a partir de la evaluación intermedia debíangenerarse las recomendaciones que fueran necesarias para efectuarlos ajustes pertinentes con el fin de perfeccionar los programas, modificando,en su caso, el destino de los fondos. En este orden de cosas, seestablecen tres aspectos clave objeto de observación y análisis:• La pertinencia y la eficacia atribuible al diseño inicial del programay a las medidas que lo conforman, a partir de la informaciónrelativa a su puesta en marcha y ejecución.• Los cambios que experimenta el contexto en el que se desarrollael programa desde el momento de su formulación y que pueden implicarla necesidad de revisar las prioridades inicialmente establecidas.• La evaluación detallada de la gestión e implementación, asícomo el grado de ejecución de las diversas medidas que conformanlos programas, a partir de lo cual deben generarse recomendacionesespecíficas sobre las mismas.Los términos dereferencia de laevaluación intermediapartían de una premisafundamental: el costede oportunidad de losfondos públicos eraelevado, por lo quecualquier gasto públicodebe analizarse encomparación con lamejor alternativa deuso de los fondosexistentes al margende la elegida39. Los Programas Operativos son programas establecidos a nivel nacional y supervisados porcomités de seguimiento en los que participan representantes de la Comisión Europea, autoridadesnacionales, agencias, agentes sociales, autoridades regionales y otras organizaciones interesadas.80

METODOLOGÍAEl enfoque metodológico empleado en este proceso de evaluaciónha sido calificado por la propia Dirección General XVI de laComisión Europea como especialmente innovador y pertinente parapromover su transferencia a otros procesos de evaluación. En concreto,la clasificación funcional de medidas que se formula en elmismo ha sido el elemento que confiere a este proceso este carácterinnovador.A nivel macroeconómico, la evaluación del impacto del programase efectuó mediante el modelo econométrico que se había empleadoen la evaluación ex-post del programa 1989-1993, revisado y adaptadopara la nueva etapa 1994-1999.Fue a nivel microeconómico donde se utilizó el enfoque innovadoral que se ha hecho referencia. Así, la evaluación partía del principio deque las políticas públicas deberían orientarse hacia la corrección de lasdistorsiones existentes. Esta máxima sencilla aporta un instrumentopoderoso para la evaluación de la eficacia y eficiencia de las políticaspúblicas. Cualquier gasto que no esté directamente destinado a lacorrección de las distorsiones resultará improcedente debido a sus costesimpositivos. Así, cada medida, debe justificarse a sí misma en términosde coste de oportunidad de los fondos públicos.Para proceder a la evaluación de las medidas que conforman losprogramas según su coste de oportunidad, se procedió a su clasificaciónen cuatro categorías diferentes:1ª Medidas que consisten en generar “bienes públicos” que nopueden ser producidos de forma óptima por el sector privado.2ª Medidas destinadas a alterar los precios relativos con el fin decorregir alguna externalidad (este tipo de medidas se puede denominar“subsidios correctivos”).3ª Medidas destinadas a modificar el comportamiento de losagentes privados que están mal informados o se enfrentan a determinadasbarreras informativas.4ª Medidas destinadas a generar un efecto redistributivo entre lapoblación.Una diferencia que resulta importante para la gestión de los programases la que se produce en términos presupuestarios entre lasmedidas que pretenden corregir una externalidad (medidas presupuestariasabiertas) y aquellas que se destinan a modificar el comportamientode los agentes (medidas presupuestarias cerradas). DeLa evaluación partíadel principio de que laspolíticas públicasdeberían orientarsehacia la corrección delas distorsionesexistentes. Estamáxima sencilla aportaun instrumentopoderoso para laevaluación de laeficacia y eficiencia delas políticas públicas.Cualquier gasto que noesté directamentedestinado a lacorrección de lasdistorsiones resultaráimprocedente debido asus costes impositivos81

esta forma, mientras las medidas presupuestarias abiertas puedensuponer una demanda suplementaria de recursos financieros, lasmedidas presupuestarias cerradas se dotan justamente hasta que elobjetivo final se cumple.El equipo evaluador procedió a clasificar cada una de las medidasy submedidas existentes entre las cuatro categorías identificadaspara, posteriormente, elaborar las recomendaciones pertinentes sobrela redistribución de los fondos (reprogramación).La principal ventaja de esta reclasificación funcional de las medidasproviene de que el evaluador puede comparar los programas entresi y, de esta forma, proveer a los responsables de una serie de recomendacionespara la reprogramación financiera relativa al períodoque resta antes de la finalización, cumpliendo, de esta forma, con unade las finalidades fundamentales de las evaluaciones intermedias. Sinembargo, la principal desventaja de una clasificación funcional comola referida es que la evaluación no se realiza conforme a los objetivosfijados en los programas operacionales.De un total cercano a 100 medidas, se identificaron 18 para las que secuestionaba su inclusión en el programa y 8 debían ser reforzadas en lasiguiente fase. Del mismo modo, se identificaron ámbitos de actuaciónque debían ser potenciados y ámbitos de actuación a ir suprimiendo.APRENDIZAJESLas recomendaciones efectuadas a partir de la evaluación intermediatuvieron, en términos generales, un impacto significativosobre las decisiones tomadas en relación a la reprogramación de lasegunda fase 38 , contribuyendo al perfeccionamiento de los programasy la reasignación de sus fondos entre las diversas medidas.La clasificación funcional de los gastos basada en el principio deque la política gubernamental debe tener una función correctiva y es,a juicio de la propia Comisión, un enfoque metodológico que podríaser transferido de manera adecuada a otras situaciones. Este tipo declasificación innovadora puede convertirse en un instrumento suplementariopara los decisores a la hora de proceder a la reasignación delos recursos financieros, tomar decisiones de carácter financiero, asícomo otro tipo de decisiones. Su utilización, sin embargo, deberíalimitarse a los programas de nivel nacional que disponen de una escalasuficiente como para poder aplicar este tipo de clasificación.Una diferencia queresulta importantepara la gestión de losprogramas es la que seproduce en términospresupuestarios entrelas medidas quepretenden corregir unaexternalidad (medidaspresupuestariasabiertas) y aquellasque se destinan amodificar elcomportamiento de losagentes (medidaspresupuestariascerradas)38. Así, de las 18 medidas que en la evaluación se recomendaba la disminución de su financiación,8 fueron suprimidas, mientras que de las 8 para las que se recomendaba el incremento en sufinanciación, 5 experimentaron un apoyo adicional.82

4.2.5. EVALUACIÓN EX-POST DE PROGRAMASOBJETIVO 2. 1989-1993ANTECEDENTESLa evaluación ex-post de los programas cofinanciados por losFondos Estructurales entre 1989 y 1993 para las regiones deObjetivo 2 cubría un total de 60 regiones europeas pertenecientes anueve Estados Miembros. La Comisión aglutinó a todas las regionesen diez grupos, en cada uno de los cuales las regiones incluidasdetentaban unas características similares para proceder así a su evaluación.El proceso de evaluación se desarrolló entre 1996 y 1997mediante una coordinación establecida a nivel europeo, así comouna serie de consultoras que desarrollaron su trabajo a nivel regionaly local.El objetivo principal del estudio, establecido por la propiaComisión Europea, se centraba en evaluar los resultados generadospor los programas cofinanciados en las Zonas de Objetivo 2, asícomo contribuir a la mejora y el perfeccionamiento de las intervencionesa desarrollar en futuros períodos de programación. Losaspectos que debían quedar resueltos una vez finalizada la evaluaciónex-post eran los siguientes:• Qué impactos habían producido las intervenciones.• Cómo se habían logrado dichos impactos y en qué medida contribuíanal proceso de reconversión industrial (prioridad central delos programas de Objetivo 2).• Hasta qué punto habían contribuido las reformas introducidas enlos Fondos Estructurales en 1988 a mejorar la forma en la que seimplementaron los Fondos y a lograr los resultados alcanzados.• Cuáles eran las conclusiones y aprendizajes que se derivaban dela evaluación y podían servir de guía para la mejora futura.El objetivo principalestablecido por lapropia ComisiónEuropea se centraba enevaluar los resultadosgenerados por losprogramascofinanciados en lasZonas de Objetivo 2 asícomo contribuir a lamejora y elperfeccionamiento delas intervenciones adesarrollar en futurosperíodos deprogramaciónMETODOLOGÍADe forma general, el proceso de evaluación se estructuró en tresgrandes etapas, una primera en la que se realizaron informes preliminares,y una segunda etapa que incluía la realización de lassiguientes intervenciones:• Una evaluación general sobre la situación anterior y posterior encada región.• Una serie de estudios en profundidad que cubrían 22 de las 60regiones de Objetivo 2.83

• Un conjunto de evaluaciones temáticas para la identificaciónde las mejores prácticas vinculadas a modalidades particulares deintervención.Finalmente, en la tercera etapa se procedió a la elaboración de losinformes finales que venían a sintetizar los resultados, conclusionesy recomendaciones obtenidas a partir del proceso de evaluación.Los informes preliminares para las evaluaciones del impactogenerado por los programas efectuaban un análisis a nivel macro(siguiendo un enfoque top down o de arriba hacia abajo) mediante lacomparación de la situación anterior y posterior al programa. Dichoanálisis se basada en una serie de variables clave escogidas entre losdiversos indicadores económicos sectoriales y globales, la distribuciónsectorial y la evolución del PIB o la evolución del empleo. Delmismo modo, en el marco de estos informes se analizaba el fundamentode las estrategias adoptadas, los modelos de gestión utilizados,así como las estructuras de partenariado creadas.Estos informes incluían la revisión de las estrategias y programasque comprendían el Objetivo 2, subrayando las similitudes y las diferenciasentre las diversas regiones respecto a diversas variables o losposibles factores explicativos vinculados a los programas: la metodologíade diagnóstico utilizada, los objetivos estratégicos identificados,las medidas aplicadas, el nivel de financiación proveniente delsector privado, las modalidades de gestión y las estructuras de partenariadocreadas en cada uno de los programas.La metodología utilizada para la realización de estos informesconsistió, básicamente, en la realización de trabajo de gabinete, aunquecuando esta información no resultaba suficiente, se efectuabanentrevistas con informantes clave y expertos que permitían completarel nivel de información disponible.Los estudios de caso en profundidad y las evaluaciones temáticasrespondían a un enfoque botton up o de abajo hacia arriba.Mediante estos estudios y evaluaciones se pretendía analizar las relacionesde causalidad, explicando por qué la situación anterior al programaera diferente a la situación posterior, así como la identificacióny difusión de las mejores prácticas encontradas entre los diversosprogramas regionales.En el marco de estos estudios y evaluaciones, la primera tarea llevadaa cabo consistió en la realización del trabajo de campo correspondientepara recopilar y analizar críticamente la información recogidapor los sistemas de seguimiento establecidos por las autoridadesEl proceso deevaluación seestructuró en tresgrandes etapas. En laprimera se realizaroninformes preliminares.En la segunda,serealizaron variasintervenciones: unaevaluación generalsobre la situaciónanterior y posterior encada región; una seriede estudios enprofundidad quecubrían 22 de las 60regiones de Objetivo 2así como un conjuntode evaluacionestemáticas para laidentificación de lasmejores prácticas. Enla tercera etapa, seprocedió a laelaboración de losinformes finales quevenían a sintetizar losresultados,conclusiones yrecomendaciones.84

egionales sobre los resultados generados por los FondosEstructurales. Del mismo modo, tal y como estaba establecido, seprocedió a efectuar investigaciones más en profundidad que generaraninformación para los estudios de caso en 22 de las 60 regionesObjetivo 2, con el fin de obtener información adicional provenientedirectamente de los beneficiarios de los programas 39 .En términos generales, se puede afirmar que fue en el marco deestos estudios y evaluaciones donde se encontraron mayores dificultadespara llevar a cabo de forma adecuada el proceso de evaluación.Así, se registraron numerosos problemas metodológicos a la hora deevaluar los efectos netos generados por los programas, identificandoefectos sinérgicos, efectos de desplazamiento así como efectos indirectosproducidos por las diversas intervenciones que conformabanlos programas. Del mismo modo, se detectaron carencias informativasen los sistemas de seguimiento establecidos por las autoridadesregionales, así como la inexistencia de una terminología y categorizaciónhomogénea entre dichos sistemas.Por último, los informes de síntesis constituían la tercera y últimafase de las evaluaciones ex-post de las zonas Objetivo 2. Estos informesidentificaban qué proporción de las variaciones de los indicadoresclave analizados en las evaluaciones macro o de carácter general(top down) correspondían a los efectos netos generados por las intervencionesde los programas (botton up) 40 . Del mismo modo, en estosinformes finales se incluía una síntesis de las mejores prácticas provenientesde los diversos estudios de caso y evaluaciones temáticasefectuadas a lo largo del proceso evaluativo.Se registraronnumerosos problemasmetodológicos a lahora de evaluar losefectos netosgenerados por losprogramas,identificando efectossinérgicos, efectos dedesplazamiento asícomo efectosindirectos producidospor las diversasintervenciones queconformaban losprogramasAPRENDIZAJESA grandes rasgos, se puede afirmar que el proceso de evaluaciónpermitió generar la información necesaria para evaluar los efectosnetos producidos por los programas Objetivo 2. Sin embargo, el propioequipo evaluador identificó una serie de factores clave que deberíanhaberse gestionado de forma más eficaz:39. Del mismo modo, la información generada en estas investigaciones adicionales se utilizó paracomprobar la eficacia de los propios sistemas de seguimiento existentes. Para ello, en las regionesdonde se realizaron estas investigaciones se procedió a agregar la información recopilada y acompararla con la existente a partir del sistema de seguimiento en torno a diversos indicadorescomo el número de empleos creados o salvados por las medidas de los programas, el número deempresas asistidas, o el número de programas de formación financiados.40. Así, la conclusión general fue que, a pesar de que las tendencias macro económicas identificadaspor los diversos indicadores resultaban negativas, los programas implementados habíangenerado unos efectos netos positivos, permitiendo que las tasa de paro regionales resultaranentre un 0.8% y un 1.4% menores que las que se hubieran producido si no se hubieran implementadolos programas.85

• Especialmente en las evaluaciones en las que intervinierondiversos actores que actuaban a diferentes niveles (Comisión, autoridadesregionales, consultores a nivel global, consultores regionalesy locales) conviene, con carácter previo a la puesta en marchadel proceso de evaluación identificar de forma diáfana las responsabilidadesy funciones correspondientes, evitando posibles lagunaso solapamientos.• Algunos de los problemas y dificultades de carácter metodológico41 (especialmente la falta de unos sistemas adecuados de seguimientopor programa) provienen de prácticas deficientes en el ámbitode la programación y la gestión de los programas.• Resulta de especial importancia para el éxito de las evaluacionesex-post, la forma en que se han llevado a cabo las evaluaciones intermedias,así como la posibilidad de recurrir a un colectivo de evaluadorescon experiencia previa puede resultar de suma importancia.• La necesidad de profundizar en el desarrollo de una metodologíade evaluación que permita sintetizar las vertientes horizontales(niveles regionales y estatales) y verticales (top down y botton up)del modelo de evaluación de los Fondos Estructurales, así como compararlos resultados generados entre diversos Objetivos de la políticaestructural mediante una homogeneización de los modelos de evaluaciónutilizados.En definitiva, la mejora de los métodos de evaluación debe ser unaprioridad manifiesta de las autoridades europeas si se pretende quesus resultados tengan cierta credibilidad y que puedan ser utilizadosde forma eficaz por los decisores políticos.La mejora de losmétodos de evaluacióndebe ser una prioridadmanifiesta de lasautoridades europeassi se pretende que susresultados tengancierta credibilidad yque puedan serutilizados de formaeficaz por los decisorespolíticos4.2.6. EVALUACIÓN TEMÁTICA DEL DOCUPOBJETIVO 2, 1994-1996. REGIÓN DE YORKSHIRE YHUMBERSIDEANTECEDENTESLa región de Yorkshire y Humberside, situada en el norestedel Reino Unido Inglaterra, reune un total de 9 millones de habitantes.En el marco de la región existen áreas agrupadas dentrodel Objetivo 2 y otras áreas dentro del Objetivo 5b). Las áreas dela región incluidas en Objetivo 2 comprenden tres subregiones(el sur de Yorkshire, el norte de Yorkshire y Humerside) claramentediferenciadas por variables relativas a la evolución demo-41. Que han sido expuestas a lo largo del apartado dedicado a la Metodología.86

gráfica, los movimientos migratorios, la estructura económica ola tasa de paro.En 1997 se lleva a cabo la evaluación intermedia del programa1994-1999 Objetivo 2. El enfoque evaluativo adoptado tuvo muy encuenta la diversidad regional y la existencia de las tres áreas biendiferenciadas, realizando una evaluación específica adaptada a cadasubregión, además de la evaluación conjunta de la región.METODOLOGÍAEl enfoque metodológico diseñado para esta evaluación ha sidoreconocido por la propia Dirección General XVI como una de lasprácticas particularmente interesantes e innovadora que convendríadifundir, no tanto por incluir un enfoque o una técnica de evaluaciónparticular, sino por representar un caso de evaluación en profundidadque sobrepasa el enfoque tradicional de las evaluacionesintermedias.El proceso de evaluación incluyó tres evaluaciones subregionales(que permiten analizar de forma específica las tres subregionescubiertas por el programa y que presentan características sociales yeconómicas diferentes), una evaluación de impacto que combina latipología ascendente y descendente, un análisis del proceso de partenariadoy de los procedimientos y mecanismos de puesta en marchay ejecución. La evaluación quedo estructurada en tres componentesbásicos:• Tres evaluaciones subregionales.• La evaluación regional.• Un programa de aseguramiento de la calidad llevado a cabo porconsultores independientes.A continuación, de forma sintética, se analizan algunos de estosaspectos metodológicos:• Una combinación equilibrada de los enfoques ascendente (bottonup) y descendente (top down).Dentro del enfoque ascendente se efectuaron un número inusualmenteelevado de investigaciones y estudios de caso. Estos análisisespecíficos fueron llevados a cabo dentro de cada una de las tres evaluacionessubregionales centrando la evaluación en el grado de cumplimientode los objetivos planteados por proyecto, mientras que elenfoque descendente se realizó a nivel regional, apoyándose en losresultados obtenidos en cada una de las subregiones.El proceso deevaluación incluyó tresevaluacionessubregionales, unaevaluación de impactoque combina latipología ascendente ydescendente, unanálisis del proceso departenariado y de losprocedimientos ymecanismos de puestaen marcha y ejecución87

• Un carácter externo e internoLa vertiente externa de la evaluación venía cubierta por la involucraciónen el proceso de evaluación de profesores y consultores,mientras que la vertiente interna se configuró mediante la generalizaciónde una cultura que fomentaba la autoevaluación crítica porparte de los diversos actores implicados en el programa.• Una sensibilidad especialPara llevar a cabo el análisis de la estrategia regional adaptándose,al mismo tiempo, a la variedad de condiciones locales existentesen cada subregión.• La capacidad de permitir, al mismo tiempo, una evaluación decarácter temático y de carácter generalPara lo que se identificaron, previamente, aquellos temas que erande una particular importancia estratégica.• La combinación de elementos pertenecientes, tanto a la evaluaciónex-ante como a la evaluación ex-postEspecialmente en lo que respecta a la estimación de los efectos delprograma sobre el empleo. Como resulta lógico, dado el escaso tiempotranscurrido la evaluación ex-post efectuada estaba sujeta aimportantes limitaciones.• El desarrollo de una cultura de la evaluación y del aprendizaje interactivaen la que se involucraran los diversos actores implicados.Resulta de suma importancia para el futuro del programa la configuraciónde un entorno caracterizado por el aprendizaje continuoe interactivo en el que participen todos los actores implicados en elmismo.APRENDIZAJESDado el aparato metodológico y organizacional configurado alrededordel proceso de evaluación, se ha incurrido en costos financierosy tiempo invertido superiores a lo que resulta más habitual en lasevaluaciones cofinanciadas por los Fondos Estructurales. Sin embargo,a juicio de la propia Dirección General XVI, el esfuerzo ha resultadorentable si se tiene en cuenta los resultados alcanzados que hanpermitido poner en práctica una metodología que compaginara laevaluación específica a nivel subregional y la evaluación integral delprograma, logrando:• Realizar una evaluación del impacto del programa, en términosde efectos netos sobre el empleo para cada subregión que facilitan laDentro del enfoqueascendente seefectuaron un númeroinusualmente elevadode investigaciones yestudios de casocentrados en cada unade las tres subregionesmientras que elenfoque descendentese realizó a nivelregional, apoyándoseen los resultadosobtenidos en cada unade las subregiones.88

obtención de conclusiones sobre la eficacia y eficiencia de cada unade las medidas que conforman los programas, permitiendo la reformulacióndel mismo a mitad de camino.• Evaluar el proceso y los mecanismos de puesta en marcha, gestióny financiación del programa.• La creación de una cultura compartida de aprendizaje y un lenguajecomún entre los diversos actores vinculados a los programas,fortaleciendo la implicación de los mismos, así como una culturade autoevaluación crítica que permanecerá como un activo de caraal futuro.• De forma general, a pesar de la dificultad de transferir las buenasprácticas a otros contextos socioeconómicos, el caso presentadoviene a demostrar que un modelo de evaluación como el expuestopuede ser aplicado con éxito, incluso en zonas de Objetivo 2 donde,habitualmente, resulta más difícil la evaluación debido a su reducidadimensión y a la ausencia de estadísticas fiables disponibles.A pesar de la dificultadde transferir las buenasprácticas a otroscontextossocioeconómicos, elcaso presentado vienea demostrar que unmodelo de evaluacióncomo el expuestopuede ser aplicado conéxito, incluso en zonasdonde, habitualmente,resulta más difícil laevaluación debido a sureducida dimensión y ala ausencia deestadísticas fiablesdisponibles89

5. Consideraciones finales

5. Consideraciones finalesAtendiendo a las prácticas de evaluación que se vienen implementando,estas consideraciones finales parten de las problemáticasy limitaciones que las mismas presentan.La tarea que se abre para los próximos años va a resultar crucial ysi teóricamente la evaluación es una herramienta básica que quedaexplícitamente formulada en los documentos programático-presupuestales,se trata de dar contenido y utilidad a este tipo de intervenciones.Si como se ha señalado repetidas veces, los modelos debenser flexibles, adaptables y diseñados a la medida, la cultura de la evaluacióndebe acrecentarse y enriquecerse. Desde este telón de fondosurge la necesidad de establecer marcos comunes guía en la concepcióngeneral de los procesos evaluativos.Lagunas y problemas en las prácticas de evaluación comunitariasDe forma general, se vienen detectado una serie problemas y dificultadesde índole metodológico y técnico en las diversas evaluacionesanalizadas en el marco del Programa MEANS:• Escasa utilización de los resultados generados por la evaluaciónpara la reformulación de programas.• Dificultades para evaluar la eficacia de las intervenciones,bien por la disposición de unos objetivos excesivamente genéricos,como por su excesiva concreción en términos de resultados aalcanzar; situación que propicia se efectúe una asimilación entreevaluación de resultados y evaluación de la eficacia 42 .• Lagunas en los sistemas de seguimiento (como, por ejemplo,en el caso de los indicadores de output o de impacto) que se detectantarde, cuando se efectúan las evaluaciones intermedias (requiriendode esfuerzos adicionales en las mismas para compensaresas lagunas informativas). Mientras deberían haber sido detectadasmediante la realización de evaluaciones ex-ante.• Problemas para disponer de información homogénea y construirun sistema de indicadores integral cuando existen diversos gestoresque suministran información al sistema de seguimiento y evaluación.• La necesidad de reforzar las relaciones entre las evaluacionesex-ante, intermedia y ex-post de cada programa apoyándose lasunas en las otras, según un proceso de evaluación progresivo.• Insuficiencia de los plazos dispuestos y de los recursos consignadospara llevar a cabo las evaluaciones.La tarea que se abrepara los próximos añosva a resultar crucial y siteóricamente laevaluación es unaherramienta básica quequeda explícitamenteformulada en losdocumentosprogramáticopresupuestales,setrata de dar contenidoy utilidad a este tipo deintervenciones42. Sin embargo, como es sabido, del logro de los resultados programados no se deduce necesariamentela consecución de los efectos positivos deseados.91

• Necesidad de tender hacia un modelo común de evaluaciónde los programas financiados por el FEDER y de los financiadospor el FSE, especialmente en el caso de los Objetivos 1 y 2 quecombinan ambas fuentes de financiación.• Aplicación imperfecta de las aportaciones metodológicas quese desprenden de las prácticas realizadas (Programa MEANS),especialmente en lo relativo a la medición del impacto sobre elempleo.Aspectos relevantes para el diseño metodológico de lasevaluacionesEl Joint Comittee on Standars for Educational Evaluation de losEE.UU. 43 aconseja que evaluadores y clientes cooperen entre sí paraque el proceso evaluativo pueda desarrollarse de forma óptima atendiendoa cuatro condiciones o máximas:1. Ser útiles: deben estar dirigidas a aquellas personas y gruposque estén vinculados al programa objeto de evaluación, ayudándolesa identificar las virtudes y los defectos del mismo asícomo las soluciones oportunas para mejorarlo.2. Ser factibles: deben emplear procedimientos evaluativos que puedanser utilizados sin demasiados problemas y de forma eficiente.3. Ser éticas: deben asegurar la protección de los derechos de laspartes implicadas y la honradez en la elaboración de los resultados,informando de forma equitativa de todas las virtudes ydefectos que presente el programa.4. Ser exactas: deben describir claramente el objeto, los procedimientosy las conclusiones de la evaluación, manteniéndose almargen de cualquier tipo de influencia.En términos generales, el proceso de evaluación debe diseñarse,organizarse y aplicarse de forma adaptada a los rasgos específicos delprograma a evaluar y su contexto organizacional y socioeconómico.Para ello, conviene que dicho diseño venga presidido por:• Una lógica de variedad y complementariedad metodológica quedé respuestas flexibles a una realidad múltiple.• Una lógica de aprendizaje que valorice los resultados obtenidosen una dinámica positiva, de cara a la mejora del programa y superfeccionamiento en fases posteriores.En términos generales,el proceso deevaluación debediseñarse, organizarsey aplicarse de formaadaptada a los rasgosespecíficos delprograma a evaluar ysu contextoorganizacional ysocioeconómico43. Comité que agrupa a cerca de doscientos expertos en el ámbito de la evaluación y que durantecinco años realizaron la labor de crear, valorar y clarificar los principios habitualmente empleadosen la evaluación de programas públicos.92

• Una lógica de pluralidad, que dé cabida a los diversos agentesintervinientes y garantice la utilización de informaciones provenientesde todas las partes implicadas.La aplicación combinada de esta lógica plural implica una serie deconsecuencias metodológicas y organizativas a tener presente por elequipo de evaluadores, de forma que se lleve a efecto un proceso evaluativoeficiente 44 que vaya más allá:1. Del mero análisis de los resultados producidos por el programa ala realización de una evaluación integral a partir de las siguientesdimensiones:• Contexto: Como marco general económico y social, y comomarco específico sectorial en el que se formuló e implementóel Programa, analizando su evolución y la correspondiente pertinenciade las estrategias definidas en el mismo, tanto desdeuna perspectiva integral como para cada uno de los niveles enlos que se estructure dicho Programa.• Soporte físico y normativo: Como conjunto de recursos que apartir de un soporte legislativo y de planeamiento integra instalacionesy dotaciones físicas con equipos humanos y serviciosdiversos para la ejecución del programa.• Proceso: Como interacción de las estructuras que soportan a losdistintos gestores y ejecutores y las funciones por ellos desarrolladas;interacción que genera todo un sistema relacional–clima– en el que se integran intereses, valores, culturas, rolesque es necesario armonizar, consensuar y hacer congruentespara el buen fin del proyecto.Su desarrollo se vincula al estudio de los efectos institucionalesque pretende salvar la brecha entre el registro estadísticode resultados y la realidad de la actuación. Su análisis sevinculará a intervenciones esencialmente cualitativas y participativas:• Grado de compromiso ante el programa.• Nivel de conflicto.• Replanteamientos competenciales.• Producto: Como resultados en términos de logros alcanzados,productos elaborados, sistemas articulados, aprendizajes y des-La aplicacióncombinada de unalógica plural, implicauna serie deconsecuenciasmetodológicas yorganizativas a tenerpresente por el equipode evaluadores, deforma que se lleve aefecto un procesoevaluativo eficiente44. Requiere, como condición preliminar, la toma en consideración de las limitaciones presupuestalesy temporales de las que se parte, de tal forma que el diseño metodológico resulteviable.93

arrollos en relación a los objetivos fijados; de los que los beneficiariosdel Programa son protagonistas y usuarios; y los distintosejecutores, consultores, etc. son proveedores y/o gestoresdel sistema.2. Del simple contraste con los objetivos y metas programadas, aldesarrollo de un proceso útil para los agentes implicados en elmismo que permita:• Determinar la valía relativa de los distintos bienes y serviciosgenerados por la intervención, el proyecto o el programa evaluado,así como juzgar el mérito y el valor del programa y lasacciones que lo integran.• Incrementar el conocimiento que los diversos agentes tienen delprograma, enriqueciendo el proceso de reflexión en torno almismo y la resolución de los problemas o necesidades para losque éste surgió.• Ayudar a distinguir las virtudes y los defectos del programa,proporcionando los conocimientos suficientes y una base valorativasólida que permita orientar la toma de decisiones y elperfeccionamiento del mismo.• Ofrecer un marco de análisis adaptado a la necesidad de evaluarla interacción entre los distintos agentes intervinientes, asícomo el nivel de coordinación que presentan; respondiendo deforma adecuada, cuando sea necesario, a la existencia de múltiplesactores participantes de diversos niveles y, por tanto, a lacomplejidad de sus relaciones.3. De una concepción basada en la utilización de una herramientade análisis determinada o un enfoque excluyente, hacia una concepciónque permita un mestizaje metodológico en función de ladiversidad de cuestiones a resolver, de agentes implicados, y decontextos en los que se implementa el programa, combinando:• Técnicas cuantitativas y cualitativas.• Enfoques ascendentes (bottom up) y descendentes (top down).• Análisis macroeconómicos y microeconómicos.• Métodos participativos con otros de carácter más clásico.4. De la evaluación exclusiva de los resultados y efectos directossimples (ligados a la pertinencia, eficiencia y eficacia alcanzada),al diseño del proceso, de forma que también permita recoger yevaluar resultados y efectos:Superar el simplecontraste con losobjetivos y metasprogramadas paradeterminar la valía dela intervención,incrementar elconocimiento ,distinguir las virtudes ylos defectos delprograma94

• Directos Complejos: vinculados a la observación de las interaccionesproducidas por las intervenciones de los distintosactores, procesos, proyectos, medidas, acciones, etc.• Indirectos: vinculados a resultados o efectos inducidos, enespecial de carácter psicosocial, vinculados particularmente aaspectos de percepción y actitud en relación al proyecto; tantopor parte de colectivos usuarios últimos como por los colectivosde operadores intervinientes en el proyecto.• No previstos: como los efectos multiplicadores, de sustitución,de desplazamiento, peso muerto, no influyente/ ganga, etc.5. De entender la evaluación como una tarea puntual en la vida deun programa, a concebirla como un proceso integrado de acompañamientoal mismo, que permita:• Realizar una apreciación previa que apoye el diseño y programacióndel programa, identificando los problemas socioeconómicosexistentes y los objetivos a alcanzar por el mismo, asícomo la estrategia necesaria con los medios disponibles pararesponder a dichos problemas (Evaluación ex-ante).• Comprobar, durante la ejecución de un programa, si los objetivossiguen teniendo validez y si los resultados programados llevancamino de alcanzarse, perfeccionando el programa y optimizandola distribución de sus recursos (Evaluación intermedia).• Efectuar, una vez finalizada la ejecución de un programa, unavaloración sobre el logro de los objetivos y metas programados,así como si los resultados alcanzados y los efectos generadoscon el mismo resultan positivos y van a perdurar una vezfinalizado el programa (Evaluación final y ex-post).6. Del papel de juez que afronta el proceso de evaluación comoagente situado por encima del resto de partes implicadas, a laasunción por parte del equipo evaluador de un rol en el que, respetandolos principios de independencia y transparencia, apuestepor adoptar un enfoque:• Participativo y abierto 45 en el que, con el fin de mejorar el programa,se recojan las diferentes visiones y aportaciones que realicenlos diversos agentes implicados.45. Puede que surjan conflictos ocasionados por las diversas formas de entender el proceso de evaluaciónque tengan los agentes implicados. En este sentido, los evaluadores deben avisar a las partesimplicadas de los posibles conflictos que pueden producirse en lo que se refiere a los propósitosy al desarrollo del proceso de evaluación, llegando, desde un primer momento, a un acuerdocomún sobre los principios que van a guiar el mismo.Pasar de entender laevaluación como unatarea puntual en lavida de un programa aconcebirla como unproceso integrado deacompañamiento almismoApostar por unenfoque participativo yabierto que goce de lacredibilidad de lasdiversas partesimplicadas y queincremente la utilidady aplicabilidad de susresultados95

• Que gocen de la credibilidad de las diversas partes, al percibirloéstos como un proceso legítimo que no ha dejado al margen ningunaopinión y haberse primado una definición metodológica rigurosapero consensuada.• Que incremente la utilidad y aplicabilidad de las conclusiones yresultados surgidos al final del proceso de evaluación para los diversosagentes implicados, al haber participado éstos en el mismo.96

AnexoModelos de Evaluación

Modelos de EvaluaciónEste Anexo se dedica a la exposición de tres modelos de evaluaciónque se consideran como especialmente pertinentespara ser aplicados a programas de carácter socioeconómicovinculados a la dinamización y cohesión económica y social, la educación/formacióno la salud. La referencia bibliográfica principal hasido la obra de Daniel L. Stufflebeam y Anthony J. Shinkfield.Systematic evaluation 46 .Cada modelo tiene su propio bagaje de experiencias y aportacionespropias y su exposición pretende servir de guía en el sentido que aportaesquemas de razonamiento y conceptos útiles que se deben manejaren el marco de procesos de evaluación concretos. Como el/la lector/ahabrá podido notar, este Cuaderno de Trabajo, en general, y esteanexo, en particular, vienen a remarcar la idea de que cada evaluaciónnecesita ser diseñada y aplicada de forma específica al proyecto quedeba evaluar y al contexto institucional en el que se desarrolle.En primer término se presenta el modelo CIPP Contexto, Input,Proceso y Producto, en segundo lugar el modelo de evaluación centradoen el cliente o evaluación respondente y, finalmente, el modelode evaluación innovativa.Cada modelo tiene supropio bagaje deexperiencias yaportaciones propias ysu exposición pretendeservir de guía en elsentido que aportaesquemas derazonamiento yconceptos útiles que sedeben manejar en elmarco de procesos deevaluación concretos1. EL MODELO CIPP: CONTEXTO, INPUT, PROCESOY PRODUCTOEn el marco del modelo CIPP, la evaluación se define como elproceso que permite identificar, obtener y proporcionar informaciónútil y descriptiva acerca del valor y el mérito de las metas, la planificación,la realización y el impacto de una intervención, proyecto oprograma determinado, con el fin de servir de guía para la toma dedecisiones, solucionar los problemas y promover la comprensión delos fenómenos implicados.Esta definición resume los conceptos clave del modelo CIPP ypostula tres propósitos evaluativos básicos: servir de guía para latoma de decisiones, proporcionar la información necesaria a responsablesy gestores y promover la comprensión de los fenómenos implicados(lo cual coincide con la orientación de perfeccionamiento delmodelo, puesto que el primero de estos propósitos es también el másimportante). El modelo presenta la evaluación no como una pruebasino como un proceso, que incluye tres etapas: identificar, obtener yproporcionar información útil y relevante (de ahí que los evaluadoresdeban tener una buena preparación técnica y dotes de comunicación).46.“Evaluation” Stufflebeam Daniel L. y Shinkfield Anthony J.98

Tanto la información útil (para emitir juicios) como la descriptivason consideradas adecuadas para valorar y ayudar a perfeccionarlas intervenciones. Los aspectos clave del objeto que, según la definición,deben ser valorados, incluyen sus metas, su planificación,su realización y su impacto (los cuales son valorados, respectivamente,mediante la evaluación del contexto, del input, del procesoy del producto). El criterio fundamental que debe ser tenido encuenta incluye su valor (su respuesta a las necesidades valoradas) ysu mérito (su calidad).1.1. El modelo CIPP como estrategia para el perfeccionamientode los sistemasEl modelo CIPP está más en la línea de los procesos de evaluaciónde sistemas de amplio espectro y alcance social. No se tratatanto de servir de guía para la realización de un estudio particularizadosino más bien de proporcionar un modelo de evaluación continuapara la toma de decisiones.Se basa especialmente en el concepto de que el propósito másimportante de una evaluación no es demostrar algo sino perfeccionarlo existente. Esta concepción resulta opuesta a las corrientes que afirmanque las evaluaciones deben ser más penalizadoras o actuar comoinstrumentos de control. Por el contrario, considera que el fin últimode la evaluación es ayudar a perfeccionar los programas de forma queofrezcan un mejor servicio a sus usuarios y beneficiarios.Promoviendo la “eliminación” de programas innecesarios oimperfectos, las evaluaciones también cumplen una función perfeccionadora,al permitir que los recursos vayan a parar a las actuacionesmás provechosas. Fundamentalmente, la utilización del modeloCIPP está concebida para promover el desarrollo y ayudar a losdirectivos y personal responsable de una institución a obtener y utilizaruna información continua y sistemática con el fin de satisfacerlas necesidades más importantes o, al menos, hacer lo mejor posiblecon los recursos disponibles.Esta orientación, que ayuda a mantener y mejorar la calidad de lasactuaciones institucionales, aparece ilustrada en el diagrama de laFigura 15.1.2. Las dimensiones del modelo CIPPEl modelo CIPP se caracteriza por ordenar la construcción delproceso de evaluación en base a cuatro dimensiones centrales: elContexto, el Input, el Proceso y el Producto. En el cuadro de la página108 se procede a sintetizar, para cada una de las dimensiones prin-El modelo CIPP estámás en la línea de losprocesos deevaluación de sistemasde amplio espectro yalcance como lossistemas sociales,educativos/formativos,etc. Se basaespecialmente en elconcepto de que elpropósito másimportante de unaevaluación no esdemostrar algo sinoperfeccionar loexistente99

Figura 15DIAGRAMA DESCRIPTIVO DEL PAPEL DE LA EVALUACIÓN CIPPEN EL PERFECCIONAMIENT0 DEL SISTEMAOperaciones regulares delsistema (que incluyen distintasactividades evaluativas)Aplicación de lasoluciónNOSIEvaluacionesperiódicas del contextoJustificación deun cambioSIDefinición de problemasy formulación deobjetivos¿Existe unasoluciónsatisfactoria?NOEvaluación deentradaNONOSI¿Seha encontradouna estrategiaprometedora?Necesidadde desarrolloy comprobaciónSIRealización de unproyecto especialEvaluación delproceso y el productoSISIFracasoNO¿Merece elproyecto otrointento?NO¿Rendimientosatisfactorio?SI¿Aúnnecesita y deseauna soluciónNOcipales señaladas, los objetivos, métodos y su vinculación con el procesode toma de decisiones.El Diseño de una evaluación mediante el modelo CIPPPara realizar una evaluación, ya se trate de una evaluación delcontexto, del input, del proceso o del producto (o algún tipo decombinación entre ellas), el equipo evaluador necesita, obviamente,planificar su trabajo. Esto supone diseñar los procesos de trabajopreliminares y luego modificarlos y explicarlos a medida queavanza el proceso.100

MODELO CIPP. DIMENSIONES DEL PROCESOEvaluación del ContextoEvaluación de IMPUTEvaluación del ProcesoEvaluación del ProductoObjetivoDefinir el contexto institucional,identificar lapoblación objeto deestudio y valorar susnecesidades, identificarlas oportunidadesde satisfacer, lasnecesidades, diagnosticarlos problemasque subyacen enlas necesidades y juzgarsi los objetivospropuestos son losuficientemente coherentescon las necesidadesvaloradas.Identificar y valorar lacapacidad del sistema,las estrategias deprograma alternativas,la planificaciónde procedimientospara llevar a cabo lasestrategias, los presupuestosy los programas.Identificar o pronosticar,durante el proceso,los defectos de laplanificación del procedimientoo de surealización, proporcionarinformación paralas decisiones preprogramadasy describiry juzgar las actividadesy aspectos delprocedimiento.Recopilar descripcionesy juicios acercade los resultados yrelacionarlos con losobjetivos y la informaciónproporcionadapor el contexto, porlas variables de entraday por el proceso, einterpretar su valor ysu mérito.MétodoUtilización de métodoscomo el análisisde sistemas, la revisiónde documentos,las ediciones, lasentrevistas, los testsdiagnósticos y la técnicaDelphi.Inventariar y analizarlos recursos humanosy materieles disponibles,las estrategiasde solución y lasestrategias de procedimientoreferentes asu aplicabilidad, viabilidady economía. Yutilizar métodos comola búsqueda de bibliografía,las visitas aprogramas ejemplares,los grupos asesoresy casos piloto.Controlar las limitacionespotenciales delprocedimiento y permaneceralerta antelas que no se esperaban,mediante la obtenciónde informaciónespecífica de lasdecisiones programadas,la descripción delproceso real, la continuainteracción con elpersonal del proyectoy la observación desus actividades.Definir operacionalmentey valorar loscriterios de los resultados,mediante larecopilación de los juiciosde los clientes yla realización de análisiscualitativos ycuantitativos.Relación con latoma de decisionesen el procesode cambioDecidir el marco quedebe ser abarcado,las metas relacionadascon la satisfacciónde las necesidadeso la utilización delas oportunidades ylos objetivos relacionadoscon la soluciónde los problemas, porejemplo, la planificaciónde los cambiosnecesarios. Y proporcionaruna base parajuzgar los resultados.Seleccionar los recursosde apoyo, lasestrategias de solucióny la planificaciónde procedimientos;esto es, estructurarlas actividades decambio. Y proporcionaruna base parajuzgar la realización.Llevar a cabo y perfeccionarla planificacióny los procedimientosdel programa,esto es, efectuarun control del proceso.Y proporcionar unesbozo del procesoreal para utilizarlomás tarde en la interpretaciónde los resultados.Decidir la continuación,finalización, modificacióno readaptaciónde la actividad .Ypresentar un informeclaro de los efectos(deseados y no deseados,positivos ynegativos).101

Estos planes deben incluir una amplia gama de elecciones referentesa la realización de la evaluación, como por ejemplo las audiencias ycuestiones clave; si es más apropiada una evaluación del contexto, delinput, del proceso y/o del producto; el objeto que debe ser valorado; eltiempo y lugar del estudio; el alcance y naturaleza de los controles quedeben imponerse; las comparaciones que deben efectuarse; las fuentesde información necesarias; los métodos, instrumentos y esquemas parala recopilación de informaciones; las formas y procedimientos paradesignar, archivar y conservar la información; los métodos de análisis einterpretación; las disposiciones para comunicar los resultados; y los criteriosy acuerdos para valorar los resultados de la evaluación.Las decisiones acerca de estas actividades evaluativas se constituyenen la base que soporta la contratación y financiación del trabajoevaluativo, el seguimiento/retroalimentación de las relaciones con lasinstituciones implicadas, la configuración del equipo evaluador, asícomo la programación y dirección de las actividades del mismo.Sin embargo, conviene apuntar que las cualidades dinámicas einteractivas de muchas evaluaciones y la orientación de su serviciohacen difícil, si no imposible, la proyección correcta y a largo plazode las necesidades informativas específicas. Como consecuencia, losplanes técnicos para la recopilación de datos y los análisis previos,están basados, a menudo, en presuposiciones erróneas y vienen aresultar inapropiados o incompletos. Un rígido seguimiento de la planificaciónevaluativa inicial –especialmente si se ha definido en términosmuy específicos– a menudo va en detrimento de la utilidad delestudio al dirigirlo hacia cuestiones equivocadas o no esenciales, yguiarlo mediante presuposiciones erróneas. Por lo tanto, los evaluadoresse enfrentan a un dilema. Por una parte, necesitan diseñar cuidadosamentesus actividades evaluativas con el fin de realizarlas coneficiencia y aceptable rigor, así como para convencer a sus clientes deque saben lo que están haciendo. Por otra, necesitan un método evaluativoflexible y realizar una revisión y modificación periódicas deldiseño para que la evaluación siga respondiendo a las necesidades delas audiencias. Este dilema es especialmente problemático para losevaluadores, puesto que los clientes, a menudo, esperan o exigen diseñostécnicos definitivos y más tarde se desilusionan cuando un rígidoseguimiento del diseño original proporciona mucha información queno resulta útil o su utilidad se agota inmediatamente.A menudo, los clientes perciben que, de algún modo, los evaluadoresdebían haber sabido proyectar las necesidades informativas yajustar las actividades de recopilación de datos. Para enfrentarse aeste dilema los evaluadores deben abordar el diseño como un proceso,no como un producto, y necesitan conducir a sus clientes a hacerConviene apuntar quelas cualidadesdinámicas einteractivas de muchasevaluaciones y laorientación de suservicio hacen difícil, sino imposible, laproyección correcta y alargo plazo de lasnecesidadesinformativasespecíficas102

lo mismo. Las metas y procedimientos evaluativos deben ser esquematizadosde antemano, pero también analizados, revisados, ampliadosy modificados periódicamente. Fundamentalmente, este procesodebe estar guiado por un concepto justificable de lo que es una evaluaciónsolvente, por una sensibilidad a los factores del mundo realque a menudo interfieren en el trabajo evaluativo y por una comunicacióncontinua entre los evaluadores y sus audiencias, acerca de lapertinencia y propiedad de la planificación.Al principio del proceso, es importante escuchar e investigar.¿Quiénes son los principales clientes? ¿Qué piden de la evaluación?¿Por qué? ¿Qué tipo(s) de evaluación (del contexto, de entrada, delproceso o del producto) puede(n) ser más efectivo(s)? ¿Cómo creen losclientes que debe ser realizada la evaluación? ¿Qué perspectivas tienenen mente? ¿Quiénes consideran que son la audiencia principal? ¿Quiénpuede salir perjudicado a consecuencia de la evaluación? ¿Por qué?¿Qué cooperación será esencial? ¿De qué información se dispone?¿Cuáles son los antecedentes? Desde un punto de vista realista, ¿Québeneficios positivos pueden esperarse de la evaluación? ¿Qué efectosnocivos pueden producirse, y cómo pueden ser evitados? ¿Qué competenciasse requieren para realizar el trabajo?, y así sucesivamente.Siempre que sea posible una elección, el equipo evaluador debe plantearsecuestiones como éstas antes de decidir si una evaluación puederealizarse o si se dan las condiciones apropiadas para hacerla.Cuando haya asumido una decisión positiva para seguir adelante,el equipo evaluador debe hacer un esquema global del plan. Este plandebe tener en cuenta si dicho equipo conoce el marco de desarrolloy las necesidades concretas de la evaluación, y debe ajustarse a lasnormas generalmente aceptadas para la realización de una evaluaciónsolvente. Además, debe hablar, por lo menos de un modo general, detoda la gama de tareas que debería realizar.El esquema incluido a continuación proporciona una visión generalde los aspectos que deben ser abordados en un diseño evaluativo.Estos puntos son aplicables al desarrollar el plan inicial o más tarde,al revisarlo y explicarlo. Desde luego, sólo sirven como indicacióngeneral de la información detallada que probablemente deberá serproporcionada a la hora de operativizar el diseño.Finalmente, conviene subrayar la necesidad de evaluar las evaluaciones.Si las evaluaciones deben proporcionar una guía oportuna,las propias evaluaciones deben ser solventes. Entre otras consideraciones,deberían centrarse en las cuestiones adecuadas, ser exactas ensus definiciones, no ser tendenciosas, ser comprensibles y ser justaspara aquellos cuyo trabajo se está examinando. Valorar las evaluacionessegún estas consideraciones es adentrarse en la literatura queFinalmente, convienesubrayar la necesidadde evaluar lasevaluaciones. Si lasevaluaciones debenproporcionar una guíaoportuna, las propiasevaluaciones deben sersolventes103

ESQUEMA DE DOCUMENTACIÓN DE LAS PLANIFICACIONES EVUALUATIVASAnálisis de la tareaDefinición del objeto de ia evaluaciónIdentificación del cliente y las audienciasPropósito(s) de la evaluación (perfeccionamiento del programa, responsabilidad y/o comprensíón)Tipo de evaluación (del contexto, de entrada, del proceso o del producto) que va a emplearsePrincipios de una evaluación solvente (utilidad, viabilidad, propiedad y actitud) que deben ser observadosPlan para la obtención de informacionesEstrategia general (examen, estudio de casos concretos, grupos asesores o experimentos)Presuposiciones de trabajo que sirvan de gula para la valoración, el análisis y la interpretaciónRecopilación de información (muestreo, instrumentalización y recopilación de datos)Organización de la información (cadificación, archivo y conservación)Análisis de la información (tanto cualitativa como cuantitativa)Interpretación de los resultados (identificación de las normas y elaboración de los juicios)Plan para el informe sobre los resultadosPreparación de los informesDifusión de los informesPrevisión para continuar las actividades con el fin de promover el impacto de la evaluaciónPlan para la administración del estudioResumen del programa evaluativoPlan para satisfacer los requisitos económicos y los del personalPrevisión para la metsevaluaciónPrevisión para renovaciones periódicas de la planificación evaluativaPresupuestosMemorándum de compromisos o contratostrata el tema de la metaevaluación que abarca, entre otros, los criterios,procesos y técnicas utilizados para evaluar evaluaciones.1.3. El modelo CIPP como enfoque sistémico de la evaluaciónEste modelo de evaluación, en el contexto de un proceso de cambioinstitucional, reafirma muchas de las características propias deun método sistemático de evaluación:1. La evaluación es una parte integrante del programa regular deuna institución y no sólo una actividad concreta relacionadacon proyectos de renovación, y el perfeccionamiento que introduceel modelo CIPP o de cualquier otro método especializadoes sólo una parte del mosaico de la evaluación formal e informalde una organización.104

2. La evaluación desempeña un papel vital en la estimulación yplanificación de los cambios.3. La utilización de cada tipo de dimensión del modelo CIPP estáindicada sólo si es necesaria más información de la que yaexiste, y no por el valor intrínseco de cada dimensión. En otraspalabras, las evaluaciones del contexto, del input, del procesoy del producto son sólo una parte del gran cuadro evaluativo decada institución, y su función más importante es la de servir alas necesidades subsumidas en el mismo.4. La información que se genera a lo largo del proceso de evaluaciónno sólo proporciona una guía para resolver problemascentrales, sino que, si se realiza de cara a una revisión pública,también proporciona una base para juzgar si las decisionesacerca del fracaso o generalización de un proyecto piloto setoman desde posiciones justificables.El método evaluativoestá construido, en lofundamental, sobre lanoción de Tyler acercade que los evaluadoresdeben comparar losresultados deseados ylos observados2. EL MÉTODO EVALUATIVO CENTRADO EN ELCLIENTELos exigentes requisitos federales para la evaluación que se impusieronen la educación americana en la década de los sesenta estimularon eldesarrollo de algunos nuevos métodos evaluativos. Uno de estos métodosfue introducido por Robert Stake en 1967 con lo que se dio en llamar“modelo de la figura (countenance) para la evaluación educacional”.Este método está construido sobre la noción de Tyler acerca deque los evaluadores deben comparar los resultados deseados y losobservados, pero amplía el concepto de evaluación pidiendo un examende los antecedentes, del proceso, de las normas y de los juicios,además de los resultados.2.1. Las aportaciones de StakeLos aspectos principales que se destacan de la concepción deStake, son los siguientes:• Las evaluaciones deben ayudar a las audiencias a observar ymejorar lo que están haciendo.• los evaluadores deben analizar los programas con relación tantoa los antecedentes y las operaciones como a los resultados.• Los efectos secundarios y los logros accidentales deben ser tanestudiados como los resultados buscados.• Los evaluadores deben evitar la presentación de conclusionesfinales resumidas, pero en su lugar deben recopilar, analizar yreflejar los juicios de una amplia gama de personas interesadasen el objeto de la evaluación.105

• Los experimentos y los tests regularizados son a menudo inadecuadoso insuficientes para satisfacer los propósitos de unaevaluación, y deben ser sustituidos o completados con unavariedad de métodos incluyendo los “soft” y los subjetivos.2.2. La evaluación respondenteStake desarrolló su filosofía de la evaluación durante los últimosaños sesenta y los primeros setenta, y en 1975 presentó su concepciónya ampliada con el nombre de “evaluación respondente”. Estapresentación conservó el énfasis en el método de la figura examinando"toda figura de un programa”, pero rompió totalmente con latradición tyleriana al recoger información con el fin de discutir si sehabían realizado las intenciones originales. En cambio, la evaluaciónrespondente asumía que las intenciones pueden cambiar y pedía unacomunicación continua entre el equipo evaluador y la audiencia conel fin de descubrir, investigar y solucionar los problemas.Fundamentalmente, el método de la evaluación respondentesubraya marcos para el desarrollo del aprendizaje, las transaccionesdidácticas, informaciones para emitir los juicios, informe holístico yasistencia a los educadores.Al ampliar el método, suscribió una definición general de evaluaciónque él atribuía a Scriven. De acuerdo con esta definición, la evaluaciónes un valor observado comparado con alguna norma.Stake advierte al evaluador que realice un amplio informe de loque se ha observado acerca del programa y de la satisfacción o insatisfacciónque transmite un grupo de personas adecuadamente seleccionadoante el mismo.Este sistema es claramente reminiscente del texto Countenance,en el que Stake afirma que las dos principales tareas de la evaluaciónson la descripción y el juicio. Al comentar la evaluación respondente,Stake no contempla al evaluador recopilando normas, clasificándolassegún su importancia y reduciendo estas escalas a un juicioglobal. Por el contrario, el evaluador debe hacer referencia, simplementea las opiniones de la gente acerca del programa y no juzgarlas,clasificarlas o sintetizarlas.Stake subraya que las evaluaciones probablemente no serán útilessi los evaluadores no conocen el lenguaje y los intereses de suaudiencia y si no realizan sus informes con ese lenguaje.2.3. Evaluación preordenada versus evaluación respondenteStake contrasta en repetidas ocasiones el método de la evaluaciónrespondente y la evaluación preordenada. El siguiente cuadro resumeeste contraste.Stake subraya que lasevaluacionesprobablemente noserán útiles si losevaluadores noconocen el lenguaje ylos intereses de suaudiencia y si norealizan sus informescon ese lenguaje106

PRINCIPALES DISTINCIONES ENTRE LA EVALUACIÓN PREORDENADAY LA EVALUACIÓN RESPONDENTEDistinciónEvaluación PreordenadaEvaluación Respondente1. PropósitoDeterminar hasta qué punto han sidoalcanzadas las metasAyuda a los clientes a distinguir las virtudesy los defectos2. Alcance de los serviciosSatisfacer los requisitos informativos talcomo se había acordado al principio delprocesoResponde a los requisitos informativosde la audiencia a lo largo de todo el proceso3. ContratosLas obligaciones de las partes formalesde la evaluación se negocian y definentan específicamente como sea posible alprincipio del procesoLos propósitos y procedimientos seesbozan de una manera muy generalal principio y se desarrollan durante elproceso4. Orientación principalPropósitos del programa, indicación delas variablesProblemas y actividades del programa5. PlanificacionesPreespecificadasSe van haciendo a sí mismas6. MetodologíaReflejo del «Modelo investigativo»: intervencióny observaciónReflejo de lo que la gente hace «naturalmente»:observa, interpreta y especifica7. Técnicas preferidasDiseño experimental, objetivos de comportamiento,hipótesis, muestreo al azar,tests objetivos, estadísticas de resumene informes investigativosEstudio de casos concretos, objetivosexpresivos, muestreo intencionado,observación, exámenes de programasopuestos e informes expresivos8. Comunicaciones entre elevaluador y el clienteFormales e infrecuentesInformales y continuas9. Bases para la interpretaciónde los valoresReferencias a los objetivos preestablecidos,a los grupos de reglas y a los programascompetitivosReferencias a las distintas perspectivasde valor de las personas próximas10. Diferencias fundamentalesSacrifica el servicio directo a los quetoman parte en el programa por la producciónde informes investigativos objetivosSacrifica cierto grado de precisión en lavaloración para que pueda aumentar lautilidad11. Previsiones para evitarla tendenciosidadUtiliza procedimientos objetivos y perspectivasindependientesReproducción y definición operacionalde los términos ambiguos107

2.4. La estructura de la evaluación respondenteDespués de contrastar la evaluación preordenada y la evaluaciónrespondente Stake amplía su concepto de evaluación respondente. Y lohace, especialmente, describiendo su estructura sustancial y funcional.La estructura sustancialPara Stake, los problemas son la primera parte de la estructura sustancial.En la evaluación respondente, éstos pueden entenderse comoáreas donde se producen desacuerdos, dudas y cuestionamientos.Aunque proporciona directrices para la investigación, se muestra contrarioa las recopilaciones de datos cuantitativos demasiado limitadas.Para identificar y solucionar los problemas, Stake aconseja alequipo evaluador que se familiarice con el programa hablando conla gente para alcanzar una comprensión mutua acerca de la existenciade ciertos problemas y que, más adelante, utilice esos problemascomo estructura de futuras discusiones y para desarrollarplanes de recopilación de información. El equipo evaluador debeidentificar y dar solución a los problemas a lo largo de todo el procesode evaluación.Stake afirma que la segunda parte de la estructura sustancial de laevaluación respondente consiste en un esquema para la recopilaciónde información. Además de los problemas, señala que este esquemaPara identificar ysolucionar losproblemas, Stakeaconseja al equipoevaluador que sefamiliarice con elprograma hablandocon la gente paraalcanzar unacomprensión mutuaacerca de la existenciade ciertos problemasFigura 16ESQUEMA DE STAKE PARA LA RECOPILACIÓN DE DATOSEN LA EVALUACIÓN DE UN PROGRAMA EDUCATIVOIntenciones(Lo que pretendela gente)Observaciones(Lo que percibela gente)Normas(Lo que la gentegeneralmenteaprueba)Juicios(Lo que la gentecree que debe serel programaprincipalBase lógicaAntecedentesTransaccionesResultadosMatriz de descripciónMatriz de juicio108

debe proporcionar una estructura adicional para la recopilación dedatos. A través de la utilización de este esquema, el equipo evaluadortratará de identificar perspectivas múltiples e incluso contradictoriasy examinar las congruencias y las contingencias (Figura 16).Las observaciones más importantes incluyen la base lógica delprograma; sus antecedentes previstos y los observados, los intercambiosy los resultados; las diversas normas que los distintos gruposcreen que deben cumplirse; y sus distintos juicios acerca de ellas.Stake identifica la observación de las personas como la terceraparte de la estructura sustancial de la evaluación respondente.Subraya su importancia y afirma que son los mejores instrumentosde investigación para muchos problemas evaluativos.La parte cuarta y final de la estructura sustancial de la evaluaciónrespondente es la validación. Stake responsabiliza al evaluador respondentede proporcionar la cantidad de información suficiente, procedentede numerosas fuentes independientes y creíbles, como paraque pueda representar efectivamente el estado ya observado del programa,de cualquier forma complejo.La estructura funcionalDejando ya atrás la estructura sustancial de la evaluación respondente,Stake considera su estructura funcional. La evaluación respodenterequiere la realización de una gran cantidad de observaciones,sin poder estructurarse en fases lineales: la observación y la informacióncontinua son importantes a lo largo de toda la evaluación.Expuestas estas condiciones, Stake presenta la estructura funcionalde la evaluación respondente bajo la forma de la evaluaciónreloj, tal como aparece en la Figura 17. Subraya que no setrata de un reloj normal; se mueve en la dirección de las agujasdel reloj, en sentido contrario y en cualquier otro sentido quepueda satisfacer mejor las necesidades del cliente. Seguramente,Stake concibe el reloj sólo como algo heurístico, y no como unaserie de directrices técnicas, puesto que no llega a explicar niilustra su utilización.Para Stake, losevaluadores son“buscadores de laverdad”, pero algunosse toman su papeldemasiado en serio,puesto que existenmuy pocas verdadesobjetivas en laevaluación, si es queexiste alguna. Encambio, señala queexisten “realidadesmúltiples”, lo cualquiere decir que laverdad, reside en losojos del observadorConclusionesPara Stake, los evaluadores son “buscadores de la verdad”, peroalgunos se toman su papel demasiado en serio, puesto que existenmuy pocas verdades objetivas en la evaluación, si es que existe alguna.En cambio, señala que existen “realidades múltiples”, lo cualquiere decir que la verdad, reside en los ojos del observador.109

Figura 17LA ESTRUCTURA FUNCIONAL DE LA EVALUACIÓNSEGÚN STAKE: LA EVALUACIÓN RELOJ10Esquema para usode la audiencia11Reunir los informesformales si los hay12Hablar con los clientes,el personal del programay las audiencias1Identificar el alcancedel programa2Panorama de las actividadesdel programa9Validación: confirmación,búsqueda de evidenciaspara la no confirmación8Desarrollar temas, preparardescripciones y estudiarcasos concretos7Observar los antecedentes,las transecciones y losresultados propuestos6Seleccionar observadores,jueces e instrumentos,si los hay3Descubrir los propósitose intereses4Conceptualizar las cuestionesy los problemas5Identificar los datosnecesarios para investigarlos problemasLa evaluación internaes más útil que laexterna y lasautoevaluaciones sonmás útiles que lasevaluacionescentralizadasComo consecuencia, recomienda a los evaluadores que recopileny presenten las perspectivas de distintas personas y grupos. Lesadvierte que no crean que sólo los resultados cuantificables puedenhablar del valor de un programa; dice que existen muy pocos datoscríticos en un estudio y que los resultados deben ser valorados aveces, pero otras veces no. Destaca que los evaluadores pueden escogerdistintos caminos para revelar la utilidad de un programa y añadeque ni los tests escritos ni otros datos concretos deben ser contempladoscomo absolutamente esenciales, aun que tampoco deben serautomáticamente excluidos.En opinión de Stake, la evaluación interna es más útil que la externay las autoevaluaciones son más útiles que las evaluaciones centralizadas.En conjunto, recomienda a los evaluadores que utilicen cualquiertécnica y fuente de información que les parezca relevante paradescribir la complejidad y la realidad múltiple de un programa y paracomunicar esa complejidad, aunque el resultado sea dudoso y dificultela toma de decisiones.En cuanto al papel del evaluador, Stake señala que una tarea fundamentalen cualquier evaluación es determinar su propósito y los110

criterios que deben ser valorados. Apuntando que existen, por lomenos, siete propósitos legítimos en una evaluación:1. Documentar los acontecimientos.2. Informar del cambio.3. Determinar la vitalidad institucional.4. Localizar la raíz de los problemas.5. Colaborar en la toma de decisiones administrativas.6. Proponer una acción correctiva.7. Intensificar nuestra comprensión de la enseñanza y el aprendizaje,o combinaciones entre los propósitos anteriores.Así, cada evaluador debe tomar su propia decisión sobre estosproblemas, y ser, en este aspecto, reduccionista y convergente. Stakerecomienda a los evaluadores que no trabajen con nociones de éxitopreconcebidas. En lugar de eso, les sugiere que, en primer lugar,presten mucha atención al hecho de “por qué ha sido encargada laevaluación”, luego analicen lo que sucede y, finalmente, negocien yescojan las cuestiones de valor y los criterios.3. LA EVALUACIÓN INNOVATIVAEn este caso se expone el método de evaluación innovativa que, adiferencia de los dos modelos anteriores, está especialmente vinculadaa la evaluación en un ámbito temático específico como es el educativopero que, en su planteamiento y concepción generales resultatrasladable a otros ámbitos.De un modo característico, los métodos de evaluación convencionaleshan seguido las tradiciones experimentales o psicométricasdominantes en la investigación educativa. Los evaluadores innovativoscreen que estos métodos tienen un alcance limitado e inadecuadopara dilucidar los complejos problemas con que se enfrentan losevaluadores.La evaluación innovativa se presenta vinculada a un paradigma deinvestigación antropológica opuesto. Los intentos de valoración delos productos educativos dejan paso a un estudio intensivo del programacomo totalidad: su base lógica, su evolución, sus operaciones,sus logros y sus dificultades.La crítica principal que se hace al modelo basado en objetivos esque valora sin explicar, mientras que la metodología innovativa, contemplandoel programa como un todo, utiliza más la descripción quelas cuantificaciones.Los intentos devaloración de losproductos educativosdejan paso a unestudio intensivo delprograma comototalidad: su baselógica, su evolución,sus operaciones, suslogros y susdificultades111

3.1. La evaluación innovativa: un paradigma socio-antropológicoEn el ámbito de los programas educativos la evaluación innovativatiene en cuenta el amplio contexto en el que funcionan los programaseducativos; así, su principal preocupación es la descripción yla interpretación, más que la valoración y la predicción. Parlett yHamilton afirman: “Es indiscutible que en el paradigma alternativoantropológico no pueden ser ignorados los efectos históricos, culturalesy sociales”. Las metas de la evaluación innovativa son lassiguientes:1. Estudiar el programa innovador: cómo opera, cómo influye enlas distintas situaciones escolares a las que se aplica, sus ventajase inconvenientes, y cómo se ven afectadas las tareas intelectualesy las experiencias académicas de los estudiantes.2. Descubrir y documentar qué significa participar en el esquema,ya sea como docente o como alumno.3. Discernir y comentar las características más significativas dela innovación, las concomitancias recurrentes y los procesoscríticosDe esta manera se intenta plantear y clarificar una compleja seriede cuestiones, ayudando al innovador y a otras partes interesadas aidentificar aquellos procedimientos y aspectos del programa quepueden conseguir los resultados deseados.Como afirman Parlett y Hamilton, la adopción de una evaluacióninnovativa requiere algo más que un intercambio de metodologías(con las tradicionales); implica también nuevos supuestos, conceptosy terminología para comprender la evaluación innovativa desde nuevosplanos de análisis.3.2. Organización y métodos de la evaluación innovativaLa evaluación innovativa no es un método regularizado, sino unaestrategia de investigación general. Pretende ser adaptable para descubrirlas dimensiones, metas y técnicas de la evaluación, y ecléctica paraproporcionar al equipo evaluador una serie de técnicas de estudio.Las decisiones acerca de la estrategia que debe ser utilizada en cadacaso concreto surgen del problema que debe investigarse. Ningúnmétodo se utiliza de forma exclusiva o aisladamente; se combinan distintastécnicas para arrojar un poco de luz sobre un problema común.Inicialmente, como afirman Parlett y Hamilton, la preocupación delevaluador es familiarizarse con la realidad cotidiana del marco en elque está investigando. Este propósito es similar al de los antropólogosSe intenta plantear yclarificar una complejaserie de cuestiones,ayudando al innovadory a otras partesinteresadas aidentificar aquellosprocedimientos yaspectos del programaque pueden conseguirlos resultadosdeseados112

sociales o los historiadores naturales. No intenta manipular, controlaro eliminar las variables situacionales, sino abarcar toda la complejidadde la escena: “Su tarea principal es desenmarañarla, aislar sus característicasmás significativas, esbozar los ciclos causa-efecto y comprenderlas relaciones entre las creencias y las prácticas y entre los modelosde la organización y los modelos de los individuos”.Dado que las evaluaciones innovativas subrayan el examen delprograma como una parte integrante del entorno del aprendizaje, elénfasis se traslada a la observación sobre el terreno (centros) y lasentrevistas con profesores y estudiantes. Parlett y Hamilton afirmanque existen tres etapas características de una evaluación innovativa:1. La fase de observación, en la cual se investiga toda la ampliagama de variables que afectan al resultado del programa o lainnovación.2. La etapa de investigación, en la cual el interés se desplaza desdeel reconocimiento (fase de observación) hacia la selección yplanteamiento de cuestiones de una manera coherente y ecuánime,con el fin de realizar una lista sistemática y selectiva de losaspectos más importantes del programa en su contexto.3. La etapa de explicación, en la que los principios generales subyacentesa la organización del programa son expuestos y sedelinean los modelos causa-efecto en sus operaciones.Dentro de esta estructura de tres etapas, se recogen informacionesutilizando datos recopilados en cuatro áreas: observación, entrevistas,cuestionarios y tests así como las fuentes documentales yantecedentes existentes.Su tarea principal esdesenmarañarla, aislarsus características mássignificativas, esbozarlos ciclos causa-efecto ycomprender lasrelaciones entre lascreencias y las prácticasy entre los modelos dela organización y losmodelos de losindividuosLa observaciónLa fase de observación ocupa un lugar central en la evaluacióninnovativa. El equipo evaluador recopila información continua acercade las actividades, las transacciones y los comentarios informales.Los datos deben ser organizados allí donde surjan y luego añadirsecomentarios interpretativos sobre “las características de la situación,tanto manifiestas como latentes”.Las convenciones y metáforas del lenguaje que caracterizan lasconversaciones de cada medio de aprendizaje pueden revelar presuposicionestácitas, relaciones interpersonales, diferencias de rango, etc.Parlett y Hamilton señalan, así mismo, la existencia de un lugar para laobservación codificada, mediante la utilización de registros para conocerla asistencia, el uso del tiempo y de las facilidades disponibles, lasinteracciones interpersonales, etcétera. El evaluador innovativo debe113

ser precavido, de todas formas, al utilizar estas técnicas, puesto que nopueden descubrir las características intrínsecas del programa.Las entrevistasDescubrir los puntos de vista de los participantes es muy importantepara la valoración del impacto de un programa. Las entrevistasbreves y estructuradas son convenientes para obtener informaciónbiográfica o demográfica, mientras que las entrtevistas más abiertasy discursivas suelen ser de mucha utilidad para temas más complejos.Si la insuficiencia de tiempo y dinero imposibilita entrevistar acada participante (y esto ocurre con frecuencia), puede realizarse unamuestra de entrevistas escogidas al azar, teniendo un especial cuidadoen asegurarse de que los informantes o grupos particulares quemantengan una posición especial o cuyo punto de vista resulte notable,estarán incluídos en la muestra.Cuestionarios y testsAunque el equipo evaluador se concentra en la observación y laentrevista, no deben olvidarse la necesidad de utilizar cuestionariosque combinen preguntas cerradas y abiertas, que demuestran ser útilesaunque nunca utilizados de forma exclusiva. Sus ventajas en lasevaluaciones de gran escala son especialmente evidentes, aunquetambién pueden utilizarse de manera provechosa en las más reducidas.Los participantes pueden también preparar comentarios escritosacerca del programa, elaborar y utilizar listas de control o recopilardiarios de trabajo por un período de tiempo determinado.Los evaluadores pueden también utilizar tests de actitud, personalidady logros, aunque éstos no gocen de una condición privilegiada enel estudio. Las calificaciones de los tests nunca deben ser utilizadasaisladamente. Para dar cuenta de los propósitos, no deben comparar lasdistintas escalas de los tests, sino utilizar esta comparación en una presentaciónde los resultados del estudio en su contexto global.Información documental y sobre los antecedentesLos antecedentes históricos de un programa deben ser considerados,puesto que no están ahí por azar. Pueden utilizarse las fuentesprincipales, como los datos confidenciales archivados, junto conrelatos autobiográficos y de testigos del programa. A través de estainformación se pueden identificar áreas relevantes para ser investigadaso subrayar temas en una discusión más profunda. Igualmente,puede sacar a la luz aspectos de la innovación que de otra manerahubieran quedado ocultos.Dado que lasevaluacionesinnovativas subrayanel examen delprograma como unaparte integrante delentorno delaprendizaje, el énfasisse traslada a laobservación sobre elterreno y lasentrevistas conprofesores yestudiantes114

Bibliografía Básica“Orientaciones Comunes para el Seguimiento y las Evaluaciones Intermedias”Comisión Europea 1996“Actes de la Conference Europeene sur les Pratiques d´Evaluation en Matierede Politiques Structurelles”Comisión Europea 1998“Méthodologie pour l´Évaluation Ex-Post des Programmes Opérationnels Cofinancéspar le F.S.E.”Comisión Europea 1991“Organising Intermediate Evaluation in the context of Parthership”Programa Means Documento 1, 1995.“Identifying the Structuring Effects of Community Interventions”Programa Means Documento 2, 1995“Measuring the Employment Effects of Community Structural Interventions”Programa Means Documento 3, 1995“Quality Assessment of Evalaution Reports: a Framework”Programa Means Documento 5, 1996“Evaluating the Contribution of the Structural Funds to Employment”Programa Means Documento 6, 1996“Evaluación de Programas de Intervención Social”Trinidad Requena A. y Pérez Sánchez M.Revista del Ministerio de Trabajo y Asuntos Sociales. Madrid 1998.“¿Cómo Evaluar Programas y Servicios Públicos?. Aproximación Sistémica yEstudios de caso”Ballart XavierMinisterio para las Administraciones Públicas. Madrid 1992“Metodología de Evaluación de la Cooperación Española”Secretaría de Estado para la Cooperación Internacional y para Iberoamérica.Ministerio de Asuntos Exteriores. Madrid 1998115

“Evaluation”Stufflebeam Daniel L. y Shinkfield Anthony J.Kluber-Nijhoff Publishing. Boston 1985“Standars for Evaluation of Educational Programs, Proyects, and Materials”Joint Committee on Standars for Educational EvaluationMcGraw-Hill New York, 1981“Evaluación para una mejor gestión. Revisión intermedia de los programasestructurales Objetivos nº 1 y 6 (1994-1999)”Comisión Europea 1999“Comment Évaluer les Effets Structurants: Etat des Débats Méthodologiques”Comisión Europea 1993“Guide for Cost Benefit Analysis of Mayor Projects in the Context of RegionalPolicy”Comisión Europea 1994116