y Desempeño (DID)
bjeKPS
bjeKPS
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Oficina de Planeamiento<br />
y Presupuesto<br />
Evaluaciones<br />
de Diseño, Implementación<br />
y <strong>Desempeño</strong> (<strong>DID</strong>)<br />
Una herramienta para la mejora continua de los servicios públicos<br />
eDUCACIÓN<br />
2014 – 2015<br />
Programa Uruguay Estudia (PUE)<br />
Programa Nacional de Educación y Trabajo-Centros Educativos<br />
de Capacitación y Producción (PNET-CECAP)
Oficina de Planeamiento<br />
y Presupuesto<br />
Evaluaciones de Diseño,<br />
Implementación<br />
y <strong>Desempeño</strong> (<strong>DID</strong>)<br />
Una herramienta para la mejora continua de los servicios públicos<br />
eDUCACIÓN<br />
2014 – 2015<br />
Programa Uruguay Estudia (PUE)<br />
Programa Nacional de Educación y Trabajo-Centros<br />
Educativos de Capacitación y Producción (PNET-CECAP)<br />
Dirección de Gestión y Evaluación<br />
Dirección de Presupuestos, Control y Evaluación de la Gestión<br />
Oficina de Planeamiento y Presupuesto<br />
Presidencia de la República Oriental del Uruguay
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Presidencia de la República<br />
Tabaré Vázquez<br />
Presidente<br />
Oficina de Planeamiento y Presupuesto<br />
Álvaro García<br />
Director<br />
Martín Dibarboure<br />
Subdirector<br />
Dirección de Presupuestos, Control y Evaluación de la Gestión<br />
Lucía Wainer<br />
Directora<br />
Dirección de Gestión y Evaluación (AGEV)<br />
Janet López<br />
Directora<br />
División Análisis y Evaluación de Políticas Públicas<br />
Juan Pablo Móttola<br />
Director<br />
María Noel Cascudo<br />
Juan Manuel Lanza<br />
Federico Ott<br />
Juan Manuel Regules<br />
Nora Gesto<br />
Ruy Blanco<br />
Soledad Canto<br />
Fernando Salas<br />
Henry Trujillo<br />
Agradecimiento: a todo el equipo interdisciplinario de la Dirección de Gestión y Evaluación, que participó en el proceso de<br />
elaboración del producto obtenido y contribuyó con esta publicación.<br />
Los resúmenes ejecutivos son elaborados por AGEV en base a los resultados de las evaluaciones <strong>DID</strong> realizadas por evaluadores<br />
externos a la administración.<br />
Los contenidos del documento no reflejan necesariamente la posición de las instituciones participantes.<br />
Nota: es preocupación de la institución el uso de un lenguaje que no discrimine entre hombres y mujeres. Sin embargo, con el<br />
fin de no dificultar la lectura al utilizar en español “o/a” para marcar Ia existencia de ambos sexos, se hace uso del masculino<br />
genérico clásico, conviniendo que todas las menciones en dicho género representan a hombres y mujeres.<br />
Datos de la publicación<br />
Dirección de Gestión y Evaluación (AGEV-OPP)<br />
Torre Ejecutiva Sur – Liniers 1324 – 5to. Piso<br />
Montevideo, Uruguay<br />
Tel.(+598-2) 150 int. 8001<br />
Correo electrónico: contacto@agev.opp.gub.uy<br />
Sitio web: www.opp.gub.uy/hacemos/presupuesto/agev<br />
Primera Edición, abril de 2016<br />
Diseño: Cuareim diseño editorial<br />
Fotos: Cedidas por Presidencia de la República Oriental del Uruguay y la Oficina de Planeamiento y Presupuesto<br />
Corrección: Belén Panzera<br />
Coordinación editorial: Carolina Piñeyro<br />
ISSN: 2301-1475<br />
Imprenta: Gráfica Mosca<br />
Depósito legal:<br />
5
ÍNDICE<br />
INTRODUCCIÓN<br />
7<br />
Programa Uruguay Estudia (PUE)<br />
1. DESCRIPCIÓN DE LA INTERVENCIÓN<br />
1.1. Objetivos<br />
1.2. Población potencial, objetivo y beneficiaria<br />
1.3. Recursos asignados<br />
1.4. Estrategia general y servicios de la intervención<br />
2. RESULTADOS DE LA EVALUACIÓN<br />
2.1. Diseño<br />
2.2. Implementación<br />
2.3. <strong>Desempeño</strong><br />
3. PRINCIPALES CONCLUSIONES Y RECOMENDACIONES<br />
3.1. Diseño<br />
3.2. Implementación<br />
3.3. <strong>Desempeño</strong><br />
10<br />
10<br />
10<br />
11<br />
11<br />
14<br />
14<br />
15<br />
17<br />
20<br />
20<br />
22<br />
22<br />
Programa Nacional de Educación y Trabajo-Centros<br />
Educativos de Capacitación y Producción (PNET-CECAP)<br />
1. DESCRIPCIÓN DE LA INTERVENCIÓN<br />
1.1. Objetivos<br />
1.2. Población potencial, objetivo y beneficiaria<br />
1.3. Recursos asignados<br />
1.4. Estrategia general y servicios de la intervención<br />
2. RESULTADOS DE LA EVALUACIÓN<br />
2.1. Diseño<br />
2.2. Implementación<br />
2.3. <strong>Desempeño</strong><br />
3. PRINCIPALES CONCLUSIONES Y RECOMENDACIONES<br />
3.1. Diseño<br />
3.2. Implementación<br />
3.3. <strong>Desempeño</strong><br />
26<br />
26<br />
26<br />
27<br />
28<br />
30<br />
30<br />
31<br />
35<br />
41<br />
41<br />
42<br />
43<br />
6
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
INTRODUCCIÓN<br />
Las evaluaciones de Diseño, Implementación y <strong>Desempeño</strong><br />
(<strong>DID</strong>) son una herramienta destinada a contribuir<br />
con la mejora continua de los servicios públicos.<br />
En este sentido la Dirección de Gestión y Evaluación<br />
(AGEV) de la Oficina de Planeamiento y Presupuesto<br />
(OPP), que tiene entre sus cometidos promover prácticas<br />
e instrumentos que contribuyan a la gestión por<br />
resultados en la Administración Pública, impulsa el desarrollo<br />
de las evaluaciones de Diseño, Implementación<br />
y <strong>Desempeño</strong>.<br />
Las Evaluaciones <strong>DID</strong> tienen el propósito de brindar insumos<br />
técnicos para identificar oportunidades de mejora<br />
en cuanto al diseño y la implementación de la intervención<br />
pública evaluada, facilitando así el aprendizaje<br />
organizacional, impulsando acciones de mejora de los<br />
servicios públicos y apoyando el proceso de toma de decisiones.<br />
Las Evaluaciones <strong>DID</strong> se diferencian de otros tipos de<br />
evaluación (evaluaciones de impacto, análisis organizacionales,<br />
evaluaciones de eficiencia, de detección de<br />
buenas prácticas, etc.). En un plazo de seis meses, utilizando<br />
principalmente información existente complementada<br />
con visitas de campo y entrevistas a integrantes<br />
de la intervención, las evaluaciones <strong>DID</strong>, identifican<br />
fortalezas y oportunidades de mejora que condicionan<br />
la posibilidad de generar los resultados esperados, optimizando<br />
tiempo y recursos.<br />
Dichas evaluaciones tienen la característica de ser complementarias<br />
al seguimiento que realizan las instituciones.<br />
El monitoreo informa sobre los avances o progresos,<br />
mientras que la evaluación se orienta a conocer las<br />
razones que pueden llevar a alcanzar un determinado<br />
desempeño.<br />
El principal beneficio de la evaluación es permitir a las<br />
autoridades tomar decisiones con un mayor nivel de información<br />
y un conocimiento más profundo acerca del<br />
desempeño de las intervenciones públicas a su cargo.<br />
El presente material, que compila los resúmenes ejecutivos<br />
de las evaluaciones <strong>DID</strong> y una síntesis de las principales<br />
acciones de mejora acordadas, contribuye a uno<br />
de los objetivos de la Dirección de Gestión y Evaluación<br />
de la Oficina de Planeamiento y Presupuesto: promover<br />
el análisis, la evaluación y el monitoreo de las políticas<br />
públicas y el uso de herramientas de planificación y presupuestación<br />
para la mejora continua de los servicios, la<br />
optimización del gasto, la transparencia y la rendición<br />
de cuentas ante la ciudadanía.<br />
7
Programa Uruguay Estudia (PUE)<br />
2014 - 2015<br />
Área Programática: Educación<br />
Administración Nacional de Educación Pública (Consejo<br />
Directivo Central), Ministerio de Economía y Finanzas<br />
(Dirección General de Secretaría), Ministerio de<br />
Educación y Cultura (Dirección General de Secretaría),<br />
Ministerio de Trabajo y Seguridad Social (Dirección<br />
Nacional de Empleo), Presidencia de la República (Oficina<br />
de Planeamiento y Presupuesto), Corporación Nacional<br />
para el Desarrollo, Banco República (BROU), Instituto<br />
Nacional de Empleo y Formación Profesional (INEFOP) y<br />
Universidad de la República (Unidad Central).<br />
El presente resumen ejecutivo fue elaborado por la División de Análisis y Evaluación<br />
de Políticas Públicas de AGEV - OPP. El mismo recoge las principales conclusiones del<br />
informe final de la Evaluación de Diseño, Implementación y <strong>Desempeño</strong> (<strong>DID</strong>) realizada<br />
por Guillermo Pérez Gomar y Juan Andrés Daguerre (2015) con el acompañamiento técnico<br />
de AGEV, a cargo de Soledad Canto, María Noel Cascudo y Fernando Salas, e INEEd, a<br />
cargo de María Pía Pirelli, e incorpora además el análisis de información complementaria<br />
surgida a partir del proceso de evaluación.<br />
Si bien las Evaluaciones <strong>DID</strong> utilizan fundamentalmente información existente, en esta<br />
evaluación la información ha sido complementada con, visitas de campo y entrevistas a<br />
integrantes de la intervención.<br />
La evaluación comprendió el período 2009 – 2013 y se desarrolló entre fines de 2014 y<br />
comienzo de 2015.<br />
Cabe destacar que la evaluación externa fue posible gracias a la apertura de las<br />
autoridades y equipos técnicos responsables de la intervención, que brindaron el acceso<br />
a la información disponible, así como su activa colaboración en las diferentes etapas del<br />
proceso de evaluación. Agradecemos especialmente la participación de las contrapartes<br />
de la evaluación: los integrantes de la Comisión Directiva del PUE en el período en que se<br />
desarrolló la evaluación y al representante de INEFOP en la misma.<br />
Las citas textuales extraídas del informe <strong>DID</strong> son identificadas por medio del uso de<br />
comillas.
Programa Uruguay Estudia (PUE)<br />
1. DESCRIPCIÓN DE<br />
LA INTERVENCIÓN<br />
El Programa Uruguay Estudia (PUE) apoya a jóvenes y<br />
adultos para que puedan continuar o culminar los ciclos<br />
educativos de primaria, educación media (en ambos<br />
casos, a través de planes y programas diseñados para<br />
estudiantes en situación de extraedad), magisterio o<br />
profesorado, y la realización de otras actividades de formación<br />
técnico-profesional.<br />
Para ello combina las siguientes herramientas orientadas<br />
a la reinserción, permanencia o culminación educativa:<br />
(i) becas de apoyo económico, (ii) formación, y<br />
(iii) orientación educativa. A su vez, tiene dos servicios<br />
adicionales previstos que aún no han sido implementados:<br />
(iv) pasantías educativo-laborales y (v) créditos al<br />
egreso de cursos.<br />
La evaluación <strong>DID</strong> se enfocó en describir y evaluar las<br />
becas de apoyo económico, las cuales se subdividen en<br />
cuatro tipos según su finalidad: (i) becas para la finalización<br />
o acreditación de la educación primaria, (ii) becas<br />
para la continuidad o culminación de la educación<br />
media básica, (iii) becas para la culminación de la educación<br />
media superior, y (iv) becas para la culminación<br />
de la formación en educación.<br />
El PUE se creó el 23 de octubre de 2009 a través de la<br />
firma del Convenio Marco Interinstitucional por parte<br />
de los representantes de la Administración Nacional<br />
de Educación Pública (ANEP), el Banco de la República<br />
Oriental del Uruguay (BROU), la Corporación Nacional<br />
para el Desarrollo (CND), el Ministerio de Economía y<br />
Finanzas (MEF), el Ministerio de Educación y Cultura<br />
(MEC), el Ministerio de Trabajo y Seguridad Social<br />
(MTSS), la Oficina de Planeamiento y Presupuesto (OPP),<br />
y la Universidad de la República (UdelaR).<br />
Se trata de una intervención diseñada para ejecutarse<br />
en todo el territorio nacional. Sin embargo, algunos de<br />
sus servicios se han implementado solo en algunos departamentos.<br />
1.1. Objetivos<br />
El objetivo principal del PUE (a nivel de sus resultados<br />
o propósito) es que:“personas jóvenes o adultas que no<br />
se encuentren estudiando puedan hacerlo, fomentando<br />
la formación profesional continua, la revinculación, permanencia<br />
y/o culminación de ciclos educativos obligatorios<br />
a través de diferentes modalidades (capacitación,<br />
becas, tutorías, orientación, entre otras)”.<br />
1.2. Población potencial, objetivo y<br />
beneficiaria<br />
La población potencial es aquella que presenta la necesidad<br />
y/o problema que justifica la intervención y<br />
que, por ende, podría ser atendida por ella 1 . En el caso<br />
de las becas de apoyo económico del PUE, la población<br />
potencial está conformada por personas que cursan un<br />
programa o plan educativo apoyado por el PUE, los cuales<br />
se dirigen a individuos que superan la edad habitual<br />
para el curso respectivo o bien se encuentran en situación<br />
de extraedad. En tres de los cuatro tipos de becas<br />
otorgadas por el PUE se agrega como requisito que los<br />
beneficiarios estén muy próximos a culminar el ciclo<br />
educativo que estén cursando.<br />
A continuación se describen las poblaciones potenciales<br />
asociadas a cada beca.<br />
(I) Beca de apoyo económico para la finalización o acreditación<br />
de la educación primaria. Población potencial<br />
en 2013: 1.671 personas. Incluye a mayores de 15 años<br />
que estén inscritos en un centro educativo de los programas<br />
de jóvenes y adultos de la Dirección Sectorial de<br />
Educación de Adultos de la Administración Nacional de<br />
Educación Pública (DSEA-ANEP), para cursar y/o dar el<br />
examen de acreditación de la educación primaria.<br />
(II) Becas de apoyo económico para la continuidad o<br />
culminación de la educación media básica. Población<br />
potencial en 2013: 14.334 jóvenes. Incluye a jóvenes que<br />
estén matriculados en alguno de los siguientes programas<br />
o planes:<br />
• Formación Profesional Básica (Plan 2007, CETP-UTU)<br />
para mayores de 15 años.<br />
• Programa Áreas Pedagógicas (CES-INAU) para mayores<br />
de 15 años.<br />
• Plan 2012 Ciclo Básico (CES) para personas entre 15 y<br />
20 años.<br />
• Programa Rumbo (CETP-UTU) para mayores de 21<br />
años.<br />
• Plan 2009 Ciclo Básico modalidad B libre-tutoreado<br />
(CES) para mayores de 21 años.<br />
1 - AGEV-OPP (2014) “Notas técnicas para la evaluación de intervenciones<br />
públicas”.<br />
10
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
(III) Culminación de la educación media superior. Población<br />
potencial en 2013: 1.147 personas. Incluye a estudiantes<br />
mayores de 18 años que tengan pendientes hasta<br />
cuatro asignaturas de segundo o tercer año de este<br />
ciclo educativo (tanto en el CETP-UTU como en el CES),<br />
que las cursaron alguna vez y que volvieron a inscribirse<br />
en un centro educativo luego de dos años a través del<br />
sistema de tutorías; o bien estudiantes de CETP-UTU<br />
que se encuentren cursando el último año de educación<br />
media superior y que estén domiciliados a más de 80<br />
kilómetros del centro educativo donde podrían finalizar<br />
sus estudios.<br />
(IV) Culminación de la formación en educación. Población<br />
potencial en 2013: 286 jóvenes. Incluye a estudiantes<br />
de formación docente (en sus tres modalidades) que<br />
estén en modalidad “libre” en hasta cinco asignaturas<br />
que cursaron pero que aún deben aprobar para culminar<br />
su carrera. Deben tener aprobados todos los cursos<br />
de Didáctica y no haberse inscripto o cursado ninguna<br />
asignatura durante el año anterior a la solicitud de la<br />
beca. Para efectivizar el apoyo, el estudiante debe matricularse<br />
previamente en estas asignaturas a través de<br />
tutorías docentes.<br />
Sumando los cuatro tipos de becas, la población potencial<br />
de la intervención ha aumentado un 76% entre 2009<br />
y 2013, pasando de 9.924 jóvenes en 2009 a 17.438 jóvenes<br />
en 2013.<br />
Por otra parte, la población objetivo es aquella que la<br />
intervención tiene planeado atender en un período dado<br />
de tiempo, pudiendo corresponder a la totalidad de la<br />
población potencial o a una parte de ella 2 .<br />
En el PUE, la población objetivo corresponde a la cantidad<br />
de estudiantes que podrían recibir becas de apoyo<br />
económico cada año según la cantidad de becas que la<br />
intervención tiene planificado otorgar. A su vez, la población<br />
beneficiaria corresponde a la población efectivamente<br />
atendida y se define, en este caso, como la<br />
cantidad de personas que reciben becas del PUE. En<br />
este caso, la población objetivo coincide con la población<br />
beneficiaria, siendo en 2013 de 4.742 estudiantes,<br />
los cuales se distribuyen en 850 (18%) estudiantes de<br />
educación primaria, 3.514 (74%) de educación media básica,<br />
92 (2%) de educación media superior y 286 (6%) de<br />
formación docente. El número de beneficiarios de PUE<br />
creció un 128% entre 2010 (2.084 estudiantes becados) y<br />
2013 (4.742 estudiantes becados).<br />
2 - AGEV-OPP (2014) “Notas técnicas para evaluación de intervenciones<br />
públicas”.<br />
1.3. Recursos asignados<br />
El presupuesto de la intervención se estimó en 46.9<br />
millones de pesos uruguayos (corrientes) para 2013 3 . La<br />
principal fuente de financiamiento de las becas de apoyo<br />
económico proviene del Instituto Nacional de Empleo<br />
y Formación Profesional (INEFOP). Asimismo, la intervención<br />
cuenta con financiamiento destinado a recursos<br />
humanos aportados por la Administración Nacional de<br />
Educación Pública (ANEP), el Ministerio de Educación y<br />
Cultura (MEC), y del Ministerio de Trabajo y Seguridad<br />
Social (MTSS).<br />
1.4. Estrategia general y servicios de<br />
la intervención<br />
Para alcanzar una mejor comprensión del PUE, se comenzará<br />
por (i) describir las necesidades que se buscan<br />
satisfacer o problema que da origen a la intervención, y<br />
luego (ii) plantear la estrategia general propuesta para<br />
superar ese problema inicial. Finalmente, (iii) describir<br />
los servicios y/o acciones más concretas que se prestan.<br />
Esto incluirá la presentación de su Matriz de Objetivos<br />
(MO) 4 .<br />
Problema que da origen a la intervención<br />
La intervención tiene su origen en un conjunto de preocupaciones<br />
acerca de la falta de recursos humanos calificados<br />
en el país. El PUE surge para elevar el nivel educativo<br />
de la población a través de una serie de servicios<br />
orientados fundamentalmente a lograr la culminación<br />
de ciclos educativos.<br />
Estrategia general<br />
La estrategia general de la intervención apunta a contribuir<br />
al ejercicio del derecho a la educación, la mejora en<br />
los niveles de capacitación y formación, la finalización<br />
de ciclos educativos obligatorios en el sistema educativo<br />
formal, y la promoción de procesos formativos a lo<br />
largo de toda la vida.<br />
3 - La información presupuestal no se encuentra identificada a nivel de<br />
la intervención, es por eso que se estimó a partir de información aportada<br />
por distintos integrantes de la Comisión Directiva del PUE..<br />
4 - La Matriz de Objetivos (MO) es un recurso metodológico para explicitar<br />
la teoría del cambio de la intervención. Es decir, qué realiza la<br />
intervención para alcanzar sus resultados esperados. Por tanto, la MO<br />
contiene (i) los resultados y/o efectos que se espera lograr a nivel de<br />
la población objetivo, (ii) las condiciones que se buscan generar para<br />
alcanzar esos resultados y/o efectos a partir de los servicios prestados<br />
(vinculado a la idea de “productos”) y (iii) la forma en que se conoce el<br />
logro tanto a nivel de los resultados y/o efectos esperados como de las<br />
condiciones que se buscan generar (relacionado con la idea de indicadores<br />
observables -cualitativos y/o cuantitativos-).<br />
11
Programa Uruguay Estudia (PUE)<br />
Dentro de la estrategia general de la intervención, las<br />
becas de apoyo económico apoyan la revinculación de<br />
estudiantes extraedad que ya han retomado sus estudios<br />
a través de programas dirigidos a esta población,<br />
impulsados por los distintos Concejos Desconcentrados<br />
de ANEP y otros organismos gubernamentales (por<br />
ejemplo, el Ministerio de Desarrollo Social [MIDES] o el<br />
Instituto del Niño y Adolescente del Uruguay [INAU]).<br />
Servicios brindados por la intervención<br />
La intervención presta tres servicios:<br />
(I) Becas de apoyo económico. Apoyan la finalización o<br />
acreditación de educación primaria, la continuación o<br />
culminación de la educación media básica, la culminación<br />
de la educación media superior y de la formación<br />
en educación. Como puede apreciarse en la siguiente tabla,<br />
el monto de la transferencia económica y la forma<br />
de pago difiere dependiendo del tipo de beca.<br />
(II) Formación a través de tutorías para la culminación<br />
de ciclos educativos formales así como también mediante<br />
cursos y talleres.<br />
(III) Orientación educativa a través de la atención a<br />
consultas telefónicas, atención presencial en un Centro<br />
ubicado en el Barrio Peñarol, y una plataforma web de<br />
incipiente desarrollo.<br />
También está previsto que la intervención desarrolle dos<br />
servicios adicionales que aún no habían sido implementados<br />
al momento de realización de la evaluación. Estos<br />
servicios son las (i) pasantías educativo-laborales y los<br />
(ii) créditos al egreso de cursos.<br />
El siguiente cuadro resume la teoría de la intervención<br />
en cuanto a qué realidad se propone modificar (Fin y<br />
Propósito) y cuáles son las herramientas que propone<br />
para lograrlo (Componentes).<br />
Tabla 1. Monto de la beca y forma de pago según tipo de beca.<br />
Tipo de beca Monto total de la beca Forma de pago<br />
Finalización o acreditación de<br />
la educación primaria.<br />
3 Bases de Prestaciones y Contribuciones<br />
(BPC) 5<br />
Se transfiere 1 BPC al iniciar el<br />
proceso y 2 BPC cuando se acredita<br />
primaria.<br />
Continuidad o culminación de<br />
la educación media básica.<br />
4 BPC.<br />
Se transfiere media BPC por mes<br />
durante ocho meses.<br />
Culminación<br />
de la educación<br />
media<br />
superior.<br />
Mediante tutorías.<br />
Becas de transporte<br />
y alimentación<br />
1 BPC por asignatura cursada<br />
mediante tutorías.<br />
10 BPC.<br />
Se transfiere un cuarto de BPC al<br />
comenzar la tutoría y tres cuartos<br />
de BPC al aprobar el examen.<br />
Se transfieren 2 BPC al iniciar los<br />
cursos, 2 BPC al finalizarlos, y las<br />
6 BPC restantes se fraccionan<br />
mensualmente.<br />
Culminación de la formación en<br />
educación.<br />
2 BPC por asignatura cursada<br />
mediante tutorías.<br />
Se transfiere 1 BPC al iniciar la<br />
tutoría y 1 BPC al aprobar el examen.<br />
Fuente: elaborado en base al Informe de Evaluación <strong>DID</strong>.<br />
5 - Para el 2015, y según el Decreto del Poder Ejecutivo del 15 de enero<br />
de 2015, su valor se fija en 3.052 pesos uruguayos.<br />
12
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Cuadro 1. Resumen de la intervención PUE.<br />
Fin<br />
Contribuir a la formación de personas jóvenes y adultas para su inclusión<br />
y participación social, activa e inteligente, en los procesos de desarrollo<br />
humano del Uruguay innovador y productivo.<br />
Propósito<br />
Personas jóvenes o adultas que no se encuentren estudiando puedan<br />
hacerlo, fomentando la formación profesional continua, la revinculación,<br />
permanencia y/o culminación de ciclos educativos obligatorios a través<br />
de diferentes modalidades (capacitación, becas, tutorías, orientación,<br />
entre otros).<br />
Componentes<br />
Subcomponentes<br />
Subcomponente 1.1. Becas de apoyo económico para la finalización o<br />
acreditación de educación primaria.<br />
C1. Becas de apoyo<br />
económico<br />
Becas de apoyo<br />
económico otorgadas<br />
a personas jóvenes y<br />
adultas para estimular<br />
la vinculación, permanencia<br />
y/o culminación<br />
de ciclos.<br />
Subcomponente 1.2. Becas de apoyo económico para la continuidad o<br />
culminación de educación media básica.<br />
Subcomponente 1.3. Becas de apoyo económico para la culminación de<br />
educación media superior.<br />
Subcomponente 1.4. Becas para la culminación de formación en educación.<br />
C2. Formación<br />
Subcomponente 2.1. Tutorías para la culminación de ciclos educativos<br />
formales.<br />
Subcomponente 2.2. Cursos y talleres.<br />
C3. Pasantías<br />
educativo-laborales<br />
C4. Créditos al egreso de<br />
cursos<br />
C5. Orientación<br />
educativa<br />
Componente no implementando.<br />
Componente no implementando.<br />
No tiene previsto Subcomponentes.<br />
Fuente: Informe de Evaluación <strong>DID</strong>. Elaboración en base a Matriz de objetivos para la evaluación.<br />
13
Programa Uruguay Estudia (PUE)<br />
2. RESULTADOS DE<br />
LA EVALUACIÓN<br />
A efectos de facilitar la comunicación de los resultados<br />
de la evaluación, los mismos se presentarán en relación<br />
a las principales dimensiones de análisis abordadas por<br />
la evaluación <strong>DID</strong>, a saber: (i) aspectos de Diseño; (ii)<br />
aspectos de Implementación y (iii) aspectos de <strong>Desempeño</strong>.<br />
2.1. Diseño<br />
En primer lugar, a nivel de la consistencia de los objetivos<br />
de la intervención con la política global y/o sectorial<br />
en la que se enmarca la intervención, la evaluación<br />
concluye que el PUE está alineado con la política de<br />
educación, tal como esta se define en la Ley General de<br />
Educación (Nº 18.437). Las acciones del PUE diseñadas<br />
para garantizar la continuidad educativa de calidad a<br />
lo largo de toda la vida se alinean con el artículo 1º de<br />
la mencionada ley, la cual define la educación como un<br />
derecho humano fundamental para todos los habitantes<br />
del Estado y a lo largo de toda la vida.<br />
En este sentido, las becas aportadas por el PUE contribuyen<br />
a apuntalar la revinculación de estudiantes con<br />
extraedad que han retomado sus estudios a través de<br />
programas dirigidos a esta población, impulsados por<br />
los distintos Concejos Desconcentrados de ANEP y otros<br />
organismos gubernamentales (por ejemplo, el Instituto<br />
del Niño y Adolescente del Uruguay).<br />
A su vez, el importante número de becas que se destinan<br />
a estudiantes de educación media básica y superior<br />
(76% de los beneficiarios del PUE en 2013) se relaciona<br />
directamente con la importancia que los gobiernos le<br />
están dando a la culminación de estos ciclos educativos,<br />
ya que la educación media básica ha sido definida como<br />
obligatoria en el artículo 70 de la Constitución de 1967,<br />
el cual ha sido reafirmado por la Ley General de Educación<br />
aprobada en 2008 que agrega la obligatoriedad de<br />
la educación media superior.<br />
En segundo lugar, la evaluación señala, respecto a la<br />
delimitación del problema, que en la intervención convergen<br />
una visión económica sobre la educación (donde<br />
la misma se aprecia como herramienta que contribuye<br />
al desarrollo económico del país) y una visión centrada<br />
en asegurar el derecho a la educación. La convivencia<br />
de estas dos visiones en la intervención no constituye<br />
un aspecto negativo o que complejice su desarrollo, ya<br />
que se entiende que al lograr que cada persona realice<br />
su derecho a la educación se está contribuyendo al desarrollo<br />
de un mayor capital humano.<br />
Por otro lado, la evaluación señala que, si bien existen<br />
algunos documentos previos a la implementación de la<br />
intervención que sirven de diagnóstico sobre el problema<br />
de la no culminación de los ciclos educativos por<br />
14
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
parte de los jóvenes uruguayos 6 , no hay evidencia suficiente<br />
para afirmar las relaciones de causalidad que<br />
identifica la intervención en el origen del problema<br />
(el diagnóstico realizado por la intervención vincula el<br />
fuerte crecimiento económico con la no finalización de<br />
los ciclos educativos por parte de muchos jóvenes, lo<br />
que genera una falta de recursos humanos calificados).<br />
En tercer lugar, respecto a la estrategia planteada, si<br />
consideramos los cinco componentes que integran el<br />
diseño del PUE se puede concluir que tienden a la consecución<br />
del propósito de la intervención (culminación<br />
de ciclos y formación profesional), sin embargo los<br />
componentes efectivamente ejecutados son aquellos<br />
que ponen un mayor énfasis en la culminación de ciclos<br />
educativos, mientras que la formación profesional<br />
no fue atendida de la misma manera durante el período<br />
considerado por la evaluación.<br />
En cuarto lugar, con relación a la caracterización y<br />
cuantificación de la población potencial y objetivo de<br />
la intervención, la evaluación señala que es consistente<br />
con el problema identificado y con el diseño general de<br />
la intervención.<br />
Sin embargo, al considerar la intención de la intervención<br />
de lograr la revinculación de quienes no están en el<br />
sistema educativo, se señala que la beca no funcionaría<br />
como un factor que motive al estudiante a volver a<br />
matricularse en el sistema educativo, sino que operaría<br />
como estímulo para aquellos que ya se han inscripto<br />
para retomar sus estudios, y logran ser seleccionados<br />
para recibir la beca.<br />
A su vez, se señala que los posibles postulantes a las becas<br />
no cuentan con información suficiente sobre la cantidad<br />
de becas disponibles cada año o sobre las reglas o<br />
criterios de asignación, lo cual genera dificultades para<br />
que conformen expectativas respecto a las posibilidades<br />
que tienen de obtener una beca de apoyo económico.<br />
En relación a los instrumentos para el seguimiento y la<br />
evaluación, se constató que en general el sistema de indicadores<br />
de la intervención es bueno. La mayoría de los<br />
15 indicadores propuestos por la intervención en la Matriz<br />
de Objetivos son pertinentes y relevantes, y se pudo<br />
reconstruir la información para 11 de ellos.<br />
No obstante, todos los indicadores propuestos se relacionan<br />
con la medición de la eficacia, no encontrándose<br />
6 - Algunos de los documentos mencionados son: “Programa de becas de<br />
finalización de la educación media superior. Análisis de información para<br />
la definición de la población objetivo” (DIEE-2009); Gaceta ANEP-Indicadores<br />
económicos, sociales y educativos n.°9 (ANEP 2010); y “”Con un<br />
poco de ayuda”… Continuidad educativa y la culminación de la educación<br />
media superior” (Andrés Peri, DIEE, ANEP-CODICEN).<br />
indicadores que midan la eficiencia, economía o calidad<br />
de la intervención.<br />
A su vez se encuentran otros problemas adicionales,<br />
como por ejemplo que el indicador definido a nivel de<br />
propósito 7 no permite dar cuenta del logro del objetivo,<br />
o que no se incluyen indicadores que permitan dar seguimiento<br />
a la cobertura lograda por la intervención y<br />
a las trayectorias de los estudiantes luego de que dejan<br />
de recibir la beca.<br />
Finalmente, si bien la intervención realiza un esfuerzo<br />
importante de registro de información, esto se hace con<br />
una orientación administrativa, sin tomar suficientes<br />
previsiones para que esta contribuya a la construcción<br />
de un sistema de información que permita el monitoreo<br />
en tiempo real de la intervención.<br />
2.2. Implementación<br />
En primer lugar, en relación a la estructura organizacional<br />
y funciones, los evaluadores destacan que, en general,<br />
la estructura organizacional se ajusta a las necesidades<br />
de la intervención.<br />
La Comisión Directiva del PUE tiene una conformación<br />
adecuada en lo que se refiere a los organismos que la<br />
integran, si se consideran los cinco componentes que<br />
se definieron al inicio de la intervención. Sin embargo,<br />
hay dos de estos componentes que no se han ejecutado<br />
(pasantías y créditos al egreso de cursos), por lo que la<br />
participación de algunas instituciones ligadas a estos<br />
componentes no ejecutados ha sido fluctuante, ya que<br />
sus objetivos institucionales no están claramente vinculados<br />
con los servicios que presta la intervención.<br />
Las funciones y responsabilidades de la Comisión Directiva<br />
están bien definidas. A su vez, las funciones operativas<br />
son delegadas en oficinas y unidades técnico<br />
administrativas de algunas de las instituciones que la<br />
integran (ANEP, MEC e INEFOP), lo cual no dificulta la<br />
gestión.<br />
La Oficina PUE de ANEP concentra el trabajo de preinscripción<br />
y selección de los becarios y buena parte de las<br />
actividades de registro de datos. Esto es adecuado porque<br />
permite una buena integración a los planes/programas<br />
implementados por los Consejos Desconcentrados<br />
de la ANEP.<br />
7 - El indicador de propósito incluido en la Matriz de Objetivos para la<br />
evaluación del PUE es: “Evolución del porcentaje de personas mayores de<br />
15 años que se encuentran estudiando”.<br />
15
Programa Uruguay Estudia (PUE)<br />
Las otras oficinas gubernamentales intervinientes en el<br />
proceso de adjudicación y pago de la beca de apoyo económico<br />
tienen funciones bien definidas y complementarias<br />
del mencionado proceso.<br />
En segundo lugar, con relación a la asignación de responsabilidades<br />
y funciones de cargos, se identifica, a<br />
nivel de la Comisión Directiva de la intervención, un<br />
equipo con personal experto, relativamente estable, en<br />
contacto y coordinación entre sí, y muy comprometido<br />
con su responsabilidad.<br />
Sin embargo, a nivel operativo en la Oficina PUE de ANEP,<br />
la cantidad de personal asignado es insuficiente. La falta<br />
de apoyo en tareas rutinarias y/o administrativas (relevamiento<br />
y consolidación de información y organización<br />
de reuniones de seguimiento, entre otras) hace que los<br />
coordinadores destinen tiempo a estas actividades, el<br />
cual se resta a otras tareas de mayor especialización<br />
(análisis, planificación, seguimiento y evaluación).<br />
Por su parte, en los centros educativos se identificaron<br />
equipos de educadores muy motivados y comprometidos<br />
con el PUE, pero con orientación metodológica insuficiente.<br />
En tercer lugar, respecto a la coordinación con intervenciones<br />
y/o instituciones relacionadas, la evaluación<br />
constata que el carácter interinstitucional del PUE facilita<br />
la articulación horizontal de los actores involucrados<br />
con el fin de unificar esfuerzos para atender y dar<br />
respuesta a los problemas de la intervención.<br />
A su vez, existe un nivel de complementariedad y coordinación<br />
aceptable entre el PUE y otros programas de<br />
becas (en particular con el Programa Compromiso Educativo<br />
y con el Programa de Apoyo al Acceso y Continuidad<br />
Educativa del MEC), con los cuales hay intercambios<br />
de información y acuerdos 8 .<br />
En cuarto lugar, en relación a los mecanismos de consulta<br />
y participación ciudadana, los evaluadores constatan<br />
que, si bien existe un sitio web de la intervención y las<br />
unidades técnico-administrativas responsables de las<br />
cuestiones operativas atienden a los interesados telefónicamente<br />
y vía correo electrónico, no se han generado<br />
mecanismos de consulta ciudadana o relevamientos<br />
sistemáticos sobre la satisfacción de los beneficiarios.<br />
8 - Un ejemplo de esto es que el Programa de Apoyo al Acceso y Continuidad<br />
Educativa del MEC otorga becas a estudiantes de educación<br />
media superior solo en aquellos centros donde no se implementa el Programa<br />
Compromiso Educativo.<br />
En referencia a los procesos de producción y provisión<br />
del servicio, la evaluación destaca que, si bien el diseño<br />
del macro proceso de la intervención y sus etapas (solicitud<br />
de la beca, su tramitación y desembolso) tienen<br />
una secuencia, plazo y asignación de roles adecuados,<br />
su implementación presenta algunos aspectos que convendría<br />
revisar, los cuales se explicitan a continuación.<br />
El grado elevado de autonomía y flexibilidad que el PUE<br />
otorga a los centros educativos en la primera etapa del<br />
proceso (solicitud de la beca) permite que el mismo se<br />
adapte de un centro a otro. La posible heterogeneidad<br />
que esto genera se ve acotada, en parte, por el seguimiento<br />
que realiza el equipo de la Oficina PUE de ANEP,<br />
lo que contribuye a preservar la estructura original del<br />
proceso y a monitorear el cumplimiento de las etapas<br />
previstas. Sin embargo, en el caso de las becas de educación<br />
media básica, la evaluación señala que la amplitud<br />
y flexibilidad relativa en los criterios de otorgamiento<br />
de las becas puede tener consecuencias negativas sobre<br />
la transparencia del proceso, su equidad, y la rendición<br />
de cuentas posterior.<br />
También se indica que la Oficina de PUE de ANEP se ve a<br />
veces desbordada en la tarea de chequear mensualmente<br />
con cada centro que el estudiante continúe cursando,<br />
lo cual genera cierta lentitud en la ejecución y producción<br />
de información sobre las becas.<br />
Por su parte, en las “Becas para la culminación de formación<br />
en educación” se ha incluido la participación de<br />
la Oficina PUE de ANEP en dos etapas del proceso (centralizando<br />
la inscripción y definiendo los beneficiarios,<br />
y recibiendo la confirmación por parte del centro para<br />
ejecutar el pago de la beca), lo cual, si bien fortalece los<br />
mecanismos de control, conspira contra la fluidez del<br />
proceso.<br />
Respecto a las “Becas de apoyo económico para la finalización<br />
o acreditación de educación primaria”, la evaluación<br />
no encontró aspectos del proceso que deban ser<br />
revisados por la intervención.<br />
Finalmente, la evaluación señala que las actividades<br />
de planificación, monitoreo y evaluación que realiza<br />
la intervención se ven afectadas negativamente por (i)<br />
la falta de metas formalmente definidas en relación a<br />
los indicadores de gestión y resultados; y (ii) la falta de<br />
criterios y formatos estandarizados en el sistema de información<br />
disponible respecto a los estudiantes que se<br />
matriculan, cuántos solicitan becas, quienes la reciben,<br />
o quienes logran acreditar sus estudios a partir del apoyo<br />
económico o están en proceso de hacerlo (durante la<br />
16
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
evaluación, se han encontrado para algunos de estos indicadores<br />
registros administrativos con cifras diferentes<br />
en distintas instituciones que integran la Comisión<br />
Directiva).<br />
2.3. <strong>Desempeño</strong><br />
En primer lugar, se analiza el aporte de la intervención<br />
al logro del propósito, así como los servicios producidos.<br />
En segundo lugar, se analiza la cobertura que ha alcanzado,<br />
y en tercer lugar, se presentan algunos indicadores<br />
referidos al despeño financiero.<br />
2.3.1 <strong>Desempeño</strong> a nivel de<br />
propósito y servicios<br />
El propósito del PUE es lograr que las personas jóvenes<br />
o adultas que no se encuentren estudiando puedan<br />
hacerlo, fomentando la formación profesional continua,<br />
la revinculación, permanencia y/o culminación de ciclos<br />
educativos obligatorios.<br />
Para medir el logro del mencionado objetivo, la intervención<br />
recurre al siguiente indicador: “Evolución del<br />
porcentaje de personas mayores de 15 años que se encuentran<br />
estudiando”. El mismo se mantiene estable en<br />
el período a evaluar, alcanzando un 12,6% en 2013 (ver<br />
Tabla 2).<br />
La evaluación plantea que la pertinencia del indicador<br />
seleccionado para dar cuenta del propósito es insuficiente,<br />
y que sería necesario contar con alguna medida<br />
directa del resultado intermedio esperado. Por esa razón,<br />
no es posible concluir en qué medida se está logrando<br />
el propósito.<br />
Para el componente de la intervención evaluado (becas<br />
de apoyo económico) se definieron tres indicadores<br />
(los cuales se detallan en la Tabla 3), de los cuales dos<br />
cuentan con información para todo el período evaluado,<br />
mientras uno no cuenta con información (“Cantidad de<br />
becas otorgadas a personas jóvenes y adultas para estimular<br />
la vinculación, permanencia y/o culminación de<br />
ciclos”).<br />
En los indicadores de resultado para los que se cuenta<br />
con información se observa un buen desempeño, con<br />
guarismos que oscilan entre un 65% en 2009 y un 75%<br />
en 2013 para el indicador “Porcentaje de becados que<br />
logró aprobar un año, módulo o asignatura”, y entre un<br />
65% y un 76% para el indicador “Porcentaje de becados<br />
que logró culminar un ciclo educativo” 9 .<br />
Tabla 2. Evolución del indicador de desempeño a nivel de propósito. 2009-2013.<br />
Propósito Personas jóvenes o adultas que no es encuentren<br />
estudiando puedan hacerlo, fomentando la formación<br />
profesional continua, la revinculación, permanencia<br />
y/o culminación de ciclos educativos obligatorios a<br />
través de diferentes modalidades (capacitación, becas,<br />
tutorías, orientación, entre otros).<br />
Año<br />
Indicador 2009 2010 2011 2012 2013<br />
Evolución del porcentaje de personas mayores de 15 años<br />
que se encuentran estudiando<br />
12,9% 12,7% 12,8% 12,8% 12,6%<br />
Fuente: Informe de Evaluación <strong>DID</strong> en base a información suministrada por la intervención.<br />
9 - Aclaración: hay tipos de becas donde no se pudo relevar este dato<br />
(por ejemplo, para las becas para la culminación de educación media<br />
básica en el marco del Programa de Formación Profesional Básica [FPB]<br />
del Consejo de Educación Técnico Profesional [CETPUTU]).<br />
17
Programa Uruguay Estudia (PUE)<br />
La siguiente tabla resume los principales indicadores de<br />
la intervención en relación a su componente.<br />
En los siguientes párrafos se abordará la evaluación del<br />
desempeño de la intervención en relación a cada uno de<br />
los cuatro tipos de becas que se ofrecen.<br />
Con respecto a las becas de apoyo económico para la<br />
finalización o acreditación de la educación primaria,<br />
se constata una disminución de becas otorgadas en<br />
2013 (850) frente a las entregadas en 2010 (937), pero<br />
acompañado de una evolución positiva en cada año del<br />
porcentaje de beneficiarios que logró acreditar la educación<br />
primaria (pasando de un 63% de acreditación en<br />
2010 a un 80% de acreditación en 2013).<br />
Por su parte, en las becas de apoyo económico para la<br />
continuidad o culminación de la educación media básica<br />
encontramos un crecimiento de 254% en el número<br />
de becas otorgadas entre 2010 y 2013 (desde 993 a<br />
3.514) y en el porcentaje de becados que logró aprobar<br />
un año, módulo o asignatura de la educación media básica<br />
(desde el 51% al 76%).<br />
En las becas de apoyo económico para la culminación<br />
de la educación media superior se observa una caída del<br />
80% en el número de becados entre 2009 y 2013 (pasando<br />
de 314 a 64 becados cada año). Sin embargo, en el<br />
mismo período se observa una mejora en el porcentaje<br />
de estudiantes becados que logra culminar sus estudios,<br />
pasando desde un 65% en 2009 a un 84% en 2013.<br />
Para este servicio no se cuenta con información sobre la<br />
cantidad promedio de asignaturas becadas por alumno<br />
o sobre el porcentaje de asignaturas becadas que son<br />
aprobadas.<br />
Finalmente, las becas destinadas a la culminación de<br />
formación en educación solo se ejecutaron en 2013, donde<br />
encontramos que el 53% de los estudiantes (sobre<br />
un total de 286 estudiantes) logró culminar su formación<br />
en Educación. Este porcentaje de culminación del<br />
ciclo es inferior al de Educación Media Superior (84%) o<br />
Educación Primaria (80%).<br />
No se cuenta con información para el tercer indicador de<br />
la Matriz de Objetivos sobre el desempeño en las becas<br />
para la culminación de la formación en educación (“porcentaje<br />
de asignaturas becadas que fueron aprobadas”).<br />
Tabla 3. Evolución de los principales indicadores de desempeño a nivel de componente. 2009-2013<br />
Componente 1. Becas de apoyo económico.<br />
Año<br />
Dimensión Indicador 2009 2010 2011 2012 2013<br />
Eficacia / Resultado<br />
Porcentaje de becados que<br />
logró aprobar un año, módulo o<br />
asignatura<br />
65% 57% 78% 77% 75%<br />
Eficacia / Resultado<br />
Porcentaje de becados que<br />
logró culminar un ciclo educativo<br />
65% 63% 69% 74% 76%<br />
10<br />
Eficacia / Resultado<br />
Cantidad de becas otorgadas<br />
a personas jóvenes y adultas<br />
para estimular la vinculación,<br />
permanencia y/o culminación<br />
de ciclos<br />
s/d* s/d s/d s/d s/d<br />
* Sin dato.<br />
Fuentes: Informe de Evaluación <strong>DID</strong> en base a registros administrativos de ANEP y MEC.<br />
10 - Este dato no incluye la culminación de Ciclo Básico en FPB por no<br />
contar con dicha información.<br />
18
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Tabla 4. Indicadores de desempeño a nivel de los servicios de la intervención. 2009-2013.<br />
Subcomponente 1.1. Becas de apoyo económico para la finalización o<br />
acreditación de educación primaria<br />
Dimensión Indicador 2009 2010 2011 2012 2013<br />
Año<br />
Eficacia / Resultado<br />
intermedio<br />
Porcentaje de becados que logró finalizar o acreditar<br />
la Educación Primaria<br />
s/d 63% 72% 75% 80%<br />
Eficacia / Producto<br />
Evolución de la cantidad de becas otorgadas a<br />
personas jóvenes y adultas para estimular la finalización<br />
o acreditación de la Educación Primaria<br />
Subcomponente 1.2. Becas de apoyo económico para la continuidad o<br />
culminación de educación media básica<br />
s/d 937 1.030 937 850<br />
Dimensión Indicador 2009 2010 2011 2012 2013<br />
Eficacia / Resultado<br />
intermedio<br />
Eficacia / Producto<br />
Evolución del porcentaje de becados que logró<br />
aprobar un año, módulo o asignatura de la Educación<br />
Media Básica<br />
Evolución de la cantidad de becas otorgadas a<br />
personas jóvenes y adultas para estimular la reinserción,<br />
permanencia y acreditación en la Educación<br />
Subcomponente 1.3. Becas de apoyo económico para la culminación<br />
de educación media superior<br />
Año<br />
s/d 51% 85% 79% 76%<br />
s/d 993 1.630 1.934 3.514<br />
Dimensión Indicador 2009 2010 2011 2012 2013<br />
Eficacia / Producto<br />
Eficacia / Producto<br />
Evolución del porcentaje de asignaturas becadas<br />
aprobadas<br />
Evolución del promedio de asignaturas becadas<br />
por alumno<br />
Año<br />
s/d s/d s/d s/d s/d<br />
s/d s/d s/d s/d s/d<br />
Eficacia / Resultado<br />
intermedio<br />
Evolución del porcentaje de becados que logró<br />
culminar la Educación Media Superior<br />
65% 60% 53% 71% 84%<br />
Eficacia / Producto<br />
Evolución de cantidad de becas otorgadas a personas<br />
jóvenes y adultas para estimular la reinserción,<br />
permanencia y acreditación de la Educación<br />
Media Superior<br />
314 154 175 85 64<br />
Subcomponente 1.4. Becas para la culminación de formación en educación<br />
Dimensión Indicador 2009 2010 2011 2012 2013<br />
Eficacia / Producto<br />
Evolución del porcentaje de asignaturas becadas<br />
aprobadas<br />
Año<br />
n/a* n/a n/a n/a s/d<br />
Eficacia / Resultado<br />
intermedio<br />
Eficacia / Producto<br />
Evolución del porcentaje de becados que logró<br />
culminar la Formación en Educación<br />
Evolución de cantidad de becas otorgadas a estudiantes<br />
para estimular la reinserción, permanencia<br />
y acreditación de la Formación en Educación<br />
n/a n/a n/a n/a 53%<br />
n/a n/a n/a n/a 286<br />
* No aplica.<br />
Fuente: Informe de Evaluación <strong>DID</strong> en base a información aportada por la intervención.<br />
19
Programa Uruguay Estudia (PUE)<br />
2.3.2 Cobertura<br />
Entre 2009 y 2013, la intervención aumentó su cobertura,<br />
pasando de 19% de la población potencial a una<br />
cobertura del 27%. Si desagregamos la cobertura que la<br />
intervención tuvo en 2013 por tipo de beca, encontramos<br />
que la misma alcanza una cobertura de 100% en formación<br />
docente, 51% en educación primaria, 25% en educación<br />
media básica y 8% en educación media superior.<br />
Por otra parte, los criterios de focalización y selección<br />
son pertinentes a nivel de diseño. Sin embargo, en el<br />
proceso de selección de los beneficiarios gran parte de<br />
la decisión está en manos de los centros educativos, lo<br />
que puede generar dualidades de criterios y por lo tanto<br />
debilitar la transparencia del proceso.<br />
2.3.3 <strong>Desempeño</strong> financiero<br />
Pasando al análisis del desempeño financiero, la evaluación<br />
señala durante el período 2009-2013 que el presupuesto<br />
ejecutado por el PUE se incrementó en un 234%<br />
en términos reales (medido en pesos uruguayos de 2013),<br />
pasando de 14.036.808 pesos en 2009 a 46.906.277 pesos<br />
en 2013. Este aumento del gasto se explica en buena me-<br />
dida por el aumento en la cantidad de becas otorgadas<br />
y porque aumentan, en términos relativos, el porcentaje<br />
de becas que realizan transferencias mayores.<br />
Los recursos financieros de la intervención se originan<br />
en diferentes fuentes, siendo INEFOP la principal fuente<br />
para el financiamiento de las becas (durante los años<br />
2009-2013, este Instituto mantiene un aporte que oscila<br />
entre el 93% y el 97% del total del presupuesto de la<br />
intervención).<br />
El gasto por beneficiario creció un 60% entre 2010 y<br />
2013 en pesos constantes de 2013 (el mismo pasa de<br />
6.166 pesos a 9.892 pesos). En el mismo período los gastos<br />
operativos en relación a los gastos totales de la intervención<br />
caen desde un 15% en 2010 a un 8% en 2013.<br />
La siguiente tabla muestra el costo anual por beca entregada.<br />
Con respecto al nivel de ejecución de los recursos anuales<br />
de la intervención, se observan diferencias según los<br />
años del período evaluado. Entre los años 2009 y 2011<br />
hubo una subejecución del presupuesto planificado<br />
mientras que en 2012 y 2013 se constató una sobreejecución.<br />
Tabla 5. Estimación del gasto promedio del servicio por Beneficiario 2010-2013 (en $ 2013) 11 .<br />
2010 2011 2012 2013<br />
% Variación<br />
2009 - 2013<br />
6.166 7.078 7.557 9.892 60%<br />
Fuente: Estimación en base a información aportada por PUE.<br />
3. PRINCIPALES<br />
CONCLUSIONES Y<br />
RECOMENDACIONES<br />
El PUE aborda una problemática relevante de la sociedad<br />
uruguaya que es consistente con los objetivos plasmados<br />
en la Ley General de Educación. Sus integrantes<br />
evidencian un fuerte compromiso y hay canales de comunicación<br />
adecuados que habilitan la construcción<br />
conjunta de esta intervención. La intervención cuenta<br />
11 - En el gasto promedio por beneficiario no se consideran los aportes<br />
realizados por INDA o los Gobiernos Departamentales.<br />
con personal con experiencia en la temática, y en algunos<br />
casos con una alta dedicación a la tarea, y una<br />
importante legitimidad a nivel local entre los docentes<br />
y los estudiantes.<br />
La evaluación concluye que se justifica la continuidad<br />
de la intervención incorporando algunas modificaciones<br />
menores que, para facilitar su presentación, se agrupan<br />
a continuación en relación a los aspectos de Diseño, Implementación<br />
y <strong>Desempeño</strong>.<br />
3.1. Diseño<br />
En relación al diseño del PUE, los evaluadores destacan,<br />
en primer lugar, que el propósito y el fin son adecuados,<br />
y que la intervención se alinea adecuadamente con<br />
20
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
los objetivos de la política educativa relacionados con<br />
la finalización de los ciclos educativos obligatorios. Sin<br />
embargo, se encuentran oportunidades de mejora en la<br />
teoría del programa, particularmente en relación a la<br />
identificación de la cadena causal que describe el problema<br />
que aborda la intervención y en la identificación<br />
de los servicios necesarios para asegurar el cumplimiento<br />
del propósito (cuando se realizó la evaluación<br />
solo se habían implementado tres de los cinco servicios<br />
previstos en el diseño del PUE).<br />
A partir de las oportunidades de mejora mencionadas,<br />
se recomienda aprovechar la acumulación institucional<br />
de conocimientos para reforzar la teoría del programa<br />
permitiendo que esta sea más clara respecto a: i) qué<br />
servicios o componentes se consideran necesarios; ii)<br />
qué objetivos se espera que las becas de apoyo económico<br />
logren, iii) el alcance de la población potencial y<br />
objetivo que se quiere atender, iv) la cadena de valor<br />
esperada y v) el aporte particular del PUE en el marco<br />
del incipiente desarrollo del Sistema Nacional de Becas.<br />
En segundo lugar, la evaluación menciona que la participación<br />
de múltiples instituciones de distinto rango<br />
en la Comisión Directiva de la intervención es positiva<br />
porque contribuye a la articulación y unificación de esfuerzos<br />
entre instituciones que aportan al propósito de<br />
21
Programa Uruguay Estudia (PUE)<br />
la intervención. Sin embargo, se constata que la participación<br />
de los miembros de la Comisión Directiva que<br />
no intervienen en los procesos administrativos es menor<br />
a la esperada, por lo que se recomienda convocar a las<br />
autoridades de estos organismos para intentar lograr<br />
una participación más activa.<br />
3.2. Implementación<br />
Sobre la implementación del PUE, la evaluación concluye,<br />
en primer lugar, que hay un fuerte compromiso con<br />
los objetivos y con las estrategias desplegadas por parte<br />
de la Comisión Directiva, los equipos técnico-administrativos<br />
en los que recaen las tareas operativas (ANEP,<br />
MEC e INEFOP) y los educadores de los centros educativos.<br />
Sin embargo, la Oficina PUE de ANEP se ve absorbida<br />
por tareas rutinarias y administrativas (relevamiento,<br />
consolidación de información, organización de reuniones<br />
de seguimiento, etc.) que limitan su posibilidad de<br />
desarrollar otras tareas de mayor especialización (análisis,<br />
planificación, seguimiento y evaluación). Debido a<br />
esto se recomienda fortalecer las competencias de la<br />
Oficina (por ejemplo, revisar los perfiles y las modalidad<br />
contractuales más pertinentes para el cumplimiento<br />
de las tareas requeridas, generar sistemas informáticos,<br />
mejorar los procesos) para el cumplimiento de las<br />
funciones asignadas.<br />
En segundo lugar, la evaluación plantea que la selección<br />
de beneficiarios queda demasiado librada a la interpretación<br />
de los criterios de selección por parte de<br />
los centros educativos. Esto puede generar dificultades<br />
en cuanto a transparencia y equidad. Por tanto se recomienda<br />
diseñar e implementar algunas acciones de<br />
control y seguimiento de los procesos de difusión y selección<br />
de los beneficiarios, así como profundizar en los<br />
mecanismos de coordinación con los funcionarios involucrados<br />
(reuniones para consensuar la aplicación de los<br />
criterios de selección). Asimismo, y como complemento<br />
a lo anterior, se sugiere capacitar a los responsables de<br />
otorgar las becas en los centros en relación a los criterios<br />
de selección de los beneficiarios que define la intervención<br />
y sus estrategias de seguimiento.<br />
En tercer lugar, la evaluación señala que el financiamiento<br />
de las becas otorgadas por el PUE depende en<br />
forma casi exclusiva de los fondos aportados por IN-<br />
EFOP, el cual no firmó el Convenio Marco Interinstitucional<br />
de 2009. Debido a esto se recomienda la firma de<br />
un nuevo Convenio Marco Interinstitucional que institucionalice<br />
la participación de INEFOP en la Comisión<br />
Directiva del PUE.<br />
En cuarto lugar, los evaluadores plantean que, si bien el<br />
flujo de información es adecuado en relación a las funciones<br />
operativas del PUE, no ocurre lo mismo en relación<br />
al sistema de información, donde la intervención no<br />
puede acceder en tiempo real a indicadores claves para<br />
su funcionamiento porque la información se encuentra<br />
fragmentada en distintas fuentes (con datos que no<br />
siempre coinciden). A su vez, el sistema de información<br />
carece de algunos indicadores muy importantes (por<br />
ejemplo, en relación a los resultados alcanzados por los<br />
becarios, su nivel de satisfacción con la intervención, o<br />
sus trayectorias posteriores al usufructo de la beca) y no<br />
se han establecido metas anuales para los indicadores<br />
que contiene.<br />
Por lo dicho, se recomienda mejorar el sistema de información<br />
con el objetivo de contar con información oportuna,<br />
relevante, clara, confiable y en tiempo real. Esta<br />
información podría integrarse a su vez a una memoria/<br />
balance anual acordada entre todas las instituciones<br />
que componen la Comisión Directiva de la intervención.<br />
A su vez, se sugiere establecer metas anuales en relación<br />
a los indicadores del sistema de información. Finalmente,<br />
una vez mejorado el sistema de información,<br />
se recomienda realizar un análisis de trayectoria de los<br />
beneficiarios o un estudio de impacto en relación a los<br />
objetivos planteados por la intervención.<br />
Por último, la evaluación señala que, si bien existe un<br />
nivel aceptable de complementariedad entre la intervención<br />
y otros programas de becas para estudiantes<br />
de educación media, así como espacios de coordinación<br />
donde los mismos comparten sus planificaciones anuales,<br />
es necesario profundizar estas coordinaciones, lo<br />
cual contribuirá a la consolidación del Sistema Nacional<br />
de Becas y de esta forma se logrará una mayor racionalidad<br />
en la gestión y un mayor impacto en los fines<br />
perseguidos por las becas.<br />
3.3. <strong>Desempeño</strong><br />
En relación al desempeño de la intervención, la evaluación<br />
sostiene que el PUE ha aumentado su cobertura<br />
entre 2009 y 2013. En este período, los beneficiarios<br />
pasan de representar el 19% de la población potencial a<br />
cubrir el 27% de la misma. Si se desagrega la cobertura<br />
que la intervención tuvo en 2013 por tipo de beca, encontramos<br />
que la misma alcanza una cobertura de 100%<br />
en formación docente, 51% en educación primaria, 25%<br />
en educación media básica, y 8% en educación media<br />
superior. Atendiendo a los objetivos de la política educativa<br />
de mejorar los niveles de matrícula y culminación<br />
22
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
de ciclos en educación media, podría ser importante<br />
aumentar los niveles de cobertura en este ciclo. También<br />
es recomendable que la intervención incluya en su<br />
sistema de información indicadores de cobertura que le<br />
permitan monitorear la evolución de su desempeño en<br />
esta dimensión.<br />
Finalmente, se destaca la contribución del PUE a los objetivos<br />
de continuidad educativa y culminación de ciclos<br />
en la enseñanza primaria y educación media (en 2013, el<br />
80% de los becados logra culminar la Educación Primaria<br />
y el 84% la Educación Media Superior, mientras que<br />
un 76% logró aprobar un año, módulo o asignatura en la<br />
Educación Media Básica).<br />
El monto transferido por concepto de becas podría ser<br />
un estímulo para continuar los estudios y culminar<br />
los ciclos correspondientes (aunque no es el principal<br />
factor para que esto suceda). Se recomienda revisar el<br />
monto económico actual de las becas de apoyo a efectos<br />
de lograr una mayor efectividad en la retención de<br />
aquellos estudiantes que tengan un alto riesgo de desvinculación<br />
y, en caso de que la intervención así se lo<br />
proponga, constituirse en un atractivo para revincular a<br />
los jóvenes que están fuera del sistema educativo.<br />
23
Centros Educativos de<br />
Capacitación y Producción<br />
(CECAP) 2014 - 2015<br />
Área Programática: Educación<br />
Ministerio de Educación y Cultura<br />
Dirección de Educación<br />
El presente resumen ejecutivo fue elaborado por la División de Análisis y Evaluación<br />
de Políticas Públicas de AGEV - OPP. El mismo recoge las principales conclusiones del<br />
informe final de la Evaluación de Diseño, Implementación y <strong>Desempeño</strong> (<strong>DID</strong>) realizada<br />
por Marcos Baudean, Amadeo Sosa y Gabriela Ferreira (2015) con el acompañamiento<br />
técnico de AGEV, a cargo de Federico Ott y Fernando Salas, e incorpora además el análisis<br />
de información complementaria surgida a partir del proceso de evaluación.<br />
Si bien las Evaluaciones <strong>DID</strong> utilizan fundamentalmente información existente, en esta<br />
evaluación la información ha sido complementada con la realización de una encuesta<br />
de caracterización y satisfacción de los equipos docentes y de los estudiantes de CECAP,<br />
visitas de campo y entrevistas a integrantes de la intervención.<br />
La evaluación comprendió el período 2009 – 2013 y se desarrolló entre fines de 2014 y<br />
comienzo de 2015.<br />
Cabe destacar que la evaluación externa fue posible gracias a la apertura de las<br />
autoridades y equipos técnicos responsables de la intervención, que brindaron el acceso<br />
a la información disponible, así como su activa colaboración en las diferentes etapas del<br />
proceso de evaluación. Agradecemos especialmente la participación de las contrapartes<br />
de la evaluación: Isabel Alende, Mónica Acosta, Alejandra Martell, María Cristina García<br />
y Andrea Zandler.<br />
Las citas textuales extraídas del informe <strong>DID</strong> son identificadas por medio del uso de<br />
comillas.
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
1. DESCRIPCIÓN DE<br />
LA INTERVENCIÓN<br />
El Programa Nacional de Educación y Trabajo – Centros<br />
Educativos de Capacitación y Producción (PNET-CECAP)<br />
es una intervención que permite que jóvenes entre 15<br />
y 20 años que no hayan culminado la Educación Media<br />
Básica (EMB) y que no se encuentren estudiando o<br />
trabajando en el ámbito formal puedan aumentar sus<br />
posibilidades para la continuidad educativa y adquieran<br />
saberes y habilidades para el mundo del trabajo, mediante<br />
una propuesta educativa integral, no formal, en<br />
educación y trabajo, organizada en semestres que se<br />
desarrolla en los Centros Educativos de Capacitación y<br />
Producción. La unidad técnica responsable de la intervención<br />
es el PNET. El estudiante puede permanecer en<br />
CECAP hasta 4 semestres, pudiendo egresar antes en<br />
caso de lograr incorporarse a otra propuesta educativa<br />
o a una actividad laboral formal.<br />
PNET-CECAP se inicia en el año 2005 con la revisión y<br />
reformulación de la propuesta de los CECAP que existían<br />
hasta ese momento (el de Montevideo y el de Rivera,<br />
creados en 1981 y 1993 respectivamente). El PNET<br />
les da unidad a estas intervenciones que hasta entonces<br />
funcionaban de manera independiente, y se modifica<br />
el nombre de los CECAP –conservando la sigla– desde<br />
“Centros de Capacitación y Producción” a “Centros Educativos<br />
de Capacitación y Producción”, para dar cuenta<br />
del cambio de enfoque de la intervención, desde uno<br />
centrado en la capacitación en oficios a una perspectiva<br />
más amplia de educación no formal.<br />
Actualmente hay 18 CECAP ubicados en 13 departamentos:<br />
Artigas, Canelones (Barros Blancos, Toledo, Paso<br />
Carrasco, Las Piedras y La Paz), Colonia, Florida, Durazno,<br />
Maldonado, Montevideo (Montevideo y Montevideo<br />
Oeste), Paysandú, Río Negro (Young), Salto, Rivera, Rocha<br />
y Treinta y Tres.<br />
1.1. Objetivos<br />
El objetivo principal del PNET-CECAP (a nivel de sus resultados<br />
o propósito) es que “adolescentes (entre 15 y<br />
20 años) que no se encuentran estudiando o trabajando<br />
en el ámbito formal amplían sus posibilidades para la<br />
continuidad educativa y adquieren saberes y habilidades<br />
para el mundo del trabajo mediante una propuesta<br />
educativa integral no formal.”.<br />
1.2. Población potencial, objetivo y<br />
beneficiaria<br />
La población potencial es aquella que presenta la necesidad<br />
y/o problema que justifica la intervención y que,<br />
por ende, podría ser atendida por ella 1 . En este caso,<br />
está compuesta por los jóvenes entre 15 y 20 años que<br />
han culminado la Educación Primaria pero no han finalizado<br />
la EMB, y que no estudian ni trabajan.<br />
A efectos de ajustar la estimación cuantitativa de la población<br />
potencial, se consideran todos los jóvenes que<br />
residen en el territorio nacional y cumplen con la definición<br />
de la intervención (si bien la intervención no está<br />
instalada en todos los departamentos, no tiene limitaciones<br />
explícitas respecto a su alcance territorial).<br />
Tomando en cuenta estas consideraciones, el cálculo<br />
de la población potencial de la intervención a partir de<br />
los datos del Censo 2011 asciende a 39.471 jóvenes. Esta<br />
población tiene un patrón de distribución territorial similar<br />
a la de la población en general, concentrándose<br />
mayoritariamente en Montevideo (31%) y Canelones<br />
(17%), seguidos por Maldonado (5%) y Salto (5%), mientras<br />
que en cada uno de los restantes departamentos<br />
encontramos un 4% o menos de la población potencial<br />
(ver Gráfico 1).<br />
La población potencial en relación a la población total<br />
del país se mantiene prácticamente estable en el período<br />
2009–2013, sin embargo muestra una tendencia<br />
ligeramente ascendente en relación a la cohorte etaria<br />
que es objeto de la intervención –de 15 a 20 años– en<br />
la cual el crecimiento es de aproximadamente 2 puntos<br />
porcentuales a lo largo del período (ver Tabla 1).<br />
Por otra parte, la población objetivo es aquella que la<br />
intervención tiene planeado atender en un período dado<br />
de tiempo, pudiendo corresponder a la totalidad de la<br />
población potencial o a una parte de ella 2 .<br />
En el PNET-CECAP, la población objetivo se definió a<br />
partir de los cupos que la intervención tiene disponibles<br />
para ser cubiertos cada año. Para la presente evaluación<br />
se estimó la población objetivo del año 2013 en 3.660<br />
jóvenes.<br />
1 - AGEV-OPP (2014) “Notas técnicas para la evaluación de intervenciones<br />
públicas”.<br />
2 - AGEV-OPP (2014) “Notas técnicas para evaluación de intervenciones<br />
públicas”.<br />
26
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Gráfico 1. Distribución de la población potencial de PNET-CECAP por departamento a partir de datos del Censo 2011.<br />
2% Lavalleja<br />
2% Florida<br />
2% Río Negro<br />
2% Rocha<br />
2% Treinta y Tres<br />
3% Durazno<br />
3% Soriano<br />
3% Colonia<br />
1% Rocha<br />
3% Artigas<br />
3% San José<br />
31% Montevideo<br />
3% Cerro Largo<br />
4% Tacuarembó<br />
4% Paysandú<br />
17% Canelones<br />
4% Rivera<br />
5% Salto 5% Maldonado<br />
Fuente: elaborado por AGEV-OPP en base a microdatos del Censo 2011, INE.<br />
Tabla 1. Población potencial CECAP 2009-2013: jóvenes entre 15-20 años, que no estudian ni trabajan, y que no<br />
terminaron la EMB en relación a la población total y a la población del rango etario.<br />
Año<br />
2009 2010 2011 2012 2013<br />
Población potencial en relación a la<br />
población total<br />
1,1% 1,2% 1,2% 1,2% 1,3%<br />
Población potencial en relación al total de<br />
la población dentro del rango etario objetivo<br />
de la intervención – 15 a 20 años<br />
11,3% 11,9% 13,1% 13,0% 13,2%<br />
Fuente: Elaboración propia en base a Informe de Evaluación <strong>DID</strong> y Encuesta Continua de Hogares, INE.<br />
Finalmente, la población beneficiaria de la intervención<br />
corresponde a la población efectivamente atendida y se<br />
define en este caso como la cantidad de jóvenes matriculados<br />
en el PNET-CECAP. La cantidad de beneficiarios<br />
del PNET-CECAP presenta una tendencia creciente en<br />
los últimos años acompañando el crecimiento en número<br />
de Centros y cupos disponibles, pasando de 1.286<br />
matriculados en 2009 a 2.965 matriculados en 2013, lo<br />
que representa un crecimiento del 130% en el período.<br />
1.3. Recursos asignados<br />
El presupuesto total de la intervención aportado por el<br />
MEC para 2013 fue de $U 65.723.000, según las estimaciones<br />
realizadas por el equipo evaluador 3 . El financiamiento<br />
proviene de Rentas Generales a través de la Unidad<br />
Ejecutora Dirección General de Secretaría del MEC.<br />
3 - La información presupuestal no se encuentra desagregada en el<br />
sistema contable a nivel de la intervención, es por eso que se realizó<br />
una estimación a partir de la información de los gastos aportada por<br />
la intervención respecto al monto de “horas docentes” y el peso que las<br />
mismas tienen en el presupuesto total de la intervención (76,7%) según<br />
la “Estimación de Costos PNET” (2014) para el año 2013.<br />
27
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
El PNET-CECAP ha firmado convenios con varias organizaciones<br />
para su instalación y funcionamiento (gobiernos<br />
departamentales, el Instituto Nacional de Alimentación<br />
[INDA], el Consejo de Educación Secundaria [CES],<br />
el Consejo de Educación Técnico Profesional [CETP], entre<br />
otros). En estos convenios se establece el aporte y<br />
responsabilidades de cada una de las contrapartes. El<br />
aporte de estas organizaciones es clave para el funcionamiento<br />
(aporte de locales, costos de servicios públicos<br />
–luz, agua, telefonía–, seguridad, limpieza, alimentos),<br />
pero no existe cuantificación de dichos aportes.<br />
Esto dificulta la posibilidad de establecer el costo real<br />
total de la intervención.<br />
El presupuesto estimado de la intervención representa<br />
alrededor de un 18,7% del presupuesto total de la Unidad<br />
Ejecutora y un 2,2% de los recursos del Programa<br />
Presupuestal en que la intervención se inscribe.<br />
1.4. Estrategia general y servicios de<br />
la intervención<br />
Para alcanzar una mejor comprensión del PNET-CECAP<br />
se comenzará por (i) describir las necesidades que se<br />
busca satisfacer a partir de sus acciones (o problema<br />
que da origen a la intervención), y luego (ii) plantear la<br />
estrategia general propuesta para superar ese problema.<br />
Finalmente, (iii) describir los servicios y/o acciones<br />
más concretas que se prestan.<br />
Problema que da origen a la intervención<br />
El PNET-CECAP aborda el problema del alto porcentaje<br />
de adolescentes y jóvenes (entre 15 y 20 años) que se<br />
han desafiliado del sistema educativo formal sin haber<br />
completado la EMB, lo cual dificulta sus logros a nivel<br />
laboral, de crecimiento personal, de participación en la<br />
sociedad y de mejora en su calidad de vida.<br />
La situación se ve agravada debido a que estos jóvenes<br />
pertenecen a sectores cultural y económicamente deprimidos,<br />
con familias de bajo nivel educativo, carentes<br />
de hábitos que propicien el estudio o el ingreso al mundo<br />
laboral en condiciones de sostenibilidad.<br />
Estrategia general<br />
El PNET-CECAP propone una estrategia que se basa en<br />
los siguientes aspectos:<br />
• Ofrecer una propuesta educativa integral centrada<br />
en el estudiante, desarollada en grupos pequeños, contenida<br />
y apoyada a través de educadores referentes; que<br />
a través del tránsito por distintos espacios y vínculos<br />
pedagógicos permiten una continuidad educativa, el<br />
desarrollo de experiencias vinculadas al mundo del trabajo<br />
y el desarrollo de distintas habilidades que tienden<br />
a su inclusión social y al desarrollo de ciudadanía.<br />
• Realizar acuerdos y convenios interinstitucionales<br />
(gobiernos departamentales, CETP, CES, INDA, etc.) para<br />
responder a los objetivos de la intervención. Un ejemplo<br />
son los convenios con CES (Montevideo y Rivera) o con el<br />
CETP –Proyecto Redescubrir– (Colonia, Florida, La Paz,<br />
Montevideo, Rivera, Treinta y Tres y Río Negro [Young]),<br />
que permiten que los jóvenes que deciden retomar sus<br />
estudios de EMB lo hagan a través de programas educativos<br />
pensados para brindar mayores posibilidades de<br />
culminación (propuestas integrales, módulos semestrales<br />
–en vez de anuales–, duración menor en el caso<br />
de los dos CECAP donde está vigente el convenio con CES<br />
–un año y medio en vez de tres años–).<br />
• Focalizar la estrategia en el Proyecto de Centro que<br />
brinda autonomía y flexibilidad para atender las demandas<br />
y expectativas de los estudiantes, en un marco<br />
particular dado por las posibilidades de movilizar recursos<br />
locales y las características del cuerpo docente.<br />
• Gestionar los Proyectos de Centro a través de reuniones<br />
periódicas: a) del Educador Referente en la coordinación<br />
semanal en cada uno de los CECAP; b) del Educador<br />
Referente en la reunión de planificación del año<br />
lectivo; c) del Equipo de Coordinación Nacional 4 con el<br />
Área de Educación No Formal; d) semanales de todos los<br />
actores educativos de cada CECAP; e) semestrales de los<br />
Coordinadores de CECAP; f) semestrales de los Educadores<br />
Referentes; y g) de delegados estudiantiles que se<br />
realiza una vez por año.<br />
• Incorporar apoyos que facilitan el sostenimiento de<br />
la propuesta educativa de CECAP por parte de los jóvenes<br />
en el Centro y su continuidad educativa (becas económicas,<br />
alimentación, materiales).<br />
Servicios brindados por la intervención<br />
PNET-CECAP se despliega a través de una propuesta<br />
educativa integral no formal en educación y trabajo.<br />
Esta propuesta tiene un conjunto de áreas de conocimiento<br />
y habilidades que se organizan en semestres.<br />
La propuesta educativa se compone de las siguientes<br />
áreas (presentes en cada semestre con objetivos que<br />
van modificándose):<br />
4 - La Coordinación Nacional es la Unidad Responsable de la intervención.<br />
Está integrada por la Coordinadora Nacional y Coordinadores<br />
Asistentes y tiene sede en Montevideo.<br />
28
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Cuadro 1. Resumen de la intervención PNET-CECAP.<br />
Fin<br />
Favorecer el desarrollo humano a través de la inclusión social y la participación<br />
ciudadana, garantizando el derecho a la educación de adolescentes y<br />
jóvenes.<br />
Propósito<br />
Adolescentes (entre 15 y 20 años) que no se encuentran estudiando o trabajando<br />
en el ámbito formal amplían sus posibilidades para la continuidad educativa<br />
y adquieren saberes y habilidades para el mundo del trabajo mediante<br />
una propuesta educativa integral no formal.<br />
Componente/s<br />
Adolescentes y jóvenes (entre 15 y 20 años) que no estudian ni trabajan participan<br />
en una propuesta educativa integral, no formal, en Educación y Trabajo<br />
que se desarrolla en los Centros Educativos de Capacitación y Producción.<br />
Subcomponentes<br />
(servicios)<br />
1. Adolescentes participan de un proceso educativo semestralizado (hasta 4<br />
semestres) organizado en distintas áreas.<br />
2. Apoyo a los procesos educativos a través de soportes educativos: infraestructura,<br />
alimentación (desayuno o merienda y almuerzo), becas y materiales<br />
Fuente: Informe de Evaluación <strong>DID</strong>. Elaboración en base a Matriz de Objetivos para la evaluación.<br />
• Referencia educativa: trabajo grupal e individual a<br />
cargo de los Educadores Referentes.<br />
• Conocimientos básicos: lenguaje, cálculo e información<br />
general.<br />
• Capacitación profesional: talleres experimentales<br />
que tienen contenidos distintos en los diferentes Centros.<br />
• Introducción al mundo laboral: talleres, orientación<br />
y pasantías educativo-laborales supervisadas en organizaciones<br />
públicas o privadas.<br />
• Educación física, recreación y deporte: estas propuestas<br />
se coordinan con las instalaciones existentes en<br />
la ciudad (como Plaza de Deportes, por ejemplo).<br />
• Expresión artística: propuestas vinculadas a lo<br />
plástico, a lo musical y a lo corporal.<br />
• Informática: trabajo en salas de informática y con<br />
Plan Ceibal.<br />
Más allá de estas áreas comunes, cada CECAP tiene particularidades<br />
en sus propuestas de acuerdo a los jóvenes<br />
que asisten al Centro y la realidad local.<br />
A su vez el PNET-CECAP desarrolla un conjunto de apoyos<br />
a la propuesta a través de soportes educativos que<br />
incluyen la alimentación, el otorgamiento de transferencias<br />
económicas mensuales (becas) y materiales.<br />
El siguiente cuadro resume la teoría de la intervención<br />
en cuanto a qué realidad se propone modificar (fin y<br />
propósito) y cuáles son las herramientas que propone<br />
para lograrlo (componente y subcomponentes).<br />
29
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
2. RESULTADOS DE<br />
LA EVALUACIÓN<br />
A efectos de facilitar la comunicación de los resultados<br />
de la evaluación, los mismos se presentarán en relación<br />
a las principales dimensiones de análisis abordadas por<br />
la evaluación <strong>DID</strong>, a saber: (i) aspectos de Diseño; (ii)<br />
aspectos de Implementación y (iii) aspectos de <strong>Desempeño</strong>.<br />
2.1. Diseño<br />
En primer lugar, a nivel de la consistencia de los objetivos<br />
de la intervención con la política global y/o sectorial<br />
en la que se enmarca la intervención, la evaluación concluye<br />
que el PNET-CECAP es consistente con los lineamientos<br />
de la política de educación, tal como se define<br />
en la Ley General de Educación Nº 18.437. En particular,<br />
los objetivos del PNET-CECAP están orientados a lograr<br />
una educación integral, favorecer la inclusión social y la<br />
participación ciudadana de los adolescentes, incentivar<br />
la reinserción en el sistema educativo formal fomentando<br />
la continuidad educativa y la formación para el<br />
mundo del trabajo.<br />
Si bien existe una multiplicidad de ofertas educativas<br />
desde la educación formal y no formal tendientes a la<br />
reinserción de los jóvenes en actividades educativas, los<br />
CECAP han encontrado una perspectiva propia sobre la<br />
educación en general y, desde la educación no formal<br />
en particular, tanto a nivel de objetivos, de metodología<br />
y de construcción de un “sujeto de aprendizaje”. En ese<br />
sentido, los CECAP promueven la integración social desde<br />
un enfoque diferente, favoreciendo la creatividad, las<br />
actividades grupales, el desarrollo de actitudes de respeto<br />
y tolerancia, y la autonomía.<br />
En segundo lugar, con respecto a la delimitación del<br />
problema, la evaluación señala que la intervención no<br />
fue diseñada teniendo como base un diagnóstico previo<br />
de la situación de su público potencial, pero se apoya en<br />
diversos estudios que han identificado a un sector de<br />
jóvenes que no trabajan y se desvincularon del sistema<br />
educativo formal sin completar sus estudios de EMB.<br />
La intervención identifica adecuadamente los factores<br />
que conforman el problema a resolver y ofrece una propuesta<br />
educativa adecuada a las causas del problema<br />
identificado.<br />
En tercer lugar, respecto a la estrategia planteada, esta<br />
presenta una buena resolución a nivel de diseño de la<br />
articulación y la complementariedad entre la educación<br />
no formal y la formal para el logro de los objetivos de<br />
la intervención. También se valora positivamente que el<br />
propósito de los CECAP no se agote en contribuir a la<br />
culminación de la EMB o posibilitar una mejor inserción<br />
en el mundo del trabajo, sino que incorpore además la<br />
adquisición de competencias, saberes, conocimientos y<br />
el desempeño de un rol proactivo, crítico y creativo durante<br />
el proceso, lo que contribuye a aumentar la autoconfianza<br />
y expectativas de los estudiantes.<br />
La intervención posee una fuerte impronta de innovación<br />
pedagógica que se ajusta adecuadamente a la realidad<br />
socioeducativa actual y a la población a la que está<br />
orientada. El rol socializador de los educadores, en particular<br />
del Educador Referente, les permite desarrollar<br />
una actitud activa frente a los problemas cotidianos de<br />
los adolescentes y jóvenes, y facilita el logro de aprendizajes<br />
socialmente significativos.<br />
Por su parte, los soportes educativos no parecen estar<br />
incluidos dentro de la propuesta pedagógica como un<br />
todo, sino como un aspecto social a atender para la población<br />
definida (por ejemplo, el comedor y el almuerzo<br />
no forman parte de una línea de trabajo de alimentación<br />
saludable o de creación de hábitos).<br />
En cuarto lugar, con relación a la caracterización y<br />
cuantificación de la población potencial y objetivo de la<br />
intervención, la evaluación señala que la intervención se<br />
orienta hacia una población que es preocupación de las<br />
últimas Administraciones debido a las consecuencias<br />
sociales negativas que tiene la desvinculación temprana<br />
del sistema educativo sobre las posibilidades de bienestar<br />
de las personas en la adultez, así como las consecuencias<br />
sobre las competencias necesarias para un<br />
ejercicio pleno de la ciudadanía. Además, se trata de una<br />
población que muestra una tendencia creciente durante<br />
los últimos 5 años (ver Tabla 1).<br />
Si bien la intervención utiliza criterios de focalización<br />
(jóvenes entre 15 y 20 años que no han culminado la<br />
EMB y que no se encuentran estudiando o trabajando en<br />
el ámbito formal), los mismos son complementados con<br />
otros que no están del todo formalizados o definidos. Un<br />
ejemplo de esto es la priorización en la inscripción de<br />
jóvenes que presentan una mayor “vulnerabilidad” sin<br />
que haya una definición clara de cómo esta se entiende<br />
en el marco de la intervención.<br />
30
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
En relación a los instrumentos para el seguimiento y<br />
evaluación, se constató que la mayoría de los indicadores<br />
propuestos por la intervención son pertinentes, relevantes<br />
y factibles de ser producidos. Sin embargo, no<br />
se cuenta con indicadores de resultado final (solo hay<br />
indicadores a nivel de resultados intermedios) o indicadores<br />
de eficiencia y economía (lo que se explica, en<br />
parte, por la ausencia de un sistema contable que permita<br />
individualizar los gastos de la intervención). Tampoco<br />
se han establecido metas para los indicadores, lo<br />
cual dificulta la planificación y evaluación.<br />
También se constata la falta de información para la mayoría<br />
de estos indicadores que no cuentan con datos o<br />
bien solo están disponibles para un año puntual. Una de<br />
las razones que explican esta falta de información es<br />
que no todos los Centros cuentan con la infraestructura<br />
necesaria para conectarse con el sistema informático en<br />
que se registra la información.<br />
2.2. Implementación<br />
En primer lugar, en relación a la estructura organizacional<br />
y funciones, los evaluadores destacan que desde<br />
la Coordinación Nacional se promueve una gestión descentralizada<br />
en cada CECAP. Se otorga una importante<br />
autonomía a cada Centro que se constata en diversos<br />
ámbitos: el diseño de proyecto educativo, la gestión<br />
del presupuesto de funcionamiento, los mecanismos de<br />
planificación, la toma de decisiones, o los sistemas de<br />
reporte.<br />
Más allá de esta autonomía, se considera como fortaleza<br />
la capacidad que ha tenido el PNET de transmitir a los<br />
coordinadores de cada Centro el contenido del Programa<br />
y la propuesta educativa, así como el apoyo que se<br />
materializa, entre otras actividades, en la promoción y<br />
firma de convenios y acuerdos marcos con intervencio-<br />
31
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
nes complementarias, la coordinación de encuentros de<br />
educadores o Coordinadores, o los viajes periódicos a los<br />
CECAP por parte de la Coordinadora Nacional o las Asistentes<br />
de Coordinación.<br />
En resumen, la estructura del PNET se entiende adecuada<br />
y con capacidad para responder a las necesidades<br />
actuales de los CECAP. Sin embargo, la misma sería insuficiente<br />
en caso de que el número de Centros continúe<br />
creciendo. A su vez, no se ha definido formalmente en<br />
ningún documento el alcance de la autonomía que se<br />
espera que cada Centro ejerza.<br />
Por su parte, existen aspectos de la propuesta laboral<br />
que son altamente valorados entre los educadores<br />
(como la propuesta educativa o el clima laboral) mientras<br />
que en otros se manifiesta una visión más crítica<br />
(como por ejemplo la modalidad contractual 5 o la mo-<br />
5 - Los educadores que dedican una carga horaria menor a 20 horas<br />
semanales (40%) y no tienen una antigüedad superior a 3 años son contratados<br />
entre marzo y diciembre (10 de los 12 meses del año).<br />
tivación económica, que aparece recién en cuarto lugar<br />
entre las razones para permanecer en CECAP 6 ). Estos<br />
aspectos podrían estar afectando negativamente la motivación,<br />
el desempeño y la capacidad de los CECAP de<br />
retención del personal.<br />
Finalmente, cabe mencionar que si bien está previsto<br />
que todos los CECAP contraten un educador secretario,<br />
no todos cubren esta vacante. Por otra parte, el tipo de<br />
contrato previsto para los educadores secretarios (de 10<br />
horas semanales) podría dificultar su integración a la<br />
dinámica del Centro, tanto en lo que refiere al cumplimiento<br />
de sus funciones en tiempo y forma como a los<br />
aprendizajes que derivan del contacto cotidiano con los<br />
funcionarios de los Centros.<br />
6 - El monto abonado por hora de trabajo es inferior en los CECAP que<br />
en el CETP o en el CES, los cuales son una fuente de empleo alternativo.<br />
Además, los docentes de estos subsistemas comparten sus tareas con<br />
los de CECAP en aquellos centros donde hay convenio con CES o con el<br />
CETP (Redescubrir).<br />
32
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
En segundo lugar, con relación a la asignación de responsabilidades<br />
y funciones de cargos, se evalúa como<br />
fortaleza la asignación de las tareas de soporte de gestión<br />
y administrativas. Esta tarea la desarrolla la Coordinación<br />
Nacional bajo un criterio de regionalización, lo<br />
cual permite fortalecer el conocimiento a nivel central<br />
sobre las localidades.<br />
Para desarrollar las tareas administrativas, el PNET<br />
cuenta con dos administrativas que comparten con el<br />
Área de Educación No Formal, lo cual no es suficiente<br />
y lleva a que las Coordinadoras Asistentes destinen<br />
a tareas administrativas parte del tiempo que deberían<br />
dedicar a otras a las que podrían aportar mayor valor.<br />
A nivel local, se destaca como algo positivo la figura del<br />
Educador Referente, factor diferencial e innovador, que<br />
permite un abordaje individualizado de la situación del<br />
joven y un seguimiento dentro y fuera del CECAP en comunicación<br />
con las redes locales. También está previsto<br />
que sea el articulador con la familia, los docentes, el<br />
Coordinador del Centro y los estudiantes.<br />
Los educadores son asignados a una categoría según su<br />
experiencia, formación o función. En el caso de las funciones<br />
del educador, las categorías determinan el valor<br />
de la hora docente pero no la responsabilidad en relación<br />
a la tarea educativa. Por ejemplo, los educadores<br />
de la categoría 1 (que no poseen experiencia docente<br />
ni formación terciaria concluida) tienen a su cargo un<br />
taller, a pesar de no contar con una experiencia o formación<br />
que asegure el dominio de las herramientas o<br />
técnicas pedagógicas. De acuerdo a la información detallada<br />
en el Censo de Estudiantes y Educadores realizado<br />
por AGEV en el 2014, el 68% de los educadores no tienen<br />
título docente. A su vez, el 75% de los educadores tiene<br />
una experiencia en los CECAP igual o inferior a 3 años.<br />
Estas características del personal exigen a la intervención<br />
una mayor dedicación de recursos en su inducción,<br />
seguimiento y capacitación. Sin embargo, solo un 69%<br />
de los educadores valora como bueno o muy bueno el<br />
apoyo pedagógico recibido en cuanto a una metodología<br />
específica para la tarea de educador, y un 63% valora en<br />
los mismos términos la formación en servicio recibida.<br />
En tercer lugar, respecto a la coordinación con intervenciones<br />
y/o instituciones relacionadas, la evaluación<br />
constata que el PNET tiene la estrategia de establecer<br />
acuerdos con instituciones que realizan intervenciones<br />
complementarias a las de CECAP o que puedan aportar<br />
al cumplimiento de su propósito. En particular, el PNET<br />
ha firmado convenios que han habilitado el trabajo conjunto<br />
con gobiernos departamentales, el INDA, el INAU,<br />
el CETP, el CES, el Instituto Nacional de Empleo y Formación<br />
Profesional (INEFOP), el Plan Ceibal, y el Consejo<br />
Directivo Central (CODICEN), entre otras. Sin embargo,<br />
no existe planificación sistemática sobre la agenda de<br />
la Coordinación Nacional con dichos actores.<br />
A nivel local se observa que, tanto las articulaciones<br />
como coordinaciones, están sujetas al vínculo personal<br />
y relacionamiento entre las contrapartes, existiendo<br />
escasa formalización o documentación sobre estas<br />
instancias.<br />
En cuarto lugar, en relación a los mecanismos de consulta<br />
y participación ciudadana, los evaluadores constatan<br />
que todos los Centros tienen delegados por grupo y<br />
por semestre, los cuales son elegidos por elecciones internas<br />
en cada CECAP. Esto constituye un valioso ejercicio<br />
cívico. La Resolución 224/2010 del MEC establece la<br />
implementación en los CECAP de los Consejos de Participación<br />
definidos por el artículo 48 de la Ley General de<br />
Educación (18.437), pero estos no funcionan en todas las<br />
localidades donde hay CECAP. A través de entrevistas, se<br />
ha establecido como principal problema el poder reunir<br />
a todos los involucrados ya que, si bien los estudiantes<br />
participan, no se cuenta con una participación similar<br />
en el caso de los padres y otros actores locales.<br />
El PNET cuenta con dos instancias clave para el relevamiento<br />
de las preferencias de los estudiantes: a) un<br />
formulario que completan al inscribirse (en el cual se<br />
le solicita que manifiesten sus expectativas) y b) una<br />
instancia de evaluación semestral dónde el Educador<br />
Referente realiza una entrevista personalizada. Está<br />
previsto que estas expectativas sean registradas en el<br />
sistema informático de los CECAP y que constituyan un<br />
insumo para el trabajo de los educadores. Sin embargo,<br />
no está previsto su sistematización y análisis a nivel<br />
agregado para alimentar la toma de decisiones a nivel<br />
más general.<br />
En referencia a los procesos de producción y provisión<br />
del servicio, los evaluadores destacan como un aspecto<br />
positivo la entrevista con el joven que aspira a ingresar<br />
a CECAP como parte del proceso de inscripción. La<br />
misma contribuye al conocimiento del joven, evaluar si<br />
este se adapta al perfil de la propuesta, y permite su<br />
orientación hacia propuestas alternativas en caso de no<br />
hacerlo.<br />
33
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
Según el censo de estudiantes de los CECAP, los mismos<br />
se enteran de la existencia de los Centros fundamentalmente<br />
a través de redes informales (79%). Muy pocos<br />
estudiantes declaran haberse enterado a través de otras<br />
instituciones (14%), o a través de los medios de comunicación<br />
(3%).<br />
En algunos casos se observa una demanda por cupos<br />
superior a la capacidad de respuesta del Centro, lo cual<br />
genera listas de espera. Sin embargo, en otros CECAP el<br />
nivel de demanda local es inferior al que podría atender<br />
la estructura básica prevista, generándose una subutilización<br />
de la misma. Esta situación se agrava en los casos<br />
en que se combina con una alta cantidad de jóvenes que<br />
abandonan la propuesta o egresan anticipadamente, ya<br />
que no están previstos mecanismos para la ocupación<br />
de estos cupos que quedan vacantes.<br />
El proceso de seguimiento durante el ingreso y egreso<br />
del joven en el CECAP se registra en formularios estandarizados<br />
con campos y respuestas predeterminadas,<br />
que está previsto que se ingresen a la intranet de la<br />
intervención. Sin embargo, no existe un diccionario que<br />
defina y unifique los contenidos de los campos predeterminados<br />
o la interpretación de las calificaciones numéricas<br />
(1 a 5).<br />
La realización de pasantías o la participación en proyectos<br />
productivos es uno de los indicadores que se considera<br />
en relación al cumplimiento del propósito de la<br />
intervención. Sin embargo a nivel central no se considera<br />
viable la realización de pasantías, lo cual hace que la<br />
misma no asuma mayor protagonismo en los proyectos<br />
educativos de los Centros.<br />
Las pasantías son logradas a través de contactos que<br />
realizan los Coordinadores a nivel local, buscando que<br />
aporten al proyecto educativo. Sin embargo, no existe<br />
una unificación de criterios entre los Coordinadores y<br />
la Coordinación Nacional en cuanto a qué tareas se espera<br />
que el estudiante desarrolle en el marco de estas<br />
pasantías.<br />
En relación a los soportes educativos, no hay orientación<br />
o control respecto al destino de las becas. En algunos<br />
casos, a nivel local se ha logrado negociar con los<br />
gobiernos departamentales que los estudiantes tengan<br />
cubierto o subsidiado el transporte mientras que en<br />
otros no, lo cual afecta el monto de beca disponible para<br />
otros fines. Esto se observa en el Censo de Estudiantes,<br />
donde se puede apreciar una gran variabilidad en el<br />
porcentaje de estudiantes que destinan parte de la beca<br />
a transporte: se reconocen Centros donde ningún estudiante<br />
utiliza la beca para trasladarse a CECAP, como<br />
también Centros donde el 70% lo hace.<br />
Los locales de los CECAP, en su mayoría, se negocian<br />
con las Intendencias y presentan una gran diversidad en<br />
cuanto a calidad: el Censo de Estudiantes muestra Centros<br />
donde el 77% está satisfecho o muy satisfecho con<br />
las instalaciones locativas como también otros donde<br />
solo un 51% de los estudiantes lo está. Las condiciones<br />
locativas dependen de los acuerdos que se logran con<br />
las Intendencias, para lo cual no se cuenta con parámetros<br />
o estándares detallados.<br />
En lo que respecta al seguimiento o egreso del joven,<br />
existe una masa importante de personas que desisten<br />
de la propuesta, no contándose, salvo en algunos<br />
Centros, con la información sistematizada de las causas.<br />
Esto dificulta el conocimiento de los resultados del<br />
programa o tomar decisiones a nivel central en relación<br />
al abordaje del egreso anticipado o del abandono de la<br />
propuesta por parte de los jóvenes (entre las cuales podrían<br />
incluirse la generación de acciones con redes locales<br />
u otras políticas transversales que contribuyan a<br />
la continuidad educativa de los jóvenes).<br />
Finalmente, sobre las actividades de planificación, monitoreo<br />
y evaluación, los evaluadores plantean que un<br />
componente central en la planificación anual de la intervención<br />
es el proyecto de Centro. Cada año el equipo<br />
de cada Centro elabora su proyecto para el año. Esto<br />
se hace en marzo, se revisa a final del primer semestre<br />
y al final del año. A partir de esa revisión interna que<br />
hace cada Centro se plantean cambios y ajustes para<br />
el próximo año. Esto es un elemento muy positivo de<br />
planificación con dos virtudes: permite que haya flexibilidad<br />
en la proyección de cada Centro (adaptándose<br />
a las posibilidades y necesidades de la localidad y del<br />
equipo de gestión) y permite que haya un documento a<br />
partir del cual poder evaluar el desempeño del equipo<br />
que gestiona el Centro.<br />
La principal dificultad que aparece es la relativa al uso<br />
de información sobre la intervención. Se observa que<br />
hay un uso muy limitado de información sobre los resultados<br />
y la gestión de cada Centro. Esto es fruto de una<br />
gran dificultad para mantener actualizado y funcionando<br />
el sistema de información. Si bien se utiliza información,<br />
esta se produce por fuera del sistema informático<br />
y tiene problemas de fiabilidad en algunos indicadores.<br />
34
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Tabla 2. Evolución de los principales indicadores de desempeño a nivel de propósito. 2013-2014.<br />
Propósito Adolescentes (entre 15 y 20 años) que no se encuentran estudiando<br />
o trabajando en el ámbito formal amplían sus posibilidades para la continuidad<br />
educativa y adquieren saberes y habilidades para el mundo del trabajo mediante<br />
una propuesta educativa integral no formal.<br />
Año<br />
Dimensión Indicador 2013 2014<br />
Eficacia<br />
Resultado<br />
Intermedio<br />
% de jóvenes que participan en propuesta de culminación de<br />
EMB mientras participan en CECAP.<br />
20%* s/d<br />
Eficacia<br />
Resultado<br />
Intermedio<br />
Eficacia<br />
Resultado<br />
Intermedio<br />
% de jóvenes que participan en propuesta Proyectos Productivos<br />
y/o Pasantías durante el 3er o 4to semestre.<br />
% Estudiantes con expectativas de estudiar durante los próximos<br />
6 meses.<br />
34%* s/d<br />
s/d 59%**<br />
Fuente:<br />
* Informe de Evaluación <strong>DID</strong> en base a información suministrada por la intervención respecto a las trayectorias de los estudiantes de la generación<br />
2013 de CECAP.<br />
** Informe de Evaluación <strong>DID</strong> en base al Censo de Estudiantes de CECAP 2014. El dato muestra el % de estudiantes de 3º y 4º semestre de CECAP<br />
que ante la pregunta cerrada de qué les gustaría hacer el próximo año marcan las opciones: “Ir al liceo”, “Ir a la UTU”, “Anotarse en algún curso de<br />
capacitación laboral” o “Anotarse en otro tipo de curso”.<br />
Esto provoca, además, que cada Centro tenga diferentes<br />
maneras de llevar registros sobre su actividad y la situación<br />
de los estudiantes.<br />
Dentro de la Coordinación Nacional en el nivel central de<br />
la intervención no hay personal especializado en el manejo<br />
de la base de datos. Si bien hay algún funcionario<br />
con más conocimiento, no hay personal formado especialmente<br />
para producir datos con el sistema. El problema<br />
más importante que tiene el sistema es que los datos<br />
deben llenarse periódicamente en forma sistemática por<br />
cada CECAP y esto no ocurre. Esto hace que el sistema<br />
esté permanentemente desactualizado y, por tanto, que<br />
el mismo no se use cuando se requiere información. Para<br />
suplir las necesidades de información se hacen pedidos<br />
específicos a cada CECAP, que los responde recurriendo<br />
a numerosas formas de registro alternativas al sistema<br />
informático y con distintos criterios. Esto resulta en una<br />
variabilidad en la forma de recolección y en el contenido<br />
de la información.<br />
No hay una respuesta definitiva respecto a por qué no<br />
se completa adecuadamente la información en el sistema<br />
informático. Quien debe realizar el llenado de la<br />
información es el educador secretario. Éste tiene una<br />
asignación de 10 horas semanales y no se sabe si hay un<br />
problema de tiempo o de otra índole. Además se observa<br />
que, por parte de los Coordinadores, no hay énfasis<br />
en el cargado y uso del sistema. Se ha intentado concientizar<br />
sobre el tema, pero no se ha podido avanzar.<br />
Parece haber una resistencia al llenado de los datos y no<br />
se ha podido definir la fuente de la misma. En algunos<br />
lugares del país la conectividad es baja lo que también<br />
presenta un problema, dado que el sistema funciona con<br />
una plataforma web (como es esperable en un sistema<br />
de este tipo). Por último, una pieza clave en el fallo del<br />
sistema de información es que no hay incentivos claros<br />
para el llenado, como tampoco sanciones por no cargar<br />
la información.<br />
La intervención ha utilizado la investigación social de<br />
manera consciente y fructífera para conocer múltiples<br />
aspectos de la ejecución y de la perspectiva de los actores,<br />
pero no ha trabajado con una agenda de evaluación<br />
centrada en procesos, resultados o impactos con una<br />
clara delimitación de metas.<br />
2.3. <strong>Desempeño</strong><br />
En primer lugar, se analiza el aporte de la intervención<br />
al logro del propósito, así como los servicios producidos.<br />
En segundo lugar, se analiza la cobertura que ha alcan-<br />
35
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
zado, y en tercer lugar, se presentan algunos indicadores<br />
referidos al despeño financiero.<br />
2.3.1 <strong>Desempeño</strong> a nivel de<br />
propósito y servicios<br />
El propósito tiene dos objetivos: i) la ampliación de posibilidades<br />
para la continuidad educativa y ii) la adquisición<br />
de saberes y habilidades para el trabajo. Para los<br />
indicadores asociados no hay datos para el período 2009<br />
y 2012, mientras que otra información cuantitativa se<br />
recoge del censo realizado entre estudiantes y docentes<br />
por parte de AGEV durante el 2014.<br />
Se puede observar que los CECAP logran que el 20% de<br />
sus estudiantes comiencen o retomen estudios de EMB.<br />
Más allá de este desempeño promedio, encontramos<br />
una gran variabilidad entre Centros: en uno de ellos, solo<br />
el 2% ha retomado sus estudios de EMB, mientras que<br />
en otro el 52% lo ha hecho.<br />
A su vez, un 59% de los estudiantes manifiesta su intención<br />
de continuar estudiando durante el año siguiente,<br />
ya sea en propuestas de educación formal o de educación<br />
no formal. Los datos a nivel de Centro para este indicador<br />
muestran una gran variabilidad: en uno de ellos,<br />
el 25% de estudiantes tiene expectativas de continuar<br />
estudiando durante el próximo año, mientras que en<br />
otro la cifra aumenta al 95%.<br />
La intervención también logra que el 34% de los estudiantes<br />
del 3er o 4to semestre participen en proyectos<br />
productivos o en pasantías.<br />
Los datos disponibles no permiten describir la evolución<br />
en estos indicadores de propósito, y tampoco se han definido<br />
metas que permitan comparar los niveles alcanzados<br />
por los mismos.<br />
Para el componente de la intervención se cuenta con<br />
nueve indicadores (detallados en la Tabla 3), de los cuales:<br />
uno cuenta con información para todo el período<br />
evaluado, tres para tres de los años evaluados, y dos<br />
para los cuáles solo hay información para el año 2013.<br />
Estos indicadores se pueden organizar en tres dimensiones<br />
asociadas al desempeño: i) matrícula y asiduidad;<br />
ii) desvinculaciones de la propuesta y iii) disponibilidad<br />
de cupos.<br />
En relación a la matrícula y asiduidad de los jóvenes<br />
de los CECAP, la intervención muestra un crecimiento<br />
sostenido de la matrícula entre 2011 y 2013, pasando<br />
de 2.060 jóvenes matriculados al comienzo del período<br />
a 2.965 jóvenes al final del mismo (lo cual totaliza un<br />
crecimiento del 44% durante los tres años considerados).<br />
Sin embargo, no hay datos que permitan conocer<br />
el desempeño de la intervención en lo que respecta a la<br />
asiduidad de los jóvenes que participan en la propuesta.<br />
Respecto a las desvinculaciones de jóvenes que han<br />
participado en la propuesta abandonándola sin haber<br />
cumplido los criterios de egreso (completar 4 semestres,<br />
retomar estudios en el sistema educativo formal<br />
o el logro de un trabajo formal), la intervención viene<br />
mejorando su desempeño en forma sostenida durante<br />
los últimos tres años, pasando de un 15% de desvinculaciones<br />
en 2011 a un 12% de desvinculaciones en 2013.<br />
Detrás de este resultado global que puede considerarse<br />
positivo se encuentra un mejor desempeño en Montevideo<br />
que en los CECAP ubicados en el interior del país.<br />
Según datos producidos a partir de las trayectorias de la<br />
generación 2013 de los CECAP, considerando el total de<br />
estudiantes que comenzaron y que estarían en condiciones<br />
de estar cursando el 4to semestre en el momento<br />
del relevamiento, el 86% finalizó el primer semestre, un<br />
64% finalizó el segundo 2º, y un 39% finalizó el tercero.<br />
Al pasar desde los niveles iniciales hacia los siguientes,<br />
las desvinculaciones y los egresos aumentan: el primer<br />
semestre lo finaliza el 86% de los estudiantes que comenzaron<br />
ese nivel, el segundo un 74%, el tercero un<br />
61%, y el cuarto un 46%. Estos datos no hablan necesariamente<br />
de un peor desempeño en los niveles superiores<br />
(ya que en estos es esperable que haya mejores condiciones<br />
para que se produzcan egresos anticipados),<br />
pero sí debe considerarse para planificar los recursos<br />
materiales y los educadores necesarios para atender los<br />
distintos niveles (por ejemplo, al planificar la cantidad<br />
de grupos que se abren en cada CECAP en el nivel 1 y<br />
cuántos en los niveles superiores).<br />
Finalmente, respecto a la cobertura de los cupos disponibles,<br />
la intervención ha venido funcionando con un<br />
número de estudiantes por grupo inferior al esperado<br />
(16 estudiantes por grupo en promedio frente a los 20<br />
esperados). Este desajuste puede explicarse por la falta<br />
de inscriptos o por las desvinculaciones y egresos anticipados.<br />
No hay información disponible para desagregar<br />
esta información por CECAP o por nivel, como tampoco<br />
se ha obtenido información respecto al porcentaje de<br />
Centros que cuenta con listas de espera.<br />
La siguiente tabla resume los principales indicadores de<br />
la intervención en relación a su componente.<br />
36
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Tabla 3. Evolución de los principales indicadores de desempeño a nivel de componente. 2009-2013.<br />
Componente 1. Adolescentes y jóvenes (entre 15 y 20<br />
años) que no estudian ni trabajan asisten a una propuesta<br />
educativa integral, no formal, en Educación y<br />
Trabajo que se desarrolla en los Centros Educativos de<br />
Capacitación y Producción.<br />
Año<br />
Dimensión Indicador 2009 2010 2011 2012 2013<br />
Eficacia /<br />
Producto<br />
Número de jóvenes participantes de CE-<br />
CAP<br />
1.286 1 1.127 1 2.060 1 2.135 1 2.965 1<br />
Eficacia /<br />
Producto<br />
% de asistencia de los jóvenes por semestre.<br />
s/d s/d s/d s/d s/d<br />
Eficacia /<br />
Producto<br />
% de jóvenes que se desvinculan cada<br />
año sin cumplir con los criterios de<br />
egreso o egreso anticipado.<br />
s/d s/d 15% 1 13% 1 12% 1<br />
Eficacia /<br />
Producto<br />
% de jóvenes<br />
que<br />
finalizan<br />
cada semestre<br />
% de estudiantes de la<br />
generación que finalizó el<br />
1er semestre o más.<br />
% de estudiantes de la<br />
generación que finalizó el<br />
2do semestre o más.<br />
s/d s/d s/d s/d 86% 2<br />
s/d s/d s/d s/d 59% 2<br />
Eficacia /<br />
Producto<br />
Promedio de meses finalizados por los<br />
jóvenes antes de dejar de asistir.<br />
s/d s/d s/d s/d s/d<br />
Eficiencia /<br />
Proceso<br />
Cantidad de cupos cubiertos por cada<br />
Centro según semestre.<br />
s/d s/d s/d s/d s/d<br />
Eficiencia /<br />
Proceso<br />
% de cupos que quedan libres en cada<br />
semestre por falta de inscriptos.<br />
s/d s/d 27% 3 34% 3 19% 3<br />
Eficiencia /<br />
Proceso<br />
% de Centros con listas de espera según<br />
semestre.<br />
s/d s/d s/d s/d s/d<br />
Eficiencia<br />
Calidad /<br />
Proceso<br />
Tamaño promedio por grupo según Centro<br />
y semestre.<br />
s/d s/d 15 3 13 3 16 3<br />
Fuentes:<br />
1 Anuario Estadístico del MEC (2012, 2013 y 2014).<br />
2 Informe de Evaluación <strong>DID</strong> en base la caracterización de la generación 2013 de CECAP elaborada por AGEV con información suministrada por<br />
PNET-CECAP.<br />
3 Dato elaborado por AGEV a partir de la estimación sobre la cantidad de cupos por año e información de matrícula en CECAP contenida en los<br />
anuarios estadísticos del MEC (2012, 2013 y 2014).<br />
37
Programa Uruguay Estudia (PUE)<br />
Pasaremos ahora a la evaluación de subcomponentes o<br />
servicios que presta la intervención. Se distinguen dos<br />
subcomponentes: i) la participación en un proceso educativo<br />
semestralizado (hasta 4 semestre) organizado en<br />
distintas áreas; y ii) el apoyo a los procesos educativos a<br />
través de soportes educativos (infraestructura, alimentación,<br />
becas y materiales).<br />
Respecto al primer subcomponente (proceso educativo),<br />
la intervención define cuatro indicadores asociados a la<br />
medición de la calidad del proceso o del producto (detallados<br />
en la Tabla 4). Sin embargo, solo se presenta<br />
información para tres de ellos y para un único año. Los<br />
datos de estos tres indicadores muestran que los estudiantes<br />
se encuentran satisfechos o muy satisfechos<br />
respecto a lo aprendido (83%), las distintas áreas de la<br />
propuesta (87%) y los docentes de la propuesta (83%).<br />
Si complementamos esta información con otros datos<br />
provenientes del Censo de Estudiantes de CECAP (2014),<br />
encontramos también un elevado nivel de satisfacción<br />
con la propuesta en general, la cual es considerada buena<br />
o muy buena por un 87% de los estudiantes.<br />
También se consideran adecuados los horarios en que<br />
se desarrollan las actividades de los CECAP (79% de los<br />
estudiantes los considera buenos o muy buenos).<br />
En relación al segundo subcomponente (soporte al proceso<br />
educativo), se definieron ocho indicadores asociados<br />
a la medición de la calidad del producto (detallados<br />
en la Tabla 4), de los cuales solo seis cuentan con datos<br />
y para un único año. A continuación se analizará el desempeño<br />
en los distintos componentes del soporte educativo<br />
para los cuales hay información (becas, almuerzo,<br />
materiales y local).<br />
Respecto a las becas, solo está previsto monitorear la<br />
evolución de su monto. Si complementamos esta información<br />
con las respuestas del Censo de Estudiantes<br />
de CECAP (2014), podemos concluir que la beca se usa<br />
fundamentalmente para gastos personales y funciona<br />
como estímulo o como forma de sustituir otras fuentes<br />
de ingreso. Además, para un porcentaje importante<br />
de los estudiantes es también una forma ayudar a sus<br />
familias (25%), costear el traslado a CECAP (26%) (aquí<br />
encontramos diferencias importantes según CECAP dependiendo<br />
del apoyo que las Intendencias brindan –o<br />
no- en cada caso al subsidio del transporte para los estudiantes<br />
de CECAP) o comer (8%).<br />
Respecto al almuerzo aportado por CECAP, un 60% lo<br />
utiliza con una frecuencia igual o superior a tres veces<br />
por semana, con una variación importante dependiendo<br />
del Centro.<br />
Finalmente, si bien los estudiantes no son muy críticos<br />
en cuanto a la satisfacción con los locales y materiales,<br />
sí puede apreciarse niveles relativamente bajos de<br />
satisfacción entre los docentes: un 68% está satisfecho<br />
o muy satisfecho con el aporte de materiales y un 59%<br />
con los locales. A su vez, las respuestas de estudiantes y<br />
docentes varían según el CECAP que se esté considerando.<br />
Se constata una variación importante en función de<br />
si es el CECAP quien se encarga directamente de estas<br />
tareas o si las resuelve a través de una asociación civil o<br />
alguna de las intendencias.<br />
2.3.2 Cobertura<br />
Respecto a la cobertura, considerando el porcentaje de<br />
beneficiarios en proporción a la población potencial del<br />
programa, la intervención muestra un crecimiento sostenido<br />
entre 2010 y 2013, pasando de un 3% a un 7%. Más<br />
allá de este incremento, no se está en condiciones de<br />
realizar un juicio evaluativo, ya que la población potencial<br />
del programa es compartida por otras intervenciones<br />
(entre las cuales debería alcanzarse o aproximarse<br />
al 100% de cobertura) y no se han definido metas desde<br />
los CECAP respecto a cuál sería la cobertura óptima.<br />
Sobre la focalización de la intervención, se puede afirmar<br />
que es adecuada en términos generales ya que la<br />
población atendida por los CECAP se encuentra dentro<br />
de los criterios explicitados (jóvenes de 15 a 20 años que<br />
no estudian ni trabajan formalmente) 7 .<br />
Respecto a los criterios no explícitos de focalización<br />
pero que podrían estar operando informalmente se<br />
constata lo siguiente:<br />
• Si bien la oferta educativa de los CECAP se dirige a<br />
jóvenes entre 15 y 20 años, la mayoría de los beneficiarios<br />
se ubica en los niveles inferiores de este rango etario<br />
(el 93% tiene 18 años o menos).<br />
• En entrevistas realizadas a la Dirección de Educación<br />
y al Área de Educación No Formal del MEC, se señaló<br />
la vulnerabilidad de los jóvenes como criterio de<br />
selección, entendida la misma en relación al bajo capital<br />
educativo de la familia o la situación de extra edad o<br />
rezago de los jóvenes. De acuerdo a los datos del Censo<br />
de estudiantes de CECAP (2014), se constata que el nivel<br />
educativo en las madres de los estudiantes se encuen-<br />
7 - Hay solo un 2% de los beneficiarios que tienen un año menos de la<br />
edad que deberían tener para ingresar.<br />
38
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
Tabla 4. Indicadores de desempeño a nivel de los servicios de la intervención. 2014.<br />
Subcomponente 1.1. Adolescentes participan de un proceso<br />
educativo semestralizado organizado en distintas áreas<br />
Dimensión Indicador 2014<br />
Calidad del<br />
servicio / Producto<br />
Calidad del<br />
servicio / Producto<br />
Calidad del<br />
servicio / Producto<br />
% de jóvenes que perciben que han aprendido en<br />
el semestre<br />
Evaluación por parte del educador (como se lo<br />
califica en la ficha de seguimiento en cada semestre).<br />
Grado de satisfacción de los jóvenes con las distintas<br />
áreas de la propuesta.<br />
Año<br />
83% 8<br />
s/d<br />
87% 9<br />
Calidad del<br />
servicio / Producto<br />
Grado de satisfacción de los jóvenes con los docentes.<br />
83% 10<br />
Subcomponente 1.2. Apoyo a los procesos educativos a través de<br />
soportes: infraestructura, alimentación, becas y materiales.<br />
Año<br />
Dimensión Indicador 2014<br />
Calidad del<br />
servicio / Producto<br />
Calidad del<br />
servicio / Producto<br />
Calidad del<br />
servicio / Producto<br />
Calidad del<br />
servicio / Producto<br />
Calidad del<br />
servicio / Producto<br />
Calidad del<br />
servicio / Producto<br />
Promedio en el monto de las becas por estudiante $U 700<br />
% de estudiantes que almuerzan en CECAP tres<br />
veces por semana o más<br />
Monto gastado en materiales para estudiantes<br />
por Centro y semestre<br />
Satisfacción de los docentes respecto a los materiales.<br />
Percepción de los estudiantes respecto a si tienen<br />
los materiales adecuados.<br />
60% 11<br />
s/d<br />
68% 12<br />
81% 13<br />
Percepción de los docentes sobre los locales 59% 14<br />
Calidad del<br />
servicio / Producto<br />
Percepción de los estudiantes sobre los locales 77% 15<br />
Calidad del<br />
servicio / Producto<br />
Centros que cumplen con los criterios establecidos<br />
para el aceptable funcionamiento de los<br />
CECAP<br />
s/d<br />
Fuente: Informe de Evaluación <strong>DID</strong> en base al Censo de estudiantes y educadores de CECAP (AGEV, 2014).<br />
8 - Porcentaje de estudiantes que respondió “Muy de acuerdo” o “De<br />
acuerdo” cuando se les consultó sobre su grado de acuerdo con la frase:<br />
“Lo aprendido en este semestre me será de utilidad para seguir estudiando<br />
en el futuro”.<br />
9 - Porcentaje de estudiantes que responde “Muy buena” o “Buena“ ante<br />
la pregunta “La propuesta de CECAP, en general, te parece…”.<br />
10 - Porcentaje de estudiantes que responde “Muy buena” o “Buena“<br />
ante la pregunta “¿Cómo ha sido tu relación con los/as educadores/as<br />
de CECAP en estos meses?”.<br />
11 - Porcentaje de estudiantes que responde “Todos los días“ o “Tres o<br />
cuatro veces por semana” ante la pregunta “Este semestre, en general<br />
asististe al comedor…”.<br />
12 - Porcentaje de docentes que responde “Muy satisfecho” o “Satisfecho”<br />
cuando se les preguntó sobre el aporte de materiales para las<br />
tareas educativas.<br />
13 - Porcentaje de estudiantes que contestaron “Muy de acuerdo” o de<br />
“de acuerdo” cuando se le pidió el grado de acuerdo con la frase “Durante<br />
el semestre, he contado con los materiales necesarios para las tareas<br />
desarrolladas”. Censo estudiantes 2014.<br />
14 - Porcentaje de docentes que contestaron “Muy satisfecho” o “Satisfecho”<br />
cuando se les preguntó sobre el nivel de satisfacción que experimentan<br />
en relación al local educativo.<br />
15 - Porcentaje de estudiantes que contestaron “Muy buenas” o “Buenas”<br />
cuando se les preguntó sobre las instalaciones del local de CECAP.<br />
39
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
tra por debajo del promedio de la población del país (un<br />
61% de las madres de estudiantes de los CECAP tiene un<br />
nivel educativo de EMB incompleta o menos, frente al<br />
48% de la población total del país).<br />
• A nivel agregado, la población de los CECAP se distribuye<br />
según sexo en forma similar a la población general<br />
del país. Sin embargo, al desagregar los datos según CE-<br />
CAP encontramos Centros en los que solo un 43% de los<br />
estudiantes son hombres, y otros donde el porcentaje de<br />
matrícula masculina llega al 74%.<br />
Como es habitual en los servicios educativos, las remuneraciones<br />
constituyen el principal rubro de gastos.<br />
Las mismas representan el 83,6% del presupuesto del<br />
MEC destinado a la intervención, mientras que los gastos<br />
de funcionamiento ascienden al 16,4%. Dentro de los<br />
gastos de funcionamiento se encuentran las becas, las<br />
cuales representan el 10,6% del presupuesto de la intervención.<br />
La siguiente tabla muestra el costo anual por estudiante<br />
matriculado.<br />
2.3.3 <strong>Desempeño</strong> financiero<br />
En lo que respecta al desempeño financiero, la evaluación<br />
debió reconstruir el presupuesto de la intervención<br />
a partir de sus gastos en base a información aportada<br />
por diversas fuentes. Se utilizó información proveniente<br />
del MEC, de manera que la estimación de costos no<br />
consideró aquellos que son aportados por otras instituciones<br />
y que representan una parte importante de los<br />
costos de infraestructura del PNET-CECAP o de su funcionamiento<br />
16<br />
Tomando como base para el estudio el año 2010, el presupuesto<br />
asignado por la Dirección General de Secretaría<br />
al PNET-CECAP aumentó un 127% entre ese año y el<br />
2013, lo cual indica un acompañamiento al crecimiento<br />
y expansión de los Centros en diferentes localidades. En<br />
el mismo período, la cantidad de Centros aumentó un<br />
90% (apertura de 8 CECAP en los últimos 4 años). El incremento<br />
presupuestal también se explica por el incremento<br />
salarial de los educadores, la cual se promovió<br />
desde la Dirección de Educación con el fin de equiparar<br />
los salarios a los de ANEP, así como también por el aumento<br />
de jóvenes que se matricularon en el Programa,<br />
el cual entre el 2011 y 2013 fue de 43,9% (lo cual impacta,<br />
por ejemplo, en el rubro becas).<br />
En el caso del CECAP de Montevideo, el presupuesto se<br />
gestiona directamente desde la Dirección de Educación.<br />
Por su parte, en los Centros que funcionan en locales<br />
aportados por las Intendencias Departamentales, la<br />
compra de materiales se realiza a través de dinero que<br />
el PNET-CECAP transfiere a cada gobierno departamental,<br />
quien en conjunto con el Coordinador de cada CECAP<br />
realiza las compras anuales (los detalles del procedimiento<br />
de compras dependen de cada Intendencia). En<br />
los convenios con las Intendencias se establece que la<br />
periodicidad para la rendición de cuentas es trimestral,<br />
aunque en algunos casos esta periodicidad no se cumple.<br />
En algunos casos, se han superado los doce meses<br />
de plazo entre rendiciones de cuentas.<br />
Este mecanismo de compra de materiales mediado por<br />
las Intendencias posee algunas ventajas para el PNET<br />
asociadas a la externalización de los costos administrativos<br />
y logísticos que el proceso implica para Centros<br />
distribuidos en el territorio nacional. Pero en ocasiones<br />
genera demoras y sobrecostos, ya que, si bien el PNET<br />
transfiere todo el dinero para la compra de los materiales,<br />
a veces sucede que las Intendencias pagan en forma<br />
diferida a sus proveedores, lo cual encarece los insumos<br />
adquiridos. Un modelo alternativo de compras es el que<br />
la intervención ha ensayado en el CECAP de Las Piedras,<br />
donde las compras están a cargo de la Asociación Civil<br />
Tabla 5. Estimación del gasto promedio anual del servicio por Beneficiario 2011-2013 (en $ 2013) 17 .<br />
2011 2012 2013<br />
% Variación<br />
2010 - 2013<br />
16.703 23.635 22.166 32,7%<br />
Fuente: Informe de Evaluación <strong>DID</strong>. Elaboración en base a información aportada por PNET-CECAP.<br />
16 - El PNET-CECAP firma convenios con varias organizaciones para<br />
su instalación y funcionamiento (Gobiernos Departamentales, INDA,<br />
CES, CETP, CEIBAL, entre otros). El aporte de estas organizaciones es<br />
clave para el funcionamiento. Al no existir una cuantificación de dichos<br />
aportes se dificulta la posibilidad de conocer el costo real total de la<br />
intervención.<br />
17 - En el gasto promedio por beneficiario no se consideran<br />
los aportes realizados por INDA o los Gobiernos<br />
Departamentales.<br />
40
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
que gestiona el Centro. En este caso se reportó –según<br />
las entrevistas realizadas– un procedimiento más ágil<br />
en la gestión de compra de materiales.<br />
Los mecanismos establecidos para la transferencia de<br />
recursos y rendición de cuentas no incluyen indicadores<br />
para monitorear su desempeño o cumplimiento. No se<br />
cuenta con información para evaluar si los procesos de<br />
compras aseguran la calidad de los bienes o servicios<br />
adquiridos.<br />
Adicionalmente a las transferencias que se realizan para<br />
el funcionamiento de cada Centro, desde la Dirección<br />
General de Secretaría del MEC realiza mensualmente la<br />
transferencia al Correo para el pago de becas. La cantidad<br />
de becas transferidas deriva del reporte que cada<br />
Centro envía mensualmente al PNET indicando el nombre<br />
de los jóvenes que serán beneficiarios de la beca<br />
ese mes en particular(de acuerdo a su asistencia). Esta<br />
información es chequeada por personal administrativo<br />
contra los datos de becas otorgadas por Jóvenes en Red<br />
para evitar duplicar este beneficio.<br />
Los talleres productivos dónde los jóvenes pueden producir<br />
un bien y venderlo podría considerarse como una<br />
oportunidad de recuperación de gastos en los CECAP,<br />
pero la intervención considera que esta posibilidad es<br />
inviable dada la complejidad del proceso establecido<br />
por el marco legal vigente.<br />
3. PRINCIPALES<br />
CONCLUSIONES Y<br />
RECOMENDACIONES<br />
El PNET-CECAP aborda una problemática relevante en<br />
nuestra sociedad mediante una contribución particular,<br />
aportando desde la educación no formal con un currículo<br />
centrado en el estudiante y que aporta desde la<br />
perspectiva de la educación y trabajo, lo que es consistente<br />
con los lineamientos de la política educativa. La<br />
intervención focaliza sus servicios en el público que es<br />
más difícil de atraer por parte de la educación formal y<br />
viene creciendo en número de Centros y cantidad de estudiantes<br />
atendidos. Para cumplir con sus objetivos, ha<br />
establecido vínculos estratégicos con el sistema educativo<br />
formal (CES y CETP) así como con las Intendencias,<br />
INDA e INAU, entre otros.<br />
La evaluación concluye que se justifica la continuidad<br />
de la intervención incorporando algunas recomendaciones<br />
que, para facilitar su presentación, se agrupan a<br />
continuación en relación a los aspectos de Diseño, Implementación<br />
y <strong>Desempeño</strong>.<br />
3.1. Diseño<br />
En relación al diseño del PNET-CECAP, los evaluadores<br />
destacan, en primer lugar, que todas las dimensiones<br />
del currículo contribuyen positivamente al logro de los<br />
objetivos relacionadas con la continuidad educativa y el<br />
trabajo, pero además permiten la adquisición de competencias<br />
sociales, el desempeño de un rol proactivo,<br />
crítico y creativo en la interacción con otros. Se recomienda<br />
potenciar estas competencias, dándoles a los<br />
jóvenes un lugar más destacado en la planificación del<br />
trabajo de los Centros.<br />
En segundo lugar, la evaluación menciona que el proceso<br />
educativo de los CECAP no cuenta con acreditación y<br />
certificación de la educación no formal recibida a lo largo<br />
de la permanencia del joven en la intervención (que<br />
puede llegar a cuatro semestres). Sería importante revisar<br />
la posibilidad de acreditar o certificar este proceso.<br />
En tercer lugar, los evaluadores señalan que el perfil<br />
del Educador Referente tiene un rol social y pedagógico<br />
muy importante para el logro de los objetivos de CECAP,<br />
por lo que la revisión y desarrollo del mismo aparece<br />
como una oportunidad para generar mejoras en el desempeño<br />
de cada CECAP.<br />
En cuarto lugar plantean que los CECAP y otras intervenciones<br />
públicas (tanto de educación formal como<br />
no formal) comparten una misma población potencial,<br />
y, en ocasiones, también comparten objetivos relacionados<br />
con educación y trabajo (aunque los objetivos<br />
de los CECAP se extiendan más allá de este objetivo en<br />
particular, aportando otros valores agregados como lo<br />
son la adquisición de competencias sociales por parte<br />
de los estudiantes, o el logro por parte de estos de un rol<br />
proactivo, crítico y creativo). Esto hace necesario una<br />
mayor reflexión y definición respecto a la posición de<br />
los CECAP en el sistema más amplio de intervenciones<br />
gubernamentales dirigido a la población objetivo de la<br />
intervención.<br />
Por último, los CECAP utilizan criterios de focalización<br />
que no se han explicitado en forma suficiente y que dan<br />
lugar a que cada Centro pueda decidir si se los consi-<br />
41
Programa Nacional de Educación y Trabajo-Centros Educativos de Capacitación y Producción (PNET-CECAP)<br />
dera o no (vulnerabilidad y criterios para su definición,<br />
sexo de los estudiantes, recortes adicionales en relación<br />
a la edad). Debido a esto se recomienda avanzar<br />
en una definición formal que explicite los criterios de<br />
focalización complementarios que son relevantes para<br />
la intervención.<br />
3.2. Implementación<br />
Sobre la implementación del PNET-CECAP, la evaluación<br />
concluye, en primer lugar, que sus estudiantes expresan<br />
un elevado nivel de satisfacción respecto a lo aprendido<br />
y declaran un alto nivel de motivación para continuar<br />
estudiando en el futuro.<br />
En segundo lugar se señala que los servicios educativos<br />
presentan una alta rotación de educadores, lo cual<br />
dificulta la acumulación de experiencia profesional. Por<br />
esta razón, la evaluación recomienda revisar las características<br />
del contrato de los educadores que establecen<br />
una interrupción temporal del mismo, para quienes<br />
realizan menos de 20 horas semanales y para quienes<br />
tienen una antigüedad en la institución inferior a los 3<br />
años.<br />
En tercer lugar, algunos CECAP no tienen ocupado el<br />
cargo de Educador Secretario, o en ocasiones, esta función<br />
es cubierta por el Coordinador u otros educadores<br />
del Centro que muchas veces no cuentan con la vocación<br />
o competencias adecuadas para la tarea. Por esta razón,<br />
los evaluadores recomiendan revisar el proceso de selección<br />
orientado a cubrir las vacantes relacionadas con<br />
las tareas administrativas de cada CECAP, considerando<br />
aquellas competencias vinculadas específicamente con<br />
las tareas propias del cargo.<br />
42
EVALUACIÓN <strong>DID</strong> / Oficina de Planeamiento y Presupuesto<br />
En cuarto lugar, se constata que la intervención cuenta<br />
con un software para el registro de datos de los estudiantes<br />
que fue mejorado y simplificado en 2014. A la<br />
vez, la intervención genera información a través de publicaciones<br />
y encuentros donde se comparten experiencias<br />
y reflexiones sobre las buenas prácticas de trabajo.<br />
Sin embargo, el uso de información cuantitativa para el<br />
monitoreo y la gestión es limitado (tanto a nivel agregado<br />
como desagregado por Centros). La situación señalada<br />
se puede asociar, entre otros factores, a que: i) la<br />
intervención carece de personal suficientemente sensibilizado<br />
y capacitado para el registro de datos en la plataforma<br />
informática, el procesamiento y la utilización<br />
de información estadística, ii) el sistema informático no<br />
es del todo apropiado para colaborar con la gestión a<br />
través del monitoreo de indicadores o permitiendo el<br />
seguimiento de la trayectoria de cada estudiante, iii)<br />
la falta de definición de metas para los indicadores, y<br />
en otros casos carencias en cuanto a indicadores que<br />
sería importante incluir en el sistema de monitoreo<br />
(por ejemplo la satisfacción de los estudiantes), y iv) la<br />
ausencia de información económica sistematizada que<br />
permita realizar una planificación presupuestal, evaluar<br />
la eficiencia o la toma de decisiones estratégicas sobre<br />
las inversiones.<br />
En quinto lugar, la evaluación sostiene que la intervención<br />
registra un crecimiento importante en su cobertura<br />
entre 2011 y 2013. Los beneficiarios se corresponden<br />
en términos generales con los criterios adoptados por<br />
el PNET-CECAP para focalizar su población potencial,<br />
considerándose a su vez adecuados estos criterios. Sin<br />
embargo, sería importante que la intervención avance<br />
en la definición de los niveles de cobertura que quiere<br />
alcanzar cada año.<br />
Por último, los evaluadores señalan que hay un valioso<br />
y promisorio trabajo implementado por los CECAP en<br />
la articulación interinstitucional a nivel de la Coordinación<br />
Nacional y también por parte de cada Centro, lo<br />
que permite establecer vínculos con organizaciones locales<br />
para atender las necesidades específicas de cada<br />
contexto. No obstante, en ocasiones existe un solapamiento<br />
de actividades con otras intervenciones, o falta<br />
de aprovechamiento de los servicios que desarrollan intervenciones<br />
complementarias. Las situaciones señaladas<br />
ameritan fortalecer los vínculos interinstitucionales<br />
(por ejemplo con INEFOP o con los Centros Juveniles de<br />
INAU), y la posibilidad de extender las experiencias exitosas<br />
de coordinación que se han desarrollado en algunos<br />
Centros a los restantes (por ejemplo, los subsidios<br />
al transporte de los estudiantes alcanzados con algunas<br />
Intendencias, o los convenios con CES o CEPT implementados<br />
en algunos Centros).<br />
3.3. <strong>Desempeño</strong><br />
Como se pudo observar a partir de los datos relevados<br />
para la evaluación, los CECAP están logrando que uno de<br />
cada cinco estudiantes que participan de la propuesta<br />
comience o retome sus estudios de EMB (20 % para el<br />
año 2014).<br />
A su vez, un 59% de los estudiantes manifiesta su intención<br />
de continuar estudiando durante el próximo año<br />
(ya sea en propuestas de educación formal o de educación<br />
no formal), por lo que se evidencia un logro en el<br />
alto grado de motivación hacia la continuidad educativa<br />
que impulsa la propuesta. Pero, por otro lado, la falta<br />
de definición de metas asociadas a estos indicadores<br />
no permite establecer juicios respecto a la conformidad<br />
con el nivel alcanzado. Tampoco hay información que<br />
permita analizar a partir de estos indicadores la evolución<br />
en el desempeño de la intervención.<br />
Por lo dicho, se recomienda continuar mejorando el sistema<br />
de información, incorporando la medición sistemática<br />
de estos indicadores de desempeño y estableciendo<br />
metas para los mismos, lo cual permitirá reflejar<br />
los éxitos o logros de la intervención en el cumplimiento<br />
de los objetivos planteados. También se recomienda<br />
integrar al sistema de información el seguimiento de<br />
la trayectoria de los estudiantes una vez que egresan<br />
o se desvinculan de la propuesta, y poder así obtener<br />
una medición periódica de los resultados finales de la<br />
intervención.<br />
Por último, la evaluación plantea que la intervención<br />
presenta cierta disparidad en la provisión y calidad de<br />
los servicios entre los distintos CECAP (por ejemplo, en<br />
el caso de las pasantías, la participación estudiantil en<br />
la toma de decisiones, y el acceso a la alimentación y<br />
al transporte gratuito), así como en los resultados alcanzados<br />
en los indicadores relevantes para el logro del<br />
propósito. Las situaciones señaladas pueden asociarse,<br />
entre otros factores, a la necesidad de definir estándares<br />
más precisos respecto a la calidad de los servicios y<br />
sobre los resultados claves; así como también avanzar<br />
en la revisión, elaboración y difusión de guías, normas o<br />
protocolos en relación a los procesos más importantes<br />
de la intervención.<br />
43
Dirección de Gestión y Evaluación<br />
Dirección de Presupuestos, Control y Evaluación de la Gestión<br />
Oficina de Planeamiento y Presupuesto<br />
Presidencia de la República Oriental del Uruguay<br />
Torre Ejecutiva Sur - Liniers 1324 - 5to. Piso<br />
Montevideo, Uruguay<br />
Tel. (+598-2) 150 int 8001<br />
contacto@agev.opp.gub.uy<br />
www.opp.gub.uy/hacemos/presupuesto/agev