medida y seguimiento de la percepción del aprendizaje ... - UPC

MEDIDA Y SEGUIMIENTO DE LA PERCEPCIÓN DELAPRENDIZAJE: EVALUACIÓN Y REPLANIFICACIÓN DE LAASIGNATURAMoisès Graells y Aureli CalvetEscola Universitària d’Enginyeria Tècnica Industrial de BarcelonaEUETIB, Comte d’Urgell 187, 08036-BarcelonaUniversitat Politècnica de Catalunyamoises.graells@upc.es, aureli.calvet@upc.esResumenLa innovación docente introducida en las asignaturas de Experimentación enIngeniería Química de la EUETIB desde el curso 2000-01, mediante laintroducción de la Gestión de Proyectos Experimentales, fue sometida al pocode iniciarse a un proceso de medida de la percepción del alumnado sobre elgrado de aprendizaje adquirido.Esta comunicación presenta un análisis detallado de los datos obtenidosdurante los últimos cuatrimestres que revela cómo la percepción del alumnadose va modificando. La comparación entre cuatrimestres parecería indicar que lapercepción del alumnado del grado aprendizaje de contenidos disminuye. Sinembargo, este efecto se explica por un aumento de las expectativas delalumnado al inicio de cada nuevo curso.La medida del aprendizaje de habilidades, en el que la Gestión de ProyectosExperimentales pone un énfasis importante, se ha dado una persistenteindefinición en las respuestas a los indicadores basados en los criterios ABET.Esta comunicación también presenta los resultados obtenidos este últimocuatrimestre con un nuevo y mayor conjunto de indicadores confeccionados aparir de los criterios expuestos por el Club Gestión de la calidad.1. INTRODUCCIÓNEn la EUETIB y desde el curso 2000-01, se viene ensayado con éxito un nuevomodelo de aprendizaje para asignaturas de experimentación [1]. Laimplantación de la Gestión de Proyectos Experimentales (GPE) no harenunciado a la realización de diversos experimentos relacionados con losfenómenos o sistemas que se estudian en las clases teóricas. Pero, de maneracomplementaria, la GPE se basa en la asignación a cada grupo de prácticas dela responsabilidad de recopilar para un experimento específico los resultadosobtenidos por el conjunto de la clase durante todo el cuatrimestre, de ypresentarlos adecuadamente. Así, cada grupo debe asumir su propio rol de“experto” de un proyecto que depende de los resultados de los demás grupospero del cual es el único responsable.

Esta responsabilidad implica una libertad (tutelada) para planificar y modificarlas condiciones bajo las cuales el resto de grupos repetirán el experimento ensesiones sucesivas. Así la gestión del proyecto experimental (GPE) inicia unaprendizaje implícito del juego de dirigir y ser dirigidos (y crear y solventarconflictos). Además permite un análisis de resultados mucho más gratificante ydidáctico, dada la mayor cantidad datos obtenidos. Y también supone unainteriorización de contenidos más significativa y un aprendizaje másconstructivo.Este enfoque permite incrementar la calidad de la experimentación mediante untrabajo práctico más riguroso y exhaustivo que el que se puede realizar duranteuna sesión de laboratorio. Así es posible obtener un conjunto estadísticamentesignificativo de datos que permita incluso cuestionar la adecuación delinstrumental o la técnica experimental utilizados. Por todo ello la GPE favoreceque los alumnos aprendan a:• Trabajar con un número significativo de datos experimentales.• Experimentar en condiciones diversas, ambientales y de operación.• Analizar todas las variables (grados de libertad) que inciden en el valor delas mediciones y los resultados.• Controlar y garantizar la reproducibilidad de series de experimentos.• Plantear nuevas preguntas sobre el comportamiento de los fenómenos osistemas que se estudian.• Adecuar los experimentos (diseño) para que permitan responder a talespreguntas.• Avalar, justificar y defender sus opiniones profesionales mediante pruebasexperimentales.En definitiva, se intenta ir más allá de la mera repetición de un experimento yaconocido, preparado y descrito en el guión de prácticas.Los datos que se venían obteniendo [1] revelaban un grado de aceptaciónelevado del enfoque que se daba a la asignatura y una percepción muy positivacon respecto al aprendizaje de contenidos, particularmente de aquellos que elalumnado no relaciona a priori con unas prácticas de laboratorio (utilización deherramientas informáticas, evaluación económica del proyecto, necesidad decomunicación de los resultados, etc.).Este resultado se debía claramente a un efecto sorpresa entre las expectativasiniciales y la nueva realidad de la asignatura, que para esta comunicación sehan analizado para poner de relieve la evolución y generación de una “cultura”entre el alumnado que minimizan este efecto sorpresa.Con respecto al aprendizaje de métodos, habilidades y aptitudes, la GPE exigea cada grupo una planificación de los experimentos que sus compañerosdeberán realizar a lo largo del cuatrimestre. Igualmente, también exige unareplanificación en función de los resultados que vayan obteniendo, los erroresque vayan detectando y los objetivos que se vayan marcando. Incluso puedeenriquecerse con innovaciones que se vayan proponiendo sobre la marcha.

La gestión del proyecto, además de una mayor implicación e interiorización,genera también la necesidad de comunicar eficientemente, de especificar yregistrar de manera adecuada las condiciones en las cuales debe efectuarse, yse efectúa, cada experimento, de gestionar tablas y gráficos con una mayorcantidad de datos experimentales, etc.La valoración personal del profesorado sobre el aprendizaje de habilidades yaptitudes que realizaba el alumnado ha sido siempre positiva. Sin embargo, lamedición de la percepción del alumnado del grado de aprendizaje alcanzadohabía permitido hasta el momento sacar conclusiones muy pobres, debidofundamentalmente a la elevada indefinición que presentaban las respuestas delalumnado. En esta comunicación se presenta el nuevo sistema de medida quese ha adoptado así como los resultados obtenidos en este último cuatrimestre.2. APRENDIZAJE DE CONTENIDOSEl aprendizaje de contenidos se ha venido evaluando desde un inicio medianteuna lista de materias sobre las cuales se pedía a los alumnos una valoracióninicial, al empezar el cuatrimestre, sobre sus expectativas de aprendizaje. Unavez acabado el cuatrimestre, se pedía a los alumnos la valoración final de lasmismas materias para poder contrastar este resultado con el obtenidoinicialmente.La medida de los resultados obtenidos se representa mediante la variaciónporcentual relativa de la valoración media que los alumnos han otorgado a lasdiferentes materias de la encuesta entre septiembre y diciembre (cuatrimestrede otoño) y entre febrero y junio (cuatrimestre de primavera):[ Valoración _ Final] −[ Valoración _ Inicial][ Valoración _ Inicial]% =× 100(1)Las valoraciones medias se han obtenido asignando los pesos (1,2,3,4) a lasopciones (Nada, Poco, Bastante, Mucho). Se han evaluado los cuatrimestresde primavera y otoño de 2002 y de 2003, lo que corresponde a haber evaluadola segunda mitad del curso académico 2001-2002, el curso académico 2002-2003 completo y la primera mitad del curso académico 2003-2004.Se ha tomado como cuatrimestre de referencia (Q0), el de primavera de 2002,representado en la figura 1, donde se aprecia un notable incremento de lapercepción del aprendizaje de los contenidos, particularmente de aquellos queel alumnado no relaciona a priori con unas prácticas de laboratorio, respecto delas expectativas iniciales. Esta tendencia, debida claramente a un efectosorpresa entre las expectativas iniciales y la nueva realidad de la asignatura, seacentúa en el siguiente cuatrimestre (Q1), el de otoño de 2002, representadoen la figura 2. En cambio, la tendencia se invierte de forma acusada en elcuatrimestre de primavera de 2003 (Q2), representado en la figura 3.Finalmente, la tendencia en el cuatrimestre de otoño de 2003 (Q3),representado en la figura 4, se recupera e incluso depara el mejor de losresultados hasta ahora evaluados.

OfimàticaComptabilitat i economiaInformàticaDirecció de grups de treballTècniques de comunicacióDocumentació i recercaMecànicaEcologiaCàlcul numèricSimulació assistida per ordinadorMatemàtiquesDirecció d’empresesFilosofiaSeguretat i higiene del treballGestió del medi ambientInterèsGestió de projectes d’enginyeriaDisseny d’aparellsGestió del laboratoriAnglèsInstrumentació i controlTermodinàmicaQuímica OrgànicaQuímica FísicaQuímica InorgànicaBiologiaQuímica AnalíticaDisseny d’operacions i processos-50% -30% -10% 10% 30% 50% 70%Figura 1.- Percepción del aprendizaje de contenidos. Primavera 2002 (Q0).Comptabilitat i economiaOfimàticaTècniques de comunicacióInformàticaEcologiaDocumentació i recercaFilosofiaSimulació assistida per ordinadorCàlcul numèricDirecció d’empresesDirecció de grups de treballGestió del medi ambientGestió de projectes d’enginyeriaMatemàtiquesDisseny d’aparellsGestió del laboratoriSeguretat i higiene del treballInterèsQuímica FísicaTermodinàmicaDisseny d’operacions i processosMecànicaInstrumentació i controlAnglèsQuímica InorgànicaQuímica OrgànicaQuímica AnalíticaBiologia-50,00% -30,00% -10,00% 10,00% 30,00% 50,00% 70,00%Figura 2.- Percepción del aprendizaje de contenidos. Otoño 2002 (Q1).

InformàticaComptabilitat i economiaOfimàticaDirecció d’empresesTècniques de comunicacióDocumentació i recercaFilosofiaCàlcul numèricMecànicaDirecció de grups de treballEcologiaMatemàtiquesInterèsGestió del medi ambientTermodinàmicaSeguretat i higiene del treballGestió de projectes d’enginyeriaGestió del laboratoriSimulació assistida per ordinadorAnglèsInstrumentació i controlDisseny d’operacions i processosQuímica FísicaDisseny d’aparellsQuímica AnalíticaQuímica OrgànicaQuímica InorgànicaBiologia-50,00% -30,00% -10,00% 10,00% 30,00% 50,00% 70,00%Figura 3.- Percepción del aprendizaje de contenidos. Otoño 2002 (Q1).OfimàticaComptabilitat i economiaInformàticaCàlcul numèricMatemàtiquesDirecció de grups de treballDirecció d’empresesEcologiaTècniques de comunicacióSeguretat i higiene del treballMecànicaDocumentació i recercaTermodinàmicaGestió del medi ambientInterèsGestió de projectes d’enginyeriaFilosofiaQuímica FísicaSimulació assistida per ordinadorDisseny d’aparellsDisseny d’operacions i processosGestió del laboratoriInstrumentació i controlQuímica AnalíticaQuímica OrgànicaQuímica InorgànicaAnglèsBiologia-50,00% -30,00% -10,00% 10,00% 30,00% 50,00% 70,00%Figura 4.- Percepción del aprendizaje de contenidos. Otoño 2003 (Q3).

4,03,5EXPECTATIVES: Q0 vs. Q1Primavera 2002Tardor 20023,02,52,01,51,0InterèsQuímica FísicaInstrumentació i controlQuímica OrgànicaQuímica InorgànicaSeguretat i higiene del treballGestió del laboratoriQuímica AnalíticaTermodinàmicaDisseny d’operacions i processosDocumentació i recercaGestió de projectes d’enginyeriaGestió del medi ambientDirecció de grups de treballDisseny d’aparellsInformàticaSimulació assistida per ordinadorCàlcul numèricEcologiaMatemàtiquesAnglèsBiologiaTècniques de comunicacióMecànicaOfimàticaComptabilitat i economiaDirecció d’empresesFilosofia4,03,5EXPECTATIVES: Q1 vs. Q2Tardor 2002Primavera 20033,02,52,01,51,0Gestió del laboratoriInterèsQuímica OrgànicaSeguretat i higiene del treballQuímica InorgànicaQuímica FísicaQuímica AnalíticaTermodinàmicaDocumentació i recercaGestió del medi ambientInstrumentació i controlDirecció de grups de treballDisseny d’operacions i processosGestió de projectes d’enginyeriaDisseny d’aparellsEcologiaSimulació assistida per ordinadorBiologiaCàlcul numèricInformàticaMatemàtiquesTècniques de comunicacióOfimàticaAnglèsComptabilitat i economiaMecànicaDirecció d’empresesFilosofia4,03,5EXPECTATIVES: Q2 vs. Q3Primavera 2003Tardor 20033,02,52,01,51,0InterèsGestió del laboratoriDocumentació i recercaQuímica InorgànicaInstrumentació i controlQuímica OrgànicaQuímica AnalíticaSeguretat i higiene del treballQuímica FísicaDisseny d’operacions i processosGestió del medi ambientGestió de projectes d’enginyeriaTermodinàmicaDirecció de grups de treballDisseny d’aparellsInformàticaEcologiaSimulació assistida per ordinadorCàlcul numèricTècniques de comunicacióBiologiaMecànicaMatemàtiquesOfimàticaDirecció d’empresesAnglèsComptabilitat i economiaFilosofiaFigura 5.- Evolución de las expectativas iniciales de aprendizaje en cuatrimestressucesivos: Las expectativas tienden a converger.

su condición de expertos, de saber dar respuestas sobre su propio experimentomás allá de lo que sean capaces el resto de grupos. Además obliga a planificary modificar las condiciones bajo las cuales el resto de grupos repetirán elexperimento en sesiones sucesivas, controlando precisamente el programa desesiones de prácticas de estos otros grupos.El proyecto a lo largo de todo el cuatrimestre también implica la planificacióndel propio trabajo y el trabajo continuado, ya que el último dato experimental seobtendrá el último día de prácticas, cuando será tarde para empezar a analizartodos los datos y preparar el informe y la presentación. La planificación ycontrol del proyecto se ha sistematizado mediante la introducción de reunionesde seguimiento con el profesorado y la redacción de actas técnicas [2]. Por otraparte, la presentación oral y la defensa del proyecto ante el resto de la claseaumenta el nivel de autoexigencia y representa un ejercicio de síntesis yconcreción muy instructivo.Para valorar los aspectos relacionados con el aprendizaje de habilidades serealizaron desde un principio encuestas para conocer la percepción delalumnado. Las encuestas, basadas en los criterios ABET [3] se preguntaba alalumnado sobre el grado de aprendizaje adquirido en las capacidades yhabilidades de la Tabla 1.1 2 3 4Capacidad para aplicar conocimientos de matemáticas, ciencias y ingenieríaCapacidad para a diseñar y realizar experimentos y para analizar y interpretar resultados Capacidad para diseñar un componente, sistema o proceso que satisfaga los requisitos Capacidad para a funcionar en equipos multidisciplinariosCapacidad para a identificar, formular y resolver problemas de ingenieríaComprensión de las responsabilidades profesionales y éticasCapacidad para comunicar eficazmenteComprensión de los efectos de las soluciones de ingeniería en un contexto social y global Reconocimiento de la necesidad de aprendizaje de por vida y la capacidad para hacerlo Conocimiento de los problemas contemporáneosCapacidad para a conocer y utilizar las técnicas y herramientas modernas de la ingeniería Tabla 1. Primera encuesta para la valoración de la percepción del aprendizaje dehabilidades basada en los criterios del ABET.Los resultados obtenidos durante algunos cuatrimestres no han permitidoextraer conclusiones más allá de la repetición de la indefinición y laambigüedad como tónica dominante, ya que la media de las respuestas ha sidosiempre muy centrada y con una gran desviación. Ante este fracaso debenconsiderarse dos cuestiones: la adecuación de la encuesta como técnica demedida y otra más profunda de adecuación del mensaje que se pretende dirigiral alumnado.Respecto al primer punto se ha llegado a la conclusión que los criterios ABETresultan demasiado generales y se convierten en ambiguas y de difícilinterpretación para el alumnado. Es por ello que se decidió cambiar la encuestay proponer una lista más amplia de puntos más concretos. La lista seconfeccionó a partir de las sugerencias desde la empresa del Club Gestión deCalidad [3] y se discutió y consensuó entre el profesorado y la dirección de laEscuela.