Presentación - LITE
Presentación - LITE
Presentación - LITE
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Análisis del Juez Automático “Mooshak”<br />
en la Enseñanza de la Programación<br />
Manuel Rubio (URJC)<br />
Natalia Esteban, Belén Sáenz (URJC), Päivi Kinnunen (UCSD),<br />
Cristóbal Pareja, Antonio Pleite (UCM)<br />
Seminario de Investigación en Tecnologías<br />
de la Información Aplicadas a la Educación<br />
10 de mayo de 2012
Problemática asociada a evaluaciones pedagógicas<br />
Contenido<br />
Contenido<br />
1 Juez Automático Mooshak<br />
2 Evaluación con alumnos<br />
3 Resultados<br />
4 Conclusiones<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 2 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Juez Automático Mooshak<br />
Juez Automático Mooshak<br />
Evaluador automático (vía web) usado en:<br />
Concursos de programación<br />
Docencia<br />
Mide la capacidad para implementar programas<br />
Enfoque de pruebas de caja negra<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 3 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Juez Automático Mooshak<br />
Algunas ventajas<br />
Retroalimentación inmediata<br />
Disponibilidad 24 horas<br />
Aprendizaje autónomo<br />
Código correcto<br />
Mayor claridad del código<br />
Mayor objetividad en corrección<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 4 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Juez Automático Mooshak<br />
Opinión general de los profesores<br />
Requiere un esfuerzo por parte del profesorado<br />
Preparar enunciados, crear casos de prueba, implementar programas,<br />
administrar Mooshak, resolver dudas (campus virtual)<br />
Ayuda considerablemente a la hora de corregir<br />
Especificación muy cuidada de los problemas<br />
La evaluación ha de ser necesariamente semiautomática<br />
Hay que usar un sistema anticopia<br />
Parece una buena idea ùñ Hagamos una evaluación. . .<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 5 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Evaluación con alumnos<br />
Estudio<br />
Diseño y Análisis de Algoritmos, 4 o cuatrimestre, curso 2010/11<br />
Hipótesis: Mooshak tiene un efecto (positivo) sobre:<br />
Motivación, autoeficacia, hábitos de estudio<br />
Habilidad para programar<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 6 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Evaluación con alumnos<br />
Errores conceptuales<br />
Pocos alumnos (estudios estadísticos no válidos)<br />
Análisis factorial: matriz de covarianzas singular<br />
Alta tasa de abandono<br />
No debida a Mooshak<br />
Se pierde el efecto de Mooshak sobre alumnos retrasados<br />
Grupo de control no válido<br />
Edad media diferente<br />
Diferentes profesores, prácticas, exámenes. . .<br />
Menor cantidad/dificultad de ejercicios en grupo control<br />
Mucho ruido (copias)<br />
Algunos no han usado Mooshak debidamente<br />
Mejorar la habilidad para programar es demasiado ambicioso<br />
Un cuatrimestre parece insuficiente<br />
Requisito previo: buen nivel de programación<br />
No beneficia a alumnos más retrasados<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 7 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Resultados generales<br />
Mooshak parece ser contraproducente<br />
Comparando los dos grupos<br />
Pocos cambios positivos, bastantes negativos<br />
Respuestas más “razonables” (esperadas) en encuesta Mooshak<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 8 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Algunas mejoras en grupo experimental<br />
¿Has utilizado alguna vez un depurador?<br />
Al hacer una práctica de programación escribo sobre papel un primer diseño<br />
antes de empezar a programar<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 9 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Cambios negativos en grupo experimental<br />
En el futuro consideraría participar en algún concurso de programación<br />
Antes de entregar una práctica, pruebo mi código concienzudamente para<br />
comprobar que no contiene errores<br />
Al hacer una práctica de programación aseguro la corrección al máximo<br />
antes de entregarla<br />
Sacaría mejores notas si pudiera usar un ordenador en los exámenes para<br />
comprobar la corrección de mis soluciones<br />
Tras haberse corregido una práctica los profesores me comentan información<br />
acerca de mi trabajo<br />
Al hacer una práctica de programación intento aprobarla con el mínimo<br />
esfuerzo<br />
Al estudiar programación o al hacer prácticas de programación me canso<br />
fácilmente<br />
Puedo completar una práctica de programación si tengo mucho tiempo para<br />
acabarla<br />
Cuando acabe la carrera mi seré un programador excelente<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 10 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Pre-test en grupo experimental<br />
Correlaciones<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 11 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Correlaciones con “tasa de abandono”<br />
Correlaciones de Spearman<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 12 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Correlaciones con “tasa de abandono”<br />
Nota en Estructuras de datos<br />
Nota en Programación Orientada a Objetos<br />
Nota en Estadística<br />
“Cuando apruebe Diseño y Análisis de Algoritmos seré un<br />
programador excelente”<br />
No confían mucho en la asignatura o sus posibilidades. . .<br />
“Si me enfrento a una práctica difícil, esto me motiva para realizar un<br />
mayor esfuerzo para resolverla”<br />
Se vienen abajo ante las dificultades. . .<br />
Realizado el post-test<br />
Media de notas en asignaturas de programación<br />
Media de notas en asignaturas de programación y matemáticas<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 13 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Categorización según “tasa de abandono”<br />
Mann-Whitney U test (compara medianas entre dos grupos)<br />
Nota en ED, POO, Cálculo, y Estadística<br />
Al hacer una práctica de programación intento aprobarla con el mínimo esfuerzo<br />
Al hacer una práctica de programación intento obtener la máxima nota<br />
Mi nivel de programación es excelente<br />
Cuando apruebe Diseño y Análisis de Algoritmos seré un programador excelente<br />
Si veo que soy capaz de realizar una tarea de programación, me motiva para<br />
realizar más ejercicios o prácticas<br />
Si me enfrento a una práctica difícil, esto me motiva para realizar un mayor<br />
esfuerzo para resolverla<br />
Sé encontrar maneras de concentrarme en mi programa, incluso cuando hay<br />
muchas distracciones alrededor de mí<br />
Sé encontrar una estrategia adecuada para resolver una tarea de programación en<br />
poco tiempo<br />
Desde un punto de vista académico, es importante para mí que otros vean lo que<br />
he conseguido<br />
Me siento especialmente satisfecho cuando saco mejores notas que mis<br />
compañeros de clase<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 14 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Grupo experimental<br />
Correlaciones de todas las variables<br />
Coherencia en las respuestas del cuestionario sobre Mooshak<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 15 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Encuesta Mooshak<br />
Análisis factorial<br />
Factor 1: Responsabilidad/madurez<br />
“Usar Mooshak me ha forzado a ser más responsable a la hora de<br />
programar”<br />
mediana general = 3 (no parece que Mooshak tenga efecto)<br />
Factor 2: Valoración subjetiva<br />
“Me gustaría volver a usar una herramienta similar a Mooshak en el<br />
futuro”<br />
mediana general = 2 (no les ha gustado)<br />
Factor 3: Valoración objetiva<br />
“En general, usar Mooshak ha sido una buena idea”<br />
mediana general = 3 (buena idea)<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 16 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Encuesta Mooshak<br />
Correlaciones con respecto a cambios (POST - PRE)<br />
Correlaciones positivas (hacia el rojo)<br />
Correlaciones negativas (hacia el azul)<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 17 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Encuesta Mooshak<br />
Correlaciones con respecto a cambios positivos<br />
Al hacer una práctica de programación intento aprobarla con el<br />
mínimo esfuerzo<br />
Al hacer una práctica de programación suelo necesitar ayuda para<br />
completarla<br />
Al hacer una práctica de programación soy persistente e intento<br />
resolverla yo mismo todo lo que puedo antes de pedir ayuda<br />
Al hacer una práctica de programación a menudo me doy cuenta<br />
enseguida de que no voy a poder completarla sin pedir ayuda<br />
Mi objetivo no es sacar buenas notas, sino simplemente aprobar las<br />
asignaturas<br />
Si veo que una tarea de programación me cuesta, me desanimo<br />
rápidamente, y dejo de realizarla<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 18 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Encuesta Mooshak<br />
Correlaciones con respecto a cambios negativos<br />
Disponer de una herramienta que compruebe si un programa funciona<br />
correctamente, antes de entregar las prácticas de programación o<br />
exámenes, sería muy beneficioso<br />
Probar mi código me resulta útil a la hora de realizar prácticas de<br />
programación<br />
Al hacer una práctica de programación intento obtener la máxima<br />
nota<br />
Cuando apruebe Diseño y Análisis de Algoritmos seré un programador<br />
excelente<br />
Cuando acabe la carrera mi seré un programador excelente<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 19 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Resultados<br />
Encuesta Mooshak<br />
Correlaciones con respecto a cambios negativos<br />
Antes de empezar una práctica tengo confianza en que voy a poder<br />
completarla con éxito sin ayuda<br />
Si veo que soy capaz de realizar una tarea de programación, me<br />
motiva para realizar más ejercicios o prácticas<br />
Si me enfrento a una práctica difícil, esto me motiva para realizar un<br />
mayor esfuerzo para resolverla<br />
Desde un punto de vista académico, es importante para mí que otros<br />
vean lo que he conseguido<br />
Me siento especialmente satisfecho cuando saco mejores notas que<br />
mis compañeros de clase<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 20 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Conclusiones<br />
Conclusiones<br />
Respuestas condicionadas por la dificultad de la tarea<br />
Explicaría los pobres resultados<br />
Bolonia ñ gran cantidad de prácticas<br />
Ej: 5 asignaturas ¢ 5 prácticas/asignatura ñ<br />
3.36 días/práctica (12 semanas), 2.4 (sin contar fines de semana)<br />
Falta de implicación/interés<br />
Quieren “quitarse” las prácticas (Mooshak lo dificulta)<br />
Copias<br />
No ayuda a los alumnos más retrasados<br />
Mooshak: barrera que muchos no pueden superar<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 21 / 23
Problemática asociada a evaluaciones pedagógicas<br />
Conclusiones<br />
Otras consideraciones<br />
Necesario definir el objetivo<br />
A qué alumnos puede beneficiar Mooshak<br />
Cómo puede beneficiarlos<br />
Alumnos de primero<br />
Evaluación compleja/poco viable<br />
Requiere mucha planificación e implicación de profesores,<br />
departamento, alumnos<br />
En CSE pueden valer estudios más pequeños (para la comunidad),<br />
pero difícilmente servirán para revistas JCR<br />
Probar nuevas formas de usar Mooshak: con batería de problemas,<br />
penalizando repetidas, etc.<br />
URJC – DLSI-I – <strong>LITE</strong> SITIAE’12 22 / 23
Análisis del Juez Automático “Mooshak”<br />
en la Enseñanza de la Programación<br />
¿Alguna pregunta?
Change language