Representación del conocimiento textual mediante técnicas lógico ...

152 5. Evaluación del recurso lógico-conceptual para la representación formal del texto
Luego, en la segunda tarea de evaluación ad-hoc de la clasificación de
las preguntas médicas, se van a tener en cuenta estás tres colecciones.
Para ello, cada uno de los dos clasificadores va a lanzar tres ejecuciones
de la clasificación: La primera ejecución toma como origen la colección
1, la segunda hace lo propio con la segunda colección mientras que la
tercera considera la tercera colección.
5.6.4 Resultados
La tabla 5.13 muestra los resultados de la clasificación global de preguntas
en términos de precisión de los dos clasificadores en cada una de
las tres ejecuciones propuestas en la evaluación.
Ejecución Clasificador lógico-conceptual Clasificador SVM
1 0.98 1
2 0.98 0.73
3 0.98 0.45
Tabla 5.13. Precisión de los clasificadores en cada ejecución de la evaluación
Tras apreciar los resultados obtenidos por ambos clasificadores, cabe
concluir que el clasificador lógico-conceptual es constante en la clasificación
obteniendo una precisión del 98 % pese a las alteraciones del
léxico introducidas en las diferentes ejecuciones. Por el contrario, el clasificador
basado en aprendizaje automático es muy irregular, empeorando
considerablemente los resultados de la clasificación ante alteraciones
del léxico. Este segundo clasificador, al igual que cualquier clasificador
basado en aprendizaje automático, necesita una muestra amplia y muy
rica en cuanto a variaciones léxicas de cada tipo de preguntas para obtener
un 100 % de precisión.
Además, por este mismo motivo, en esta segunda tarea de evaluación
ad-hoc, no se han considerado otras preguntas como las del CLEF tratadas
en la primera evaluación. Resulta prácticamente inviable disponer
de una muestra de entrenamiento con las infinitas preguntas que se le
podrían hacer al clasificador, que le permitiese realizar una clasificación
post-entrenamiento con ciertas garantías.
5.6.5 Análisis y discusión
En el ámbito de la evaluación de la clasificación de preguntas en el dominio
médico, se ha utilizado el tratamiento lógico-conceptual proporcionado
por el recurso para realizar la representación formal del texto