Representación del conocimiento textual mediante técnicas lógico ...

5.6 Evaluación en la clasificación de preguntas médicas 151
Clase Clasificada Clase Relacionada Preguntas Correctas Precisión
GQ1 GE1 5 5 1
GQ2 GE2 5 5 1
GQ3 GE3 5 3 0.6
GQ4 GE4 5 4 0.8
GQ5 GE5 5 5 1
GQ6 GE6 5 4 0.8
GQ7 GE7 5 4 0.8
GQ8 GE8 5 3 0.6
GQ9 GE9 5 5 1
GQ10 GE10 5 4 0.8
OQ OE 200 194 0.97
Tabla 5.11. Evaluación detallada de la clasificación de preguntas
Clase Clasificada Clase Relacionada Preguntas Correctas Precisión
GQ GE 50 42 0.84
OQ OE 200 194 0.97
Global − 250 231 0.944
Tabla 5.12. Evaluación global de la clasificación de preguntas
automático utilizando la técnica SVM (Bisbal et al. , 2005). Este clasificador
se basa en características textuales superficiales que hacen un
escaso uso de recursos y herramientas lingüísticas adicionales.
Este segundo clasificador basado en aprendizaje automático requiere de
un entrenamiento previo a la clasificación. Para ello se han desarrollado
300 preguntas (30 preguntas por cada uno de los 10 tipos genéricos).
En el Anexo C están detalladas cada una de estas 300 preguntas.
Para la clasificación se elaborado tres diferentes colecciones de preguntas
que también están detalladas en el anexo C:
Colección 1: Contiene cien preguntas de test (diez de cada tipo genérico)
con un léxico similar a las preguntas de entrenamiento.
Colección 2: Modifica las preguntas de la colección 1 incluyendo alteraciones
del léxico consistentes en el cambio de los tiempos verbales
y la utilización de sinónimos para los verbos y los sustantivos.
Colección 3: Modifica las preguntas de la colección 2 incluyendo alteraciones
del léxico consistentes en la supresión de la terminología
guía. En esta versión, las expresiones “drug accupril” y “situation
constipated” de la colección 2 pasarían a la forma “accupril” y “constipated”
respectivamente.