Representación del conocimiento textual mediante técnicas lógico ...

5.6 Evaluación en la clasificación de preguntas médicas 145
Para evaluar la validez del clasificador se utiliza la medida de precisión,
ésto es, la relación entre el número de preguntas clasificadas correctamente
y el número de preguntas clasificadas.
5.6.2 Motivación y aportaciones esperadas
En lo que respecta la evaluación llevada a cabo hasta este punto del
trabajo de investigación, se han contemplado únicamente las particularidades
referidas al tratamiento del texto en el dominio abierto. Por el
contrario y, en el ámbito de la evaluación de la clasificación de preguntas
planteada en esta sección del capítulo, se va a utilizar el recurso para
realizar la representación formal del texto en el ámbito de un dominio
restringido, concretamente, el dominio médico. Con ello se pretende
demostrar la validez del recurso desde el punto de vista del matiz de
independencia del dominio visto al inicio del capítulo. Esto es, tanto la
portabilidad del recurso al dominio restringido como el mantenimiento
de sus propiedades pese al proceso de migración al dominio médico.
Las diferentes tareas de evaluación vistas hasta este punto del trabajo
de investigación permiten que los resultados proporcionados por el resto
de sistemas participantes en dichas tareas puedan ser comparados con
los resultados proporcionados por los sistemas desarrollados que utilizan
el recurso de formas lógicas. En cambio, al ser ésta una tarea de
evaluación ad-hoc, no se pueden contrastar los resultados del clasificador
desarrollado con otros clasificadores debido a que no se dispone de
la participación de tales clasificadores. Con el propósito de contrastar
la validez del clasificador frente a algún otro clasificador del mismo tipo
de preguntas, se va a integrar en la evaluación otro clasificador desarrollado
mediante aprendizaje automático utilizando la técnica Support
Vector Machine (SVM) que es la técnica que, en general, mejor resultados
de clasificación de preguntas obtiene en el tratamiento basado en
aprendizaje automático (Zhang & Lee, 2003).
El problema de la clasificación de las preguntas médicas según la taxonomía
planteada por Ely et al. (2000) se resuelve mediante la comparación
de la representación semántica asociada a la pregunta con cada
una de las representaciones semánticas asociadas a las preguntas genéricas
de la taxonomía. Mediante esta comparación, el clasificador debe
decidir con cuál de los diez tipos genéricos se corresponde la pregunta
formulada al sistema. Para realizar esta función el sistema necesita de
conocimiento semántico del dominio médico.
El recurso de representación semántica desarrollado en el trabajo de
investigación, a través del tratamiento lógico-conceptual en el dominio
médico llevado a cabo sobre la forma lógica, reúne los requisitos necesa-