Representación del conocimiento textual mediante técnicas lógico ...

136 5. Evaluación del recurso lógico-conceptual para la representación formal del texto
CIDO así como excluidos de la evaluación.
La colección se ha construido del siguiente modo: los textos se corresponden
con cada una de las respuestas devueltas por los sistemas de
Búsqueda de Respuestas para cada una de las preguntas, mientras que
las hipótesis se obtienen a partir de las preguntas expresadas de modo
afirmativo junto con su respuesta correcta.
Debido a que se trata de un problema de reconocimiento del Textual
Entailment, el experimento realizado para resolver el problema planteado
por la tarea AVE (Ferrández et al. , 2007) es exactamente el mismo
que el realizado para la tarea PASCAL RTE detallado en la sección
anterior del capítulo con la salvedad de las particularidades incluidas
en las medidas de evaluación de la tarea AVE frente a las de la tarea
PASCAL RTE.
5.4.4 Resultados
La tabla 5.9 muestra los resultados obtenidos de la participación en la
tarea AVE del CLEF 2006.
Grupo Sistema Medida F Precisión Cobertura
LCC COGEX 0.4559 0.3261 0.7576
Roma ZNZ - TV 2 0.4106 0.2838 0.7424
ITC-irst itc-irst 0.3919 0.3090 0.5354
Roma ZNZ - TV 1 0.3780 0.2707 0.6263
Alicante MLEnt 2 0.3720 0.2487 0.7374
Alicante Lin 0.3177 0.2040 0.7172
Alicante MLEnt 1 0.3174 0.2114 0.6364
Alicante Rel. WN 0.3070 0.2144 0.5404
Twente utwente.ta 0.3022 0.3313 0.2778
Twente utwente.lcs 0.2759 0.2692 0.2828
Valencia ebisbal 0.075 0.2143 0.0455
Tabla 5.9. Resultados de la evaluación en la tarea Answer Validation Exercise
A pesar de que se utilizan las medidas de evaluación precisión, cobertura
y medida F, es ésta última la que combina los resultados obtenidos por
las dos anteriores y, en consecuencia, es la más adecuada para sacar las
conclusiones pertinentes a la validez de los sistemas desde el punto de
vista de la eficacia. La media de la medida F de todos los sistemas es
de 32,76 puntos porcentuales. Comparando este valor con los resultados
obtenidos por el sistema desarrollado (31,77 % para la ejecución basada
en la medida Lin y 30,70 % para la ejecución basada en la exploración
de las relaciones de WordNet) cabe concluir que el sistema desarrollado