Representación del conocimiento textual mediante técnicas lógico ...

5.3 Participación en la tarea Recognising Textual Entailment del PASCAL 2006 131
la técnica empleada por Moldovan y Novischi (2002) en su algoritmo
SpreadWeights.
Estrategia basada en la medida de Lin. En este enfoque, la relación
entre dos conceptos es un valor calculado aplicando la medida
de similitud de Lin (1998a) que viene integrada en el recurso Word-
Net::Similarity (Pedersen et al. , 2004). Este recurso consiste en un
software de dominio abierto desarrollado en la Universidad de Minnesota
que permite calcular la relación existente entre dos conceptos, o
entre dos palabras. La medida de similitud de Lin se centra en el análisis
de las relaciones es-a de WordNet. Está considerada como una medida
basada en el contenido de la información, frente a la anterior medida que
se centra en la ruta de las relaciones. Esta medida aumenta el contenido
de la información del least common subsumer (LCS) 3 de dos conceptos
con la suma del contenido de información de los propios conceptos.
5.3.4 Resultados
La evaluación del sistema de Textual Entailment se enmarca dentro de
la evaluación estándar definida en la tarea PASCAL Second Recognising
Textual Entailment Challenge (Bar-Haim et al. , 2006). En ella,
los sistemas tiene que decidir si existe entailment o no entre los 800
pares de texto e hipótesis de la colección de test. Los resultados del
Textual Entailment vienen determinados a través de dos medidas de
evaluación: la precisión (accuracy) y la precisión media (average precision).
La tabla 5.8 muestra los resultados obtenidos obtenidos por los
sistemas participantes en la tarea.
Ambas medidas de evaluación presentan ligeras contradicciones a la hora
de decidir, según los números obtenidos en ellas, que el sistema A
es mejor que el sistema B. Por ejemplo, se puede dar el caso en el que
sistema A obtiene mejor resultado que el sistema B en la medida de precisión,
pero el sistema B obtiene mejor resultado que el sistema A en
la medida de precisión media. Concretamente, en la competición RTE2
participaron 23 sistemas en 41 ejecuciones. La media de la precisión de
estos sistemas ronda el 58,55 % mientras que la media de la precisión
media ronda los 59,09 puntos porcentuales. Según la medida de precisión,
la ejecución basada en la medida Lin ocupa el puesto número 29
alcanzando una precisión del 55,63 %, mientras que la ejecución basada
en relaciones de WordNet ocupa el puesto número 34 obteniendo
una precisión del 54,75 %. En cambio, si nos fijamos en la medida de
precisión media, la participación fue de 18 sistemas con un total de 31
ejecuciones. En el ámbito de la precisión media, la ejecución basada
en la medida Lin ocupa el puesto número 12 alcanzando un valor de
3 LCS es el concepto más específico que dos conceptos comparten como antecesor