Representación del conocimiento textual mediante técnicas lógico ...

5.3 Participación en la tarea Recognising Textual Entailment del PASCAL 2006 125
(50) Texto (T): His family has steadfastly denied the charges.
Hipótesis (H): The charges were denied by his family.
La tarea PASCAL RTE (Recognising Textual Entailment) (Bar-Haim
et al. , 2006) promociona la formación de una comunidad investigadora
en al ámbito de la tarea de vinculación textual. La principal tarea consiste
en determinar si una hipótesis (H) es vinculada por un texto (T).
Uno de los principales objetivos de su conjunto de datos se centra en
proveer ejemplos “realistas” de pares texto-hipótesis, la mayoría de ellos
basados en las salidas proporcionadas por los sistemas actuales de PLN.
En concreto se basan en las características de aplicación de los sistemas
mencionados anteriormente: Búsqueda de Respuestas, Recuperación de
Información, Extracción de Información y Generación Automática de
Resúmenes. Cada porción del conjunto de datos incluye ejemplos típicos
de pares texto-hipótesis obtenidas a partir de los aciertos y los fallos
obtenidos por estas aplicaciones. Los ejemplos representan diferentes
niveles de razonamiento de la vinculación tales como léxico, sintáctico,
morfológico y lógico.
Dicha tarea proporciona un marco de evaluación común a los sistemas
de Textual Entailment. Los sistemas de Textual Entailment participantes
en esta tarea de evaluación deberán decidir dados los pares texto e
hipótesis, si el texto vincula a la hipótesis o no, y estos resultados se
compararán con las anotaciones manuales correspondientes.
La evaluación de las ejecuciones de los sistemas es automática. Los criterios
devueltos por los sistemas son comparados con los criterios de
relevancia asignados manualmente por los anotadores. El porcentaje de
emparejamiento de criterios debe proveer la precisión de la tarea (ej. la
relación de respuestas correctas).
Como una segunda medida de evaluación, la precisión media (average
precision) evalúa la capacidad de los sistemas en determinar las implicaciones
correctas de acuerdo a su coeficiente de confianza, en orden
decreciente desde el par texto-hipótesis que posee un coeficiente mayor
hasta el que posee el menor coeficiente. Se define formalmente esta medida
como:
P recMedia = 1 ni=1 #correctos hasta par i
E(i) R
i
donde n es la cantidad de pares en el corpus, R es la cantidad de pares
positivos, E(i) es 1 si el par es positivo y 0 si no lo es, e i recorre todos
los pares ordenados según el coeficiente de confianza. Estas dos medidas