Representación del conocimiento textual mediante técnicas lógico ...

5.5 Participación en la tarea Multilingual Question Answering del CLEF 2008 139
la agencia española de noticias EFE.
Las preguntas pueden ser de tres tipos:
Factuales. Estas preguntas se basan en hechos y pueden referirse a una
persona, un lugar, etc. Estas preguntas sólo pueden tener ocho tipos
de respuesta: persona, tiempo, lugar, organización, medida, cómputo,
objeto y otro.
Definición. Éstas son del tipo “Qué/Quién es X?” y se dividen en
cuatro subtipos: persona, organización, objeto y otro.
Lista cerrada. La respuesta a este tipo de preguntas es una lista de
elementos.
Los criterios de evaluación consideran la respuestas devueltas por los
sistemas en uno de los siguientes cuatro tipos:
R (correcta) si la respuesta es correcta.
W (incorrecta) si la respuesta es incorrecta.
X (inexacta) si la respuesta contiene menos o más información de la
requerida como correcta.
U (no soportada) si el documento contenedor de la respuesta es
erróneo o no se corresponde con ninguno de los de la colección. También
se consideran en este tipo aquellas respuestas cuya porción de
texto no contiene la respuesta exacta.
La principal medida de evaluación es la precisión aunque también, debido
a que los sistemas pueden devolver más de una respuesta por pregunta,
se consideran en la evaluación las dos siguientes medidas:
la medida de confianza ponderada Confident Weighted Score (CWS).
Las respuestas están en un orden decreciente de confianza y CWS
premia a los sistemas dan las respuestas correctas en los primeros lugares
del ranking.
el rango de media recíproca Mean Reciprocal Rank (MRR) sobre N
respuestas calculadas por pregunta (para considerar las tres respuestas).
Esta medida mide el número de respuestas correctas en las primeras
N posiciones. Por ejemplo, si la respuesta correcta está en la
tercera posición y N vale 3, su valor es de 1/3.