Representación del conocimiento textual mediante técnicas lógico ...

138 5. Evaluación del recurso lógico-conceptual para la representación formal del texto
5.5 Participación en la tarea Multilingual Question
Answering del CLEF 2008
5.5.1 Introducción
La tarea de evaluación Multilingual Question Answering (Forner et al.
, 2008) propone dos subtareas para evaluar la validez de los sistemas de
Búsqueda de Respuestas:
La subtarea monolingüe en la que el idioma de las preguntas (source
language) y el idioma de la colección de documentos (target language)
es el mismo.
La subtarea de idiomas cruzados en la que las preguntas se formulan
en un idioma diferente al de la colección de documentos.
En esta tarea, los sistemas deben dar respuesta a 200 preguntas relacionadas
por tópico del modo más exacto posible. Cada respuesta debe ser
extraída de alguna porción de texto contenida en algún documento de
la colección. Estas porciones de texto pueden ser extraídas de diferentes
secciones de los documentos relevantes y pueden ser resumidas hasta un
máximo de 700 bytes. No existen restricciones particulares en la longitud
de las respuestas aportadas por los sistemas, pero se penalizan las
piezas innecesarias de información en ellas.
Las preguntas se relacionan por tópico del siguiente modo:
El tópico es nombrado bien en la primera pregunta o bien en la respuesta
a esta primera pregunta.
Las siguientes preguntas pueden tener correferencias al tópico expresado
en el primer par pregunta-respuesta.
Por ejemplo, si el tópico es “George W. Bush”, el conjunto de preguntas
relacionadas podrías ser:
(54) Q1: Who is George W. Bush?
Q2: When was he born?
Q3: Who is his wife?
La colección de documentos de la subtarea de idiomas cruzados inglésespañol
comprende las noticias de los años 1994 y 1995 publicadas por