Optimización de un Sistema de Recuperación de Información ...

Optimización Optimización de de un un un Sistema Sistema de de Recuperación Recuperación de de Información Información basado basado en en Pasajes Pasajes aplicado aplicado a
a
la la tarea tarea de de Búsqueda Búsqueda de de Respuestas. Respuestas. Elisa Elisa Noguera Noguera Robles. Robles.
Robles.
Los sistemas de Búsqueda de Respuestas (BR) utilizan técnicas muy costosas
computacionalmente para extraer la respuesta, y dado que es inviable aplicarlas a
grandes colecciones de documentos, sólo suelen aplicarse a los documentos relevantes.
Estos documentos son extraídos por un módulo previo a la extracción de la respuesta,
usualmente sistemas de Recuperación de Información (RI).
La finalidad de este trabajo de investigación es la optimización del módulo de RI en la
tarea de BR, principalmente mediante la incorporación de técnicas de Procesamiento de
Lenguaje Natural (PLN).
Hemos seleccionado un sistema de Recuperación de Información basado en Pasajes (IR-n)
como módulo previo en nuestro sistema de BR. IR-n ha sido entrenado y evaluado con las
colecciones y preguntas de las últimas ediciones del QA@CLEF (2003, 2004, 2005) para
español utilizando como medida de evaluación “Mean Reciprocal Rank” (MRR). Mediante
esta evaluación, además de obtener la configuración óptima de los parámetros de entrada
al sistema, también han sido obtenidos los mejores resultados para utilizarlos como
“baseline” del sistema. Éstos han sido 0.51, 0.395 y 0.385 (MRR) para las colecciones
2003, 2004, 2005 respectivamente.
Además de la evaluación del sistema, como fase preliminar se ha realizado un estudio
sobre la incorporación de entidades en el módulo de RI. Esta mejora en el sistema
supuso el incremento del MRR en un 9% y la reducción de la cantidad de datos de entrada
en un 26%. (TSD'05, NLDB'05).
Para mejorar la precisión del sistema de BR se está incorporando información
lingüística en el módulo de RI (con el analizador sintáctico SUPAR), concretamente de
dos tipos:
-Información léxica: incorporación de la categoria de cada palabra (indicando si es
verbo, adjetivo, nombre, adverbio,..), género y número, si es entidad y de que tipo.
-Información sintáctica: extracción de los sintagmas nominales, verbales y
preposicionales.
La incorporación de este tipo de información es muy costosa computacionalmente para el
sistema, el tamaño de la información a procesar se ha multiplicado por quince y se han
complicado los problemas de selección y procesamiento de la información lingüística así
como el control tiempo de ejecución.
Gracias a la utilización de esta información lingüística se están realizando una serie
de técnicas para mejorar la precisión del sistema:
-Incorporación de análisis de la pregunta mediante la selección de palabras clave.
Creación de un algoritmo que seleccione de la pregunta ciertas palabras que cumplan una
serie de restricciones lingüísticas.
-Selección de pasajes que contengan el tipo de la respuesta.
-Selección de pasajes que cumplan ciertas restricciones lingüísticas, como ejemplo, que
la respuesta tenga la misma categoría gramatical que el tipo que se espera.
Además se están realizando otras tareas:
-Reducción de la cantidad de datos y la mejora en la precisión de los resultados

mediante la selección variable de número de pasajes y número de frases en los pasajes.
-Estudio, evaluación de distintos sistemas actuales RI (Lucene, Lemur, Indri, Terrier,
Zettair, JIRS) como preproceso para BR para la comparación con nuestro sistema.
Este sistema de RI será evaluado como módulo del sistema de BR realizado por la
Universidad de Alicante en la próxima edición del CLEF-2006.