Representación del conocimiento textual mediante técnicas lógico ...

5.2 Evaluación en la tarea Cross-Language Speech Retrieval del CLEF 2005 115
cia, se define como la precisión después de r documentos recuperados.
La medida basada en la preferencia binaria (Bpref) utiliza la información
de los criterios de relevancia para definir la frecuencia en la
que los documentos relevantes son recuperados con anterioridad a los
documentos no relevantes.
La precisión a los N documentos recuperados (pN) se define como la
relación entre el número de documentos relevantes recuperados sobre
los N primeros documentos recuperados.
Estas medidas de evaluación son indicadores de la eficacia de los sistemas.
En las siguientes subsecciones se introduce la medida que cuantifica
la validez de los sistemas desde el punto de vista de la eficiencia.
5.2.2 Motivación y aportaciones esperadas
Básicamente, la resolución de este problema se efectúa aplicando un
sistema de Recuperación de Información sobre las transcripciones de
las entrevistas donde las palabras clave en el proceso de Recuperación
de Información son identificadas a partir del conjunto de palabras que
componen cada uno de los tópicos.
En este tipo de problemas, donde a partir de una oración o conjunto de
oraciones, en este caso el tópico, es necesaria la estimación de qué palabras
(términos) son los más relevantes o que mejor describen al tópico,
el desarrollo de heurísticas que permitan pesar los términos en función
de su importancia estructural y conceptual tiene especial interés,
indicándole este hecho de algún modo al sistema de Recuperación de
Información para que sea tenido en cuenta en el propio proceso de Recuperación
de Información. En este trabajo, se pretende demostrar que
el uso de la forma lógico-conceptual favorece la construcción de dichas
heurísticas, mejorando con ello la eficacia del proceso de Recuperación
de Información.
Cabe adelantar que el desarrollo de esta heurística puede ser efectuado
a partir de otras representaciones formales del texto, no necesariamente
la forma lógica. Por ello se pretende demostrar también que el desarrollo
de esta heurística bajo el formalismo de la forma lógico-conceptual optimiza
su eficiencia frente a otros tipos de representación formal. Luego,
se está evaluando el matiz de precisión definido al inicio del capítulo.
En la siguiente subsección se analiza la estructura del tópico, se introduce
el sistema de Recuperación de Información utilizado en el proceso
y se detalla la heurística y su aplicación al sistema de Recuperación de
Información.