Representación del conocimiento textual mediante técnicas lógico ...

114 5. Evaluación del recurso lógico-conceptual para la representación formal del texto
ASRTEXT2003A. Contiene la secuencia de palabras producida por
un transcriptor de habla con una elevada tasa de error.
ASRTEXT2004A. Contiene la secuencia de palabras producida por
un transcriptor de habla con una tasa de error inferior a la anterior.
AUTOKEYWORD2004A1. Contiene un conjunto de palabras clave
extraídas del tesauro de modo automático a partir de un clasificador
basado en el vecino más cercano sobre las palabras de la transcripción
ASRTEXT2004A.
AUTOKEYWORD2004A2. Contiene un conjunto de palabras clave
extraídas del tesauro de modo automático a partir de un clasificador
basado en el segundo vecino más cercano sobre las palabras de la
transcripción ASRTEXT2004A.
La tarea Cross-Language Speech Retrieval presenta diferentes medidas
de evaluación que revelan la validez de los sistemas participantes en
dicha tarea. Concretamente, estas medidas de evaluación son: la media
de precisión no interpolada (MAP), la r-precisión (Rprec), la medida
basada en la preferencia binaria (Bpref) y la precisión a los N documentos
recuperados (pN). A continuación se define cada una de ellas:
La media de precisión no interpolada (MAP) actúa sobre la lista de
mil documentos que los sistemas consideran relevantes para cada tópico.
Esta medida, sobre la lista de documentos devuelta por los sistemas,
destaca aquellos que son relevantes y penaliza aquellos que no lo
son. Por ello, la medida recompensa los sistemas que recuperan los documentos
relevantes en los primeros lugares. La MAP es la media de
la precisión obtenida después que cada documento relevante es recuperado,
siendo la precisión la relación entre el número de documentos
relevantes recuperados y el número de documentos recuperados. Para
calcularla se considera:
• Cuando no se ha recuperado todavía ningún documento relevante,
la precisión es 0.
• Cada vez que se obtiene un documento relevante se calcula la precisión.
• La MAP se calcula como media aritmética de las precisiones anteriores.
La r-precisión (Rprec) calcula la precisión considerando que existen
un total de r documentos relevantes para cada tópico y, en consecuen-