Representación del conocimiento textual mediante técnicas lógico ...

5.1 Análisis y determinación de las tareas de evaluación 111
de PLN con el propósito de brindar al sistema la representación formal
del texto que debe procesar. Por ello, la utilidad o validez que la incorporación
del recurso ejerce en el sistema de PLN puede ser evaluada de
manera global en el marco de la tarea o tareas estándares de evaluación
del sistema de PLN.
Una vez tenidas en cuenta todas estas consideraciones, el siguiente paso
consiste en analizar y determinar las diferentes tareas de evaluación que
tengan en cuenta estos matices.
5.1 Análisis y determinación de las tareas de
evaluación
Existen diferentes campañas internacionales de evaluación donde los sistemas
más comunes del PLN pueden ser evaluados, tales como TREC,
CLEF, SENSEVAL, PASCAL RTE, etc. Básicamente, el objetivo fundamental
de todas estas campañas se centra en definir tareas estándares
de evaluación aplicadas a los diferentes sistemas de PLN que permitan
cuantificar la validez de estos sistemas y establecer una comparación
referente al funcionamiento entre los diferentes sistemas participantes a
la vez que promueven las líneas de investigación sobre dichos recursos
y herramientas.
Por otra parte, al inicio del capítulo se justifica que los propósitos fundamentales
de la evaluación del recurso desarrollado en la investigación
deben considerar los cuatro matices detallados.
Con este objeto, en el proceso de análisis y determinación de las tareas
de evaluación, en un primer lugar, se tienen en cuenta las campañas
internacionales de evaluación existentes cuyas tareas consideren alguno
de los matices planteados. En segundo lugar, para el resto de matices
, es necesario el diseño de tareas de evaluación ad-hoc. Finalmente, se
evalúa la validez del recurso desarrollado en la investigación en el marco
de cada una de estas tareas.
Según se ha detallado en el capítulo dos, existe un amplio espectro de
diferentes sistemas de PLN donde el recurso puede ser incorporado con
la finalidad de evaluar la validez que la incorporación del recurso aporta
a cada uno de los diferentes sistemas. El llevar a cabo este proceso de
evaluación con todo el abanico de sistemas de PLN haría interminable
el mismo. Con objeto de evitar esto, se ha escogido una muestra más
reducida del espectro de sistemas de PLN que abarque las necesidades
de representación formal del texto que tienen en su conjunto el amplio
espectro de sistemas de PLN. Concretamente, los sistemas de PLN en