Representación del conocimiento textual mediante técnicas lógico ...

2.5 La representación formal del texto en los sistemas de PLN 35
obtiene una representación estadística de los documentos siguiendo el
modelo de n-gramas, teniendo un total de 1250391 n-gramas con tamaño
de n variable desde 1 hasta 8. En el proceso de representación,
el índice almacena el número de ocurrencias de cada n-grama en cada
documento.
Como mejora y optimización de la representación formal del texto se
propone utilizar una representación basada en el modelo de análisis
sintáctico y el reconocimiento de la terminología del corpus.
El sistema DIOGENE de Bernardo Magnini et. al (2002) hace un preproceso
que consiste, en un primer paso, en una tokenización y etiquetado
PoS de las palabras y, en un segundo paso, en el reconocimiento
de expresiones multipalabra. Una vez realizado este preproceso, el texto
es representado formalmente siguiendo el modelo de representación
híbrido. Para ello identifica cada palabra o expresión multipalabra con
su sentido asociado en la base de datos léxica WordNet.
2.5.2 La representación formal del texto en los sistemas de
Recuperación de Información
En este apartado se detallan los modelos de representación formal del
texto que utilizan los sistemas de Recuperación de Información desarrollados
en los centros de investigación de Amsterdam, Barcelona (Yahoo)
y Maryland bajo la supervisión de los investigadores Marteen de Rijke,
Ricardo Baeza-Yates y Jimmy Lin respectivamente.
El sistema de Balog et al. (2007) obtiene una representación formal del
documento basada en el modelo de bolsa de palabras (bag-of-words).
De este modo, las estimaciones que hace para determinar si un documento
es candidato a ser relevante para una query es puramente
estadística ya que se basa en la formulación propuesta por Bayes:
P (documento|query) = P (query|documento)P (documento)/P (query).
El sistema de Baeza-Yates et al. (2007) obtiene una representación formal
del texto basada en el modelo de bolsa de palabras. En el proceso
de recuperación maneja conceptos totalmente estadísticos tales como
las frecuencias normalizadas de los términos, la distribución de las frecuencias,
y las correlaciones de las frecuencias entre los términos de los
documentos y de las queries.
El sistema de Jimmy Lin (2006), al igual que los dos sistemas predecesores
en este apartado, obtiene también una representación formal
del texto basada en el modelo de bolsa de palabras. Para ello utiliza
una variante del modelo de pesado TF.IDF. Básicamente se centra en