Tesis Doctoral Sistemas de clasificación de preguntas basados - gplsi

2.2. El procesamiento del lenguaje natural
A nivel estructural, se requiere información semántica para desambiguar
la dependencia de los sintagmas preposicionales que conducen a
la construcción de distintos árboles sintácticos. Un ejemplo clásico de
este tipo de ambigüedad es “Vi a María por la ventana con el catalejo”,
que admite una doble interpretación: “La vi mediante un catalejo” o
“Vi que llevaba un catalejo”.
A nivel pragmático, las oraciones no siempre significan lo que textualmente
se está diciendo. En determinadas circunstancias el sentido de
las palabras que forman la oración tiene que interpretarse a un nivel
superior, recurriendo al contexto es que se formula la frase. Elementos
como la ironía juegan un papel relevante en la interpretación del
mensaje. Una expresión tan habitual como “Se moría de risa” no debe
interpretarse en sentido literal, sino figurado.
Algunas herramientas de PLN se aplican de forma específica a la
resolución de los dos problemas citados. Técnicas como la detección de
paráfrasis o la implicación textual afrontan el problema de la variación de
la lengua, mientras que los sistemas de desambiguación del sentido de las
palabras tratan de resolver el problema de la ambigüedad semántica.
2.2.4. Aproximaciones al tratamiento del lenguaje natural
Las dificultades comentadas en el punto anterior hacen del PLN una
disciplina viva y con numerosos retos que afrontar. Existen dos filosofías que
pugnan (o cooperan) por resolver los problemas derivados del tratamiento
del lenguaje humano. Por una parte está la aproximación estadística al
problema, y por otra el enfoque lingüístico. Ambas propuestas difieren considerablemente,
aunque en la práctica se suelen utilizar técnicas provenientes
de ambos enfoques:
Enfoque estadístico. En este enfoque el texto se contempla como un
conjunto de palabras, sin tener en consideración el orden, la estructura,
o el significado de las mismas. Desde esta concepción del lenguaje
natural, las frecuencias de aparición de las palabras y sus distribuciones
son suficiente fuente de información para los sistemas. Es el enfoque
conocido como bolsa de palabras o bag-of-words (BOW) (Manning y
Schütze, 1999). La simplicidad y eficacia de estos modelos los han
dotado de gran popularidad en numerosas tareas de PLN, como la RI
o la traducción automática.
Este tipo de técnicas suelen aplicarse sobre textos preprocesados, es
decir, textos “limpios” en los que se han eliminado etiquetas (stripping),
normalizado las palabras (mediante conversión a minúsculas,
manejo de fechas, números y abreviaturas, eliminación de palabras
19