Análisis sintáctico conducido por un diccionario de patrones de ...

Métodos estadísticos: una herramienta para búsqueda de regularidades
símbolos observada ocurra como resultado de un modelo dado. En el problema de
estimación se observa una secuencia de símbolos producidos por el modelo HMM. La
tarea es estimar la secuencia más probable de estados que el modelo realiza para
producir esa secuencia de símbolos. Durante el entrenamiento, los parámetros
iniciales del modelo se ajustan para maximizar la probabilidad de una secuencia
observada de símbolos. Esto permitirá que el modelo prediga secuencias futuras de
símbolos.
La solución a la ecuación de la probabilidad de que sea la marca t1 dada la
marca previa t0 dada la probabilidad de que la palabra1 tenga la marca t1 tiene al
menos dos algoritmos conocidos: Viterbi y backward-forward.
Este modelo ha sido muy empleado en reconocimiento de voz, un tutorial
extenso en este tema se encuentra en [Rabiner, 89]. Técnicas estadísticas basadas en
HMM están bien establecidas [Holmes, 88] para esa área. En el área de análisis
sintáctico, [Collins, 99] usó bigrams, es decir, probabilidades de dependencias entre
pares de palabras, como estadísticas para mejorar el análisis sintáctico, emplea el
núcleo-h del constituyente asociado a otro núcleo-h dependiente.
En las llamadas gramáticas de Markov [Charniak, 97] se almacenan las
probabilidades que permiten inventar reglas de improviso. Por ejemplo, al inventar
reglas de NP se debe conocer la probabilidad de que un NP empiece con un
determinante (una probabilidad alta) o con una preposición (una probabilidad baja).
Similarmente, al estar creando una frase nominal y con una entrada de determinante
se debe saber cual es la probabilidad de que el siguiente constituyente sea un adjetivo
(una probabilidad alta) u otro determinante (una probabilidad baja). Sin embrago,
estas estadísticas se obtienen de los llamados bancos de árboles (tree-bank, en inglés),
es decir, corpus analizados y marcados sintácticamente cuya labor manual es intensiva
en extremo. También hay que considerar que tienen errores y son limitados.
INFORMACIÓN MUTUA ENTRE PALABRAS DE UNA SECUENCIA
A continuación se describe la llamada información mutua en el contexto
establecido de la teoría de la información. Considerando h e i como los eventos que
ocurren dentro de secuencias de eventos, en un contexto lingüístico, h podría ser una
palabra de entrada a un canal ruidoso mientras que i es una palabra de salida del
canal. h e i deben ser miembros de la misma secuencia. Por ejemplo, dos palabras que
ocurren en una colocación idiomática.
[Sharman, 89] describe cómo la información mutua, denotada I(h, i) muestra
qué información se provee del evento h por la ocurrencia de i. P(h | i) es la
probabilidad del evento h habiendo ocurrido cuando se sabe que el evento i ha
ocurrido, llamada la probabilidad a posteriori; y P(h) es la probabilidad del evento h
habiendo ocurrido cuando no se sabe si i ha ocurrido, llamada la probabilidad a
priori. La relación entre la probabilidad a posteriori de h y la probabilidad a priori de
113