Análisis sintáctico conducido por un diccionario de patrones de ...

Capítulo 1. Retrospectiva histórica de los formalismos gramaticales y algunas
herramientas en lingüística computacional
considerar la variedad de observaciones lingüísticas y comportamiento cognitivo
inherente en la producción de patrones de secuencias de palabras en el lenguaje.
Ejemplos de modelos estadísticos del lenguaje son los de [Markov, 16], predicción
estocástica de secuencias, el de [Shannon, 49], redundancia del inglés, y el de [Zipf,
35], distribución de rangos de frecuencias.
En esta sección presentamos la distribución de rangos de frecuencias, la
predicción estadística de secuencias, y la reestimación.
Distribución de rangos de frecuencias
Entre los modelos predictivos, la ley de Zipf trata de explicar el
comportamiento futuro. De acuerdo a la distribución Zipf [Zipf, 49], una variable
aleatoria tiene una distribución Zipf si la probabilidad de su función masa esta dada
por la siguiente fórmula para algún valor de α>0.
P
C
{ X = k } = , k = 1, 2, ...
k
α + 1
Puesto que la sumatoria de las probabilidades anteriores debe ser igual a 1,
entonces:
⎡ ∞ ⎛ 1 ⎞
C = ⎢ ∑ ⎜ ⎟
⎢k=
1
⎣ ⎝ k ⎠
α + 1
−1
⎤
⎥
⎥⎦
La ley de Zipf dice que para la mayoría de los países, la distribución del
tamaño de las ciudades se ajusta impresionantemente a una ley poderosa: el número
de ciudades con poblaciones mayores que S es proporcional a 1/S. Suponiendo que, al
menos en la última parte, todas las ciudades siguen algún proceso de crecimiento
proporcional (esto parece verificarse empíricamente). Esto lleva su distribución,
automáticamente, a converger a la ley de Zipf.
De acuerdo a la ley de Zipf, el rango de una palabra en una lista de frecuencias
de palabras, ordenada por frecuencias de aparición en forma descendente, está
relacionada inversamente a su frecuencia. Se puede predecir la frecuencia de una
palabra a partir de su rango usando la fórmula:
frecuencia = k ×
rango
−γ
, k y γ
son
constantes
empíricamente
determinadas
La ley de Zipf es una observación empírica de que en muchos dominios, el
rango de un elemento dividido por la frecuencia de ocurrencia de ese elemento es
constante. Por ejemplo, si las poblaciones de ciudades obedecen la ley Zipf,
significaría que si la más populosa tiene una población n, entonces la segunda ciudad
más grande tiene n/2 y la tercera n/3, etc. Zipf observó que esta ley se aplica en
muchas áreas diversas, incluyendo frecuencias de palabras en textos, escritas en
diversos lenguajes. Publicaciones posteriores demostraron que la ley de Zipf es una
110