Análisis sintáctico conducido por un diccionario de patrones de ...

Capítulo 4. Colección de estadísticas de las combinaciones de subcategorización como
método práctico
repite el proceso (ver Figura 34).
El proceso comienza con un diccionario de combinaciones vacío. En la
primera iteración, para cada frase, todas las variantes producidas por el analizador
sintáctico tienen los mismos pesos. Enseguida, se determinan las frecuencias p i
+ y
p i
−
para cada combinación encontrada al menos una vez en cualquiera de las
variantes producidas por el analizador sintáctico para todas las frases del corpus.
Puesto que en esta etapa se desconoce cuáles variantes son las correctas, para
determinar el número de ocurrencias de la combinación en las variantes correctas
sumamos los pesos w j de cada variante j donde se encontró la combinación, a p
+
i .
Similarmente, para determinar p
−
i le sumamos el valor ( 1− w j ) que representa la
probabilidad de que la variante dada sea incorrecta. Entonces, podemos considerar
todo el proceso de cálculo de los pesos como el proceso iterativo de solución de un
solo sistema de ecuaciones, considerando la fórmula (9):
p
p
w
∑
+
i
−
i
j
=
=
∑
∑
= C
w
k
= 1
w j
,
S
(1 − w
×
V
∏
−
j
S
( p
( p
) + λ
+
i
−
i
,
+ λ )( q
+ λ )( q
−
i
+
i
+ λ )
+ λ )
donde S es el número total de oraciones, V es el número total de variantes en
el corpus. En las primeras dos líneas, la suma sólo se realiza para las variantes donde
la combinación i aparece. El significado de λ, como ya lo presentamos en la sección
anterior, está relacionado con las palabras ausentes en el corpus.
En la tercera línea, la multiplicación se hace para todas las combinaciones que
aparecen en la variante j, para obtener su peso. En la cuarta línea la suma se hace para
todas las variantes de la estructura de la frase específica bajo análisis, para
normalizar. Los divisores en las dos primeras líneas y la constante C de la tercera
línea solamente se introducen para normalización: S es el número total de variantes
V − S son las incorrectas. Así que los coeficientes los
correctas supuestas y ( )
proporcionan el analizador sintáctico y el corpus de textos.
combinaciones con el mejor peso hasta las variantes o combinaciones con los peores pesos.
268