Análisis sintáctico conducido por un diccionario de patrones de ...

Bases del método de obtención y evaluación de estadísticas de opciones de análisis
sintáctico
frecuencias de las combinaciones en frases de textos particulares como en los errores
del analizador sintáctico específico, es decir, en los árboles generados por el
analizador sintáctico y en las estructuras que serían rechazadas ya sea por hablantes
nativos o por otro tipo de procedimiento. En este método, para cada frase, se
determina un peso (o probabilidad) para cada variante de estructura sintáctica. Este
peso se basa en las estadísticas de las combinaciones en el lenguaje y en las
estadísticas de variantes erróneas generadas por el analizador sintáctico específico.
Como ejemplo de este razonamiento presentamos un caso de desambiguación
de POS. Supongamos que las frecuencias de diferentes POS en los textos bajo
investigación son:
+
sus
p tan = 0.4,
tivo
+
p
adjetivo
= 0.4,
+
p
verbo
= 0.2.
Cada variante consiste de solamente una característica: V 1 = {adjetivo}, V 2 =
{verbo}, V 3 = {sustantivo}. Si esta es toda la información que tenemos, entonces dado
el resultado del análisis V = {{adjetivo}, {verbo}} para una palabra dada,
razonaríamos que puesto que
+
p
adjetivo
> p
+ verbo
entonces la variante correcta debería ser adjetivo, ya que su peso es P ({adjetivo}) =
0.4 / (0.4 + 0.2) ≈ 0.66 mientras que el peso P ({verbo}) = 0.2 / (0.4 + 0.2) ≈ 0.33.
En otro resultado tenemos que V = {{sustantivo}, {adjetivo}}, y entonces no puede
hacerse ninguna decisión porque los pesos son iguales: P ({sustantivo}) =
P ({adjetivo}) = 0.5.
Supongamos ahora, como usualmente sucede, que el marcador de POS
empleado reporta a veces erróneamente algunas variantes para las palabras, y que lo
hace con la frecuencia 0.9 para un sustantivo, con la frecuencia 0.1 para un adjetivo, y
que nunca ha reportado un verbo erróneamente 39 . Entonces para el resultado
V = {{adjetivo}, {sustantivo}} podemos decir que la respuesta correcta es adjetivo ya
que ambos tienen la misma probabilidad y el analizador comete un error menor al
marcar un adjetivo.
Entonces con este razonamiento, en nuestro método introducimos dos tipos de
pesos estadísticos: p + y p – . El peso p + significa la probabilidad, es decir, la frecuencia
de ocurrencia de una combinación particular con la palabra rectora específica en el
texto, en una estructura sintáctica correcta. Por ejemplo, en la Figura 28 la
combinación trasladar-desde-hasta ocurre una vez en la estructura correcta.
El peso p – es más interesante que el anterior, y hasta donde hemos investigado
su uso no ha sido descrito en otros trabajos en el área, previamente; por lo que su
39 La diferencia puede resultar de algún análisis de contexto que realiza.
247