2 I dizionari fondamentali e di frequenza della lingua italiana

complessa, un largo dizionario di 17.000 entrate: un sottoinsieme del Dizionario
Macchina Italiano (DMI), selezionato sulla base del LIF.
Il parsing serve a numerosi scopi, una delle sue applicazioni più interessanti è
l’annotazione automatica di grandi corpora. Il progetto più conosciuto di corpus
sottoposto a parsing sintattico è il Penn Treebank dell’Univeristà di Pennsilvania,
divenuto un punto di riferimento per la valutazione dell’efficienza degli strumenti di
parsing.
Mentre il parsing sintattico di tipo tradizionale opera con regole definite (rule-based
parsing), esistono tuttavia forme di parsing probabilistico, in cui alle regole grammaticali
sono aggiunte informazioni relative alla probabilità d’occorrenza misurata sulla base di
un corpus di riferimento annotato. Questo tipo di parsing usa algoritmi statistici per
determinare quali etichette e gerarchie sono più probabili in dati contesti (cfr. Chiari
2007: 104).
Il tagging grammaticale. Il POS (part of speech) tagging, ossia l’etichettatura per
categorie grammaticali, è, rispetto al parsing, un’operazione notevolmente più semplice.
Il tagger non individua le categorie sintattiche, ma semplicemente la parte del discorso
che una parola ricopre in una data frase (cfr. Chiari 2007: 106). Anche il tagger si serve
di un dizionario che ha lo scopo di specificare quali categorie grammaticali possono
corrispondere a ciascuna forma grafica. La disambiguazione delle forme omografiche
può essere di due tipi: esistono tagger basati su regole e tagger di tipo probabilistico. I
primi accedono ad una grammatica in cui sono formalizzate le regole di formazione dei
diversi possibili sintagmi di una lingua, mentre i secondi si basano su statistiche di
frequenza delle parti del discorso e delle loro sequenze. 24 Per fornire i dati sulle
frequenze, si usano dei corpora testuali annotati in modo manuale, chiamati training
corpora, giacché servono ad “allenare” il tagger a produrre delle predizioni corrette.
Allenare vuol dire: considerare una percentuale significativa di testi del tipo che si sta
analizzando, cui si attribuisce manualmente la marca grammaticale al fine di insegnare al
programma quale marca è più probabile in determinati contesti. Chiari (2007: 108) rileva
che i tagger probabilistici usati per l’analisi di corpora inglesi, raggiungono un grado di
copertura corretta di etichette pari al 97-99% delle occorrenze. 25
Tagger e parser probabilistici sono stati sviluppati per l’annotazione del corpus LIP. De
Mauro et al. (1993: 64-76) hanno sviluppato un programma di analisi morfo-sintattica,
basato su criteri statistici, in cui l’assegnazione delle categorie grammaticali si basa sulle
frequenze con cui determinate sequenze di classi grammaticali sono state osservate in un
particolare corpus campione.
Uno dei software più potenti di analisi morfo-sintattica dei testi è INTEX, ideato in
Francia nel 1993 da Max Silberztein, il cui modulo italiano è stato costruito nel 2004
dall’Università di Salerno. INTEX è un analizzatore automatico di testi che consente di
effettuare operazioni di tagging e parsing, information retrieval, di costruire
grammatiche, dizionari elettronici, concordanze, ecc. 26
24 Il processo di disambiguazione morfologica, adottato nell’analisi del Webcorpus ungherese, è presentato
in Kornai et al. (2006). L’analisi morfologica si basa sui dati statistici del paradigma di flessione nominale.
In base alla probabilità d’occorrenza delle singole desinenze, il modello è in grado di predire quanto grande
deve essere il corpus in cui una determinata forma occorre almeno una volta.
25 Il British National Corpus, costituito da 100 milioni d’occorrenze è stato etichettato tramite il tagger
probabilistico CLAWS (Constituent Likelihood Automatic Word-tagging System); per individuare il campo
semantico delle occorrenze è stato costruito un sistema di tagging semantico chiamato ACASD (Automatic
Content Analysis of Spoken Discourse).
26 Il modulo ungherese è stato elaborato dall’Istituto di Linguistica dell’Accademia Ungherese delle
Scienze, ed è disponibile dal 2004 sul sito (http://corpus.nytud.hu/INTEX/). Un altro programma d’analisi
morfologica, sviluppata su basi euristiche dalla società Morphologic appositamente per la lingua
113