2 I dizionari fondamentali e di frequenza della lingua italiana

dizionario di riferimento, inteso come repertorio in cui figurano anche le forme flesse
delle parole. Il correttore spesso non dispone di un dizionario completo, ma solo di una
lista di radici e una serie di regole di scomposizione morfologica che permettono di
controllare la plausibilità della forma (Chiari 2007: 111).
Il problema più complesso è quello dei suggerimenti per la correzione. Per proporre la
parola giusta, il correttore usa, oltre allo spoglio del dizionario di riferimento, algoritmi
che prevedono una serie di combinazioni di lettere alfabetiche legittime e frequenti. Le
analisi statistiche di tipo probabilistico permettono di individuare i candidati migliori a
rappresentare sequenze possibili, probabili e frequenti e di analizzare delle tipologie
d’errore più frequenti. Per la correzione degli errori grammaticali si ricorre al tagging che
permette di disambiguare le categorie grammaticali e individuare ad es. un mancato
accordo. Rimangono tuttavia problemi irrisolti, come la mancanza di una parola dal
dizionario di riferimento, o quando il termine errato effettivamente esiste, perciò non è
riconosciuto.
Un’interessante ricerca per aumentare il grado di copertura dei sistemi di controllo
ortografico è stata condotta da Halácsy et al. (2004). La base dei sistemi primitivi di
controllo ortografico è la lista delle forme corrette, predisposte in ordine di frequenza.
Nell’ungherese, per ottenere un grado di copertura del 50%, bastano 3.000-6.000 forme
(prendendo come base di riferimento il Webcorpus ungherese). Questo metodo però ha i
suoi limiti, giacché la maggior parte delle forme ricorre una sola volta nei testi, si tratta
quindi di hapax, la cui inclusione nelle liste predisposte richiederebbe un enorme lavoro,
d’altra parte non migliorerebbe in misura corrispondente il grado di copertura del
programma. Pertanto l’analisi morfologica è particolarmente importante nel caso di una
lingua come l’ungherese, di cui è impossibile immagazzinare tutte le forme flesse
esistenti. È opportuno che il sistema sia in grado di analizzare le flessioni, quindi nel
programma di controllo ortografico va implementato anche un analizzatore morfologico.
Prima si procede dunque all’immissione delle radici più frequenti, mancanti nella lista,
successivamente si analizzano le nuove radici con l’aiuto di HunStem, un programma di
tagging morfologico. In accordo alla legge di Zipf è stato verificato che dopo aver
introdotto le 100.000 radici più frequenti, la percentuale di forme scoperte era del 5,6%,
nel caso di 1 milione di radici 3,2%, con 10 milioni 1,8% e con 100 milioni 1%. Si
conclude quindi, che l’esattezza dei sistemi di controllo ortografico dipende in primo
luogo dal numero di radici incluse, ma con l’ampliamento dell’inventario, a causa della
legge di Zipf, l’esattezza del programma aumenta in misura decrescente.
Il sistema T9. Un’altra applicazione basata su dati di frequenza è T9, sviluppata dalla
società Tegic, per facilitare l’inserimento delle parole tramite la tastiera del cellulare.
Utilizzando un vocabolario integrato, la tecnologia T9 è in grado di prevedere quale
parola l’utente sta scrivendo e propone di completarla, risparmiando la pressione dei tasti
corrispondenti alle lettere mancanti. In base ai testi da noi di solito inviati, è fatta una
scelta previsionale circa la parola più probabile fra le diverse possibili con la
combinazione digitata. La nuova versione, XT9 è pensato per essere utilizzato con tutti
gli apparecchi elettronici, palmari, computer e riconosce anche testi parlati e scritti a
mano sullo schermo dei palmari. Sulla stessa idea si basa iTAP, sistema per l’immissione
facilitata dei testi nei cellulari, sviluppato da Motorola.
Traduzione automatica dei testi. I progressi del trattamento automatico del linguaggio
(in particolare il tagging e il parsing), negli anni Settanta hanno dato nuovo impulso ai
progetti di traduzione automatica. Al semplice confronto lessicale sono affiancate
componenti d’analisi morfologica, sintattica e disambiguatori semantici. Il primo dei
115