Consulta la tesi - AREA Science Park

8 Il Text Mining
40
Capitolo I – La gestione della conoscenza
Il processo di Text Mining è un’estensione di quello di Data Mining: esso è costruito da
vari passi. L’Information Retrieval è la prima fase: si localizzano, identificano e
recuperano documenti che possono essere considerati rilevanti per lo scopo prefissato. Di
solito è l’utente che indirizza la ricerca tramite una richiesta specifica (query), ma spesso
occorre comunque un sistema di filtraggio di documenti irrilevanti. Tecniche utilizzate per
questo scopo sono le analisi cluster, l’indicizzazione di documenti (o labelling) e
approcci per lo più statistici (pensiamo al Web Mining e alla classificazione automatica
delle pagine Web indicizzate dai motori di ricerca).
L’Estrazione di Informazione (Information Extraction) localizza successivamente estratti
specifici di dati nel documento testuale e trasforma il testo non strutturato in un database
strutturato. U.Y. Nahm e R.J. Mooney[1] hanno mostrato esperimenti che provano che la
conoscenza scoperta da un database estratto automaticamente è accurata tanto quanto
quella scoperta da un database estratto manualmente, dimostrando in questo modo che
combinare l’IE con la KDD è una buona strategia per il Text Mining. L’informazione
viene così strutturata in template e/o database tramite l’utilizzo di tecniche di parsing,
numerotizzazione, lemmatizzazione e part-of-speech tagging. Spesso questa fase viene
anche chiamata pre-processing del testo ad indicare che il database viene preparato
secondo le richieste del modello.
APPROCCIO QUANTITATIVO O QUALITATIVO. STATISTICO O SIMBOLICO
Sono disponibili una varietà di tecniche per il Text Mining, ciascuna delle quali indirizzata
ad un bisogno diverso. Esse provengono da varie aree di ricerca quali la statistica, la
Knowledge Discovery in Databases, il Machine Learning, il pattern recognition, la
neuronal computing, ecc. I due modi storici di analisi di un testo sono l’analisi semantica e
l’analisi di contenuto.
L'analisi semantica, insieme all'analisi statistica delle parole e dei cluster, si
propone di analizzare la struttura di uno scritto evidenziando le relazioni complesse che
esistono tra le parole, mettendo in risalto la ricchezza del vocabolario, la distribuzione
delle parole in un testo e la presenza di alcune strutture (costrutti sintattici, sinonimi, parole
composte e segmenti ripetuti, ad esempio).