Kompletný zborník vo formáte PDF - Jazykovedný ústav Ľudovíta ...

Pre klasifikačné a zhlukovacie algoritmy dolovania v textoch však tento
XML formát ešte nie je vhodný. Potrebné je získať vektorovú reprezentáciu,
v ktorej je dokument reprezentovaný ako vektor v n-rozmernom príznakovom
priestore (n je počet príznakov, termov). Príznakmi môžu byť napríklad slová,
korene slov, frázy, n‐gramy, významy slov (napr. WordNet synsety), a podobne.
Voľba príznakov závisí od konkrétnej aplikácie, vo všeobecnosti však platí, že
najefektívnejším spôsobom vyhľadania a identifikácie príznakov v texte sú
metódy jazykovej analýzy a počítačového spracovania jazyka.
Proces jazykovej analýzy pozostáva z niekoľkých krokov, ktorými sú značkovanie
(tokenizácia, delenie textu na textové jednotky – slová, interpunkciu,
numerické znaky, a pod.), eliminácia tzv. stop-slov (stop-words, t.j. slov, pri
ktorých sa predpokladá zanedbateľne malý príspevok k celkovému obsahu),
morfologická analýza (stemming – určenie koreňa slov, POS tagging – identifikácia
slovných druhov), lematizácia (úprava slov na ich základný tvar – lemmu),
dezambiguácia (zjednoznačnenie, odstránenie alternatív), syntaktická
analýza (zhlukovanie fráz, určenie syntaktických kategórií), váženie (číselné
ohodnotenie termov, t.j. slov a fráz, podľa ich relatívnej dôležitosti, príspevku
k celkovému obsahu dokumentu).
Konkrétne mechanizmy jazykovej analýzy sú do veľkej miery jazykovo
a aplikačne závislé. Knižnica Jbowl ponúka sériu tzv. značkovacích filtrov
(Machová, 2006), ktoré slúžia na zmenu textu niektorej značky (na malé písmená,
stemming), pridanie informácie k značke (POS tagging, dezambiguácia),
odstránenie niektorých značiek (stop-words), spájanie značiek (zhlukovanie
fráz) a váženie termov vo výslednom indexe. Pomocou definovaného API rozhrania
je možné pomerne jednoducho pripojiť k Jbowl aj ďalšie mechanizmy
jazykovej analýzy.
M. Tymeš (2006) implementoval do knižnice Jbowl ďalšie moduly jazykovej
analýzy pre spracovanie textov v slovenčine. Upravil mechanizmy značkovania,
lematizácie a následnej morfologickej anotácie podľa spôsobov použitých
pri morfologickej anotácii Slovenského národného korpusu (Garabík a kol.,
2004). Navrhol a implementoval aj modul syntakticko-sémantickej analýzy,
založený na ATN sieťach a na viazaní gramatických kategórií medzi značkami.
Na základe údajov z reálnych textov bol vytvorený slovník ATN sietí pre slovenčinu
a výsledná aplikácia bola úspešne testovaná v systéme na extrakciu
informácií.
Jazyková analýza vo všeobecnosti identifikuje v textoch tie jazykové a sémantické
javy, ktoré sú podstatné pre konštruovanie obsahu textu. Formálnym
vyjadrením obsahu textu pre ďalšie spracovanie algoritmami dolovania v texte
(kategorizáciou a zhlukovaním) je jeho vektorový model. Kvalita jazykovej
analýzy je teda určujúca pre úspešnú aplikáciu klasifikačných a zhlukovacích
algoritmov. Na druhej strane, kvalitu jednotlivých krokov v procese jazykovej
analýzy možno zvýšiť jednak modifikáciou existujúcich modulov a algoritmov,
a jednak rozšírením použitých slovníkov, napríklad pre morfologickú analýzu
126