Kompletný zborník vo formáte PDF - Jazykovedný ústav Ľudovíta ...

ich textov. Na rozdiel od kategorizácie, zhlukovanie je príkladom nekontrolovaného
učenia.
Na zhlukovanie dokumentov poskytuje knižnica Jbowl prístup založený na
samoorganizujúcich sa mapách (self-organizing maps – SOM: Kohonen, 1995).
Toto riešenie je vhodné pre mnohorozmerné údaje, aké sa produkujú pri úlohách
dolovania v textoch. Metóda SOM je nelineárne zobraznenie, ktoré transformuje
mnohorozmernú kolekciu vstupných údajov na dvojrozmernú výstupnú mapu.
Istou nevýhodou metódy SOM je jej statická architektúra, preto bola do knižnice
Jbowl doplnená aj implementácia metódy GHSOM (Growing Hierarchical
SOM) s modifikovaným algoritmom, zamedzujúcim problémom s rastom mapy
a inicializáciou nových vrstiev (Paralič – Bednár, 2003).
Implementácia metódy GHSOM v knižnici Jbowl pozostáva zo zhlukovacieho
algoritmu a z vizualizačnej a vyhodnocovacej metódy. Na rozdiel od
pôvodnej GHSOM metódy, modifikovaná verzia pridáva vo fáze rastu iba jeden
neurón, čo zamedzuje objavovaniu sa neinicializovaných neurónov pri pridávaní
celého riadku či stĺpca matice.
Výstupom vizualizačnej a vyhodnocovacej metódy je skupina HTML stránok
generovaných osobitne pre jednotlivé vrstvy. Pre každý neurón sa extrahuje zoznam
charakteristických termov, zoradených podľa variability ich výskytov v textoch,
spolu s informáciou o počte dokumentov patriacich do daného zhluku.
Kvalita zhlukovacej analýzy, podobne ako aj klasifikačných úloh, vo veľkej
miere závisí od úspešnosti predspracovania a jazykovej analýzy textu. Voľba najvhodnejšieho
algoritmu pre tú-ktorú aplikáciu pritom závisí aj od konkrétnej úlohy,
ktorá sa má v danej aplikácii riešiť. Z tohto hľadiska je veľkou výhodou modulárna
architektúra knižnice, ktorá umožňuje paralelne porovnať rôzne algoritmy,
vyhodnotiť ich úspešnosť a pre finálne riešenie vybrať najefektívnejší prístup.
Aplikácie
Knižnica Jbowl bola od začiatku navrhovaná a budovaná ako podporný
nástroj pre nasadenie v praktických aplikáciách a projektoch. Práve orientácia
na praktickú použiteľnosť bola hnacou silou dopĺňania jednotlivých algortimov,
a zároveň aj testovacou platformou pre úspešnosť a efektívnosť konkrétnej
implementácie. Spomenieme tri projekty z rôznych aplikačných oblastí, v ktorých
knižnica Jbowl zohráva dôležitú úlohu.
V projekte GridMiner 3 bola knižnica Jbowl využitá na objavovanie znalostí
v heterogénnych a distribuovaných priestoroch údajov. Aplikačnou oblasťou
boli texty z oblasti medicíny, písané v angličtine. Metódami knižnice Jbowl sa
uskutočovalo predspracovanie textov (delenie na lexikálne jednotky, značkovanie,
filtrovanie stop-slov a morfologická analýza), indexácia textov, transformácia
do matice term – dokument, nastavenie váh pomocou algoritmu TF-IDF.
3
http://www.gridminer.org
128