Kompletný zborník vo formáte PDF - Jazykovedný ústav Ľudovíta ...

klientov. TME časť môže byť implementovaná ako lokálna knižnica, alebo
ako server v architektúre klient – server.
− Sklady dolovaných objektov (Mining Objects Repository, MOR) – TME
využíva sklady dolovaných objektov, ktoré slúžia na umiestnenie modelov
dolovania v textoch (pre algoritmy kontrolovaného aj nekontrolovaného
učenia).
TME riadi realizáciu všeobecných úloh dolovania v textoch, ktorými sú
napríklad jazyková analýza textu dokumentu, budovanie a testovanie modelu,
aplikovanie modelu na nové údaje, výpočet štatistík, import a export existujúcich
objektov dolovania z a do MOR.
Z funkčného hľadiska pozostáva knižnica Jbowl z modulov, ktoré možno
rozdeliť do piatich úrovní (obrázok 1):
1. Dokumenty. Na tejto úrovni sú implementované mechanizmy pre reprezentáciu
textových dokumentov v XML formáte (delenie na kapitoly,
odseky, meta-údaje), fulltextový index (klasické vyhľadávanie v plnom
texte) a tezaurus pre popis obsahu dokumentu pomocou kľúčových
slov.
2. Analýza. Do tejto úrovne patria všetky operácie predspracovania a jazykovej
analýzy textu: načítanie a konverzia na jednotný formát, značkovanie,
identifikácia slovných druhov (POS tagging), morfologická analýza (stemming),
lematizácia, identifikácia ustálených slovných spojení, syntaktická
analýza.
3. Údaje. V tejto úrovni sa nachádzajú funkcie na manipuláciu s vektorovým
modelom, čiže údajovou reprezentáciou textov po predspracovaní
a jazykovej analýze. Patria sem mechanizmy výberu vhodných termov
(kľúčových slov, fráz, konceptuálnych popisov), rôzne spôsoby váženia
termov (binárne, na základe frekvencie výskytu, alebo TF-IDF váženie),
a napokon štatistické operácie na vyhodnocovanie matice term – dokument.
4. Modely. Táto úroveň obsahuje implementáciu viacerých algoritmov
pre dolovanie v textoch (kategorizácia textov využívajúca kontrolované
učenie, zhlukovanie textov na základe nekontrolovaného učenia), pre
extrakciu kľúčových slov (a následnú automatickú tvorbu sumárov a abstraktov)
a pre extrakciu informácií z textov.
5. Utility. Napokon, na tejto úrovni sa nachádzajú podporné a obslužné
programy pre efektívnu prácu s maticovou a vektorovou reprezentáciou
dokumentov.
V nasledujúcich troch častiach stručne popíšeme činnosť funkcií knižnice
Jbowl pri predspracovaní a jazykovej analýze textov na získanie vektorovej
reprezentácie dokumentu a následné využitie tejto reprezentácie v algoritmoch
klasifikácie a zhlukovania.
124