Kompletný zborník vo formáte PDF - Jazykovedný ústav Ľudovíta ...

− Presné techniky predspracovania by mali byť dobre adaptovateľné na
rôznych typoch a formátoch textu (napr. zrozumiteľný text, HTML alebo
XML).
− Schopnosť spracovávať súbory textov v rôznych jazykoch, predovšetkým
v angličtine a v slovenčine. Rôzne jazyky vyžadujú rozdielne prístupy vo
fáze predspracovania a jazykovej analýzy.
− Podpora pre indexáciu a vyhľadávanie v súboroch textových dokumentov
(a experimenty s rôznymi vyhľadávacími technikami).
− Dobre navrhnuté rozhranie pre znalostné štruktúry ako sú ontológie,
kontrolované slovníky, alebo WordNet.
Samotnej implementácii systému Jbowl predchádzala detailná analýza
existujúcich Open source nástrojov s funkcionalitou blízkou formulovaným
požiadavkám. Boli identifikované štyri skupiny nástrojov, a to:
− Nástroje pre indexáciu a vyhľadávacie mechanizmy (Jakarta Lucene).
− Nástroje pre spracovanie textu (GATE, JavaNLP).
− Nástroje pre podporu objavovania znalostí v databázach (Weka, KDD
package, JDM API).
− Nástroje pre prácu s ontológiami (KAON).
Ako sa ukázalo v práci P. Bednár a kol. (2005), každá z týchto skupín pokrýva
iba jednu, nanajvýš dve z deklarovnaých požiadaviek. Pre požadovanú
úroveň podpory dolovania v textoch a sémantického vyhľadávania bolo teda
potrebné vyvinúť knižnicu Jbowl ako modulárny, flexibilný a rozšíriteľný rámec
s ľahko pochopiteľnou vnútornou štruktúrou, poskytujúci mechanizmy pre
predspracovanie, jazykovú analýzu a indexáciu rozsiahlych kolekcií textových
dokumentov, a tiež pre tvorbu, testovanie a vyhodnocovanie modelov dolovania
v textoch algoritmami kontrolovaného aj nekontrolovaného učenia.
Architektúra knižnice Jbowl
Jbowl má rovnakú architektúru ako štandardné rozhranie Java Data Mining
API (JSR 73, špecifikácia 6) 2 . Táto architektúra pozostáva z troch základných
komponentov, ktoré môžu byť implementované buď samostatne, alebo v distribuovanom
prostredí:
− Aplikačné programovacie rozhranie (API) obsahuje množinu používateľsky
viditeľných tried a rozhraní, ktoré dovoľujú prístup k poskytovaným
službám pomocou prostriedkov dolovania v textoch (TME). Pre aplikácie
využívajúce knižnicu Jbowl stačí poznať iba toto API rozhranie, nie je
potrebná detailná znalosť ďalších podporných komponentov.
− Prostriedky dolovania v textoch (Text Mining Engine, TME) poskytujú
infraštruktúru, ktorá ponúka množinu služieb dolovania v textoch pre API
2
http://www.jcp.org/en/jsr/detail?id=73
123