Proceedings - Natural Language Server - IJS

More documents

Recommendations

Info

sloWCrowd: orodje za popravljanje wordneta z izkoriščanjem moči množic Aleš Tavčar,* Darja Fišer, † Tomaž Erjavec‡ * Odsek za inteligentne sisteme, Institut Jožef Stefan Jamova cesta 39, 1000 Ljubljana ales.tavcar@ijs.si † Oddelek za prevajalstvo, Filozofska fakulteta, Univerza v Ljubljani Aškerčeva 2, 1000 Ljubljana darja.fiser@ff.uni-lj.si ‡ Odsek za tehnologije znanja, Institut Jožef Stefan Jamova cesta 39, 1000 Ljubljana tomaz.erjavec@ijs.si Povzetek V prispevku predstavimo orodje sloWCrowd, ki smo ga razvili za lažje odpravljanje napak v avtomatsko generiranih semantičnih leksikonih tipa wordnet in je zasnovano tako, da nam odgovore za problematične literale omogoča zbirati iz široke množice uporabnikov. Orodje je prosto dostopno in temelji na razširjenih tehnologijah, kot sta PHP in MySQL. Sestavljata ga administratorski in uporabniški vmesnik. V administratorskem vmesniku izdelamo projekt, sledimo poteku projekta in izvažamo rezultate, v uporabniškem vmesniku pa reševalci glasujejo o (ne)pravilnosti naključno izbranih literalov. Rezultati prvega eksperimenta, ki smo ga izvedli z orodjem sloWCrowd, so spodbudni, saj so bili uporabniki orodja z njim zadovoljni, odločitev o dokončnem izbrisu nekega literala na podlagi ujemanja njihovih odgovorov pa enostavna, hitra in zanesljiva. Dodatna prednost razvitega orodja je, da ga je mogoče prilagoditi za najrazličnejše naloge, pri katerih je koristno sodelovanje večjega števila reševalcev. sloWCrowd: a Crowdsourcing Tool for Cleaning Wordnets The paper presents a tool called sloWCrowd, developed to facilitate error correction in automatically generated wordnets by crowdsourcing. The developed tool is open-source and based on popular technologies, such as PHP and MySQL. It consists of an administrator and a user interface. The administrator interface enables the creation of crowdsourcing projects, management of ongoing projects and export of the results, while the user interface allows users to vote on the (in)correctness of the randomly displayed literals. The results of the first experiment that was performed to test the sloWCrowd tool are encouraging because the users were satisfied with the tool and the final decision on the deletion of a problematic literal based on the users' inter-annotator agreement was simple, fast and reliable. Another advantage of the tool is that it can be adapted to a broad range of other crowdsourcing tasks. 1. Uvod Z razmahom avtomatskih pristopov za izdelavo jezikovnih virov, ki glede na zahtevnost problema dajejo rezultate različne kakovosti, so se v jezikovnotehnološki skupnosti povečale tudi potrebe po validaciji oz. čiščenju avtomatsko generiranih vsebin. Ker je tovrstno delo zamudno in drago, so raziskovalci kmalu začeli razmišljati o možnostih, ki bi postopek pospešile in pocenile, pri čemer se kvaliteta zbranih oznak ne bi bistveno znižala. Številni poskusi so pokazali, da je nalogo mogoče razdeliti na obvladljive in razumljive dele ter jo ponuditi v reševanje široki množici uporabnikov svetovnega spleta, ki niso nujno strokovnjaki z obravnavanega področja. Kvaliteto je mogoče zagotoviti s preverjanjem zanesljivosti uporabnikov skozi ponavljanje vprašanj različnim uporabnikom in filtriranjem njihovih odgovorov (Adda idr. 2011). Ena najbolj razširjenih platform za uporabo moči množic (ang. crowdsourcing) za pridobivanje večje količine ročno potrjenih podatkov je Mechanical Turk 1 ameriškega podjetja Amazon, ki raziskovalcem ponuja administrativno podporo pri izvajanju eksperimentov, po želji pa tudi rekrutacijo reševalcev. S tovrstnimi platformami so zelo zadovoljni predvsem raziskovalci, ki zbirajo večje količine nejezikovnih podatkov (npr. označevanje slik), ter raziskovalci, ki se ukvarjajo z 1 https://www.mturk.com/mturk/welcome 197 angleščino, saj imajo ti na spletu na voljo največ kompetentnih reševalcev. Z ustrezno zasnovanimi in izvedenimi nalogami pa so rezultati zelo uporabni tudi za zbiranje anotacij za zahtevnejše jezikoslovne in semantične probleme, kot so določanje afekta, presojanje semantične podobnosti besed, prepoznavanje besedilne vsebovanosti, časovno razvrščanje dogodkov, razdvoumljanje ipd. (Snow idr. 2008). Za motivacijo povprečnih uporabnikov svetovnega spleta, da se pridružijo eksperimentu in prispevajo čim več odgovorov, so raziskovalci z različnih področij razvili t.i. igre z razlogom (ang. games with a purpose), ki od uporabnika na zabaven, a strukturiran način pridobivajo željene podatke. Ena prvih takšnih iger je bila ESP Game 2 , v kateri sta uporabnika, ki se med seboj nista poznala, morala opisovati slike in zbirala točke vsakič, ko sta pri tem uporabila iste besede (von Ahn 2006). Med projekti, s katerimi so zbirali oznake za jezikovne podatke, pa je najbolj znana igra Word Detectives 3 , s pomočjo katere označujejo anafore v besedilih (Chamberlain idr. 2008). Povod za ta prispevek je bila potreba po odpravljanju napak iz ročno zgrajenega semantičnega leksikona za slovenščino sloWNet (Fišer 2009). Leksikon je zasnovan na sorodnem angleškem viru Princeton WordNet (Fellbaum 1998) in je bil grajen v več korakih s pomočjo 2 Igro je pred nekaj leti kupilo podjetje Google in jo vključilo v svoje produkte, zato je na spletu v prvotni obliki ni več mogoče igrati. 3 http://anawiki.essex.ac.uk/phrasedetectives/
azličnih tipov razpoložljivih dvo- in večjezičnih jezikovnih virov, kot so dvojezični slovarji, vzporedni korpusi in Wikipedija. Analiza vsebine je pokazala, da tako izdelan sloWNet vsebuje precej šuma, ki znižuje uporabno vrednost vira in ga je zato treba čim prej odpraviti. Najbolj problematične lekseme (literale), ki skoraj zagotovo ne ubesedujejo pojma (sinseta), ki so mu pripisane, smo identificirali avtomatsko (Sagot in Fišer, 2012). Za to smo uporabili referenčni korpus FidaPLUS 4 , iz katerega smo izluščili kontekstualne informacije za literale iz sloWNeta. V skladu z načeli distribucijske semantike smo nato kontekstualne informacije, pridobljene iz korpusa, primerjali z neposredno okolico literala v sloWNetovi semantični mreži. Kandidate z najslabšim rezultatom smo označili kot potencialne napake, ki jih želimo s pomočjo orodja, ki ga predstavljamo v tem prispevku, ponuditi v glasovanje večjemu številu slovenskih uporabnikov interneta in nato po potrebi izbrisati. V nadaljevanju prispevka predstavimo orodje sloWCrowd, ki smo ga razvili za zbiranje jezikovnih podatkov iz široke množice uporabnikov. Razdelek 3 predstavi eksperiment, v katerem smo orodje prvič preizkusili. Prispevek zaključimo s sklepnimi mislimi in načrti za prihodnje delo. 2. Orodje sloWCrowd Z razvojem orodja sloWCrowd smo želeli pridobiti preprosto in prilagodljivo orodje, ki bi omogočalo uporabo množic za verifikacijo avtomatsko generiranih sinsetov in bi bilo uporabno tudi za najrazličnejše naloge na področju gradnje jezikovnih virov in razvoja orodij, pri katerih je potrebno zbrati večje število človeških odgovorov. Za vire, ki jih gradimo z avtomatskimi pristopi, je značilno, da vsebujejo precej napak, vendar so tudi zelo obsežni, zato bi bilo strokovno in celovito ročno odpravljanje napak preveč zamudno in predrago. S prenosom bremena verifikacije na širšo množico se zmanjša čas verifikacije, dobljeni rezultati pa so lahko celo bolj zanesljivi, saj se o posameznem literalu odloča večje število uporabnikov. Pri tovrstnem načinu zbiranja zanesljivih podatkov je orodje, ki na preprost in zanimiv način izbere ter ponudi naloge uporabnikom, ključno. Orodje sloWCrowd je sestavljeno iz dveh delov, administratorskega in uporabniškega. V administratorskem delu ustvarimo projekt in vodimo zbiranje odgovorov. Uporabniški del omogoča izbiro projekta, pri katerem uporabnik želi sodelovati, predstavitev projekta z navodili za reševanje, reševanje nalog in lestvico najboljših ocenjevalcev glede na število in pravilnost rešenih nalog. Orodje je prosto dostopno in temelji na popularnem odprtokodnem programskem jeziku za strežniško rabo in razvoj dinamičnih spletnih vsebin PHP in podatkovni bazi MySQL, kar omogoča prenosljivost in enostavno namestitev. sloWCrowd deluje na večini spletnih brskalnikov, saj uporablja splošno razširjene tehnologije. 4 http://fidaplus.net/ [15.5.2012] 198 2.1. Zasnova in implementacija sloWCrowd je spletna aplikacija, napisana v skriptnem jeziku PHP, kar nam omogoča izdelavo dinamičnih spletnih strani, ki so osnova za široko paleto storitev, ki jih danes najdemo na spletu. Prikaz vsebine omogočajo predloge HTML in CSS, zaradi česar je posamezne komponente orodja enostavno prilagajati trenutnim potrebam. Podatki spletne aplikacije so shranjeni v odprtokodni podatkovni bazi MySQL. Struktura baze je definirana tako, da omogoča enostavno dodajanje novih projektov. V glavni tabeli so informacije o posameznih projektih, vsak projekt posebej pa ima dodeljeni še dve specifični tabeli. Prva vsebuje uporabniške podatke, druga pa uporabnikove odgovore na naloge. Zaradi zagotavljanja kvalitete zbranih odgovorov smo sloWCrowd zasnovali tako, da se uporabniki pred reševanjem nalog najprej prijavijo v sistem. Prijava nam omogoča beleženje odgovorov uporabnikov, računanje zanesljivosti odgovorov in uporabnikov ter upravljanje z uporabniki. Registracija je zelo preprosta in poteka preko Googlovega računa. Za dostop do Googlove identifikacijske aplikacije smo uporabili odprtokodno PHP knjižnico HybridAuth 5 , ki omogoča dostop do večine današnjih socialnih omrežij. Uporabnik s potrditvijo dostopa do prijavne aplikacije sistemu dovoli identifikacijo s podatki iz Googlovega računa, preko katerega orodje dobi uporabnikovo ime in elektronski naslov. Tak način registracije uporabniku prihrani vpisovanje osebnih podatkov in olajša prijavo v sistem, saj mu ni potrebno vsakič vpisovati uporabniškega imena in gesla. sloWCrowd ima implementiran mehanizem za ugotavljanje zanesljivosti uporabnikov. Slednje je ključno pri obliki reševanja problemov, kjer sodeluje veliko različnih uporabnikov (od ekspertov do običajnih uporabnikov). Pri vsakem projektu je datoteki z nalogami, ki jih rešujejo uporabniki, mogoče dodati še datoteko, ki vsebuje referenčne naloge, t.j. naloge s predhodno označenimi pravilnimi odgovori. Uporabnik med reševanjem dobiva naloge iz obeh datotek, pri čemer referenčna datoteka služi za ugotavljanje zanesljivosti uporabnika: število pravilnih odgovorov zanesljivost = število odgovorov Pravilen odgovor je tisti, ki je enak odgovoru v referenčni datoteki, število odgovorov pa vključuje vse odgovore na naloge iz referenčne datoteke. Mero zanesljivosti uporabljamo za določanje razmerja med nerešenimi in referenčnimi nalogami, ki jih orodje ponudi uporabniku, omogoča pa tudi naknadno izločanje odgovorov zelo nezanesljivih uporabnikov. 5 http://hybridauth.sourceforge.net/index.html [15.5.2012]
Page 2 and 3:
Zbornik 15. mednarodne multikonfere
Page 4 and 5:
PREDGOVOR MULTIKONFERENCI INFORMACI
Page 6 and 7:
KONFERENČNI ODBORI CONFERENCE COMM
Page 8 and 9:
KAZALO / TABLE OF CONTENTS Jezikovn
Page 10:
Zbornik 15. mednarodne multikonfere
Page 13 and 14:
RECENZENTI • doc. dr. Simon Dobri
Page 15 and 16:
language similarity as a feature of
Page 17 and 18:
ually annotating 345 sentences and
Page 19 and 20:
Disambiguating vectors for bilingua
Page 21 and 22:
Language POS Source word Slovene se
Page 23 and 24:
4. Evaluation and discussion of the
Page 25 and 26:
, Iztok Kosem**, Berginc*** * Troj
Page 27 and 28:
vseh besed, se pravi, da bi ta
Page 29 and 30:
3. Spletni vmesnik za dostop do kor
Page 31 and 32:
SPOOK.Sem: semantično označevanje
Page 33 and 34:
uporabili samo za angleški del kor
Page 35 and 36:
Vsekakor pa nas je pri označevanju
Page 37 and 38:
Sistem vsebinskega priporočanja do
Page 39 and 40:
poljubno, avtor pa svetuje vrednost
Page 41 and 42:
Tabela 5: Filtriranje z dinamično
Page 43 and 44:
Luka *, * Artificial Intelligence
Page 45 and 46:
4. Technical approaches and algorit
Page 47 and 48:
Tehnologije govorjenega jezika v pa
Page 49 and 50:
zma. Možno jih je namre uporabiti
Page 51 and 52:
Kaja Dobrovoljc, 1 Simon Krek, 2 Ja
Page 53 and 54:
3.1.4. fazah: v prvi fazi s
Page 55 and 56:
(del, dol, vez, skup) in pri poveza
Page 57 and 58:
ˇSirjenje slovarja in dvoprehodni
Page 59 and 60:
Uporabili smo orodje s katerim smo
Page 61 and 62:
zbirka besedil, korpus, slovar Toma
Page 63 and 64:
-8"?> -c.org/ns/1.0" type="pb" xml:
Page 65 and 66:
6. Dostopnost virov dejanska možn
Page 67 and 68:
prinašajo 185 milijonov besed oz.
Page 69 and 70:
Ugotovimo lahko, da po številu pol
Page 71 and 72:
predlog, zadeva, podatek, podlaga,
Page 73 and 74:
Their main differences between them
Page 75 and 76:
The corpus was PoS-tagged and lemma
Page 77 and 78:
5. Conclusions In this paper we pre
Page 79 and 80:
2000) is an English computer tutor
Page 81 and 82:
Table 5: Classifier performance wit
Page 83 and 84:
forms of Croatian proper names, but
Page 85 and 86:
on the output of the first CRF. We
Page 87 and 88:
Table 4: CroNER performance dependi
Page 89 and 90:
Table 1: Description of the picture
Page 91 and 92:
syntactic movement out of the objec
Page 93 and 94:
and other agreement markers are use
Page 95 and 96:
Figure 2. A FST representing a simp
Page 97 and 98:
encoded text representation as seen
Page 99 and 100:
Izhodišče segmentacijsko-tokeniza
Page 101 and 102:
3. Učni korpus ssj500k 4 Učni kor
Page 103 and 104:
azreševanje stavčne ali celo meds
Page 105:
težavnosti; pri oceni berljivosti
Page 110 and 111:
Kako dobro programi popravljajo vej
Page 112 and 113:
okviru projekta ESS Uspešno vklju
Page 114 and 115:
Besana opozarja na manjkajoče veji
Page 116 and 117:
Umetno tvorjenje slovenskega govora
Page 118 and 119:
Tabela 1: Analiza čistopisa zbirke
Page 120 and 121:
Distributional Semantics Approach t
Page 122 and 123:
3.2.1. Random indexing Random index
Page 124 and 125:
Table 2: Accuracy for all considere
Page 126 and 127:
Avtomatsko luščenje leksikalnih p
Page 128 and 129:
3.1. Metodologija in zaporedje post
Page 130 and 131:
začetku povedi in upoštevanje t.
Page 132 and 133:
Izdelava XML-shem za slovarske proj
Page 134 and 135:
standardi še niso bili vzpostavlje
Page 136 and 137:
nepričakovan zapis ali napačen za
Page 138 and 139:
Building Named Entity Recognition M
Page 140 and 141:
corpus token transfer type transfer
Page 142 and 143:
morphological information, for Slov
Page 144 and 145:
Luščenje terminoloških kandidato
Page 146 and 147:
3.1. Enobesedni terminološki kandi
Page 148 and 149:
Rezultati priklica so dobri. Od 109
Page 150 and 151:
Event and Temporal Relation Extract
Page 152 and 153:
Table 1: Event annotation summary E
Page 154 and 155:
Table 3: Event extraction performan
Page 156 and 157: Korpusna analiza slovenskega delež
Page 158 and 159: Vrsta besedila Izbrana področja (i
Page 160 and 161: primerih (11) in (12), ne pa za del
Page 162 and 163: Identifying Fear Related Content in
Page 164 and 165: not present” by 23 annotators. Th
Page 166 and 167: A Web Service Implementation of Lin
Page 168 and 169: equired to install the specific sof
Page 170 and 171: In both figures the same workflow i
Page 172 and 173: Termania - prosto dostopni spletni
Page 174 and 175: informacije so poleg same vsebine g
Page 176 and 177: Izdelava slovensko-srbskega vzpored
Page 178 and 179: dovoljeno odstopanje do 1 sekunde.
Page 180 and 181: Poleg navedenih težav so se pojavl
Page 182 and 183: Topic ontology construction from En
Page 184 and 185: Fig. 2: English topic ontology afte
Page 186 and 187: 4. Topic ontologies constructed fro
Page 188 and 189: Translating news to CycL using the
Page 190 and 191: and the Cyc concept, which correspo
Page 192 and 193: without parsing. One type of such s
Page 194 and 195: Guessing the Correct Inflectional P
Page 196 and 197: noted that the distribution of LPPs
Page 198 and 199: Table 1: Feature selection analysis
Page 200 and 201: Razpoznavanje imenskih entitet v sl
Page 202 and 203: N − log Z(x (i) ) − i=1 K k=1
Page 204 and 205: F1 1.0 0.8 0.6 0.4 0.2 0.0 0.63 0.4
Page 208 and 209: 2.2. Uporabniški vmesnik Osnovna f
Page 210 and 211: uporabnikov z večanjem stopnje zan
Page 212 and 213: Korpus slovenskega znakovnega jezik
Page 214 and 215: Posnetki se v anonimizirani obliki
Page 216 and 217: ZEN: zasnova glasovnih e-storitev v
Page 218 and 219: Rešitev je bila izvedena na podlag
Page 220 and 221: predpisane aktivnosti v poteku zdra
Page 222 and 223: Indeks avtorjev / Author index Agi
show all

Proceedings - Natural Language Server - IJS

Create successful ePaper yourself

Delete template?

Save as template?