Proceedings - Natural Language Server - IJS

More documents

Recommendations

Info

uporabnikov z večanjem stopnje zanesljivosti veča tudi stopnja točnosti in obratno. Pri analizi odgovorov nas je zanimalo tudi, kolikokrat so se literali med eksperimentom ponavljali. Na Sliki 6 je prikazana razporeditev literalov po pogostosti pojavitve. Opazimo lahko, da se je največ literalov (49) pojavilo petkrat, 33 literalov se je ponovilo šestkrat, 16 literalov se je ponovilo štirikrat, dva literala trikrat in en literal dvakrat. Na istem grafu je prikazano tudi število literalov, pri katerih so se uporabniki večinsko strinjali o pravilnosti pomena (zgornji del) in število dvoumnih literalov, za katere smo zbrali enako število potrditev in zavrnitev (spodnji del). V primeru petih odgovorov se prišteje literal med dvoumne tudi, če so trije uporabniki glasovali na en način, dva pa na drug. 50 40 30 20 10 0 Število literalov po skupinah odgovorov 28 5 39 9 16 2 1 0 6 5 4 3 2 1 št. dvoumnih št. usklajenih Slika 6. Število literalov po pogostosti pojavitve Opazimo lahko, da so se uporabniki v večini primerov strinjali o (ne)pravilnosti prevoda literala. Iz dobljenih rezultatov lahko sklepamo, da že z manjšim številom odgovorov dobimo zanesljivo oceno o nekem literalu, saj so že pri štirih odgovorih uporabniki dosegli konsenz glede pomena literala. Tega sicer zgolj na podlagi izvedenega eksperimenta ne moremo z gotovostjo potrditi, saj je število uporabljenih literalov premajhno, zato nameravamo v prihodnje minimalno število potrebnih odgovorov preveriti v večjem eksperimentu. Pri nadaljnji analizi smo opazovali število literalov, ki so jih uporabniki potrdili ali zavrnili z določeno gotovostjo. Na Sliki 7 vidimo razporeditev literalov v skupine verjetnosti. V prvi so vsi literali, ki so bili s strani uporabnikov soglasno potrjeni ali zavrnjeni. V ostalih stolpcih pa so razporejeni literali s padajočim razmerjem med potrditvijo in zavrnitvijo. Opazimo lahko, da so bili uporabniki v večini primerov soglasni pri odločitvah o literalih, iz česar lahko sklepamo, da lahko z uporabo orodja sloWCrowd v večini primerov konvergiramo k splošno sprejemljivi pravilni rešitvi. Na Sliki 8 je podrobneje prikazana razporeditev literalov po razmerjih odgovorov. Vsebinsko je podobna prejšnji sliki, le da natančneje prikaže razporeditev literalov po skupinah razmerij. Razmerje x:y predstavlja število potrditev (zavrnitev) x in število zavrnitev (potrditev) y za nek literal. Zadnja dva stolpca v grafu vsebujeta dvoumne literale, kjer je število potrditev in zavrnitev približno enako. 201 Slika 7. Število literalov po združenih deležih odgovorov 25 20 15 10 60 40 20 5 0 0 1.0-0.9 0.9-0.8 0.8-0.7 0.7-0.6 0.6-0.5 17 Slika 8. Število literalov po razmerju odgovorov V nadaljevanju smo pregledali vse dvoumne literale. V Tabeli 2 so izpisani vsi literali, kjer je enako število potrditev in zavrnitev (3:3). V prvem stolpcu je prevod, nato sopomenke v angleščini in še angleška definicija. Literal Sopomenke Definicija hip piece, while, spell, a period of indeterminate length (usually patch short) marked by some action or condition položaj place, position the particular portion of space occupied by something prostor room opportunity for razglas rescript, fiat, order, edict, decree 56 25 11 vprašanje topic, matter, subject, issue 2 18 a legally binding command or decision entered on the court record (as if issued by a court or judge) some situation or event that is thought about Tabela 2. Literali, za katere se uporabniki niso strinjali, ali so pravilni ali napačni. Največ problemov predstavljajo literali, za katere je angleška razlaga precej ohlapna in zato nejasna. Naslednjo skupino problematičnih literalov predstavljajo angleške ustaljene fraze, ki se v slovenščini uporabljajo v drugem kontekstu ali z drugimi besedami. Med odgovori smo naleteli tudi na napačne odločitve. Dva primera, ki sta v resnici napačna, uporabniki pa so izglasovali, da sta pravilna, sta literala »del« (ang. member) v pomenu »anything that belongs to a set or class« in »člen« (ang. division, part, section) v pomenu »one of the portions into which something is regarded as divided and which together constitutes a whole«. Vendar je teh primerov zanemarljivo malo, pa še te glasovi drugih uporabnikov slej ko prej preglasujejo in s tem izničijo negativni vpliv napake na končne rezultate. 5 št. literalov 1 6:0 5:0 4:0 3:0 2:0 5:1 4:1 3:1 4:2 3:2 3:3 4 št. literalov 14 16 5 7 9 5 5
3.3. Diskusija in možnosti za izboljšave Z eksperimentom, v katerem smo preizkusili razvito orodje sloWCrowd, smo ugotovili, da je njegova glavna prednost, da uporabnikom na preprost in zanimiv način ponudi v reševanje različne naloge. Kot je znano za večino iger z razlogom, se je tudi tu pokazalo, da vpeljava točkovanja uporabnike pritegne k pravilnemu reševanju večjega števila nalog, saj je kar nekaj tekmovalcev rešilo precej več nalog, kot je bilo od njih zahtevano. Čeprav na podlagi opravljenega eksperimenta težko zanesljivo določimo spodnjo mejo zahtevanih odgovorov, ki so potrebni za zanesljivo oceno literala, menimo, da 10 uporabnikov ob nizki obremenitvi in v krajšem času lahko validira 200–300 literalov, kar pomeni, da bi za ocenjevanje celotnega sloWNeta potrebovali 300–400 uporabnikov. Da bi lahko orodje v prihodnje še izboljšali in nadgradili, smo prostovoljce, ki so v eksperimentu reševali naloge, dodatno prosili še, da nam posredujejo odgovore na naslednja vprašanja (možni odgovori NITI NAJMANJ, NE PREVEČ, PRECEJ, ZELO): • Ali se ti je zdelo delo z orodjem sloWCrowd enostavno? • Ali je zdelo delo z orodjem sloWCrowd zanimivo? • Ali so se ti zdele naloge razumljive? • Ali je bila dolžina posamezne naloge primerna? • Ali imaš v zvezi z orodjem oz. eksperimentom kakšno pripombo, ki nam bo pomagala orodje še izboljšati? Večina uporabnikov je menila, da je delo z orodjem sloWcrowd PRECEJ enostavno in zanimivo, nekaj uporabnikov je celo ocenilo enostavnost in zanimivost orodja z ZELO. Podobne ocene so uporabniki dodelili razumljivosti podanih nalog, s tem, da je en uporabnik podal oceno NE PREVEČ, z obrazložitvijo, da je pri veliko nalogah odgovor odvisen od konteksta, v katerem se literal uporablja, predvsem v primeru nejasnih definicij. Po njegovem mnenju zgolj prikaz angleških sopomenk in definicij v teh primerih ne zadošča, zato predlaga, da omogočimo še prikaz drugih semantičnih relacij, ki izhajajo iz ocenjevanega pojma, kar bomo v naslednji različici orodja tudi upoštevali. Podobne pomisleke so imeli tudi nekateri drugi uporabniki, saj je na primer eden od njih predlagal, da uvedemo še dodaten gumb »odvisno od konteksta«. Taka rešitev bi verjetno zmanjšala število zaželenih odločitev (DA, NE), saj bi se uporabniki v primeru dvoma odločali zanjo. Vendar bi s tem po našem mnenju po nepotrebnem dodatno zapletli nalogo in s tem zmanjšali uporabnost rezultatov. Menimo, da bomo tovrstne težave ustrezno odpravili že z zgornjim ukrepom. Bi pa bilo možno, da bi literale, za katere večje število uporabnikov izbere odgovor »NE VEM«, pregledal ekspert. Naslednja želja, ki jo je izrazil eden od uporabnikov, je povratna informacija, ali je bil izbrani odgovor pravilen. To bi v naslednji različici orodja lahko upoštevali tako, da bi uporabniku ob vsakem odgovoru sporočili, ali si je z odgovorom prislužil dodatno točko ali ne ter prikazali trenutno razmerje med zbranimi odgovori. Zadnja pripomba se nanaša na možnost predlaganja boljših prevodov, kar je pravzaprav funkcionalnost že razvitega orodja sloWTool (Fišer in Novak 2011), ki je namenjeno celovitemu urejanju wordneta. Glavni cilj orodja sloWCrowd je predvsem minimalistično in 202 enostavno okolje za čim hitrejše pridobivanje odgovorov na ozko specializirana vprašanja. 4. Zaključek V prispevku smo predstavili orodje sloWCrowd, ki je namenjeno ročni validaciji avtomatsko pridobljenih jezikovnih podatkov. Administrativni del vmesnika omogoča preprosto izdelavo projekta in uvoz podatkov, uporabniški vmesnik pa je zasnovan tako, da lahko uporabnik naloge rešuje čim hitreje in enostavneje. V eksperimentu, s katerim smo orodje testirali, smo uporabnike prosili, da pregledajo 100 najbolj vprašljivih avtomatsko generiranih literalov iz sloWNeta in označijo, ali so pravilni ali napačni. Po zaključenem preizkusu in analizi njihovih odgovorov ugotavljamo, da je orodje tako z administrativnega kot z uporabniškega vidika enostavno za uporabo, zbrani odgovori pa zanesljivi, saj je stopnja ujemanja med uporabniki visoka in število dvoumnih rešitev majhno. S tem tako nismo dobili samo orodja, s katerim je mogoče popravljati wordnet, temveč tudi platformo za evalvacijo uspešnosti različnih pristopov in avtomatskih metod za avtomatizirano luščenje leksikalnosemantičnih informacij iz strukturiranih in nestrukturiranih jezikovnih virov. Glede na komentarje prostovoljcev, ki so pri preizkusu sodelovali, bomo v prihodnje še nekoliko izboljšali točkovanje uporabnikov, na večjem eksperimentu pa skušali ugotoviti optimalno število potrebnih odgovorov na vsako zastavljeno vprašanje za zagotavljanje zanesljivih rezultatov po eni stran in čim večje količine validiranih primerov po drugi. Projekti, ki trenutno tečejo v orodju sloWCrowd, so dostopni na naslovu http://nl.ijs.si/slowcrowd/select_project.php. Ker je orodje prosto dostopno pod licenco Creative Commons, pa ga je mogoče tudi prenesti, namestiti na lastni strežnik in prilagoditi svojim potrebam. Za namestitev sta potrebna le PHP in MySQL. Namestitvene datoteke so na: http://nl.ijs.si/slowcrowd/sloWCrowd.rar. Literatura G. Adda, B. Sagot, K. Fort, J. Mariani. 2011. Crowdsourcing for Language Resource Development: Critical Analysis of Amazon Mechanical Turk Overpowering Uses. Zbornik konference LTC, Poznań, Poljska. L. von Ahn. Games with a Purpose. 2006. Computer, 39/6, str. 92-94. J. Chamberlain, M. Poesio, U. Kruschwitz. 2008. Phrase Detectives: A Web-based collaborative annotation game. Zbornik konference iSemantics, Gradec, Avstrija. D. Fišer, J. Novak. 2011. Visualizing sloWNet. Zbornik konference eLEX. Bled, Slovenija. D. Fišer. 2009. Pristopi za avtomatizirano gradnjo semantičnih zbirk. Terminologija in sodobna terminografija. Ljubljana: Založba ZRC, ZRC SAZU, str. 357-370. B. Sagot, D. Fišer. 2012. Cleaning noisy wordnets. Zbornik konference LREC, Istanbul, Turčija. R. Snow, B. O'Connor, D. Jurafsky, A. Y. Ng. 2008. Cheap and Fast - But is it Good? Evaluating Non- Expert Annotations for Natural Language Tasks. Zbornik konference EMNLP, str. 254-263.
Page 2 and 3:
Zbornik 15. mednarodne multikonfere
Page 4 and 5:
PREDGOVOR MULTIKONFERENCI INFORMACI
Page 6 and 7:
KONFERENČNI ODBORI CONFERENCE COMM
Page 8 and 9:
KAZALO / TABLE OF CONTENTS Jezikovn
Page 10:
Zbornik 15. mednarodne multikonfere
Page 13 and 14:
RECENZENTI • doc. dr. Simon Dobri
Page 15 and 16:
language similarity as a feature of
Page 17 and 18:
ually annotating 345 sentences and
Page 19 and 20:
Disambiguating vectors for bilingua
Page 21 and 22:
Language POS Source word Slovene se
Page 23 and 24:
4. Evaluation and discussion of the
Page 25 and 26:
, Iztok Kosem**, Berginc*** * Troj
Page 27 and 28:
vseh besed, se pravi, da bi ta
Page 29 and 30:
3. Spletni vmesnik za dostop do kor
Page 31 and 32:
SPOOK.Sem: semantično označevanje
Page 33 and 34:
uporabili samo za angleški del kor
Page 35 and 36:
Vsekakor pa nas je pri označevanju
Page 37 and 38:
Sistem vsebinskega priporočanja do
Page 39 and 40:
poljubno, avtor pa svetuje vrednost
Page 41 and 42:
Tabela 5: Filtriranje z dinamično
Page 43 and 44:
Luka *, * Artificial Intelligence
Page 45 and 46:
4. Technical approaches and algorit
Page 47 and 48:
Tehnologije govorjenega jezika v pa
Page 49 and 50:
zma. Možno jih je namre uporabiti
Page 51 and 52:
Kaja Dobrovoljc, 1 Simon Krek, 2 Ja
Page 53 and 54:
3.1.4. fazah: v prvi fazi s
Page 55 and 56:
(del, dol, vez, skup) in pri poveza
Page 57 and 58:
ˇSirjenje slovarja in dvoprehodni
Page 59 and 60:
Uporabili smo orodje s katerim smo
Page 61 and 62:
zbirka besedil, korpus, slovar Toma
Page 63 and 64:
-8"?> -c.org/ns/1.0" type="pb" xml:
Page 65 and 66:
6. Dostopnost virov dejanska možn
Page 67 and 68:
prinašajo 185 milijonov besed oz.
Page 69 and 70:
Ugotovimo lahko, da po številu pol
Page 71 and 72:
predlog, zadeva, podatek, podlaga,
Page 73 and 74:
Their main differences between them
Page 75 and 76:
The corpus was PoS-tagged and lemma
Page 77 and 78:
5. Conclusions In this paper we pre
Page 79 and 80:
2000) is an English computer tutor
Page 81 and 82:
Table 5: Classifier performance wit
Page 83 and 84:
forms of Croatian proper names, but
Page 85 and 86:
on the output of the first CRF. We
Page 87 and 88:
Table 4: CroNER performance dependi
Page 89 and 90:
Table 1: Description of the picture
Page 91 and 92:
syntactic movement out of the objec
Page 93 and 94:
and other agreement markers are use
Page 95 and 96:
Figure 2. A FST representing a simp
Page 97 and 98:
encoded text representation as seen
Page 99 and 100:
Izhodišče segmentacijsko-tokeniza
Page 101 and 102:
3. Učni korpus ssj500k 4 Učni kor
Page 103 and 104:
azreševanje stavčne ali celo meds
Page 105:
težavnosti; pri oceni berljivosti
Page 110 and 111:
Kako dobro programi popravljajo vej
Page 112 and 113:
okviru projekta ESS Uspešno vklju
Page 114 and 115:
Besana opozarja na manjkajoče veji
Page 116 and 117:
Umetno tvorjenje slovenskega govora
Page 118 and 119:
Tabela 1: Analiza čistopisa zbirke
Page 120 and 121:
Distributional Semantics Approach t
Page 122 and 123:
3.2.1. Random indexing Random index
Page 124 and 125:
Table 2: Accuracy for all considere
Page 126 and 127:
Avtomatsko luščenje leksikalnih p
Page 128 and 129:
3.1. Metodologija in zaporedje post
Page 130 and 131:
začetku povedi in upoštevanje t.
Page 132 and 133:
Izdelava XML-shem za slovarske proj
Page 134 and 135:
standardi še niso bili vzpostavlje
Page 136 and 137:
nepričakovan zapis ali napačen za
Page 138 and 139:
Building Named Entity Recognition M
Page 140 and 141:
corpus token transfer type transfer
Page 142 and 143:
morphological information, for Slov
Page 144 and 145:
Luščenje terminoloških kandidato
Page 146 and 147:
3.1. Enobesedni terminološki kandi
Page 148 and 149:
Rezultati priklica so dobri. Od 109
Page 150 and 151:
Event and Temporal Relation Extract
Page 152 and 153:
Table 1: Event annotation summary E
Page 154 and 155:
Table 3: Event extraction performan
Page 156 and 157:
Korpusna analiza slovenskega delež
Page 158 and 159:
Vrsta besedila Izbrana področja (i
Page 160 and 161: primerih (11) in (12), ne pa za del
Page 162 and 163: Identifying Fear Related Content in
Page 164 and 165: not present” by 23 annotators. Th
Page 166 and 167: A Web Service Implementation of Lin
Page 168 and 169: equired to install the specific sof
Page 170 and 171: In both figures the same workflow i
Page 172 and 173: Termania - prosto dostopni spletni
Page 174 and 175: informacije so poleg same vsebine g
Page 176 and 177: Izdelava slovensko-srbskega vzpored
Page 178 and 179: dovoljeno odstopanje do 1 sekunde.
Page 180 and 181: Poleg navedenih težav so se pojavl
Page 182 and 183: Topic ontology construction from En
Page 184 and 185: Fig. 2: English topic ontology afte
Page 186 and 187: 4. Topic ontologies constructed fro
Page 188 and 189: Translating news to CycL using the
Page 190 and 191: and the Cyc concept, which correspo
Page 192 and 193: without parsing. One type of such s
Page 194 and 195: Guessing the Correct Inflectional P
Page 196 and 197: noted that the distribution of LPPs
Page 198 and 199: Table 1: Feature selection analysis
Page 200 and 201: Razpoznavanje imenskih entitet v sl
Page 202 and 203: N − log Z(x (i) ) − i=1 K k=1
Page 204 and 205: F1 1.0 0.8 0.6 0.4 0.2 0.0 0.63 0.4
Page 206 and 207: sloWCrowd: orodje za popravljanje w
Page 208 and 209: 2.2. Uporabniški vmesnik Osnovna f
Page 212 and 213: Korpus slovenskega znakovnega jezik
Page 214 and 215: Posnetki se v anonimizirani obliki
Page 216 and 217: ZEN: zasnova glasovnih e-storitev v
Page 218 and 219: Rešitev je bila izvedena na podlag
Page 220 and 221: predpisane aktivnosti v poteku zdra
Page 222 and 223: Indeks avtorjev / Author index Agi
show all

Proceedings - Natural Language Server - IJS

Create successful ePaper yourself

Delete template?

Save as template?