3 Automatisk detektering av partikelverb - Stp - Uppsala universitet

More documents

Recommendations

Info

$Kapitel 6 LaTeX - Stp$

De fel programmet gör presenteras i kapitlet om testning. Programmet begränsas bl.a. av att listor lagts in över vad en nominalfras, verbfras och ett adverbial kan bestå av. Dessa listor är inte framtagna på någon systematisk väg; jag har helt enkelt manuellt tittat på massor av meningar och antecknat de mönster jag funnit. Jag har heller ingen liten fiffig mekanism som kan uttrycka optionella element i mina listor så alla möjliga frassammansättningar måste specificeras. Exempel: nn (bilen), det nn (den bilen) och det jj nn (den gröna bilen). Det går alltså inte att skriva (det) (jj) nn. 7 Testning av programmet Testningen av detekteringprogrammet gjordes mot ordklasstaggade sändningar av Dagens Eko i textformat. Ordklasstaggningen är gjord maskinellt. Sammanlagt innehåller ekosändningarna 3992 meningar. Vad det gäller partikelverb finns 99 av de jag tittat på representerade. Det är meningen att programmet ska jobba direkt på ordklasstaggad text men i testningen löstes ordklasstaggningen genom att hela det taggade testmaterialet läses in till ett stort lexikon. Nackdelen med detta är att ordklassambiguiteter orsakar en del missar och övergenereringar. Det otaggade textmaterialet tjänade sedan som input till programmet. 7.1 Testresultat I testmaterialet fanns 157 förekomster av partikelverb som programmet ska klara av att hitta. Av dessa hittades 119 och 38 missades. Det betyder att lite drygt 75% blev hittade och ca 25% missades. Utöver detta har programmet felaktigt markerat ytterligare 132 fall som partikelverb. Översatt till recall och precision får vi resultatet nedan. Termen recall beskriver täckningen, d.v.s. hur många procent av de möjliga fallen som hittades, och termen precision beskriver träffsäkerheten, d.v.s. hur många procent av de totala antalet träffar som var relevanta.. Recall: A ∩ B/B = 119/157 = 0,757962 = 76% Precision: A ∩ B/A = 119/251 = 0,474104 = 47% A ∩ B = det som är gemensamt för både A och B (snittet): 119 A = övergenereringen + snittet: 132 + 119 = 251 B = d.v.s. de missade fallen + snittet: 38 + 119 = 157 Dessa siffror betyder på vanlig svenska att 76 % av de befintliga partikelverben hittades men att endast 47% av alla konstruktioner som taggades som partikelverb verkligen var sådana. Då ingen av dessa siffror är särskilt tillfredställande redovisas nedan vilka typer av fel som förekom och vad som behöver göras för att programmet ska bli bättre. 40
7.2 Typer av fel och förslag till ändringar För varje fel som gjordes finns det antecknat vilket partikelverb det gällde, i vilken mening partikelverbet förekommer och vilken typ av fel det handlade om. Det finns sex olika typer av fel vilka listas nedan. Om vi slår ihop övergenereringsfelen (132 st.) med antalet missade partikelverb (38) får vi totalt 170 fel. Vid varje typ nedan anges hur många procent fel just den typen gav upphov till. 1. Partikelverbens kontextinformation är inte rillräckligt restriktiv. Exempel på fel: godkänner NP som objekt, godkänner NP som inskottsmaterial. (68 fall, 40%) 2. De generella reglerna är inte fullständigt implementerade i programmet. Exempel: relativa och passiva konstruktioner hanteras ej, adverbialhanteringen är bristfällig. (49 fall, 28%). 3. Det saknades kontextinformation i partikelverbslexikonet. Exempel: ”ta till NP” fanns inte med som kontext för några partikelverb. (24 fall, 14%). 4. Ingångar saknades i verb- och partikellexikonet. Exempel: verbformerna ”tog”, ”går” och ”tala”. Även en del talspråksformer saknades. (10 fall, 6%). 5. Ogrammatiskt språk i testmaterialet. Exempel: upprepningar och lustig ordföljd. (11 fall, 7%). 6. Ordklassambiguiteter. Exempel: verb och substantiv förväxlas. (8 fall, 5%). Siffrorna ovan visar att det framför allt är de tre första grupperna som orsakar fel i detekteringen (82% av felen närmare bestämt) och vi ska titta lite närmare på dem. Den första gruppen är det mycket viktigt att ta hand om då vi där finner huvudorsaken till den omfattande övergenereringen. Partikelverben ”ha med”, ”säga till”, ”vara med” och ”ta till” står för en tredjedel av felen. Kontextinformationen för dessa verb är troligtvis för generös och måste därför ses över. Många andra partikelverb som tar ”med” som partikel finns också representerade i denna grupp varför hela ”med”-gruppen bör granskas närmare. I den andra gruppen är det framförallt de syntaktiska reglerna som fungerat dåligt. Listan nedan beskriver vad som behöver ses över. ! Hanteringen av adverbial måste förbättras. Om man godkänner ett enkelt adverbial mellan partikeln och det efterföljande objektet skulle många fler meningar hittas. ! Partikelverb i passiva eller relativa satser missas ofta och även mycket enkla regler för att hantera sådan konstruktioner skulle göra stor nytta. 41
Page 1: Uppsala universitet Institutionen f
Page 4 and 5: PÅ ...............................
Page 6: Sammandrag Automatisk detektering a
Page 9 and 10: Produktion av syntetiskt tal För a
Page 11 and 12: Senare kommer vi se att partikelver
Page 13 and 14: Nedan följer en redogörelse för
Page 15 and 16: - i bisatser - när verbet står i
Page 17 and 18: 3 Automatisk detektering av partike
Page 19 and 20: 3.2 Mitt eget arbete i korthet I de
Page 21 and 22: och partikel i sig själva var prod
Page 23 and 24: Ett antal uppgifter noterades för
Page 25 and 26: Om ett partikelverb har blivit defi
Page 27 and 28: Med Här nedan kommer vi snudda vid
Page 29 and 30: Bort Inget av partikelverben som in
Page 31 and 32: PV INS-restr. HK falla in ok intran
Page 33 and 34: Upp Det finns många fall som talar
Page 35 and 36: Ut ”Ut” är en tacksam partikel
Page 37 and 38: partikelverben troligtvis bli bätt
Page 39: Implementering av lexikon och regle
Page 43 and 44: 7.3 Utvärdering av resultatet Att
Page 45 and 46: Litteratur Andersson, Erik, 1993. G
Page 47 and 48: Innehåll INNEHÅLL ...............
Page 49 and 50: Högerkontexter att +sats så att +
Page 51 and 52: ”Erfaren och klok” fyllde jag i
Page 53 and 54: Om PV INS-restr. HK tycka om ok int
Page 55 and 56: och subjekt, detta kanske också sk
Page 57 and 58: PV INS-restr. HK hänga ihop ok int
Page 59 and 60: Till PV INS-restr. HK se till ej NP
Page 61 and 62: PV Restriktioner Anledning/exempel

3 Automatisk detektering av partikelverb - Stp - Uppsala universitet

Create successful ePaper yourself

Delete template?

Save as template?