Generering av grundformer i Stava

Generering av grundformer i Stava
Generering av grundformer i Stava
Laboration i Språkteknologi, ht-00
Rebecka Jansson, d95-rja@nada.kth.se
Niklas Kernby, d95-nke@nada.kth.se
Handledare: Viggo Kann, viggo@nada.kth.se
Uppgift
I vissa fall (indexering av texter och informationssökning) har man nytta av att rensa bort eventuella
suffix från ett ord och presentera det i sin grundform. Detta görs egentligen inte av Stava, och vår uppgift
var att modifiera programmet så att alla inmatade ord presenteras i suffixfri grundform. Mer information
om Stava finns på http://www.nada.kth.se/~viggo/stava/.
Lösning
Suffixhantering i Stava
Vid stavningskontroll med Stava genomsöks först programmets ordlistor. För att hålla nere deras storlek
lagras bara vissa former av regelbundet böjda ord. För regelbundna substantiv lagras ordet till exempel
bara i böjningsformerna bestämd och obestämd singular samt obestämd plural. Övriga former härleds ur
en lista med suffixregler, suffixlistan.
En regel i suffixlistan består av ett vänster- och ett högerled. Vänsterledet innehåller ett suffix, som
godkänns om det är möjligt att byta ut mot det eller de suffix som räknas upp i högerledet, och resultatet
blir ett ord som finns med i ordlistan.
Exempelregel: -orna -a, -an, -or
Denna regel säger alltså att ordet X-orna ska godkännas om orden X-a, X-an och X-or återfinns i
ordlistan, där X kan vara till exempel "dock", "kapp" eller "väsk".
Hur få med grundformssuffixet?
Efter suffixkontroll av till exempel kapporna har man alltså delat upp ordet i två delar; stammen kappoch
suffixet -orna. Som grundform vill vi dock inte ha kapp, utan kappa. Praktiskt nog är suffixreglerna
angivna just så att det första suffixet i högerledet är grundformssuffixet. Alltså kan grundformen
uttryckas som det inmatade ordet med ursprungligt suffix utbytt mot detta första högerledssuffix.
Nämnas kan att det egentligen bara är substantiv och adjektiv som har en grundform (Thorell, O. Svensk
grammatik, 1973, §14.1.c). För verb har vi valt att ta fram infinitivformen, som vanligtvis inte är identisk
med verbets stam.
Suffixkontroll av former lagrade i ordlistan
I dagens Stava kontrolleras inte suffix för de ord som återfinns i ordlistan, och det finns inte heller regler
för dessa suffix i suffixlistan. Därför var vi tvungna att lägga in suffixkontroll även i detta fall, samt
file:///C|/WINNT/Profiles/d95-nke/Desktop/Spraktek/Stavalab.html (1 of 2) [2000-12-18 15:00:38]

Generering av grundformer i Stava
utöka suffixlistan med de nödvändiga reglerna.
För de suffix som dessa nya regler ska godkänna gäller att de redan finns med som högerled i
suffixlistan, eftersom de beskriver böjningsformer som lagrats i ordlistan. Ett högerled beskriver
böjningsformer för en viss grupp av ord, och för ett ord ur denna grupp ska alltså alla högerledets
suffixformer finnas med i ordlistan. Det innebär att varje suffix ur högerledet kan bilda vänsterled i en
regel där högerledet är oförändrat. Förfarandet blir tydligare med ett exempel:
För att regeln "-orna -a, -an, -or" ska appliceras på ett ord kapporna krävs att kappa, kappan och
kappor finns i ordlistan. Ett ord som tillhör denna grupp finns alltså lagrat just i de tre formerna, och då
kan till exempel kappa anses tillhöra gruppen om både kappa, kappan och kappor finns med i ordlistan.
Det ger upphov till en suffixregel "-a -a, -an, -or". Ytterligare två regler behövs för att fånga upp
formerna kappan och kappor. Dessa två blir då "-an -a, -an, -or" och "-or -a, -an, -or".
Med andra ord ska varje suffix som ingår i ett högerled ge upphov till en ny suffixregel med oförändrat
högerled. Det stora antalet suffixregler (ett tusental) gör det mindre lämpligt att skapa dessa nya regler
för hand, men det går bra att automatgenerera dem. I vår lösning har vi dock inte gjort detta utan bara
lagt in några nya regler, som tillsammans fångar ett stort antal regelbundna substantiv och verb, för att
visa principen. Vi har i efterhand skrivit ett Perlscript (suffixaren.pl) som automatiskt genererar samtliga
nya suffixregler (new_suffixes) enligt denna princip.
Sammansatta ord
I ordlistan lagras inga sammansättningar. Därför måste sammansatta ord delas upp i för- och efterled för
att kunna slås upp. Till suffixkontrollen kommer bara efterledet, men för att grundformsgenereringen ska
vara användbar är det viktigt att den resulterande grundformen är av hela ordet, inte bara efterledet.
Annars skulle ett ord som solförmörkelsen få sin grundform presenterad som förmörkelse, snarare än
solförmörkelse. Vi är därför tvungna att hålla reda på eventuella förled som skalats bort under
bearbetningen. För att hantera detta ser vi till att inte bara efterledet utan även en oförändrad upplaga av
ordet finns med vid suffixkontrollen. Det är detta ursprungliga ord som används för presentation, sedan
vi tagit bort suffixet.
Litteratur
Domeij, R., Hollman, J. & Kann, V. Detection of Spelling Errors in Swedish Not Using a Word List En
Clair. Journal of Quantitative Linguistics, 1(3), 195-201, 1994.
(ftp://ftp.nada.kth.se/pub/documents/Theory/Viggo-Kann/detectspell.ps)
Kann, V., Domeij, R., Hollman, J. & Tillenius, M. Implementation aspects and applications of a
spelling correction algorithm. In Koehler, R., Uhlirova, L., Wimmer, G. (eds.): Text as a Linguistic
Paradigm: Levels, Constituents, Constructs, 1999.
(ftp://ftp.nada.kth.se/pub/documents/Theory/Viggo-Kann/TRITA-NA-9813.pdf)
file:///C|/WINNT/Profiles/d95-nke/Desktop/Spraktek/Stavalab.html (2 of 2) [2000-12-18 15:00:38]