Vad automatisk indexering och genreklassifikation kan tillföra ...

och possessiva. Genom att kvantifiera ett antal av de ovannämnda variablerna är det
möjligt att låta en dator skapa funktioner som beskriver skillnaden i förekomst mellan
dem. Dessa funktioner är sedan möjliga att applicera på nya texter för att därigenom
kategorisera in dem i olika undergrupper eller genrer. Det som väsentligen skiljer detta
förfarande från övrig genreklassifikation är att istället för att de mest innehållsladdade
orden väljs, väljs istället de som bäst signalerar vilken stil som texten är skriven i.
Exempel på olika urskiljbara stilar är skönlitterär, facklitterär och journalistisk eller
tidningsprosa. 130
Naturligtvis är inte Karlgren den enda som forskar kring lingvistikens påverkan på
Information Retrieval. Detta är tvärtemot ett väldigt stort och produktivt
forskningsområde, som sträcker sig tvärvetenskapligt genom flera väldigt olika
forskningsområden. Förutom att stilistiskt kunna genreindela text kan även ett stilistiskt
angreppssätt förbättra indexering och sökning då detta även tar hänsyn till textens
lingvistiska delar, något som annars automatisk indexering och de flesta sökmotorer
utelämnar. Idag anses troligen att de allra största användningsområdena ligger inom
fulltextsökning, men även indextermsbaserad informationsåtervinning kan dra nytta av
flera av disciplinens framsteg. I synnerhet är ett lingvistiskt synsätt fördelaktigt då det
gäller att välja ut vilka enskilda ord som skall kombineras ihop och göras sökbara som
grupperingar av ord. Det lingvistiska angreppssättet leder till att texten inte enbart
behandlas som en mängd ord utan inbördes sammanhang; istället får textens helhet även
påverkan på resultatet. Stilistisk analys används till exempel ofta som ett verktyg för att
automatiskt skapa termer som är länge än ett ord. Att enbart skapa sammansatta termer
efter ordklass blir lätt ett klumpigt verktyg. Om indexeringsmotorn istället tar hänsyn till
stilen kan bättre resultat uppnås. Exempelvis är en stor vinst gjord om det är möjligt att
tolka fram ur en mening var meningens egentliga information ligger. Vilka ord som i
meningen är de mest signifikanta för hela satsens information. Andra områden inom
kombinationen av indextermer där ett lingvistiskt synsätt kan förbättra automatisk
indexering är att det på ett mycket mer naturligt sätt kan binda samman ord i meningar så
att det substantiv ett adjektiv syftar på kan kombineras ihop med adjektivet. Detta är
sällan möjligt om antalet ord i satsen som skiljer dessa båda ord åt är stort, så länge
enbart ett semantiskt angreppssätt används. Ett exempel på en sådan mening är
”Innehållsrika, men för den skull inte långdragna, texter”. Uppenbarligen syftar
innehållsrika på texterna. I en tänkbar databas borde även ”innehållsrika texter” kunna
vara en bra indexterm. Ett system som kan extrahera fram sådana ordkombinationer är
alltså troligen väldigt användbart. 131 Ett annat område som berör själva sökfrågan är om
ordens interna ordning i sökfrågan skall tillåtas spela någon roll. I en ordinär sökning
tillåts inte detta. Orden behandlas som om de låg i en påse; de har endast befintlighet, inte
placering. Om substantiv tilläts att antingen vara objekt eller subjekt hade troligen vissa
förbättringar kunnat uppnås. Bland annat möjliggör detta om ord står i en viss ordning
behandlas de som en term, om de står i den motsatta som två. Detta är uppenbarligen ett
problem i språk som vanligen inte sammanskriver, alltså engelska. För språk som
däremot kan kombinera ord är detta problem av betydligt mindre storlek. Som exempel
130 Karlgren (2000) s. 50 – 66.
131 Sparck Jones, Karen (1999) What os the role for NLP in Text Retrieval? Kap 1 i Strzalkowski, Tomek
(1999) Natural Language Information Retrieval. Dordrecht: Kluwer Academic Publishers, s. 2 -22.
38