Speciale a03jean a03mitr 2008 - Forskning

pure.iva.dk

Speciale a03jean a03mitr 2008 - Forskning

Query expansion med sociale tags til forbedret ranking af søgeresultater Danmarks Biblioteksskole

den har været erkendt længe før biblioteket i Alexandria blev bygget.

Evalueringen har gennem tiden antaget mange forskellige former, men der

har de sidste halvtres år været en klar tendens til, at de evalueringsmetoder

der hører til i den systemorienterede tilgang til systemanalyse har vundet så

meget indpas, at der kun har været meget lidt efterspørgsel af de andre

metoder. Den systemorienterede tilgang til analysen er af natur kvantitativ, og

naturvidenskabelig i oprindelse. Den bygger da også, i de tilfælde, der

fremhæves her, såvel som i resten af periodens teorier, på optællinger af

mængden af relevante poster i et søgeresultat, i forhold til størrelsen på

søgeresultatet, og i forhold til størrelsen af basen. Disse målemetoder, hvor

vidunderligt lette de end er at arbejde med, har nogle indbyggede fejl og

mangler. For eksempel er det i mange tilfælde et problem, at de begrænser sig

til at arbejde med binær relevans. Det vil sige, at for en given

søgeforespørgsel, kan samlingen deles i to dele: En der er relevant, og en del

der er irrelevant for søgeforespørgslen. Dette har været state of the art ind til

for ganske nyligt; der har naturligvis været en del udviklinger i teorien

omkring systemevaluering, men overordnet set, er selve maskinen inden i

evalueringerne ikke blevet ændret – et tankevækkende fænomen, taget i

betragtning hvor meget de kognitive og brugerorienterede tilgange til

systemanalyse har vundet frem i de sidste tyve‐tredive år.

Det er først for nylig, at der for alvor er kommet fart i forskningen omkring

system‐ og performanceevaluering i et interaktivt, brugerorienteret

perspektiv, f.eks. i form af Pia Borlunds IIR model (Borlund, 2003) og Järvelin

& Kekäläinens (D)CG‐mål (Järvelin & Kekäläinen, 2000). Der har været gjort

forsøg tidligere på at inddrage kognitive tanker i selve evalueringen, men

meget ofte er man endt med at anvende recall og precision til at udtrykke

hvorvidt et system var bedre eller ringere end et andet system. Borlund

foreslår i sin artikel, at man kombinerer de to teorier, og således opnår begge

systemers fordele.

Det brugerorienterede element i Borlunds model udgøres af simulated

worktasks, og brugergenererede relevansvurderinger, hvilket muliggør et

mere differencieret relavansmål, end det binære. Denne kvalitative tilgang

suppleres så med en kvantitativ databehandling af de indsamlede

relevansvurderinger.

Efterfølgende er der udviklet adskillige nye og lovende performancemål på

baggrund af blandt andre Borlunds tanker. Nogle af disse vil her blive forsøgt

anvendt til evaluering af det konstruerede query expansion system.

Dette projekt ligger i forlængelse af de ovennævnte problemstillinger, og

forsøger derved at besvare to overordnede spørgmål, et om klyngeanalysens

fordele og ulemper i forbindelse med query expansion, og et om forskellige

performancemåls evne til at afgøre hvorvidt den foregående analyse har haft

en positiv effekt på et givet informationssystem.

Dette speciale tager udgangspunkt i en brugerorienteret tilgang både til query

expansion og system‐ og performanceevaluering. Derfor anvendes der

udelukkende brugergenererede informationsstrukturer som grundlag for en

klyngeanalyse, med henblik på automatisk query expansion. Resultaterne af

2 ‐ Indledning Side 7

More magazines by this user
Similar magazines