Speciale a03jean a03mitr 2008 - Forskning

pure.iva.dk

Speciale a03jean a03mitr 2008 - Forskning

Query expansion med sociale tags til forbedret ranking af søgeresultater Danmarks Biblioteksskole

6 Analyse

I den følgende analyse vil de fundne resultater blive evalueret og analyseret,

primært med henblik på at undersøge specialets tre hypoteser, men også for at

belyse mulige årsager til resultaterne. Analysen er inddelt i tre hovedafsnit, ét

for hver hypotese, og til sidst et opsamlende afsnit, hvor analysens

delkonklusioner vil blive samlet op.

6.1 Analyse af ranking performance

Som beskrevet i metodeafsnit 5.4.5 anvendes Relex‐modellen til at evaluere

hvor godt de forskellige søgeresultater er blevet ranket, i forhold til den

enkelte brugers relevansvurderinger. Som det fremgår af metoden, er der

foretaget flere relevansvurderinger af hver enkel søgning, og for hver enkel

brugers relevansvurderede udgave af den samme søgning er der fremstillet en

idéelt sorteret udgave, som den faktiske ranking er holdt op imod, for dermed

at afgøre rankingens performance. Formålet med dette er at teste H1:

Automatisk query expansion ved hjælp af klynger dannet af bruger‐

genererede tags, fra en videnskabelig database, kan forbedre ranking af

søgninger i en bibliografisk database bestående af videnskabelige

dokumenter, indekseret og fremfundet vha. en best‐match algoritme.

For at kunne gøre dette, må H10 først testes:

Søgeresultater, der er blevet til på grundlag af query expansion, følger

samme performance‐distribution som søgeresultater, der ikke er blevet

til på grundlag af query expansion.

Kun hvis nul‐hypotesen kan forkastes, kan det afgøres om der er tale om

forbedringer eller forværringer af statistisk signifikant karakter.

Inden hypoteserne testes er datasættet blevet renset for data, der ikke er gode

nok. Relex fungerer bedst, hvis der er et vist minimum af relevante

dokumenter til rådighed, hvorfor søgeresultater med lav CG (som indikator

for relevante dokumenter) bør sorteres fra. Der er valgt en tærskelværdi på

CG>10, da dette svarer til et minimum på fem dokumenter, d.v.s. 10% af det

samlede søgeresultat, samtidig med, at der i det samlede datamateriale er en

lille gruppe søgeresultater der ligger på eller under CG=10, , med et spring op

til CG=19 som den næste værdi.

For at kunne teste H10 er det nødvendigt først at undersøge, om cosinus‐

lighederne fra Relex‐evalueringen (COSIM) er normalfordelte, da dette er

afgørende for valget af statistisk test. COSIM‐værdierne er her blevet plottet

som histogram, for at synliggøre hvordan disse er fordelt (Figur 6.1).

6 ‐ Analyse Side 61

More magazines by this user
Similar magazines