Speciale a03jean a03mitr 2008 - Forskning

pure.iva.dk

Speciale a03jean a03mitr 2008 - Forskning

Query expansion med sociale tags til forbedret ranking af søgeresultater Danmarks Biblioteksskole

Resultatet af en lighedsmåling ved hjælp af COSIM er et tal mellem 0 (ingen

relevante dokumenter er placeret i toppen af søgesættet) og 1 (det originale

søgeresultat er identisk med den idéelle udgave).

Både nDCG og Relex måler altså søgealgoritmers evne til at ranke

højrelevante dokumenter øverst i et søgesæt og udtrykker resultatet som et tal

mellem 0 og 1, hvor ekstremerne siger omtrent det samme. Der er til gengæld

stor forskel på hvad værdierne mellem 0 og 1 betyder. Andersen & Svendsen

når frem til, at Relex er et meget mere direkte mål, da det opererer med

direkte sammenligninger af umodificerede vektorer, hvorimod vektorerne,

der anvendes til beregning af nDCG er modificeret med en logaritmefunktion,

der er direkte afhængig af rank. Dette har bl.a. den konsekvens at meget små

variationer i toppen af søgesættet kan have meget store konsekvenser for

slutresultatet af nDCG, og også større konsekvenser end det synes rimeligt

(Andersen & Svendsen, 2008). Derfor vælges Relex som mål til evaluering af

rankingen af søgeresultater.

Hypotesetests

Formålet med evalueringen af de relevansvurderede søgeresultater er, at teste

hypoteserne H1 og H2:

H1. Automatisk query expansion ved hjælp af klynger dannet af bruger‐

genererede tags, fra en videnskabelig database, kan forbedre ranking af

søgninger i en en bibliografisk database bestående af videnskabelige

dokumenter, indekseret og fremfundet vha. en best‐match algoritme.

H2. Query expansion med bruger‐genererede tags, fra en videnskabelig

database, kan returnere flere højrelevante dokumenter i den højest

rankede del af et søgesæt.

Nedenfor vil der blive beskrevet hvordan disse hypoteser testes ved hjælp af

henholdsvis Relex og CG.

En forbedring af søgeresultatet opnået gennem query expansion afhænger af,

om søgealgoritmen har ranket flere relevante dokumenter højt i søgesættet

(performance), når der har været anvendt query expansion end når det ikke er

tilfældet. Dette er udtrykt ved hjælp af cosinus‐lighederne fundet gennem

Relex‐analysen. H1 testes derfor ved at måle performance i forskellige

situationer, dvs. med forskellige brugere og forskellige work tasks, hvor der

distingveres mellem anvendelsen af query expansion eller ej som uafhængige

stikprøver. For at teste to uafhængige stikprøver for en evt. forskel bør man

anvende en T‐test, givet at data er normalfordelte, hvis dette kriterium ikke er

opfyldt kan man anvende en Mann‐Whitney‐U test. Begge metoder tester, om

stikprøverne tilhører samme population, hvorved nul‐hypotesen for H1 (H10)

bliver:

5 ‐ Metode Side 57

More magazines by this user
Similar magazines