Speciale a03jean a03mitr 2008 - Forskning

pure.iva.dk

Speciale a03jean a03mitr 2008 - Forskning

Query expansion med sociale tags til forbedret ranking af søgeresultater Danmarks Biblioteksskole

5.2.1 Teoretisk baggrund

Dette speciale søger at kombinere involvering af brugere med kvantitative,

empiriske metoder til evaluering, og den primære, teoretiske baggrund bør

findes indenfor det postpositivistiske paradigme, der kombinerer klassisk

positivistisk empirisme med en form for pragmatisme (Sohlberg & Sohlberg,

2004). Undersøgelsens konklusioner vil være baseret på kvantificerbare

resultater og metoder, og det er et væsentligt punkt at analysen foretages

tilstræbt objektivt, og reproducerbart. I forhold til informationsvidenskaben

kombinerer undersøgelsen altså de positivistike kriterier fra tidlige

eksperimenter indenfor IR med nyere, holistisk kognitive elementer (som

præsenteret i Ingwersen & Järvelin (2005)). Omend undersøgelsen anvender

positivistiske evalueringskriterier hører den dog primært hjemme indenfor

den kognitive del af informationsvidenskaben, da den er udført med ægte

brugere i et miljø, der er tilstræbt realistisk, i modsætning til forsøg udført

indenfor den systemorienterede tradition, der som regel udføres under

laboratorielignende forhold, f.eks. ved TREC (Text REtrieval Conference),

hvor undersøgelserne udføres på et datasæt, der er udvalgt på forhånd, og

som evalueres af en objektiv ekspert. En anden væsentlig forskel på det

typiske laboratorieforsøg og denne undersøgelse er, at vi ikke forsøger at måle

søgealgoritmens performance, for at evaluere søgealgoritmen og forbedre den.

I stedet søger vi at måle effekten af query expansion ved hjælp af termer, der

er givet af brugerne selv, og betragter søgealgoritmen som en relativt statisk

del af undersøgelsen.

I forhold til brugerinddragelse lægges der især vægt på, at evalueringerne

finder sted på baggrund af brugeres relevansvurderinger, med disses

foruddannede holdninger og erfaringer som påvirkning. Denne involvering af

brugere påvirker ønsket om objektivitet og gentagelighed, idet en bruger

sjældent vil vurdere det samme dokument ens efter et tidsforløb (Spink,

Greisdorf, & Bateman, 1998). Pointen er dog heller ikke, at en tilsvarende

undersøgelse vil opnå samme resultater som her, men derimod, at det er

muligt at opnå resultater af samme type. Det er dermed heller ikke

undersøgelsens formål at overføre hypotesernes resultater til generelle

lovmæssigheder, men derimod at indikere sandsynlige sammenhænge.

Selvom brugeres relevansvurderinger altid vil være påvirket af viden og

erfaring, og dermed aldrig fuldstændig objektive, uanset hvor meget dette

tilstræbes, så er det primært disse relevansvurderinger der bliver påvirket,

hvorimod evalueringen af dem stadig kan foretages objektivt. På samme måde

kan observatørens rolle holdes objektiv ved fremstillingen af søgeresultaterne,

ved at lægge indsamlingen af søgetermer ud til brugerne.

5 ‐ Metode Side 20

More magazines by this user
Similar magazines