Spam version 8 Andreas Tandersten 2004-12-21 - BADA

Bayesianskt angrepp, av Sahami, Dumais, Heckerman och Horowitz.
Sahami et al. fokuserar speciellt på det faktum att det är ytterst viktigt att de legitima emailen
inte klassificeras som spam, med detta som fokus sätter de en tröskel på 99,9%
precision för att inte klassificera ett legitimt e-mail som spam. Vidare kombinerar de tre
olika angrepp tillsammans med den bayesianska metoden. Dessa tre är (med bayes):
enbart ord (tokens), ord+fraser samt ord+fraser+domänspecifik information (t.ex. ägare,
organisation, upphovsman mfl.). Både recall och precision ökar för varje ytterligare
variabel som tillförs. När det gällde spaminsamlingen var precisionen 97,1%, 97,5%
och 100%, recall var här 94,3%, 94,3% och 98,3%. När det gällde legitima e-mail var
siffrorna sämre för både precision och recall. 87,7%, 87,8% och 96,2%, samt för recall:
93,4%, 94,7% och 100%. De här siffrorna skapades i en testmiljö, när de sedan
genomförde undersökningen i en riktig miljö (två riktiga användares inboxar) blev
siffrorna sämre. 3 legitima e-mail (av 39) klassificerades som skräp och 9 spam (av 183)
klassificerades som legitima e-mail. Att hela 8% av den legitima e-mailen
klassificerades fel, gjorde att författarna själva ifrågasatte den bayesianska
effektiviteten, varför de rekommenderade ytterligare forskning för att effektivisera
metoden. 74
Naive Bayes vs Keyword av Androutsopoulos et al.
Liksom Sahami et al. jämförs här N.B. med nyckelordsfiltrering.
Nyckelordsfiltreringens korpus, består av de egna e-mail-kollektionerna och tas från
Microsoft Outlook 2000 och dess lagrade mönster avsedda att identifiera spam. Redan
från början påpekar Androutsopoulos et al. att Outlooks filter och mönster måste ha
konstruerats för hand. I Outlook fanns det vid tillfället som undersökningen företogs 58
olika mönster avsedda att söka efter vissa speciella nyckelord, dessa riktas in både mot
sidhuvudet (Header) och mot själva meddelandet (Body) i e-mailet. Till skillnad från
Sahami et al. mäter de flera andra variabler, och undersöker hur dessa påverkar
insamlandet av spam. Dessa variabler var storleken på attribut-seten, storleken på
träningskorpusen, lemmatisering och stopplistor. De fann att N.B. klart överglänste
nyckelordsansatsen när det gällde recall 78% jämfört med måttliga 53% för
nyckelordsansatsen. Sifforna för precision var mycket bättre för nyckelordsansatsen:
95% men även här vann N.B. med en precision på 98%. De påpekar dock att alla
sådana här undersökningar som genomförs måste sättas i ljuset av hur mycket man
lägger ner i form av pengar för att utveckla systemen. 75
Naive Bayesian vs. Memory Based Approach av Androutsopoulos et al.
De tidigare egna föreslagna komplementen till N.B. utvecklas här ytterligare av
Androutsopoulos et al i deras tidigare forskning. Den här gången jämför de N.B. med
en annan självlärande metod, TiMBL (memory-based classifier). En sådan
klassificerare är ämnad att försöka klassificera e-mail baserat på minnen av liknande
tidigare mottagna e-mail. Både N.B. och TiMBL utförde insamlingen av spam ungefär
lika bra. Liksom tidigare experiment jämfördes även N.B. och TiMBL mot den
74 Sahami, Mehran. Dumais, Susan. Heckerman, David. Horvitz, Eric (1998) A Bayesian Approach to
Filtering Junk E-Mail. Learning for Text Categorization: Papers from the 1998 Workshop
även tillgänglig som: http://citeseer.ist.psu.edu/sahami98bayesian.html [2004-10-12]
75 Androutsopoulos et al (2000a)
32