Inkrementelle Thesauri am Beispiel von Spam- und ... - Wiki of UNI.LU

Inkrementelle Thesauri 

am Beispiel von Spam- und 

Phishing-Mails 

Praktikum Text Mining and Retrieval 

von Sviatlana Danilava 

Magdalena Koj 

Tatsiana Maleika

Rückblick 

Definition von Thesaurus: 

• Kontrolliertes Vokabular, dass durch hierarchische 

Assoziations- und Äquivalenzrelationen miteinander 

verbunden ist 

• Ein inkrementeller Thesaurus baut sich selbst auf, ein 

Endzustand ist nicht vordefiniert 

Definition von Spam: 

• Spam ist die massenhafte Verbreitung von 

unerwünschten Nachrichten (meist Werbung) via E- 

Mail, News- und Mailinglisten 

2 Inkrementelle Thesauri am Beispiel von Spam- und Phishing-Mails TRM - SS2006

Motivation 

• Spam hat eine enorme Bandbreite. 

• Eine manuelle Aktualisierung eines so umfassenden 

Gebiets ist schier unmöglich; ein inkrementeller 

Thesaurus ist vorteilhaft. 

• Er ermöglicht eine schnelle Abarbeitung von großen 

Datenmengen und benötigt kein Expertenwissen oder 

menschliches Input. 

• Dazu muss die Maschine fähig sein Texte zu verstehen 

und zu unterscheiden (in Spam und Nicht-Spam). 

• Kann man tatsächlich auf schon gewonnenes Wissen 

und Erfahrungswerte verzichten? 


State of the Art: Rückblick 

Online-Projekte, die sich mit der Erstellung von Thesauren 

beschäftigen: 

• Eines der größten ist WordNet, 

ein lexikalisches Referenzsystem, 

also ein Wörterbuch. 

• WordNet ist auf englisch 

• Die Benutzung von WordNet 

kostenlos. 


State of the Art: Rückblick 

• OpenThesaurus ist ein Open Source Projekt 

• Jeder angemeldete User kann am Thesaurus mitarbeiten. 

• Er steht in den Sprachen deutsch, polnisch, spanisch, slowakisch 

und norwegisch zur Verfügung. 


Inkrementeller Thesaurus für Spam 

• Ausgangsdaten: 13.298 Spam-Mails 

• Großes Ziel: 

•Inkrementeller Thesaurus (englisch) für 

Spam aus dem pharmazeutischen Bereich 

• Kleines Ziel: 

•Automatisch aufgebauter Thesaurus für 

Subjectlines aus diesen E-Mails 


Inkrementeller Thesaurus für Spam 

• Unser Plan war: 

• Daten vorbereiten (zuerst nur subject lines 

abarbeiten) – manuell und automatisch 

• Manuell: 

• Besondere Schreibweisen von Wörtern entdecken 

• Eine Liste mit wichtigen Stichwörtern aus den nicht 

pharmazeutischen Bereichen zusammenstellen 

• Automatisch: 

• Subject lines vom Rest trennen 

• Mit regulären Ausdrücken Spellingvariationen beschreiben 

• Statistische Analyse der Daten 

• Inkrementelle Version entwerfen 


Stop-Wording 

• Entfernen von Wörtern, die nicht sinnrelevant 

sind: Konjunktionen, Pronomen, Artikel, 

Hilfsverben, Negationen, Modalverben 


Stemming 

• Alle Wörter auf ihre Grundform bringen 

• Porter Stemmer 

• 1979 von Martin Porter und anderen an Cambridge 

University entwickelt 

• Der Algorithmus ermittelt Suffixe und entfernt sie in einer 

bestimmten Reihenfolge 

• Kein optimaler Algorithmus (viele Ausnahmen werden nicht 

behandelt), aber der einfachste und häufig benutzte 


Automatische Indexierung 

• Mit Ansatz aus dem Apriori-Algorithmus: 

• Suche aus den gestemmten Daten alle Terme aus, 

die in der Dokumentmenge nicht weniger als 5 Mal 

vorkommen (diese Schranke wurde intuitiv gewählt) 

• Aus 5.225 Wörtern in den 5.790 Subjectlines kommen nur 

655 Wörter häufig genug vor, dies sind späteren Einträge 

unseres Thesaurus 

• Bilde Wortpaare, die im selben Kontext vorkommen, 

diejenigen, die mindestens 5 Mal vorkommen, 

werden später für die Bildung der Relationen benutzt 

• Aus 9.256 Tupel wurden 488 für die weiteren Berechnungen 

ausgewählt 


Automatische Indexierung 

• Aus den Wortpaaren werden Worttripel erstellt, 

aus den Tripel werden später die 2:1 Relationen 

gebildet: 

• Aus 587 Tupel wurden 355 für die weiteren 

Berechnungen ausgewählt 


Clusteranalyse 

• Für alle Termpaare (T k, T j) und (T j, T k) , die von Apriori 

bestimmt wurden, berechne die Clustergewichte CW: 

CW ( Tj, 

T 

k 

) 

n 

! 

! 

i= 

1 

dfj 

dij 

= , 

dijk 

= 

N 

d 

! 

ijk 

= i= 

1 

n ; CW ( Tk, 

Tj) 

= i= 

1 

n 

d 

ij 

df 

N 

jk 

! 

dabei ist df j die Anzahl 

der Dokumente, in den 

Term j vorkommt (df jk für Paare) 

13 Inkrementelle Thesauri am Beispiel von Spam- und Phishing-Mails TRM - SS2006 

n 

i= 

1 

d 

d 

ikj 

ik

Thesaurus 

• Ein Eintrag unseres Thesaurus sieht danach wie 

folgt aus: 

Wortstamm von T j: ([Wortformen, die im Text 

gefunden sind], df j, d ij, [Relationsliste]) 

Struktur der Relationsliste: [T k, CW jk, d ijk] 

Beispiel: 

„softab“: [['softabs'], 38, 0.0066, [['ciali', 0.8006, 0.0059], 

['best', 0.0693, 0.0017]]] 


Inkrementeller Ansatz 

• Teile die Datenmenge in 3 Abschnitte: 

1. Vom 05.01 bis 31.03 – 4.286 E-Mails 

2. Vom 01.04 bis 31.05 – 4.778 E-Mails 

3. Vom 1.06 bis 23.09 – 4.234 E-Mails 

Die Perioden sind verschieden lang, aber die 

Datenmengen ungefähr gleich groß. 

• Mache aus dem ersten Abschnitt die 

Trainingsmenge für den Thesaurus, baue den 

Startthesaurus auf. 


Inkrementeller Ansatz 

• Bereite die Daten aus der zweiten Menge vor 

(inklusive Stopwording, Stemming, Apriori) 

• Aktualisiere den Thesaurus indem neue 

Clustergewichte für die neue 

Dokumentenmenge ausgerechnet werden. 

• Bereite die Daten aus der dritten Menge vor 

(inklusive Stopwording, Stemming, Apriori) 

• Aktualisiere den Thesaurus (Neuberechnung der 

Gewichte) 


Inkrementeller Thesaurus 

• Vorteile: 

• Jede Teilmenge von Dokumenten wird nur einmal 

durchsucht, bei der Aktualisierung werden nur 

Zahlenoperationen erneut durchgeführt. 

• Erneuerung des Thesaurus auch mit großen 

Zeitabständen effizient möglich, weil die 

Dokumentenmenge, die durchsucht wird, nicht viel 

großer wird. 

• Nachteil: 

• Datenverlust möglich 


Ergebnisse 

Dokumente 

Einträge 

Ohne 

Relationen 

Das häufigste 

Wort 

Teil 1 

2035 

336 

188 

Online 

90 

Teil 2 

2081 

350 

198 

Viagra 

83 

Teil 3 

2075 

313 

180 

Viagra 

117 


Ergebnisse 

Einträge 

Ungleiche 

Elemente 

Ohne 

Beziehungen 

Inkrementell 

486 

2 

258 

Noninkrementell 

861 

377 

428 


Ergebnisse 

• Die Güte des Thesaurus im Vergleich zu der 

manuell erstellten Blacklist: 

Länge der Blacklist: 103 

Gemeinsame Elemente: 33 (inkrementell), 

44 (noninkrementell) 

Verschiedene Elemente: 70 (inkrementell), 

59 (noninkrementell) 


Überblick: Medikamente 

Wirkstoff / 

Medikament 

Adipex 

Alprazolam 

(Lorazepam; 

Valium; Xanax) 

Cialis; Levitra; 

Viagra 

Codein; Paracodin 

Meridia 

Prozac 

Tramadol 

Xenical 

Wirkung 

Appetithämmung 

Beruhigend, schlafinduzierend, 

angstlindernd, antiagressiv, 

muskelrelaxierend, krampflösend 

führt bei erektiler Dysfunktion zu 

einer Erektion 

Kommt als Hustenhämmer und 

als Schmerzmittel vor 

Appetitzügler 

antidepressiv, psychomotorisch 

aktivierend 

schmerzlindernd, beruhigend, 

atemdepressiv,hustenhemmend, 

Erbrechen fördernd 

Abmagerungsmittel 

Nebenwirkung 

Gewöhnung, Abhängigkeit, Psychosen, Depression, Nervosität, 

Schlafstörungen, Schwindel, Krampfanfälle, 

Herzrhythmusstörungen, Kopfschmerzen, Magen-Darm- 

Beschwerden, Störungen der Sexualfunktion und der 

Blasenentleerung. In Deutschland verboten 

Müdigkeit, Benommenheit, Verwirrtheit, paradoxe Reaktionen, 

Atemdepression, psychische und physische Abhängigkeit 

Kopfschmerz, Schwindel, Ohnmacht, Sehstörungen, Angina 

Pectoris, Priaptismus (Dauererrektion) 

Atemdepression, Beruhigung, Verstopfung, 

Abhängigkeitspotential da geringe Metabolisierung zu Morphin 

Trockener Mund, Schläfrigkeit, Verstopfung,Schlafstörungen, 

Angstgefühl 

Schlaflosigkeit, Unruhe als gesteigerterBewegungsdrang, 

Übelkeit, Erbrechen, Kopfschmerz, 

Durchfall,Herzrythmusstörungen, Ejakulationsstörungen 

Schwindel, Unruhe, Verstopfung, Kopfschmerz, Übelkeit, 

inKombination mit Alkohol toxisch 

Bauchschmerzen, Fettstuhl, Fatulenz mitStuhlabgang, 

Stuhldrang, Kopfschmerz, Abgeschlagenheit,Vitaminmangel 


Monty Python's Flying Circus 


Literaturangaben 

• Wikipedia - Die freie Enzyklopedie (deutsch). http://de.wikipedia.org/wiki/Hauptseite 

• Hsinchun Chen, Bruce Schatz, Joanne Martinez, Tobun Dorbin Ng; 1994: Generating 

a Domain-specific Thesaurus Automatically: An Experiment on FlyBase; 

http://ai.bpa.arizona.edu/papers/ijmms94/ijmms94.html 

• WordNet - a lexical database for the English language. http://wordnet.princeton.edu 

• GermaNet. http://www.sfs.uni-tuebingen.de/lsd/ 

• OpenThesaurus - Deutscher Thesaurus. http://www.openthesaurus.de 

• Herg. Andreas Ruß und Stefan Enders; Nov. 2004: Arzneimittel pocket plus 2005; 

Auflage 1; Bröm Bruckmeier Verlag 

• Thomas Karow und Ruth Lang-Roth; Okt. 2004: Allgemeine und spezielle 

Pharmakologie und Toxikologie 2005; Auflage 13; 

• Pschyrembel - Klinisches Wörterbuch; Juni 2004; Auflage 260; Walter de Gruyter 

Verlag, Berlin

Inkrementelle Thesauri am Beispiel von Spam- und ... - Wiki of UNI.LU

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?