IT-Management in der Praxis Seminar ? WS 2004/05 - am ...

84 Nils L. Roßmann: Anti-Spam Techniken
In der Standardkonfiguration ist SpamAssassin so eingestellt, dass der Bayes-Filter erst nach
dem Training von 200 Spam- und 200 Ham-Mails verwendet wird. In der Praxis hat sich allerdings
gezeigt, dass mindestens 1000 Spam- und 1000 Ham-Mails notwendig sind (supervised
training).
SpamAssassin unterstützt die beiden Strategien ‘train everything‘ und ‘train-on-error‘. Bei
der ersten Strategie werden alle zur Verfügung stehenden E-mails als Trainingsdaten verwendet.
Wobei darauf zu achten ist, dass Ham- und Spam-Mails aus dem gleichen Zeitraum
stammen. Ansonsten würde das Datum als Klasssifizierungskriterium verwendet. Nach ca.
10.000 trainierten Spam- und Ham-Mails ist es sinnvoll auf die train-on-error Strategie zu
wechseln. Hierbei werden nur noch falsch klassifizierte E-mails trainiert.
Neben dem supervised-training unterstützt SpamAssassin auch noch das unsupervised-training.
Beim eigenständigen Lernen geht SpamAssassin allerdings sehr konservativ vor. Es
werden nur E-mails berücksichtigt, die einen sehr hohen Wert anhand der statischen Regeln
erreichen (ohne die Werte des Bayes-Filters). Außerdem müssen mindestens drei Body- und
drei Header-Regeln zutreffen und die E-mail darf nicht bereits durch den Bayes-Filter richtig
eingeordnet worden sein (siehe [Gord04]).
Jede E-mail (header und body!) wird wie in Abschnitt 2.3.3 beschrieben in Tokens (Zeichenketten
mit einer Länge von 3-15 Zeichen) zerlegt und in jeweils einer Datenbank für Wörter
aus Spam-Mails und einer für Wörter aus Ham-Mails gespeichert. Tokens, die lange nicht
mehr in einer E-mail vorkommen, werden zur Verbesserung der Performance entfernt.
Beim Überprüfen einer neu eintreffenden E-mail, wird auch diese in Tokens zerlegt und bis
zu 150 der aussagekräftigsten Tokens werden zur Berechnung der Wahrscheinlichkeit (wie in
Abschnitt 2.3.3 beschrieben) verwendet.
4 Einsatz im Rechenzentrum der Universität Karlsruhe
Im Rechenzentrum wird derzeit der ISP-Ansatz verfolgt. Das heißt, alle eingehenden und
ausgehenden E-mails werden zentral über ein Mail-Server geleitet. Auf diesem Server wird
SpamAssassin 2.6 inklusive Bayes-Filter eingesetzt. Es wird also die Spalte 3 der Scores verwendet
(mit Bayes, ohne Netzwerktests). Im Juni 2005 ist ein Releasewechsel auf SpamAssassin
3.0 angedacht. Blacklisting wurde aus Performancegründen wieder deaktiviert. In Zukunft
ist aber angedacht, die Blacklist lokal vorzuhalten. Auch der Einsatz von Greylisting ist aufgrund
von Problemen mit der Geschwindigkeit nicht vorgesehen.
Die Ausbeute liegt inklusive des Bayes-Filters bei ca. 90%, wobei ohne Bayes nur ca. 40%
des Spams ausgefiltert würde. Dies liegt unter anderem daran, dass E-mails, die Bayes 99
erfüllen, direkt als Spam markiert werden.
Als weitere Maßnahme werden nur noch E-mails angenommen, wenn der adressierte Empfänger
im Bereich der Universität existiert (siehe [Preu04]). Dies reduzierte das Mailaufkommen
um bis zu 250.000 E-mails pro Tag und der Spam-Anteil (SpamAssassin Score > 7) ging von
70% auf 50% zurück (siehe Abbildung 2).
Der Bayes-Filter wurde mit ca. 4000 Ham-Mails und 2300 Spam-Mails trainiert. Danach
wurden nur noch falsch klassifizierte Mails zum Lernen verwendet. Das automatische Lernen
wurde abgeschaltet, da mehr Spam- als Ham-Mails ankommen und somit einfache Worte
durch die Masse an Spam eine falsche Gewichtung bekommen würden. Um die Erkennung
zu verbessern sollen in Zukunft wieder vermehrt neue Ham-Mails einsortiert werden. Dies
geht allerdings nur, wenn Benutzer ihre E-mails freiwillig zur Verfügung stellen. Auch ein
vermehrtes Einsortierung von falsch klassifizierten E-mails Zurzeit melden allerdings nur sehr
Seminar – IT-Management in der Praxis