Konzeption und Implementierung eines ... - Stephan, Daniel

5.3. REPRÄSENTATION VON DOKUMENTEN 60
Begriff, dessen Auftreten oder Nichtauftreten in Dokumenten eine hohe Aus-
sagekraft über die Klassifikation hat, der hat einen hohen Informationsgehalt.
Dies lässt sich wie folgt verallgemeinern und formeller ausdrücken.
Der Informationsgehalt wurde ursprünglich von Shannon [Sha48] in Bezug
auf die Kapazität von Übertragungskanälen betrachtet. Mit Kapazität ist hier
die Information, die pro Zeiteinheit maximal durch den Übertragungskanal ge-
leitet werden kann, gemeint. Seine Motivation war, formell mathematisch zu
beschreiben, wie sich Rauschen auf die Korrektheit übertragener Daten aus-
wirkt und welche Möglichkeiten es gibt, diesem Effekt entgegenzuwirken. Mit
Rauschen sind Fehler gemeint, die bei der Übertragung passieren können.
Rauschen hat die Eigenschaft, gleichmäßig verteilt nach einer bestimmten
Wahrscheinlichkeit (Signal-to-Noise-Ratio oder kurz SNR) aufzutreten. Die The-
se von Shannon bezüglich der Information ist nun, dass es bei einer bestimmten
SNR eine ganz bestimmte Menge an Information gibt, die so durch den teilweise
verrauschten Kanal geleitet werden kann, dass am anderen Ende ein rauschfrei-
es fehlerloses Ergebnis steht. Diese Menge an Information ist eine theoretische
Größe, die auch durch schlaueste Kodierungsverfahren nicht überschritten wer-
den kann.
Es gibt nun eine feste maximale Kapazität, die auf unverrauschte Weise er-
reicht wird und die systemimmanent und gegeben ist. Wie sich diese Kapazität
durch Rauschen erniedrigt, wird durch Shannons Maß für Information (auch
Entropie genannt) mathematisch errechnet. Dies hat er in einer Formel wie
folgt ausgedrückt 2 :
H = −
n�
pi log pi
i=1
(5.4)
Auf Information Retrieval übertragen lässt es sich derart, dass hierbei nach
Wegen gesucht wird, so wenige Features (entsprechend Bits) wie möglich zu
verwenden, um so viel Information wie möglich auszudrücken, um damit eine
möglichst exakte Klassifizierung zu erreichen. Der Trick dabei ist, Rauschen (in
Bezug auf die Klassifikation falsche Begriffe, Fehler, oder gleichmäßig verteilte
Begriffe) herauszurechnen.
Nun lässt sich die von Shannon ermittelte Formel für den Informationsge-
halt verwenden, um den Informationsgewinn auszudrücken, den ein bestimmter
Term t (bzw. ein bestimmtes Feature) für die Klassifikation des Dokuments
2 Beweis siehe [Sha48], Seite 28ff