Mathematik für Physiker - Numerische Physik: Modellierung

444 KAPITEL 12. STATISTIK
Tabelle 12.1: Wahrscheinlichkeiten p i und mittlerer Informationsgehalt S i = p i ld 1 p i
von Buchstaben
der deutschen Sprache (inkl. Leerzeichen )
# Buchstabe f = p i F = Σp i S i = p i ld 1 p i
1 0.151490 0.1514 0.41251
2 E 0.147004 0.2985 0.40661
3 N 0.088351 0.3869 0.30927
4 R 0.068577 0.4554 0.26512
5 I 0.063770 0.5192 0.25232
6 S 0.053881 0.5731 0.22795
7 T 0.047310 0.6204 0.20824
8 D 0.043854 0.6642 0.19783
9 H 0.053554 0.7078 0.19691
10 A 0.043309 0.7511 0.19616
11 U 0.031877 0.7830 0.15847
12 L 0.029312 0.8123 0.14927
13 C 0.026733 0.8390 0.13968
14 G 0.026672 0.8657 0.13945
15 M 0.021336 0.8870 0.11842
16 O 0.017717 0.9047 0.10389
17 B 0.015972 0.9207 0.09585
18 Z 0.014225 0.9349 0.08727
19 W 0.014201 0.9491 0.08716
20 F 0.013598 0.9637 0.08431
21 K 0.009558 0.9723 0.06412
22 V 0.007350 0.9796 0.05209
23 Ü 0.005799 0.9854 0.04309
24 P 0.004992 0.9904 0.03817
25 Ä 0.004907 0.9953 0.03764
26 Ö 0.002547 0.9979 0.02194
27 J 0.001645 0.9995 0.01521
28 Y 0.000173 0.9997 0.00217
29 Q 0.000142 0.9999 0.00181
30 X 0.000129 1.0000 0.00167
sind in Abb. 12.4 gegeben. Die Wahrscheinlichkeitsfunktion f = p i ist eine monoton fallende
Funktion. Die Wahrscheinlichkeitsverteilung können wir jetzt zur Untersuchung anderer
Fragen verwenden: die Wahrscheinlichkeit, dass ein zufällig gezogener Buchstabe zu den fünf
häufigsten Buchstaben des Alphabets (inkl. Leerzeichen) gehört, ist 52%; die, das er zu den
zehn häufigsten gehört, 75%. Umgekehrt können wir aus der Dichtefunktion ablesen, dass
75% eines deutschsprachigen Textes aus nur 10 Zeichen (9 Buchstaben sowie das Leerzeichen)
bestehen, während die verbliebenen 20 Buchstaben nur zu 25% des Textes beitragen.
Die unterschiedlichen Wahrscheinlichkeiten der Zeichen der Ergebnismenge bedeuten auch
einen unterschiedlichen Informationsgehalt S i , wie in Abschn. 12.3.1 genauer betrachtet.
§ 1658 Betrachten wir nicht eine diskrete sondern eine stetige Zufallsvariable, so ergeben
sich die entsprechenden Definitionen und Eigenschaften: die Wahrscheinlichkeitsfunktion eiwillkürlich
einen beliebigen anderen zur Codierung zuordnen. Diese Codierung war etliche Jahrhunderte
gebräuchlich – mit dem Aufkommen der Statistik ist durch eine Häufigkeitsanalyse das Dechiffrieren derartiger
Botschaften einfach geworden. Alle modernen Codierungsverfahren funktionieren so, dass nicht einem Zeichen
genau ein anderes zugeordnet wird sondern dass die Zeichen so zugeordnet werden, dass alle Zeichen des
Codes gleich wahrscheinlich sind (maximale Entropie, s.u.), auch wenn dann ein häufiger Buchstabe durch
eine entsprechend größere Zahl unterschiedlicher Zeichen kodiert werden muss.
13. März 2007 c○ M.-B. Kallenrode