Zum Informationsbegriff der Informationstheorie

HAUPTBEITRAG / ZUM INFORMATIONSBEGRIFF DER INFORMATIONSTHEORIE }
Zum Informationsbegriff
der Informationstheorie
Peter Rechenberg
Was hier steht, ist nicht
neu, sondern schon oft
gesagt worden, allerdings
nur unbetont und
gewissermaßen nebenbei.
Es ist nicht allgemein
bekannt, und das
scheint mir genug Grund
dafür zu sein, ausdrücklich
darauf hinzuweisen.
Der Begriff „Information“
wird heute in vielen
verschiedenen Bedeutungen
benutzt.
Nach meiner Beobachtung
ist das zum
großen Teil auf die
Shannon’sche Informationstheorie
mit ihrem
quantitativen Informationsbegriff zurückzuführen.
Um sich darüber klar zu werden, mag es nützlich
sein, an die Informationstheorie zu erinnern, ihr
mathematisches Modell in seinen Grundzügen kritisch
darzustellen und vor allem zu zeigen, wie stark
sich der Shannon’sche Informationsbegriff von den
gängigen Informationsbegriffen unterscheidet.
Kurze Geschichte des Informationsbegriffs
Der Begriff „Information“ ist alt. Er kommt vom
lateinischen Verb informare, das „einformen“ oder
„in eine Form bringen“ heißt, und dem dazugehörigen
Substantiv informatio, das „die Einformung“
oder „das In-eine-Form-Bringen“ bedeutete.
Zur Zeit des Humanismus war informatio dann
die Unterweisung durch Unterricht und informator
der Lehrer, und am Ende des 19. Jahrhunderts
bedeutete Information nur noch allgemein Mitteilung,
Auskunft. Das Wort wurde verstanden, aber
wenig benutzt. Zeitungen enthielten Informationen
für ihre Leser, Telegramme für ihre Empfänger. In
der ersten Hälfte des 20. Jahrhunderts änderte sich
daran nur wenig, sodass der Begriff „Information“
ein unauffälliges Dasein fristete und weder in
Philosophie noch Wissenschaft oder Politik eine
Rolle spielte.
Das änderte sich (nach der Erinnerung des
Verfassers) erst nach dem Zweiten Weltkrieg. Es
waren die sog. Informationstheorie, die Kybernetik,
das Fernsehen und die elektronische Datenverarbeitung,
die dem Begriff „Information“ zu unvermuteter
Blüte verhalfen. Heute ist er ein Schlüsselbegriff
unserer Zeit (Informationsgesellschaft, Informationszeitalter)
und hat sogar der neuen technischen
Wissenschaft, der Informatik, den Namen
gegeben. Das ist eine erstaunliche Entwicklung,
besonders im Hinblick darauf, dass „Information“
ein weicher, vager, missverständlicher Begriff ist.
Eine kurze Rekapitulation seiner verschiedenen
Bedeutungen ergibt etwa Folgendes:
· Oft bedeutet Information nichts anderes als „Nachricht“
oder „Mitteilung”. Beispiel: Die Sätze „Informiere mich darüber,
wann du ankommst“ und „Benachrichtige mich darüber
(oder teile mir mit), wann du ankommst“ bedeuten dasselbe.
· Eine Verfeinerung des Informationsbegriffs ist erforderlich,
wenn man den physischen Träger der Nachricht von ihrem
Inhalt unterscheiden will. So kann man sagen: Ein Telegramm
ist eine Nachricht und es enthält Information. Die
Nachricht ist hier etwas Objektives, das durch ein Medium
(Draht, elektromagnetische Wellen) unverfälscht oder verfälscht
übertragen werden kann, die Information dagegen
etwas Subjektives, das erst durch den Empfänger entsteht,
indem er der erhaltenen Nachricht eine Bedeutung beilegt.
Diese Auffassung kann
man etwa in dem Satz
zusammenfassen:
Information ist gedeutete
Nachricht. In diese Richtung
geht auch die Norm
ISO 2382, in der definiert
DOI 10.1007/s00287-003-0329-x
© Springer-Verlag 2003
Prof. Dr. P. Rechenberg
Institut für Praktische Informatik,
Johannes-Kepler-Universität,
A-4040 Linz, Österreich
E-Mail: rechbg@soft.uni-linz.ac.at
Informatik_Spektrum_14_Oktober_2003 317

}
ZUM INFORMATIONSBEGRIFF DER INFORMATIONSTHEORIE
wird: Information ist „die vom Menschen den Daten mittels
Vereinbarung über ihre Darstellung gegebene Bedeutung“.
· Eine nochmalige Verfeinerung des Informationsbegriffs
ergibt sich dadurch, dass man seit Shannon sagt: Information
muss dem Empfänger einen Wissenszuwachs bringen.
Das kommt in folgenden Sätzen zum Ausdruck:„Diese Nachricht
enthält für mich keine Information“ oder „Um darüber
entscheiden zu können, brauche ich mehr Information“. Eine
für den Empfänger unerwartete (d. h. ihn überraschende)
Nachricht hat danach einen großen Informationsgehalt, eine
von ihm ohnehin erwartete nur einen geringen und eine
ihm schon bekannte gar keinen.
Wie wenig Übereinstimmung über die Bedeutung
des Begriffs „Information“ herrscht, zeigt sich daran,
dass es auch Autoren gibt, die den Spieß umdrehen
und sagen, „Information“ sei ein undefinierter
Grundbegriff, und erst durch Deutung werde
aus ihr eine Nachricht.
Am Ende der 1940er Jahre wuchs der Information
plötzlich Grundlagenbedeutung durch die
Informationstheorie zu, in der dem Informationsbegriff
eine neue, vom bisherigen Verständnis weitab
liegende Bedeutung gegeben wurde, die die
Information (scheinbar) messbar machte. Dadurch
entstand ein Mythos, der etwa so lautet:
„Information ist ein für uns undefinierbarer,
aber zugleich unentbehrlicher Grundbegriff,
der als gleichberechtigt neben die physikalischen
Grundbegriffe Materie und Energie zu
stellen ist. Man kann Information messen,
wie Materie transportieren, speichern und verarbeiten;
und wie Energie die Fähigkeit hat,
Arbeit zu leisten, hat Information die Fähigkeit,
Wirkungen auf ihre Empfänger auszuüben.
Aber sie ist weder Materie noch Energie.“
Diese (vermeintliche) Grundlagenbedeutung führte
dann im weiteren Verlauf des 20. Jahrhunderts mit
zu den Begriffen „informierte Gesellschaft“, „Informationsgesellschaft“,
„Wissensgesellschaft“.
In der Biologie entstanden Sonderbedeutungen
des Informationsbegriffs. Konrad Lorenz benutzte
„Information“ in einer interessanten metaphorischen
Weise. Er sagte, dass die Anpassung von
Lebewesen an ihre Umgebung, die durch die Evolution
über große Zeiträume hinweg entstanden ist,
wie z. B. die Fischflosse, ein Vorgang des Informationsgewinns
ist, denn in der Form der Fischflosse
steckt die Information, wie Fischflossen geformt
Zusammenfassung
Der Begriff „Information“ kennzeichnet
unsere Zeit wie kaum ein anderer. Er schillert
in vielen Farben, was unter anderem auf die
Shannon’sche Informationstheorie mit ihrem
quantitativen Informationsbegriff zurückzuführen
ist. In diesem Aufsatz wird zuerst an
die Informationstheorie und ihren historischen
Einfluss erinnert; sodann werden die Grundaussagen
der Informationstheorie im Hinblick
auf ihre Bedeutung für die Informatik kritisiert,
und schließlich wird darauf hingewiesen,
welche schädlichen Folgen die Vermengung von
syntaktischem und semantischem Informationsbegriff
bis heute mit sich bringt.
sein müssen, damit ihr Besitzer sich mit einem
Minimalaufwand an Energie im Wasser fortbewegen
kann. Wieder anderes bedeutet der Begriff „genetische
Information“. Damit ist die in den Genen
enthaltene Anordnung der Aminosäuren gemeint,
die den Bauplan eines Organismus darstellt. Hier
werden die Begriffe „Information“ und „Struktur“
miteinander vermengt.
Doch nicht die Vieldeutigkeit des Informationsbegriffs
ist der Gegenstand dieses Aufsatzes;
hier geht es nur um den quantitativen Informationsbegriff
der Informationstheorie und die Verwirrung,
die er angestiftet hat.
Die Informationstheorie
Dass der unklare, aber vielleicht gerade dadurch
fruchtbare Informationsbegriff eine so große
Aufmerksamkeit erfuhr, kam m. E. hauptsächlich
durch die Informationstheorie zustande.
Im Jahr 1948 veröffentlichte der Nachrichtentechniker
und Mathematiker Claude E. Shannon
einen Aufsatz unter dem Titel „A Mathematical
Theory of Communication“ [10], in dem er folgende
Fragen behandelte:
· Wie sieht der kürzeste binäre Code für eine gegebene Textnachricht
bei ungestörtem Übertragungskanal aus?
· Kann man auch bei gestörtem Kanal Nachrichten binär so
codieren, dass der Empfänger sie korrekt decodieren kann?
· Wie stark darf ein Kanal, der eine binär codierte Nachricht
überträgt, höchstens gestört sein, wenn man die Nachricht
noch korrekt decodieren will?
318
Informatik_Spektrum_14_Oktober_2003

Er gab auf alle drei Fragen mathematisch präzise
Antworten von beträchtlicher Allgemeinheit.
Diese Fragen lagen damals in der Luft. Den
Morsecode gab es schon seit hundert Jahren, das
Fernschreiben seit etwa 1920, und die Puls-Code-
Modulation war gerade erfunden. Deshalb befasste
man sich in den späten 40er Jahren mit der binären
Codierung von Nachrichten, und einige Nachrichtentechniker
stellten sich die Frage, wie man eine
Nachricht binär codieren müsse, damit sie möglichst
kurz wird und somit in möglichst kurzer Zeit
von einem Sender zu einem Empfänger übertragen
werden kann.
Der kurz zuvor erfundene Rechner (Computer)
spielte noch keine Rolle bei Shannons Überlegungen,
denn er wurde damals nur für numerische Berechnungen
eingesetzt; an die Datenübertragung
mit Rechnern dachte noch niemand.
Shannons Grundideen
Um mathematische Aussagen über Nachrichten
und ihre Übertragung machen zu können, benutzte
Shannon ein Modell, das auf folgenden Grundaussagen
beruht:
Abstract
The term “information” characterizes the
thinking of our time as hardly as any other one.
It shines in various colors, partly due to Shannon’s
Information Theory with its quantitative
approach to the term “information”. This paper
first reminds the reader of the impact the
Information Theory has had within the historical
context. Then its basic propositions with
regard to computer science are critically reviewed.
As a conclusion it is pointed out that
a mixing of a syntactic and a semantic connotation
of the term “information” has generated
damaging effects to this very day.
· Nachrichten haben eine statistische Struktur, d. h., in einer
Nachricht treten die einzelnen Zeichen, aus denen sie
besteht, mit bestimmten festen Wahrscheinlichkeiten auf.
(Shannon:“We will extend the theory [of Nyquist and
Hartley] due to the statistical structure of the original
message and due to the nature of the final destination
of the information.”)
· Kommunikation besteht aus der Auswahl einer Nachricht
aus mehreren möglichen Nachrichten. (Shannon:“The
fundamental problem of communication is that of reproducing
at one point either exactly or approximately a
message selected at another point.The significant aspect is
that the actual message is one selected from a set of possible
messages.”)
· Die Nachrichtenquelle ist ein stochastischer Prozess.
(Shannon:“A physical system, or a mathematical model
of a system which produces such a sequence of symbols
governed by a set of probabilities is known as a stochastic
process.We may consider a discrete source, therefore,
to be represented by a stochastic process.”)
· In Shannons Modellvorstellung generiert eine diskrete
Nachrichtenquelle eine Nachricht durch wiederholte
Auswahl von Zeichen aus einer gegebenen Zeichenmenge
(dem Alphabet). Die Auswahl geschieht zufällig. Jedem
Zeichen des Alphabets ist eine gewisse Auswahlwahrscheinlichkeit
zugeordnet. Die Auswahl eines bestimmten
Zeichens wird durch die Auswahlwahrscheinlichkeit des
Zeichens selbst und – im Allgemeinen – durch die Auswahl
vorhergehender Zeichen bestimmt. Man kann deshalb eine
diskrete Nachrichtenquelle mathematisch als stochastischen
Prozess ansehen. Umgekehrt kann man jeden stochastischen
Prozess, der eine diskrete Symbolfolge aus einem
Alphabet erzeugt, als diskrete Nachrichtenquelle ansehen.
Shannons Informationsbegriff
Der Teil von Shannons Arbeit, der die Aufmerksamkeit
der Welt auf den Informationsbegriff lenkte,
war der erste, der Aussagen über die optimale
Codierung von Texten enthielt. Das Hauptergebnis
war dabei folgendes:
Vorausgesetzt wird: Der zu übertragende Text
beliebiger Länge besteht aus den n verschiedenen
Zeichen a 1 , ... a n eines gegebenen Alphabets, die
mit den gegebenen Wahrscheinlichkeiten p 1 , ... p n
in dem Text vorkommen.
Shannon bewies den Satz: Wenn jedes Zeichen
eines Textes einzeln binär codiert wird, ist die minimale
Bitanzahl pro Zeichen, gemittelt über alle
Zeichen des Alphabets:
n
H = ∑ pi
⋅ld
1
p
i = 1
i
Bit / Zeichen
Shannon nannte H die „Entropie“ in Anlehnung an
die formal ähnliche Entropie der Thermodynamik.
Man beachte, dass die Entropie allein durch das
Alphabet bestimmt ist (seinen Umfang n und die
Auftrittswahrscheinlichkeiten seiner Zeichen),
Informatik_Spektrum_14_Oktober_2003 319

}
ZUM INFORMATIONSBEGRIFF DER INFORMATIONSTHEORIE
nicht durch die Länge oder den Inhalt der Nachricht.
Die Entropie H bezeichnet also die folgende
Minimaleigenschaft der binären Codierung von
Texten eines Alphabets:
Minimaleigenschaft:
Jede binäre Codierung einer gegebenen Nachricht
der Länge l hat mindestens die Länge H·l
Bit.
Die Minimaleigenschaft gilt allerdings nur unter
zwei Voraussetzungen:
· Die Zeichen der Nachricht sind einzeln binär codiert.
· Die relativen Häufigkeiten der Zeichen der Nachricht
stimmen mit den Wahrscheinlichkeiten der Zeichen des
Alphabets überein.
Wegen der Minimaleigenschaft glaubte Shannon,
in der Entropie ein Maß für die kürzeste binäre
Codierung einer Nachricht gefunden zu haben. Er
sah in ihr den Inhalt der Nachricht, meinte, in der
Entropie die in der Nachricht enthaltene Information
gefunden zu haben, und bezeichnete jede
Codierung mit mehr als H·l Bit als redundant.
(Shannon: “The quantity H has a number of interesting
properties which further substantiate it as a
reasonable measure of choice or information.”) Er
sagte weiter, dass bereits jedes einzelne Zeichen
a i eine Information enthalte, nämlich ld(1/p i ) Bit. Er
nannte das die „Entropie des Einzelzeichens“. Im
deutschen Schrifttum wurde es als „Informationsgehalt“
des Zeichens bezeichnet.
Damit schien der Begriff „Information“, der
bisher mit „Nachricht“ gleichgesetzt worden war,
quantitativ erfasst zu sein! Nachricht und Information
sind verschiedene Dinge. Die Nachricht ist der
Träger der Information. Die Information selbst ist
(bei gegebener Länge l der Nachricht) durch die
Entropie H des Alphabets gegeben.
Der Glaube an die Objektivierung des Informationsbegriffs
dadurch, dass Shannon das, was er
„Information“ nannte, messbar machte, ist bis heute
weit verbreitet, obwohl eigentlich jedem, der sich
mit der Informationstheorie beschäftigt, klar sein
müsste, dass hier zwei völlig verschiedene Dinge
unter einem Namen vereinigt wurden.
Kritik des Shannon’schen
Informationsbegriffs
Das Auseinanderklaffen des neuen (Shannon’schen)
und des alten Informationsbegriffs des täglichen
Lebens und die Vermengung beider ist der Anlass
zu diesem Aufsatz. An sich ist die Übernahme eines
Begriffs aus dem täglichen Leben in eine Wissenschaft
(dort mit spezieller Bedeutung) nichts
Außergewöhnliches – sofern dadurch keine Missverständnisse
entstehen. Aber hier entstanden
Missverständnisse; sie wurden in den mehr als
50 Jahren des Bestehens der Informationstheorie
nie mit der gebotenen Deutlichkeit ausgeräumt,
und sie bestehen heute noch weiter fort.
Es ist nicht meine Absicht, mit der folgenden
Kritik die Bedeutung der Informationstheorie und
damit den Wert von Shannons Arbeit für die
Nachrichtentechnik und die mathematische Statistik
zu bestreiten oder auch nur zu schmälern. Es ist
Shannons historisches Verdienst, auf die Grundlagenprobleme
der Codierung bei ungestörtem und
gestörtem Kanal hingewiesen und sie – soweit mit
mathematischen Mitteln möglich – analysiert zu
haben. Ihm verdanken wir den Begriff der Kanalkapazität,
die Anregung, nach fehlererkennenden
und fehlerkorrigierenden Codes zu suchen (woraus
die Codierungstheorie entstand) und die Aussage,
dass Nachrichten prinzipiell auch über beliebig
stark gestörte Kanäle übertragen werden können,
wenn die Störungen gewisse Bedingungen erfüllen.
Worauf ich hinweisen will, ist nur, dass man in
der Informatik beide Informationsbegriffe strikt
auseinander halten und die Informationstheorie
nicht zu einer Grundlage machen sollte, auf der die
Informatik aufbaut. Meine Kritik betrifft Shannons
Informationsbegriff, die zentrale Stellung der
Entropie und die Sicht der Codierung als Auswahlprozess.
Syntaktischer und semantischer
Informationsbegriff
Es ist offensichtlich, dass Shannons quantitativer
Informationsbegriff ein rein technischer oder syntaktischer
ist, der nicht mit dem, was wir umgangssprachlich
als Information bezeichnen, übereinstimmt.
Die Entropie H hängt ja nur von dem
Alphabet und den Auftrittswahrscheinlichkeiten
seiner Zeichen ab. Das heißt, dass jede Permutation
aus den Zeichen CEEFGHIMNNORRSSU dieselbe
Information enthält, egal, ob sie ERSCHEINUNGS-
320
Informatik_Spektrum_14_Oktober_2003

Syntaktische und semantische Information
Syntaktische Information
Semantische Information
Tabelle 1
ist ein Maß für die kürzeste Codierung einer Nachricht
ist quantifizierbar
braucht keinen Empfänger, steckt objektiv in der Nachricht
ist bestimmt durch Alphabet und
Auftrittswahrscheinlichkeiten seiner Zeichen
bezeichnet die Bedeutung einer Nachricht für den
Empfänger
ist nicht quantifizierbar
braucht einen Empfänger und entsteht erst bei ihm
ist bestimmt durch die Bedeutung für den Empfänger
FORM oder MEINUNGSFORSCHER oder etwas
Unsinniges bedeutet. Die Bedeutung, die die Nachricht
für den Empfänger hat, wird durch Shannons
Informationsmaß nicht erfasst. Shannons Information
ist auch vorhanden, wenn es keinen Empfänger
gibt, der Empfänger die Nachricht nicht versteht
oder sie ungelesen wegwirft.
Dieser Informationsbegriff ist ein quantifizierbarer
syntaktischer Begriff. In ihn geht nur das
Alphabet und die Wahrscheinlichkeit ein, mit der
seine Symbole im Text vorkommen. Ein Empfänger
und die Bedeutung der Nachricht für ihn ist irrelevant.
Der Informationsbegriff, wie er überall sonst
verwendet wird, ist dagegen ein nichtquantifizierbarer
semantischer Informationsbegriff. Er bezieht
sich normalerweise auf einen Empfänger, für den
die Nachricht eine bestimmte Bedeutung hat. (Die
Erweiterung dieses Informationsbegriffs dahin,
dass er auch an sich, objektiv, unter Absehung von
einem Empfänger Sinn hat, ist strittig und soll hier
nicht verfolgt werden.)
Die hier „semantisch“ genannte Information,
die für ihren Empfänger etwas bedeutet, wird in
der Literatur manchmal auch als „pragmatische
Information“ bezeichnet. Das mag berechtigt sein,
sofern man sich an die Semiotik hält, in der Syntax,
Semantik und Pragmatik unterschieden werden.
In der Informatik kommen wir jedoch mit dem
Begriffspaar Syntax/Semantik aus; d. h., wir unterscheiden
nicht semantische und pragmatische
Bedeutung. Deshalb beschränke ich mich hier auf
den Begriff „semantische Information“, um nicht
immer „semantische und/oder pragmatische Information“
sagen zu müssen.
Da semantische Information nicht quantifizierbar
ist, ist sie auch nicht messbar. Ihre Messung
in Bit oder Bit/Zeichen ist daher Unfug. In Tabelle 1
sind die Eigenschaften beider Informationsbegriffe
gegenübergestellt.
Ich sehe es als ein ausgesprochenes Unglück
an, dass Shannon die Entropie als „Information“
bezeichnet hat, da „Information“ für den alten
semantischen Informationsbegriff schon so lange
gebräuchlich war. Die Folge dieses Unglücks ist,
dass die Verschiedenheit der beiden Informationsbegriffe
bis heute teils nicht erkannt, teils nicht zur
Kenntnis genommen wird. Shannon sagte zwar
gleich am Anfang seines grundlegenden Aufsatzes
[10]:
Frequently the messages have meaning; that
is they refer to or are correlated according
to some system with certain physical oder conceptual
entities. These semantic aspects of
communication are irrelevant to the engineering
problem.
Aber er erwähnt im weiteren Verlauf der Arbeit die
spezifische Bedeutung, die er und seine Nachfolger
dem Wort „Information“ beilegen, nicht mehr. Warren
Weaver, der mit Shannon zusammen 1949 eine
kommentierte Fassung von Shannons Arbeit
schrieb, sagte (in der deutschen Übersetzung [11]):
Das Wort Information wird in dieser Theorie
in einem besonderen Sinn verwendet, der nicht
mit dem gewöhnlichen Gebrauch verwechselt
werden darf. Insbesondere darf Information
nicht der Bedeutung gleichgesetzt werden.
Tatsächlich können zwei Nachrichten, von
denen eine von besonderer Bedeutung ist,
während die andere bloßen Unsinn darstellt,
in dem von uns gebrauchten Sinn genau die
gleiche Menge an Information enthalten. Dies
meint Shannon zweifellos, wenn er sagt, dass
„die semantischen Aspekte der Kommunikation
unabhängig sind von den technischen
Aspekten“.
Anders ausgedrückt: Information in der
Kommunikationstheorie bezieht sich nicht so
Informatik_Spektrum_14_Oktober_2003 321

}
ZUM INFORMATIONSBEGRIFF DER INFORMATIONSTHEORIE
sehr auf das, was gesagt wird, sondern mehr
auf das, was gesagt werden könnte.
Sehr klar und entschieden sind diese Aussagen
nicht; sie mögen zu der Verwirrung, die sich in den
nächsten Jahren ergab und bis heute nicht vollständig
beseitigt ist, beigetragen haben.
Die Entropie bestimmt nicht den
kürzesten Code
Auch dann, wenn man an der Nützlichkeit des
syntaktischen Informationsbegriffs festhält, ist die
Entropie kein geeignetes Maß für die syntaktische
Information, denn dieses Maß gründet sich auf
die Minimaleigenschaft (s. oben).
Heute wird die Frage nach dem kürzesten Code
durch die Techniken der Datenkompression beantwortet,
und es gibt viele Datenkompressionsverfahren,
die kürzere Codes liefern als den, der sich aus
der Entropie ergibt, weil hier die beiden Voraussetzungen
für die Geltung der Minimaleigenschaft
wegfallen. Das beginnt mit der Zusammenfassung
von Zeichengruppen zu Superzeichen (Lempel-Ziv),
setzt sich fort in der Anwendung von Transformationen
des Quelltextes vor ihrer Codierung (move
to front, Burrows-Wheeler) und endet bei den
verlustbehafteten Kompressionsverfahren (JPEG,
MPEG, Wavelet-Transformation). An die Stelle
a priori angenommener Wahrscheinlichkeiten
treten hier die (tatsächlichen) relativen Häufigkeiten
der Zeichen des Textes. Außerdem arbeiten
viele moderne Datenkompressionsverfahren adaptiv
und berücksichtigen dadurch die unterschiedliche
Häufigkeitsverteilung in einzelnen Abschnitten
eines Dokuments (Text, Bilder, Objektcode).
Die Kompressionsverfahren zeigen, dass von
einer festen, mathematisch beweisbaren Schranke
der Komprimierbarkeit zur Zeit keine Rede sein
kann. Es gibt deshalb keinen Grund dafür, einen
willkürlichen Wert wie die Entropie als die in
einem Text enthaltene syntaktische Information
festzusetzen.
Codierung als Auswahlprozess
Shannons Grundannahme, dass eine Nachricht
durch Auswahl entsteht, ist m. E. in hohem Grad
künstlich. Er sagt, dass eine Nachricht durch die
wiederholte Auswahl eines Zeichens aus einer gegebenen
Menge von Zeichen zustande kommt,
wobei die Wahrscheinlichkeit, dass in einem Schritt
ein bestimmtes Zeichen ausgewählt wird, von
vornherein festliegt. Es ist nicht zu verstehen, inwiefern
der Inhalt eines Telegramms, etwa „Tante
Emma heute gestorben“ das Ergebnis einer Auswahl
sein soll. Noch unnatürlicher ist, dass Shannon
diese Auswahl als einen mehrstufigen Vorgang
erklärt, bei dem man in jedem Schritt eine aus zwei
Mengen auswählt.
Die Idee der (mehrschrittigen) Auswahl bildet
jedoch den Ausgangspunkt und Kern der Informationstheorie.
Im deutschen Schrifttum ist das daran
ersichtlich, dass die Einheit der Shannon’schen Information
das „bit“ (mit kleingeschriebenem b) ist,
nicht das Bit (mit großgeschriebenem B). „bit“ ist
eine binäre Entscheidung, „Bit“ ist ein Binärzeichen.
Die Begründung binärer Codes mit binären
Auswahlentscheidungen mag historisch verständlich
sein, weil damals binäre Codierungen und
Rechner kaum bekannt waren. Heute brauchen wir
sie nicht mehr. Jeder, der sich mit Rechnern befasst,
kennt binäre Codierungen und weiß, dass man mit
n Bits die 2 n Zahlen 0 bis 2 n −1 ausdrücken kann.
Die Begründung dafür, dass man bei einer binären
Codierung häufigen Werten kurze Binärfolgen und
seltenen lange zuordnet, braucht deshalb keinen
Umweg über die Idee der Auswahl. Daraus folgt
m. E., dass wir kein Formelzeichen für die Auswahl-
Entscheidung mehr brauchen, sondern auf das bit
zugunsten des Bit verzichten können.
Aus dieser Kritik ergibt sich für die Bedeutung
der Informationstheorie in der heutigen Informatik
folgendes: Die Deutung einer Nachricht als stochastischer
Prozess und ihrer Binärcodierung als Auswahl
aus einer Menge von Nachrichten ist für die
heutige Informatik überflüssig, ja irreführend. Die
Entropie hat als Maß für die syntaktische Information
ausgedient, denn sie stellt nicht mehr den
Grenzwert der Komprimierbarkeit dar.
Folgen der falsch verstandenen
Informationstheorie
Die Messbarkeit der Information war anscheinend
das, was die Zeitgenossen an der Informationstheorie
so ungeheuer faszinierte. Sie galt zwar nur
für den syntaktischen Informationsbegriff, aber man
übertrug sie bedenkenlos auf den semantischen.
Die meisten bemerkten den Fehler gar nicht,
einige bemerkten ihn zwar, flüchteten sich jedoch
in einen Ausspruch Hegels, der geschrieben haben
322
Informatik_Spektrum_14_Oktober_2003

soll: „Im Maß sind, abstrakt ausgedrückt, Qualität
und Quantität vereinigt.“
Es schien nur eine Frage der Zeit zu sein, dass
man auch die Bedeutung einer Nachricht, also die
semantische Information, auf die syntaktische zurückführen
können würde.
Das war ein Vorgang von großer Merkwürdigkeit,
dem die Wissenschaftshistoriker ihre Aufmerksamkeit
zuwenden sollten. Obwohl (oder
weil?) Shannons Originalarbeit nur mathematisch
Geschulten zugänglich war, erweckte sie gemeinsam
mit dem fast zugleich von Wiener veröffentlichten
Buch über Kybernetik die Hoffnung auf
eine neue, die Einzelwissenschaften vereinigende
Über-Wissenschaft. Max Bense schrieb 1954, dass
der klassischen (archimedischen) Welt der Energieund
Arbeitsleistung nun eine nichtklassische
(pascalsche) Welt der Informations- und Kommunikationserzeugung
gegenüberstünde [1], und
Meyer-Eppler [5] schrieb über die Informationstheorie:
Ihre fachverbindende Kraft zeigt sich nicht
zuletzt darin, dass auf den bisher veranstalteten
Kongressen und Symposien über Informationstheorie
und Kybernetik Biologen, Mathematiker,
Nachrichtentechniker, Neurophysiologen,
Philosophen, Phonetiker, Physiker, Physiologen,
Psychologen, Psychopathologen, Soziologen
und Sprachwissenschaftler in fruchtbaren
Diskussionen gemeinsame Anliegen behandeln
konnten.
Was war das Gemeinsame, das sie alle verband?
Man darf wohl annehmen, dass es die Statistik war,
die in allen diesen Disziplinen benutzt wurde. Es
erschienen Bücher, die die Informationstheorie
allein als neues Teilgebiet der Mathematik behandelten,
losgelöst von der elektrischen Datenübertragung
oder höchstens ganz lose verbunden mit ihr.
Es begann ein großes Informationsmessen und
Informationsberechnen. In einem Buch von 1957
[6] heißt es darüber:
Für die Nachrichtentechnik wird die Informationstheorie
in Kürze das bedeuten, was z. B.
die Maxwellsche Theorie in der Elektrotechnik
darstellt, nämlich eine fundamentale Arbeitsgrundlage.
[...] Aus dem Namen der neuen
Theorie geht auch hervor, daß der Informationsinhalt
von Schrift und Sprache, sogar von
Musik den Gesetzen der Informationstheorie
gehorcht. Da die Biologie des Menschen in
bezug auf das Auge bekannt ist, lässt sich
berechnen, welchen Nachrichtengehalt ein
Mensch zu sich nehmen kann. [...] Die Informationstheorie
ist aber auch in der Lage, den
Informationsgehalt des menschlichen Körpers
und des Sternenhimmels zu berechnen. Dies
sind durchaus nicht nur mathematische Spielereien,
sondern Erkenntnisse, die sowohl die
Biologie als auch die Astronomie nützlich werden
verwenden können. Dies ist nur eine kleine
Andeutung dessen, welche merkwürdigen Wege
die Informationstheorie noch zu gehen verspricht.
Die Hoffnung, dass sich die semantische Information
auf die syntaktische zurückführen lassen würde,
hat sich bis heute nicht erfüllt; beide stehen unverbunden
nebeneinander, und ich sehe keine Anzeichen
für ihre Verbindung in der Zukunft. Die vollkommene
Verschiedenheit des syntaktischen und
semantischen Informationsbegriffs ist immer wieder
ausgesprochen worden, allerdings, soweit mir
bekannt ist, ohne viel Nachdruck. Hier mögen zwei
Belege dafür genügen.
Brillouin 1956 [2]:
Im Augenblick können wir in unsere Theorie
kein Element einführen, das etwas über den
Wert der Information für den Menschen aussagt.
Diese Ausklammerung des menschlichen
Elements ist eine sehr ernste Begrenzung, aber
sie ist der Preis, den wir bisher dafür zahlen
mussten, daß wir in der Lage waren, dieses
System wissenschaftlicher Erkenntnis aufzubauen.
Die Beschränkungen, die wir eingeführt
haben, ermöglichen es uns, dem Begriff „Information“
eine quantitative Definition zu geben,
und Information als eine physikalisch messbare
Quantität zu behandeln. Diese Definition
kann nicht unterscheiden zwischen einer außerordentlich
wichtigen Information und einer
Neuigkeit, die für den Empfänger ohne großen
Wert ist.
Rothschild 1962 [9]:
Die besondere Anziehungskraft der Kybernetik
beruht in dem faktisch unbegründeten Glauben,
daß diese Wissenschaft von der Weitergabe
von Signalen in Maschinen und in lebenden
Informatik_Spektrum_14_Oktober_2003 323

}
ZUM INFORMATIONSBEGRIFF DER INFORMATIONSTHEORIE
Organismen in der Lage sein wird, eine Theorie
der Bedeutung dieser Signale zu ersetzen. Das
erscheint unzulässig. [...] Die Bedeutung dieser
Zeichen, das Semantische, findet keine Erklärung
im mathematisch-physikalischen Rahmen
der Kommunikations- und Informationstheorie.
Letztere handelt von der Technik der Übermittlung,
Verwertung und Speicherung von
Signalen. Die Bedeutung der Signale muß als
gegeben hingenommen werden.
Wenn man diese und andere Zitate aus der großen
Zeit der Informationstheorie heute liest, kann man
den Eindruck gewinnen, dass ihre Verfasser zwar
den Unterschied zwischen der syntaktischen und
semantischen Information erwähnten (weil sie das
ihrer Reputation als Wissenschaftler schuldig
waren), dass sie es aber nebenbei und unauffällig,
fast verschämt taten, um den neuen Erkenntnissen,
die sie propagierten, ja nichts von ihrer Größe zu
nehmen.
Seitdem haben sich des Themas auch Philosophen
bemächtigt und den Unterschied zwischen
syntaktischer und semantischer Information bemerkt.
Zum Beispiel vertritt G. Ropohl die Ansicht,
dass Informationen Zeichen (in dem weiten Sinn
der Semiotik, nicht in dem engen eines endlichen
Alphabets) sind und wie Zeichen drei Komponenten
haben: eine syntaktische, eine semantische und
eine pragmatische. Er definiert [7]:
Eine Information ist ein Zeichen aus einer
Zeichenmenge, das durch folgende Merkmale
gekennzeichnet ist:
· Das Zeichen ist ein physisches (d. h. stoffliches oder
energetisches) Ereignis, das mit einer bestimmten
Häufigkeit oder Wahrscheinlichkeit auftritt.
· Das Zeichen hat eine bestimmte Bedeutung, die ihm
durch Konvention zugeschrieben wird.
· Das Zeichen hat einen bestimmten Bezug zum Verhalten
seines Benutzers.
Ein brauchbarer Informationsbegriff muß alle
drei Komponenten enthalten. Diese Forderung
wird freilich von der Informationstheorie im
engeren Sinne nicht erfüllt, denn diese und ihr
mathematisch definiertes Informationsmaß
betreffen nur die syntaktische Dimension der
Zeichen. [...] Dieser verengte, rein formale Informationsbegriff
hat wohl darum besondere
Beachtung gefunden, weil er mathematisch
präzisiert wurde, während entsprechende
Versuche für die semantische und pragmatische
Dimension bisher erfolglos blieben. Aber
selbstverständlich geht es nicht an, einen
wissenschaftlichen Begriff allein nach Maßgabe
seiner Formalisierbarkeit zu dimensionieren;
entscheidend ist vielmehr seine Aussagekraft
bezüglich realer Erscheinungen und Probleme,
und da ist inzwischen oft genug gezeigt worden,
daß ein auf die syntaktische Dimension
verkürzter Informationsbegriff sehr unergiebig
wäre.
Das scheint mir ein sorgfältig durchdachter Versuch
zu sein, den Kern der verschiedenen Variationen
des Informationsbegriffs zu beschreiben. Doch
auch Ropohl kommt nicht ohne eine Verbeugung
vor Shannon aus, indem er die Auftrittshäufigkeit
oder -wahrscheinlichkeit ins Spiel bringt. Wer mehr
darüber wissen will, in welcher Weise sich Philosophen
mit dem Informationsbegriff beschäftigen
(und sie tun es intensiv), der sei auf die lange Diskussion
[4] hingewiesen, an der sich auch eine ganze
Reihe von Informatikern beteiligt hat.
Als die Kunde von der Messbarkeit der Information
nach Europa gekommen war, schien die
Zeit anzubrechen, in der über den quantitativen
Informationsbegriff auch die Geisteswissenschaften
und Künste an den Erkenntnissen und Arbeitsweisen
der exakten Wissenschaften teilhaben konnten.
Wenn Information mit Struktur, Ordnung, Form
eng verwandt war und man sie messen konnte, bestand
die Aussicht, ästhetische Kategorien auf eine
wissenschaftliche Grundlage zu stellen. Es entstanden
über Nacht neue Wissenschaftszweige wie
Informationspsychologie, kybernetische Pädagogik,
quantitative Ästhetik, Redundanztheorie und wohl
noch mehr. Literaturwissenschaftler vermaßen
Texte, indem sie die Häufigkeit der Wörter, die Satzlängen
und anderes zählten und daraus die Shannon’sche
Information berechneten, die der Text enthält.
Sie glaubten damit dem Geheimnis des Stils
der einzelnen Schriftsteller auf die Spur zu kommen,
demjenigen, das sich bis heute jeder Messung
entzieht. Man untersuchte auch Musikwerke mit
statistischen Methoden auf die Tonhöhen und Intervalle,
die in ihnen vorkommen, ebenfalls um die
Merkmale von Personalstilen und Epochenstilen
quantitativ zu erfassen. Das war die sog. „Informationsästhetik“.
324
Informatik_Spektrum_14_Oktober_2003

Was Einsichtige vorhersagen konnten, trat ein:
Die Informationsästhetik war eine Sackgasse. Sie
förderte nichts als Trivialitäten zutage und ist heute
mausetot. Ich erwähne sie nur, um zu zeigen, wohin
das Zusammenwerfen zweier vollkommen verschiedener
Informationsbegriffe führen kann.
Informatik und Information
Der Begriff „Information“ gab auch der neuen
Wissenschaft Informatik den Namen. Die Rechner
wurden als informationsverarbeitende Maschinen
bezeichnet. In den folgenden drei maßgeblichen
Definitionen wird der Begriff „Information“ zur
Definition der Informatik herangezogen:
Duden Informatik (1993):
Informatik (computer science): Wissenschaft
von der systematischen Verarbeitung von Informationen,
besonders der automatischen
Verarbeitung mit Hilfe von Digitalrechnern
(Computer).
Studien- und Forschungsführer Informatik (1996):
Informatik ist die Wissenschaft, Technik und
Anwendung der maschinellen Verarbeitung
und Übermittlung von Informationen.
Académie Française:
Informatik: Die Wissenschaft der rationalen,
vorrangig maschinell unterstützten Verarbeitung
von Informationen, die menschliche Fachkenntnisse
und Kommunikation in technischen,
wirtschaftlichen und sozialen Bereichen
unterstützen sollen.
Hier ist offenkundig der semantische Informationsbegriff
gemeint, diejenige Information, die sich an
den Empfänger Rechner richtet und die der Rechner
verstehen muss, um sie verarbeiten zu können.
Aber können Rechner wirklich ihre Eingabe verstehen?
Gibt es kein einfacheres, unmittelbar einsichtiges
Wort, das hier an die Stelle von „Information“
treten könnte? Meiner Ansicht nach ja, und es wurde
in der Anfangszeit der Rechner auch ständig
benutzt: das Wort „Daten“. Der Rechner verarbeitet
keine Informationen, sondern Daten. Daten sind
etwas Elementares, jedem Bekanntes, das man undefiniert
lassen kann. Der tägliche Wetterbericht enthält
Daten, die Börsenberichte ebenfalls, und auch
Klänge, Bilder und Filme sind, wenn sie digital dargestellt
werden, Daten. Der Informatiker hat es noch
einfacher; er sagt einfach: Daten sind Bitketten.
Wer geneigt ist, diese Unterscheidungen als
Spitzfindigkeit anzusehen, möge bedenken, dass
der Begriff „Information“ ein Verstehen der Bedeutung
durch einen Empfänger suggeriert, „Daten“
und „Bitketten“ das aber nicht tun. Wer „Information“
sagt und den Rechner eine informationsverarbeitende
Maschine nennt, unterstellt bereits, dass
der Rechner Bedeutung verstehen und damit
menschliche Eigenschaften mindestens teilweise
nachbilden kann. Wer bloß „Daten“ oder „Bitketten“
sagt, tut das nicht, denn ein Verarbeiten von
Daten oder Bitketten durch eine Maschine erfordert
kein Verstehen. Der Begriff „Daten“ ist neutral,
der Begriff „Information“ emotionsgeladen. Da
jedoch die Frage, ob Rechner etwas im menschlichen
Sinn verstehen können, bis heute unentschieden
ist, und Informatiker das Gefühl haben, mehr
zu tun als nur Daten zu verarbeiten, kann man sich
auch leicht der liberalen Auffassung Dennings [3]
anschließen:
Information liegt auf der Grenze zwischen den
Fähigkeiten von Maschinen und den Fähigkeiten
von Menschen. Daten liegen auf der
Maschinenseite, Wissen liegt auf der mensch.
lichen, Information überlappt beide. Information
ist für Informatiker das, was Leben für Biologen
ist. Biologen haben keine allgemein anerkannte
Definition des Begriffs „Leben“; sie benutzen
ein halbes Dutzend Kriterien, wenn sie
beurteilen wollen, ob es sich um Leben handelt.
Wie wenig der Unterscheidung zwischen syntaktischer
und semantischer Information in der Praxis
Rechnung getragen wird, zeigt ein Blick in einführende
Lehrbücher der Informatik. Dort findet man
unter dem Stichwort „Information“ meist die syntaktische
Information in einem kurzen Abschnitt
über Informationstheorie, aber kein Wort über die
semantische Information, geschweige denn einen
Hinweis auf die Verschiedenheit beider. Auf den
Abschnitt über Informationstheorie wird später nie
mehr Bezug genommen, es sei denn in einem
Kapitel über Codierungstheorie oder Kryptografie;
d. h., man braucht sie in der Informatik so gut wie
gar nicht, ihre Behandlung ist nur eine Pflichtübung
und Verbeugung vor der Geschichte, keine
sachliche Notwendigkeit.
Informatik_Spektrum_14_Oktober_2003 325

}
ZUM INFORMATIONSBEGRIFF DER INFORMATIONSTHEORIE
Inflation des Informationsbegriffs
Die vermeintliche Messbarkeit von Information
und die Nichtunterscheidung der beiden Informationsarten
waren sicherlich auch unter den Ursachen
für die Inflation des Informationsbegriffs, wie er
uns in den Schlagwörtern von der „informierten
Gesellschaft„ und der „Informationsgesellschaft“
entgegentritt. Der nächste Schritt war dann die
Gleichsetzung von Information mit Wissen, die uns
die „Wissensgesellschaft“ und allerlei Aussprüche
über den Wissensvorrat im Internet und die Verdopplung
des menschlichen Wissens in so und so
vielen Jahren beschert hat: Lauter Behauptungen,
die einer sorgfältigen Begriffsanalyse nicht standhalten.
Doch das gehört nicht mehr zum Thema
dieses Beitrags.
Abschließende Bemerkungen
Aus dieser Analyse der Sachlage lässt sich m. E.
der Schluss ziehen, dass die Shannon’sche Informationstheorie
und ihr quantitativer Informationsbegriff
für die Informatik nicht nur irrelevant, sondern
sogar irreführend ist. Und daraus ergibt sich,
dass die Informationstheorie in Zukunft nicht
mehr als ein Grundbaustein zum Gebäude der Informatik
angesehen werden sollte.
Es ging in diesem Aufsatz nicht darum, was
Information ist, sondern um das, was sie nicht ist.
Wenn man Philosophen und philosophierende
Informatiker danach befragt, was sie ist, bekommt
man viele verschiedene und oft recht komplizierte
Antworten (s. darüber besonders die Diskussionen
in Janich [4] und Ropohl [8]). Für mich – und ich
denke, für die meisten Informatiker – reicht es aus,
zu definieren: Information ist gedeutete Nachricht
oder gedeutete Mitteilung oder Informationen sind
gedeutete Daten. „Nachricht“, „Mitteilung“, „Daten“
und „Deutung“ können dabei undefinierte Grundbegriffe
bleiben.
Wenn man bereit ist, „Information“ durch
„Daten“ oder „Nachrichten“ oder „Mitteilungen“
zu ersetzen und zugibt, dass Information nicht
messbar ist, stürzt der Mythos von der Grundlagenbedeutung
der Information in sich zusammen.
Er lautet dann:
Daten, Nachrichten, Mitteilungen sind für uns
undefinierbare, aber zugleich unentbehrliche
Grundbegriffe, die als gleichberechtigt neben
die physikalischen Grundbegriffe Materie und
Energie zu stellen sind. Man kann sie wie
Materie transportieren, speichern und verarbeiten;
und wie Energie die Fähigkeit hat,
Arbeit zu leisten, haben Daten, Nachrichten
und Mitteilungen die Fähigkeit, Wirkungen auf
ihre Empfänger auszuüben. Aber sie sind weder
Materie noch Energie.
Übrig geblieben durch diese Entmythologisierung
ist eine Trivialität. Zwar scheinen wir gleich drei
neue Grundbegriffe gewonnen zu haben, und man
kann leicht weitere, wie etwa „Gedanken“
und „Ideen“ hinzufügen. Mir scheint jedoch, dass
die Unzulässigkeit, diese Begriffe den physikalischen
Grundbegriffen „Materie“ und „Energie“ an
die Seite zu stellen, gerade durch dieses Verfahren
überzeugend klargestellt wird.
Literatur
1. Bense, M.: Philosophie der Technik. Phys. Bl. 10, 481–485 (1954)
2. Brillouin, L.: Science and information theory. New York 1956; zit. nach Taube [12]
3. Denning, P.: Leserbrief-Antwort. Comm. ACM 44(11), 12–13 (2001)
4. Janich, P.: Informationsbegriff und methodisch-kulturalistische Philosophie. EuS
(Ethik und Sozialwissenschaft) 9(2), 169–268 (1998). (Darin enthalten: Antworten an
Janich von 31 Personen und Replik von Janich)
5. Meyer-Eppler, W.: Grundlagen und Anwendungen der Informationstheorie. Berlin
Göttingen Heidelberg: Springer 1959
6. Neidhardt, P.: Einführung in die Informationstheorie. Berlin: Verlag Technik 1957
7. Ropohl, G.: Technologische Aufklärung. Frankfurt a. M.: Suhrkamp 1991
8. Ropohl, G.: Der Informationsbegriff im Kulturstreit. EuS (Ethik und Sozialwissenschaft)
12(1), 3–67 (2001). (Darin enthalten: Antworten an Ropohl von 21 Personen und
Replik von Ropohl)
9. Rothschild, L.: zit. nach Taube [12]. Erscheint dort unter dem Verfassernamen
Rothschild ohne bibliografische Angaben
10. Shannon, C.E.: A mathematical theory of communication.The Bell System Technical
Journal 27(3), 379–423 (1948)
11. Shannon, C.E., Weaver W.: Mathematische Grundlagen der Informationstheorie. München:
Oldenbourg 1976
12. Taube, M.: Der Mythos der Denkmaschine. Reinbek: Rowohlt 1969
Der vorliegende Artikel entstand unabhängig von dem im letzten Heft
(Informatik-Spektrum 26 (4), S. 267ff.) zur Diskussion gestellten Beitrag
„Ein großes Elend“ von Helmut Klemm und ist keine Replik auf diesen
Beitrag. – HE
326
Informatik_Spektrum_14_Oktober_2003