2 Nachricht und Information

2 Nachricht und Information 41⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯2.5.3 Zusammenhang mit der physikalischen EntropieWie schon erwähnt, wurde die Bezeichnung „Entropie“ für den mittleren Informationsgehaltnicht zufällig gewählt, sondern wegen der formalen und bis zu einem gewissen Grade auchinhaltlichen Verwandtschaft mit der aus der Thermodynamik, also der statistischen Wärmelehre,bekannten physikalischen Entropie.Maxwells Dämon und das Perpetuum Mobile zweiter ArtInteressant ist in diesem Zusammenhang ein Gedankenexperiment, das der Physiker J. C.Maxwell 1871 veröffentlicht hat. Danach könnte ein mikroskopisch kleines, intelligentes Wesen(„Maxwells Dämon“) den zweiten Hauptsatz der Thermodynamik auf molekularer Ebeneeventuell umgehen. Vereinfacht ausgedrückt verbietet es der zweite Hauptsatz, dass Wärmevon einem kühleren zu einem wärmeren Reservoir fließt, ohne dass dabei äußere Arbeit geleistet,also Energie zugeführt wird. Dies bedeutet unter anderem die Unmöglichkeit einesPerpetuum Mobiles zweiter Art. Ein solches wäre beispielsweise ein Schiff, das seine Antriebsenergieallein durch Abkühlung des ihn umgebenden Ozeans gewinnt. Maxwell stelltesich zwei gasgefüllte, miteinander durch ein Ventil verbundene Gefäße vor, die zunächstbeide dieselbe Temperatur haben. Da sich die Temperatur eines Gases durch die statistischeBewegung der Gasmoleküle beschreiben lässt, könnte der Dämon nun das Ventil bedienenund Moleküle, deren Geschwindigkeit die mittlere Geschwindigkeit übersteigt, vomlinken Gefäß in das rechte wechseln lassen. Es schien, als könne dies durch eine sinnreicheKonstruktion ohne Energieaufwand (also unter Verletzung des zweiten Hauptsatzes) erreichtwerden; das wärmere Gefäß würde sich also „von selbst“ allein durch Abkühlung des kälterenGefäßes weiter erhitzen. Der Dämon muss dazu nicht wirklich intelligent sein, sondernlediglich ein Automat, der dazu in der Lage ist, eine Messung durchzuführen, die dadurchgewonnene binäre Information für kurze Zeit zu speichern und eine einfache mechanischeVerrichtungen (z.B. das Öffnen eines Ventils) vorzunehmen. Der Physiker Leo Szilard löste1929 das Rätsel, indem er zeigte, dass durch den Messprozess und die Speicherung desresultierenden Ja/Nein-Ergebnisses ein Mindestbetrag an (physikalischer) Entropie S min produziertwird, der mindestens so groß ist wie die dem Wärmebad entzogene Entropie [Szi29].Dafür berechnet Szilard den WertS min =k⋅ln(2)wobei k die in der Thermodynamik wichtige Boltzmann-Konstante ist. Man kann daher Szilardmit gewissem Recht als einen der Entdecker der Informationseinheit „Bit“ betrachten,auch wenn diese Bezeichnung erst später eingeführt wurde. Der minimalen Informationseinheiteines Ja/Nein-Messergebnisses entspricht also eine minimale physikalische Entropie,ohne dass diese beiden Größen allerdings indentisch wären. Hier wurde erstmals ein Zusammenhangzwischen physikalischer Entropie und Informations-Entropie hergestellt, nochlange bevor die Informationstheorie entstand.Informationsverarbeitung und EnergiebedarfSpätere Untersuchungen zeigten, dass der kritische Moment bei der physikalischen Untersuchungder Informationsverarbeitung nicht etwa das Messen oder Speichern von Informationist, sondern das Löschen (oder auch Überschreiben). Erst Jahrzehnte nach SzilardsÜberlegungen gelang es Charles Bennet [Ben82], den mit dem Löschen von Informationverbundenen Mindestbetrag an physikalischer Entropie und den dafür nötigen minimalenEnergieaufwand zu bestimmen.Auf den Punkt gebracht kann man sagen, dass bei der üblichen Art der Informationsverarbeitungnicht nur keinerlei Information erzeugt wird, sondern dass vielmehr Information vernichtetwird. Dies wird bereits an einem einfachen Beispiel klar: Erscheint am Ausgang einesOR-Gatters das Ergebnis „1“, so kann daran nicht mehr unterschieden werden, welche derdrei Möglichkeiten (0,1), (1,0) oder (1,1) an den beiden Eingängen des Gatters vorgelegen