Heuristiken

Boltzmann-
Maschine
7.6 Boltzmann-Maschine
Die Boltzmann-Maschine wurde 1985 von ACKLEY, HINTON und SE-
JNOWSKI [] veröffentlicht und stelt eine Erweiterung des Hopfield-Netzes dar.
Der Aufbau des Boltzmann-Netzes ist mit dem des Hopfield-Netzes identisch,
d.h. das Netz ist vollständig und symmetrischmit Rückkopplung.
HeteroassoziationBoltzmann-Netze können wie Feedforward-Netze, im Gegensatz zum Hopfield-
Netz, unterschiedliche Ein- und Ausgabepaare lernen. Dies wird Heteroassoziation
genannt im Gegensatz zur Autoassoziation, bei der nur die gleichen
Muster für Ein- und Ausgabe verwendet werden können.
Simulated
Annealing
Um nicht in lokalen Minima des Netzzustandes hängen zu bleiben verwendet
die Boltzmann-Maschine eine Simulated Annealing-Heuristik. Mit dieser
kann der Algorithmus aus einem lokalen Minimum in einen völlig anderen Teil
des Lösungsraumes gelangen. Da die Boltzmann-Maschine meist nicht das globale
Minimum erreicht, werden in der Praxis mehrere Läufe durchgeführt, die
Endzustände verglichen und gemittelt.
Algorithmus Der Lernalgorithmus gliedert sich in zwei Phasen. Zuerst werden an die Einund
Ausgabeneuronen ein vorgegebener Input und Output angelegt. Diese werden
während des gesamten Durchlaufes festgehalten. Nach mehreren Simulated
Annealing-Läufen wird über die Endzustände gemittelt. In der anschließenden
freien Phase wird ein vorgegebener Input angelegt, der Output ist frei. Es werden
wiederum mehrere Simulated Annealing-Läufe durchgeführt.
Beide Phasen werden abwechselnd durchlaufen und nach jedem Lauf die Gewichte
des Netzes so angepasst, dass die jeweiligen Zustände sich annähern. Ziel
des Lernalgorithmus ist es, die Gewichte so anzupassen, dass jeder Zustand im
Netz in beiden Phasen dieselbe Wahrscheinlichkeit hat.
Aufwand In Folge dieses iterativen Verfahrens ist die Boltzmann-Maschine sehr rechenund
zeitaufwändig. Die Effizienz ist stark davon abhängig, wie die Abkühlung
beim Simulated Annealing durchgeführt wird und wie genau die Endzustände
gemittelt werden können. Generell gilt, dass je langsamer abgekühlt wird und
je besser die Mittelwertbildung ist, desto besser sind die Ergebnisse.
44