Heuristiken

Inhaltsverzeichnis
Heuristiken
Mike Hüftle
28. Juli 2006
1 Einleitung 2
1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Greedy-Heuristiken 4
2.1 Methodenbeschreibung . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 Beispiel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3 Varianten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.4 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3 Nachbarschaftssuche 8
3.1 Hill-Climbing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3.2 Iterative lokale Suche . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.3 Tabu Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.4 Simulated Annealing . . . . . . . . . . . . . . . . . . . . . . . . . 11
4 Genetische Algorithmen 12
4.1 Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2 Methodenbeschreibung . . . . . . . . . . . . . . . . . . . . . . . . 14
4.2.1 Nebenpfad: Populationsgröße . . . . . . . . . . . . . . . . 14
4.2.2 Nebenpfad: Detaillierte Methodenbeschreibung . . . . . . 15
4.2.3 Nebenpfad: Genetische Operationen . . . . . . . . . . . . 16
4.2.4 Nebenpfad: Evolutionsparameter . . . . . . . . . . . . . . 19
4.3 Methodenbeschreibung . . . . . . . . . . . . . . . . . . . . . . . . 20
4.4 Varianten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.5 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.6 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
5 Ameisensysteme 25
5.1 Methodenbeschreibung . . . . . . . . . . . . . . . . . . . . . . . . 25
5.1.1 Nebenpfad: Ameisen-Algorithmus . . . . . . . . . . . . . . 25
5.2 Varianten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5.3 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1

6 Fitnesslandschaften 29
6.1 Methodenbeschreibung . . . . . . . . . . . . . . . . . . . . . . . . 29
6.1.1 Nebenpfad: Methodenbeschreibung . . . . . . . . . . . . . 29
6.2 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
7 Künstliche Neuronale Netze 33
7.1 Aufbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
7.2 Reizweiterleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
7.2.1 Nebenpfad: Feedback-Netze . . . . . . . . . . . . . . . . . 34
7.2.2 Nebenpfad: Feedforward-Netze . . . . . . . . . . . . . . . 34
7.3 Lernverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
7.3.1 Nebenpfad: Aktivierungsfunktion . . . . . . . . . . . . . . 36
7.3.2 Nebenpfad: Lernverfahren . . . . . . . . . . . . . . . . . . 38
7.3.3 Nebenpfad: Lernalgorithmen . . . . . . . . . . . . . . . . 38
7.4 Perceptron, Adaline und Backpropagation . . . . . . . . . . . . . 40
7.5 Hopfield-Netz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
7.6 Boltzmann-Maschine . . . . . . . . . . . . . . . . . . . . . . . . . 43
7.7 Kohonen-Netze . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
7.8 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7.9 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
8 Literatur und Methodenverzeichnis 49
8.1 Literatur zu Greedy-Heuristiken und Nachbarschaftssuche . . . . 49
8.1 Literatur zu Genetischen Algorithmen . . . . . . . . . . . . . . . 50
8.1 Literatur zu Ameisensystemen und Fitnesslandschaften . . . . . 52
8.1 Literatur zu Neuronalen Netzen . . . . . . . . . . . . . . . . . . . 53
8.1 Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2

1 Einleitung
1.1
Heuristiken Heuristiken (aus dem Griechischen: heuriskein - Finden, entdecken) sind Methoden
zur Suche von guten (nahezu optimalen) Lösungen für ein Optimierungsproblem.
Die Suche erfolgt in möglichst kurzer Zeit, jedoch ohne die Optimalität
der Lösung zu garantieren.
Einteilung von
Heuristiken
In vielen Fällen wird nicht einmal eine Aussage getroffen, wie nahe die gefundene
Lösung am Optimum liegt. Jedoch ist eine heuristische, gute Lösung
für praktische Probleme oft ausreichend genau und kann effizienter berechnet
werden, als eine optimale Lösung.
Aufgrund des breiten Einsatzgebietes existiert eine Vielzahl allgemein einsetzbarer
und problemspezifischer heuristischer Methoden. Diese lassen sich grob in
Konstruktionsheuristiken zur Ermittlung einer ersten Ausgangslösung und
Verbesserungsheuristiken zur Suche nach Lösungen mit höherem bzw. niedrigerem
Zielfunktionswert untergliedern.
Die Abbildung zeigt die Klassifikation wichtiger heuristischer Methoden.
3

1.2
Konstruktionsheuristiken Konstruktions- oder Eröffnungsheuristiken bauen eine Anfangslösung
schrittweise auf, indem in jedem Schritt eine Lösungskomponente zur aktuellen
Lösung hinzugefügt wird. Die Auswahl dieser Komponente erfolgt in Abhängigkeit
von verschiedenen Regeln mit dem Ziel, eine möglichst gute erste Lösung
zu erzeugen, die mit anderen Methoden weiter verbessert werden kann. Eine
häufig eingesetzte Strategie zur Auswahl der Lösungskomponenten ist die
Greedy-Heuristik.
Verbesserungsheuristiken Verbesserungsheuristiken arbeiten nach verschiedenen Prinzipien:
Lokale Verbesserungsheuristiken versuchen mit Hilfe von Änderungen einzelner
Komponenten des Lösungsvektors den Zielfunktionswert zu verbessern.
Heuristiken, die auf der Nachbarschaftssuche basieren, untersuchen in einem
möglichst großen Bereich im Lösungsraum nach verbessernden Lösungen.
Weitere
Heuristiken
Populationsbasierte Heuristiken, wie z.B. Genetische Algorithmen, gehen
von einer Menge von Lösungen aus, aus denen neue Lösungen erzeugt werden.
Fitnesslandschaften sind ein Konzept zur Beschreibung und Analyse von
Lösungsräumen.
Neuronale Netze schließlich sind ein Ansatz, mit dem auch große Instanzen
NP-schwerer Probleme gelöst werden können, beispielsweise beim Tourenplanungsproblem.
4

Schrittweiser
Lösungsaufbau
2 Greedy-Heuristiken
2.1 Methodenbeschreibung
Die Idee des Greedy-Algorithmus ist es, durch wiederholte Anwendung einer
einfachen Prozedur schrittweise eine Lösung aufzubauen. In jedem Schritt
der Heuristik wird einer Teillösung eine neue Lösungskomponente hinzugefügt.
Welche Lösungskomponente ausgewählt wird, wird mittels einer Greedyfunktion
bestimmt (z.B. eine Kostenfunktion, d.h. die Komponente mit den geringsten
Kosten wird ausgewählt).
Lösungsgüte Nicht immer wird ein solcher Algorithmus das Problem vollständig lösen und
wenn er eine Lösung erzielt, so ist diese nur zufällig optimal. Aber in vielen
Fällen kann mit einem Greedy-Algorithmus eine sehr gute oder sogar die optimale
Lösung ermittelt werden.
Beispielsweise führt der Kruskal-Algorithmus als Greedy-Heuristik zu einem minimal
spannenden Baum. Bei vielen Problemen schließt sich an die Greedy-
Lösung eine Verbesserungsheuristik an, mit der die anfängliche Lösung weiter
verbessert wird. Ein Beispiel hierfür ist die Nächste-Nachbar-Heuristik zur Bestimmung
einer Ausgangslösung für das Travelling Salesman-Problem (TSP).
5

Eisverkäufer-
Problem
2.2 Beispiel
Die Abbildung zeigt ein Beispiel für das Vorgehen des Greedy-Algorithmus. Dargestellt
ist das Eisverkäufer-Problem. In einer Stadt soll eine minimale Anzahl
von Eisverkäufern an zu bestimmenden Straßenecken so platziert werden, dass
jeder Bewohner spätestens an der übernächsten Straßenecke einen Eisverkäufer
findet.
Eine Greedy-Heuristik ist nun, zuerst die Straßenecken auszuwählen, welche die
meisten adjazenten Straßenecken haben, die noch nicht zu einem Eisverkäufer
benachbart sind. Die Nachbarschaft eines Eisverkäufers ist ein in der Abbildung
grau hinterlegtes Vieleck.
Als erstes wird die Ecke 1 mit 5 adjazenten Knoten ausgewählt. Dann Ecke 2
mit 4 und Ecken 3 und 4 mit jeweils noch 3 adjazenten Knoten, die zu keinem
anderen Eisverkäufer benachbart sind. Da insgesamt 8 Eisverkäufer platziert
werden müssen, erreicht der Greedy-Algorithmus in diesem Fall keine gute
Lösung. Schätzen Sie doch einmal, wieviele Eisverkäufer für das obige Beispiel
ausreichen: Optimale Anzahl Eisverkäufer 6
6

Semi-Greedy-
Heuristiken
2.3 Varianten
Aufgrund der großen Beliebtheit des Greedy-Algorithmus wurden Ende der
1980er Jahre mehrere Varianten entwickelt, welche in vielen Fällen zu besseren
Lösungen führen.
Semi-Greedy-Heuristiken [] fügen in jedem Schritt nicht unbedingt die Lösungskomponente
mit dem höchsten Greedy-Funktionswert f(e) hinzu, sondern bewerten
die möglichen Lösungskomponenten und fügen die besten in eine Kandidatenliste
ein.
Es werden nur die Elemente der hinzugefügt, die im Fall einer Minimierung dem
Kriterium
f(e)≤ fmin + α · (fmax − fmin)
genügen, wobei α ∈ [0, 1], f¡sub¿max¡/sub¿ der bisher schlechteste sowie f¡sub¿min¡/sub¿
der bisher beste Greedy-Funktionswert sind.
Die Aufnahme einer neuen Komponente hängt somit von diesen beiden Greedy-
Funktionswerten ab. Aus der so verwalteten Kandidatenliste wird zufällig ein
Element ausgewählt und der bisherigen Teillösung hinzugefügt.
GRASP GRASP (Greedy Randomized Adaptive Search Procedure) ist eine Metaheuristik,
die systematisch Greedy-Konstruktionsheuristiken randomisiert, um viele
gute Startlösungen für die nachfolgende lokale Suche zu generieren.
GRASP ist ein iterativer Prozess mit den zwei Teilschritten Lösungskonstruktion
und lokale Suche. Die lokale Suche auf der Basis von Greedy-Startlösungen
weist eine geringere Varianz der erzielten Lösungsgüte als die lokale Suche auf
Basis von zufälligen Startwerten [].
Die einzelnen Lösungskomponenten werden wie bei den Semi-Greedy-Heuristiken
in einer Kandidatenliste vorgehalten. Die Auswahl für diese Liste erfolgt auf
Grundlage eines Auswahlkriteriums. Dieses hängt also vom Ergebnis der lokalen
Suche ab und wird nach jeder Iteration aktualisiert .
7

Vorteile von
Greedy-
Heuristiken
Nachteile von
Greedy-
Heuristiken
2.4 Anwendung
• Greedy-Heuristiken bestimmen sehr schnell eine gute Lösung.
• Sie sind dem Benutzer intuitiv verständlich.
• Die berechnete Lösung ist in der Regel nicht optimal.
• Es wird nicht in jedem Fall eine Lösung gefunden, d.h. der Algorithmus
muss eventuell mehrmals gestartet werden
Anwendung Das Greedy-Prinzip gibt eine sehr allgemeine Vorgehensweise zur Lösung
eines Optimierungsproblems vor. Greedy-Heuristiken werden deshalb in allen
Bereichen eingesetzt.
Sie eignen sich insbesondere dann, wenn für komplexe Probleme eine Abschätzung
der optimalen Lösung gesucht ist oder die Anforderungen an die Lösungsgüte
gering sind.
Auch in On-line-Anwendungen, die eine schnelle Antwortzeit erfordern, werden
oftmals Greedy-Heuristiken eingesetzt.
8

3 Nachbarschaftssuche
3.1 Hill-Climbing
Einführung Heuristiken zur Nachbarschaftssuche sind Methoden, die sich nicht auf die
Untersuchung lokaler Bereiche im Lösungsraum beschränken, sondern Strategien
zur Überwindung solcher Bereiche beinhalten.
Nachbarschaftsheuristiken sind daher in der Regel Metaheuristiken, d.h. Methoden,
welche eine oder mehrere untergeordnete Optimierungsverfahren steuern.
Hierbei sind die untergeordneten Verfahren auf die Suche nach lokalen Optima
spezialisiert und die Metaheuristik führt diese Verfahren zu Bereichen im
Lösungsraum, in denen möglicherweise bessere Lösungen zu erwarten sind.
Hill Climbing Hill Climbing ist eine der einfachsten und gebräuchlichsten Suchstrategien in
der Optimierung. Diese Methode wird Hill Climbing genannt, da sie (ähnlich
einem Bergsteiger) versucht den Gipfel auf dem direktesten Weg, d.h. dem steilsten,
zu erreichen.
Von einer gegebenen Startlösung aus wird solange der nächst bessere Punkt aus
der Nachbarschaft der aktuellen Lösung als nächster Iterationspunkt gewählt,
bis keine Verbesserung des Zielfunktionswertes mehr möglich ist. Somit endet die
Methode oft in lokalen Optima und wird deshalb meist mit zufällig ausgewählten
Startpunkten wiederholt. Eine weitere Möglichkeit ist, mehrere Lösungswege
gleichzeitig als Lösungspopulation zu verfolgen.
Hill Climbing ist eine gute Lösungsstrategie, wenn das zu lösende Modell so viel
Information beinhaltet, dass das Steckenbleiben in lokalen Optima vermieden
werden kann.
9

3.2 Iterative lokale Suche
Perturbation DieIterative Lokale Suche (ILS) ist eineMetaheuristik, welche die Suche von
einem lokalen Optimum s* in einen anderen Bereich des Lösungsraumes führt.
Hierfür wird das aktuelle, lokale Optimum s* perturbiert, d.h. der Lösungsvektor
wird in einigen Komponenten geändert. Dies Änderungen dürfen jedoch
nicht zu klein sein, da das lokale Optimum sonst nicht verlassen wird. Sind
die Änderungen im Lösungsvektor zu groß, so ist der Übergang in benachbarte
Bereiche des Lösungsraumes zufällig.
Lokale Suche Dann wird mittels einer eingebetteten Heuristik, meist einer lokalen Suche,
der benachbarte Bereich auf ein lokales Optimum s** untersucht. Das lokale
Optimum s** wird als mögliche Lösung wieder verworfen, wenn es ein definiertes
Akzeptanzkriterium nicht erfüllt. Wird s** akzeptiert, so wird es zum aktuellen
lokalen Optimum s* und die Suche startet von hier aus erneut.
Anwendung ILS ist eine sehr einfache, wenig aufwändig zu implementierende und robuste
Metaheuristik, deren Effizienz hauptsächlich von der Implementierung der eingebetteten
lokalen Suche, der Pertubation und dem Akzeptanzkriterium für die
pertubierten Lösungen abhängt.
ILS wurde erfolgreich auf eine Vielzahl kombinatorischer Optimierungsprobleme
angewendet und übertrifft in vielen Fällen die Effizienz komplexer Metaheuristiken,
wie z.B. genetischer Algorithmen (vgl. []). Die prominentesten Anwendungen
von ILS sind das Travelling Salesman Problem (z.B. []) und Scheduling-
Probleme (z.B. []).
10

Steuerung untergeordneter
Methoden
Tabu-
Bedingungen
3.3 Tabu Search
Tabu Search ist eine Metaheuristik zur Lösung komplexer mathematischer
Optimierungsprobleme, die 1977 von GLOVER vorgestellt wurde []. Sie steuert
untergeordnete Optimierungsmethoden so, dass lokale Optima überwunden
werden können. Als untergeordnete Methoden kommen prinzipiell alle Methoden
in Betracht, die zur Bestimmung lokaler Optima eingesetzt werden können.
In jeder Iteration von Tabu Search wird mit solch einem Verfahren ein lokales
Optimum bestimmt. Ist ein Abbruchkriterium nicht erfüllt, so wählt Tabu
Search einen geeigneten Übergang in einen neuen Bereich des Suchraumes, in
dem eventuell eine Verbesserung des Zielfunktionswertes möglich ist. Es ist jedoch
auch eine vorübergehende Verschlechterung erlaubt.
Die Suche im gesamten Lösungsraum wird durch Tabu-Bedingungen eingeschränkt.
Dies haben das Ziel, das Durchlaufen von Zyklen zu verhindern.
Dies ist wichtig, da sonst bei Schritten, die nicht weit genug vom aktuellen
lokalen Optimum wegführen, wieder ein bereits untersuchtes lokales Optimum
aufgesucht werden kann.
Tabu Search ermöglicht somit einerseits eine intensive lokale Suche mittels der
untergeordneten Optimierungsmethode und andererseits eine globale Diversifizierung
der Suche im gesamten Lösungsraum.
Anwendung Tabu Search wurde ursprünglich zur Lösung kombinatorischer MILP-Probleme
entwickelt. Der heutige Einsatzbereich reicht jedoch vom Scheduling über Travelling
Salesman Probleme, Quadratische Zuordnungsprobleme [] bis hin zu Clusterproblemen.
GLOVER [] und Kuhn [] geben einen umfassenden Überblick über die verschiedenen
Anwendungsbereiche.
11

Physikalisches
Prinzip
Analogie zur
Optimierung
3.4 Simulated Annealing
Simulated Annealing (SA) ist eine Metaheuristik auf Basis einer lokalen Suche,
bei der mit einer geringen Wahrscheinlichkeit auch schlechtere Lösungen
akzeptiert werden.
SA wurde zuerst von KIRKPATRICK [] als physikalische Analogie zu Zustandsveränderungen
bei Abkühlungsprozessen in der Physik beschrieben:
Wenn ein Festkörper zum Schmelzen gebracht wird, so sind die Atome zufällig
verteilt. Wird nun die Temperatur langsam gesenkt, so existiert für jedes Temperaturniveau
ein thermisches Gleichgewicht - die Atome können sich in der
energetisch günstigsten Struktur anordnen.
Die Analogie zur Optimierung wird deutlich, wenn Lösungen des Optimierungsproblems
als Zustände des physikalischen Systems aufgefasst werden,
Nachbarschaftslösungen als Folgezustände und die zu minimierende Energie des
Systems als Zielfunktion. Dann können ausgehend von einem lokalen Optimum
(Zustand) benachbarte Optima (Zustände) erreicht werden, indem ein Parameter
(die Temperatur) verändert wird. Indem auch schlechtere Zustände akzeptiert
werden, kann der Algorithmus aus dem Einzugsbereich lokaler Optima
” entkommen“ und ein globales Optimum finden.
Vorgehen Beim Simulated Annealing wird mit einer zulässigen Lösung des Optimierungsproblems
gestartet und eine zufällig gewählte, benachbarte Lösung erzeugt. Besitzt
diese einen besseren Zielfunktionswert, so wird diese Lösung akzeptiert
und iteriert. Andernfalls wird die neue Lösung nur mit einer gewissen Wahrscheinlichkeit
akzeptiert. Diese Wahrscheinlichkeit nimmt mit steigender Iterationszahl
(zunehmender Abkühlung) ab (Annealing).
Zur nächsten Iteration wird der Temperatur-Parameter abgesenkt und damit
die Wahrscheinlichkeit, dass eine schlechtere Lösung akzeptiert wird, verringert.
Ist ein Stopp-Kriterium erreicht (z.B. wenn nach 5 Temperaturabsenkungen keine
Verbesserung des Zielfunktionswertes mehr erreicht werden kann), so bricht
der Algorithmus ab.
Anwendung Simulated Annealing ist eine sehr allgemein anwendbares Methode, die in vielen
Bereiche der kombinatorischen Optimierung eingesetzt wird und deren asymptotische
Konvergenz gesichert ist. Jedoch ist eine Konvergenz in endlich vielen
Schritten im Allgemeinen nicht garantiert. Entscheidenden Einfluss auf die
Konvergenz hat die gewählte Abkühlungsstrategie. Nachteilig ist jedoch der erhebliche
Rechenaufwand der Methode.
12

Genetische
Algorithmen
Evolutionäre
Algorithmen
4 Genetische Algorithmen
4.1 Entwicklung
Die den genetischen Algorithmen zugrunde liegenden Ideen stammen aus der
Evolutionslehre von Charles Darwin und der Vererbungslehre von Gregor
Mendel. Darwin erkannte anhand populationsgeographischer Beobachtungen,
dass die Entwicklung der Arten eine Folge von Anpassungs- und Selektionsprozessen
ist. Mendel entdeckte aufgrund seiner Beobachtungen an den Eigenschaften
von Pflanzensamen die grundlegenden Prinzipien der Vererbungslehre.
Die von Mendel und Darwin erkannten Gesetzmäßigkeiten bilden die Grundlage
der modernen Evolutionstheorie, die J. Holland [] benutzte, um Problemlösungsstrategien
für mathematische Modelle zu entwerfen. Holland entwickelte
in den 60er Jahren lernende Systeme, welche nicht nur das Wissen von einzelnen
Objekten berücksichtigen, sondern dieses Wissen auch durch Evolution
über mehrere Generationen weitergeben können.
Genetische Algorithmen gehören, wie auch die neuronalen Netze, zu den Methoden
der naturanalogen Modellierung und Problemlösung. Die Begriffe ” Genetische
Algorithmen“ und ” Evolutionäre Algorithmen“ werden oft synonym
verwendet. Jedoch gehören neben den genetischen Algorithmen auch die
evolutionären Systeme und die genetische Programmierung zur Familie der evolutionären
Algorithmen.
Die evolutionären Systeme wurden in den 1970er Jahren von Ingo Rechenberg
und Hans-Paul Schwefel [] entwickelt. Sie unterscheiden sich von den genetischen
Algorithmen durch die Repräsentation der Individuen als Vektor (anstatt
als Bitstring), sowie durch die Art, wie genetische Operatoren angewendet werden.
Die genetische Programmierung arbeitet mit einer Baumstruktur zur Repräsentation
der Daten und wird zum Design von Schaltkreisen, zur Mustererkennung
und zum Training neuronaler Netze eingesetzt.
Anwendungsbereiche Sowohl genetische Algorithmen, als auch die evolutionäre Programmierung, werden
zur Lösung von Optimierungsproblemen eingesetzt. Genetischen Algorithmen
werden darüber hinaus auch für Suchprobleme und Probleme im Maschinellen
Lernen angewendet.
13

Im Folgenden wird auf die, in der Praxis bedeutsameren, genetischen Algorithmen
eingegangen.
14

Individuen
und
Population
4.2 Methodenbeschreibung
Genetische Algorithmen basieren auf einer parallelen, konkurrierenden Suche
nach einer besten Lösung. Sie versuchen aus einer Vielzahl von Lösungen die
global optimale herauszufinden. Die einzelnen Lösungen werden Individuen
genannt und bilden zusammen eine Population.
Es gibt verschiedene Ansätze zur Wahl der besten Populationsgröße. Ein
Individuum besitz mehrere Gene. Diese kodieren die Eigenschaften der Lösung
bzw. die Variablen des Lösungsvektors.
Um zu einer detaillierten Beschreibung der Kodierung genetischer Algorithmen
zu gelangen klicken sie bitte hier. Jede Lösung wird hinsichtlich ihrer
Lösungsgüte durch einen externen Lösungsalgorithmus ausgewertet und ihr wird
ein Fitnesswert zugeordnet.
Genetische
Operationen Ablaufschema eines genetischen Algorithmus
Die besten Individuen einer Population werden mittels eines Selektionsoperators
ausgewählt und aus ihnen wird mit den evolutionären Operatoren Rekombination
(Kreuzung) und Mutation eine neue Population erzeugt.
Durch diese Operatoren entstehen aus einer Population neue Individuen, die
eventuell bessere Problemlösungen sind. Wird dieser Prozess mehrfach wiederholt,
so verbessern sich die Fitnesswerte der Individuen. Ist ein Abbruchkriterium
erreicht, so endet der Iterationsprozess an einer ” besten“ Lösung. Um mehr
über genetischen Operationen zu erfahren folgen sie bitte diesem Link.
Die Wahl der Evolutionsparameter (z.B. Populationsgröße, Mutationswahrscheinlichkeit)
hängt von der Problemstellung und den möglichen genetischen
Operatoren ab.
Wahl der Populationsgröße
4.2.1 Nebenpfad: Populationsgröße
Von verschiedenen Autoren wurde versucht, Orientierungshilfen für die Wahl
der Populationsgröße N zu geben. Sie wird von GOLDBERG [] in Abhängigkeit
von der Länge eines Chromosoms l berechnet zu:
N=1,65·2 0,21·l
15

Kodierung des
Problems
GOLDBERG/DEB/CLARK [] berechnen die Populationsgröße N in Abhängigkeit
vom Grad der Nichtlinearität k, der Varianz des Problems σ 2 und der Differenz
d der Fitnesswerte zwischen lokalen Optima und globalem Optimum.
N=2 k · σ2
d 2
4.2.2 Nebenpfad: Detaillierte Methodenbeschreibung
Um einen genetischen Algorithmus zur Problemlösung heranziehen zu können
muss zunächst eine Kodierung des Problems durchgeführt werden. Dabei
wird jede Eigenschaft (d.h. jedes Gen) einer Lösung durch eines oder mehrere
Bits repräsentiert. Zum Beispiel steht eine 1 für eine erfüllte und 0 für eine nicht
erfüllte Eigenschaft. Oder die Eigenschaft Farbe wird mit 0 für grün, 1 für blau,
2 für rot usw. kodiert. Die spezielle Ausprägung einer Eigenschaft wird als Allel
bezeichnet. 0 und 1 sind beispielsweise Allele. Die binäre Kodierung besitzt jedoch
den Nachteilen, dass die einzelnen Stellen im binären Code unterschiedlich
bedeutsam sind, da die vorderen Stellen größere Zweierpotenzen kodieren als
die hinteren. Dies kann durch die Anwendung der Gray-Kodierung behoben
werden (vgl. z.B. []).
Die Kodierung des Problems ist wesentlich für die Qualität des genetischen Algorithmus.
Insbesondere muss eine gute Kodierung den gesamten Lösungsraum
abbilden und neue, durch die Anwendung der genetischen Operatoren erzeugte
Individuen müssen ” sinnvolle“ Lösungen bezüglich des zu lösenden Problems
ergeben. Außerdem ist eine Abstimmung von Kodierung und genetischen Operatoren
erforderlich. Idealerweise wird eine 1:1-Kodierung verwendet, d.h. jede
Lösung des Lösungsraumes entspricht genau einem Chromosom. Es ist jedoch
häufig schwierig, solch ein Kodierung zu finden. Deshalb wird in den meisten
Fällen eine 1:m-Kodierung implementiert, d.h. eine Lösung kann durch viele
Chromosomen repräsentiert werden. Dies reduziert jedoch die Effizienz des genetischen
Algorithmus.
Beispiel Um beispielsweise ein Travelling Salesman Problem mit 12 Städten zu kodieren
werden pro Stadt 4 Bits benötigt. Jede Stadt entspricht hierbei genau einer
Bitkombination. Es sind jedoch Bitkombinationen möglich, die nicht mit einer
Stadt belegt sind (z.B. 1111).
16

Stadt Kodierung Stadt Kodierung Stadt Kodierung
1 0001 5 0101 9 1001
2 0010 6 0110 10 1010
3 0011 7 0111 11 1011
4 0100 8 1000 12 1100
Die Anwendung der genetischen Operatoren kann dazu führen, dass eine nicht
belegte Bitkombination entsteht. Diese kann dann beispielsweise durch ein Prüfverfahren
aus der Population entfernt und durch ein zulässiges Individuum ersetzt
werden.
Zwei mögliche Lösungen bzw. zwei Touren des TSP sind somit:
Zwei Individuen für das TSP
Soll eine Funktion optimiert werden, beispielsweise f(x)=x sin (10x)+1 im Intervall
[-1,2], so können die x-Werte durch einen 22-stelligen Bitvektor repräsentiert
werden:
x = 21
i=0 bi · 2 i = b21, b20, ..., b0
welcher auf das Intervall [-1,2] normiert wird. D.h. der Bitvektor (0000000000000000000000)
steht für x=-1, (1111111111111111111111) für den Wert x=2 und (1110000000111111000101)
für x=1,627888 mit dem zugehörigen Fitnesswert f(x)=2,250650.
4.2.3 Nebenpfad: Genetische Operationen
Selektion Die Selektion bestimmt, welche Individuen aus einer Population zur Evolution
ausgewählt werden und beeinflusst somit die nächste Lösungspopulation.
Der Selektionsdruck bestimmt, wie schnell die Lösungspopulation gegen ein
Optimum konvergiert. Bei der Suchstrategie nach der global optimalen Lösung
sollte ein Mittelweg zwischen einer intensiven lokalen Suche und einer extensiven
Suche in verschiedenen Bereichen des Lösungsraumes gefunden werden.
Der Selektionsdruck wird durch die Wahl eines bestimmten Selektionsverfahrens
vorgegeben. Ein hoher Selektionsdruck bewirkt eine intensive, schnell
konvergierende Suche, die jedoch unter Umständen in einem lokalen Optimum
konvergieren kann. Demgegenüber bewirkt ein niedriger Selektionsdruck eine
breit angelegte Suche im Lösungsraum begünstigt. Der Selektionsdruck ist also
17

ein Maß dafür, welche Chance Individuen mit schlechteren Fitnesswerten haben,
in die nächste Generation übernommen zu werden.
Bei Problemen mit wenigen lokalen Optima ist es oft günstiger einen höheren
Selektionsdruck zu wählen. Gibt es sehr viele lokale Optima im Lösungsraum, so
wird ein niedrigerer Selektionsdruck bevorzugt. Im folgenden werden die wichtigsten
Selektionsmethoden kurz erläutert:
Die Fitnessproportionale Selektion weist anschaulich jedem Individuum ein
Segment eines Rouletterades zu. Die Größe des Segmentes ist proportional zu
seinem Fitnesswert. Das Individuum, auf dessen Segment das Rouletterad stehen
bleibt, wird in eine Elternpopulation übernommen. Ein Nachteil dieser
Methode ist jedoch, dass bei einer niedrigen Fitnessvarianz jedes Individuum
nahezu die gleiche Überlebenschance hat. Also können besser angepasste Individuen
nicht mehr Nachkommen erzeugen, als schlechter angepasste. Um dieses
Problem zu lösen wird bei der Fitnessreduktion der Fitnesswert jedes Individuums
um einen bestimmten Anteil des am schlechtesten angepassten Individuums
erniedrigt. Hierdurch erzeugen besser angepasste Individuen auch mehr Nachkommen.
Bei der Sigmaskalierung wird die Größe des Segmentabschnittes beim Rouletterad
als eine Funktion des Fitnesswertes des einzelnen Individuums, des Populationsdurchschnittes
und der Populationsstandardabweichung berechnet. Die
Sigmaskalierung verhält sich ähnlich der fitnessproportionalen Selektion mit einer
Fitnessreduktion von 90%. Bei der Boltzmann-Selektion wird das Roulettesegment
für gut angepasste Individuen überproportional erhöht. Die Verfahren
der Fitnessproportionalen Selektion haben den entscheidenden Nachteil, dass
der genetische Algorithmus sich nach der anfänglichen, zufälligen Auswahl einer
Population schnell auf wenige lokale Optima konzentriert, die untersucht
werden. Außerdem ist die absolute Bewertung der Fitness eines Individuums
gegenüber anderen in vielen Fällen der Problemstellung nicht adäquat.
Bei der rangbasierten Selektion ist die Größe des Segmentes proportional
zum Rang, den das Individuum in der nach Fitnesswerten sortierten Population
einnimmt. Dies vermeidet den Nachteil absoluter Fitnessbewertungen und verhindert
eine schnelle Konvergenz des Algorithmus. Hierfür müssen jedoch zum
Teil längere Rechenzeiten in Kauf genommen werden.
Die Turnierselektion erzeugt einen ähnlichen Selektionsdruck wie die rangbasierte
Selektion, ist jedoch recheneffizienter. Es werden zwei Individuen zufällig
aus der Population ausgewählt, diese kämpfen miteinander und der Verlierer
(mit dem schlechteren Fitnesswert) wird in einem Stapel gespeichert. Der Ge-
18

winner bleibt weiter im Turnier und kann erneut ausgewählt werden. Ist das Turnier
beendet bzw. der Stapel vollständig gefüllt, so kann er wieder von oben, also
angefangen vom Gewinner des Turniers geleert werden. Bei der eingeschränkten
Turnierselektion werden zwei Individuen einer Population ausgewählt und eine
Kreuzung durchgeführt, welche zu zwei Nachkommen führt. Für jeden dieser
zwei Nachkommen wird eine Anzahl von n Individuen ausgewählt, mit denen
dieser Nachkomme ” kämpft“. Wenn er einen besseren Fitnesswert, als das ihm
ähnlichste der n Individuen aufweist, so ersetzt er dieses.
Bei der interaktiven Selektion wählt der Anwender die Individuen selbst
aus. Dies ist beispielsweise sinnvoll, wenn keine angemessene Fitnessfunktion
angegeben werden kann.
Kreuzung Kreuzung bedeutet die Kombination der Gene zweier Elternteile zur Erzeugung
von neuen Individuen, ihren Nachkommen. Während der Kreuzungsphase werden
die Paare ausgewählt, die gekreuzt werden sollen und anschließend die Stelle
im Individuum, an der die Individuen geteilt werden. Man unterscheidet drei
Arten der Kreuzung: Bei der Einzelpunkt-Kreuzung wird ein Kreuzungspunkt
ausgewählt und der linke bzw. der rechte Teil beider Elternteile wird
ausgetauscht.
Einzelpunkt-Kreuzung
Bei der Mehrpunkt-Kreuzung werden mehrere Kreuzungspunkte ausgewählt
und die Gene, die zwischen diesen Punkten liegen, ausgetauscht. Die parametrisierte
uniforme Kreuzung tauscht jedes Bit der Elternteile mit einer gewissen
Wahrscheinlichkeit aus, um Nachkommen zu erzeugen.
Die Beeinflussung des Suchverhaltens durch die Kreuzungsoperation wird durch
die Destruktivität ausgedrückt. Je destruktiver eine Operation ist, desto unterschiedlicher
sind die die Nachkommen von ihren Eltern. Die Einzelpunkt-
Kreuzung ist die am wenigsten destruktive Operation.
Bei der Wahl des Kreuzungsverfahrens muss beachtet werden, dass eine Kreuzung
auch erfolgreiche Individuen zerstören kann, andererseits aber bestimmte
Individuen (beispielsweise bei der Einzelpunktkreuzung) überhaupt nicht entstehen
können.
19

Mutation Die Mutation ändert mit einer gewissen Wahrscheinlichkeit jedes Bit eines Individuums
bzw. jedes Gen eines Chromosoms. Die Mutationswahrscheinlichkeit
wird oft so gewählt, dass im Durchschnitt weniger als ein Bit eines
Chromosoms geändert wird. Die Mutation trägt dazu bei, dass keine einförmigen,
nicht mehr evolutionsfähigen Populationen zustande kommen. Durch eine
zu häufige Mutation wird jedoch eine Entwicklung zu ” besseren“ Individuen
behindert. Wird im obigen Beispiel das 10.Gen des Elternteils e1 mutiert, so
verbessert sich dessen Fitnesswert von f(x)=2,250650 auf f(x)=2,343555.
Wahl der
Evolutionsparameter
4.2.4 Nebenpfad: Evolutionsparameter
Die Wahl der Evolutionsparameter (z.B. Populationsgröße, Mutationswahrscheinlichkeit)
hängt von der Problemstellung und den möglichen genetischen
Operatoren ab. Deshalb kann keine allgemeingültige Parametrisierung angegeben
werden. Des weiteren sollten sich bestimmte Parameter während des Evolutionsprozesses
ändern können.
Am Anfang stehen Operatoren im Vordergrund, die den Suchraum schnell erkunden,
wohingegen nahe des gesuchten Optimums kleine Schritte wichtig sind
um in der Nähe des Optimums zu bleiben. Die genannten Anforderungen an
die Adaptionsfähigkeit der Operatoren werden hauptsächlich durch die Anpassung
der Operatorenwahrscheinlichkeiten (z.B. der Mutationswahrscheinlichkeit)
implementiert. Hierfür gibt es zwei unterschiedliche Ansätze:
Bei der absoluten Aktualisierung der Parameter werden Statistiken über
mehrere Generationen von Populationen geführt und aus deren Entwicklung die
Parameter für den nächsten Evolutionsschritt festgelegt. Dies ist gerechtfertigt,
so lange die getroffene Annahme über den Evolutionsverlauf einer tatsächlichen
Gesetzmäßigkeit entspricht. Im Gegensatz hierzu werden bei der empirischen
Adaption oder Selbstadaption die Parameter zusammen mit der Population
entwickelt. Die Adaption erfolgt meist auf der Ebene der Individuen und wird
anhand deren Fitness bewertet. Es müssen also keine Informationen über das
aktuelle Verhalten der gesamten Population vorliegen.
20

4.3 Methodenbeschreibung
Metaevolution Bei genetischen Algorithmen soll die Suche nach einem globalen Optimum im
gesamten zulässigen Lösungsraum durch die zufällige Auswahl der genetischen
Operatoren gewährleistet sein.
Es besteht jedoch die Möglichkeit, dass die Population zu klein ist oder im
Laufe des Evolutionsprozesses Teile des zulässigen Raumes nicht durchsucht
werden und die Evolution somit in einem lokalen Optimum konvergiert. Eine
Strategie zur Vermeidung derartiger Probleme ist der Einsatz von Methoden
der Metaevolution. Diese steuern die parallele Evolution mehrerer Populationen.
Zwischen diesen Populationen werden in gewissen Abständen Individuen
ausgetauscht, um die Vielfalt zu vergrößern.
Wurde mittels eines genetischen Algorithmus eine beste Lösung gefunden, so
empfiehlt es sich meist eine lokale Suche anzuschließen, welche die zur besten
Lösung des genetischen Algorithmus benachbarten Lösungen auf Optimalität
untersucht.
21

Spezielle
Problemstellungen
4.4 Varianten
Zur Lösung spezieller Problemstellungen wurde eine Vielzahl von Erweiterungen
des klassischen Ansatzes vorgestellt. Hier wird exemplarisch eine Auswahl
vorgestellt.
Genetische Algorithmen für reellwertige Probleme arbeiten mit kontinuierlichen
Werten für die einzelnen Gene [].
Mikro-Genetische Algorithmen für einfache und kleine Probleme benutzen
nur eine sehr kleine Populationsgröße von 4 bis 5 Individuen, müssen dafür aber
spezielle Mutationsoperatoren verwenden [].
Genetische Algorithmen mit erweitertem Wissen werden durch Berücksichtigung
von vorhandenem Wissen über das Problem (z.B. den Lösungsraum)
effizienter implementiert [].
Hybride Genetische Algorithmen kombinieren den genetischen Ansatz mit
anderen Optimierungsansätzen []. Genetische Algorithmen wurden erfolgreich
eingesetzt, um pareto-optimale Lösungen von Mehrziel-Optimierungsproblemen
zu finden [].
Der CHC-Algorithmus von [] kombiniert Ansätze aus den genetischen Algorithmen
und den evolutionären Strategien.
22

4.5 Anwendung
Vorteile Die Vorteile genetischer Algorithmen sind:
• Sie können zur Lösung eines breiten Spektrums von Optimierungsproblemen
eingesetzt werden (u.a. auch bei nichtdifferenzierbaren Funktionen).
• Sie sind extrem robust, da sie auch mit fehlerhaften und unvollständigen
Daten gute Ergebnisse liefern.
• Sie können leicht mit anderen Methoden wie Neuronalen Netzen oder
Fuzzy-Techniken kombiniert werden.
• Sie sind verhältnismäßig einfach zu implementieren.
• Aufgrund des populationsbasierten Ansatzes können genetische Algorithmen
effizient parallel implementiert werden.
Nachteile Die Nachteile genetischer Algorithmen sind:
• Genetische Algorithmen sind universell, d.h. es fließen nurwenig problemspezifische
Informationen in den Lösungsprozess mit ein. Wenn
es eine problemspezifische Lösungsmethode gibt, führt diese in der Regel
zu besseren Ergebnissen.
• Die gefundene Lösung ist nicht notwendigerweise das globale Optimum.
• Es existiert kein absolutes Maß für die Güte der gefundenen ” besten“
Lösung.
• Die ” beste“ Lösung kann von der Initialisierung der Anfangspopulation
abhängen.
• Genetische Algorithmen sind relativ rechenaufwändig.
• Die Lösungsfindung ist für den Benutzer nicht intuitiv nachvollziehbar.
23

Suche in
größen
Räumen
Wahl der
Kodierung
4.6 Anwendung
Genetische Algorithmen wurden sowohl für Probleme der Wissensverarbeitung,
als auch für Optimierungsprobleme entwickelt. Sie eignen sich für
die Suche in großen Suchräumen mit vielen potentiellen Lösungen. Da sie sehr
generell, d.h. wenig problemspezifisch arbeiten, stellen sie auch wenige Voraussetzungen
an das zu lösende Problem.
Aufgrund des populationsbasierten Ansatzes ist es erforderlich, dass die Berechnung
der Fitnesswerte der Individuen schnell durchgeführt werden kann,
da eine große Anzahl solcher Berechnungen notwendig ist.
Weiterhin muss der Lösungsraum des betrachteten Problems so kodierbar sein,
dass er alle (relevanten) Lösungen enthält. Durch die Operationen mit den Individuen
dürfen jedoch nicht zu viele ” unsinnige“ Lösungen entstehen können.
Die Wahl der richtigen Kodierung ist somit eine entscheidende Voraussetzung
für den erfolgreichen Einsatz eines genetischen Algorithmus.
Problemspezifische In der Literatur wird eine große Anzahl von erfolgreichen und Erfolg verspre-
Heuristiken chenden Anwendungen genetischer Algorithmen beschrieben. Es existieren jedoch
auch viele Anwendungen, bei denen genetische Algorithmen zu schlechteren
Ergebnissen führen, als andere Heuristiken. Wenn das Aussehen des Lösungsraumes
von vornherein bekannt ist, sind problemspezifische Heuristiken effizienter.
Wenn der Lösungsraum nur wenige lokale Optima aufweist führt ein
Hill-Climbing-Algorithmus meist zu besseren Resultaten.
Der Einsatz genetischer Algorithmen ist im Allgemeinen immer dann Erfolg
versprechend, wenn:
• Der Lösungsraum groß ist.
• Es viele lokale Optima gibt bzw. wenn über die Eigenschaften des
Lösungsraumes überhaupt wenig bekannt ist.
• Kein globales Optimum sondern eine schnelle, näherungsweise optimale
Lösung gefunden werden soll.
24

Anwendungsbeispiele Die Schwerpunkte der Anwendung genetischer Algorithmen liegen in der Optimierung
NP-schwerer Probleme, dem Maschinellen Lernen, der Analyse in der
chemischen Industrie und der Modellierung von Vorgängen in der Biologie. Außerdem
können sie noch bei einer Vielzahl weiterer Probleme eingesetzt werden,
wie beispielsweise der Funktionsoptimierung oder auch bei Computerspielen.
Beispiele aus der Literatur sind:
• Bin-Packing-Probleme []
• Travelling-Salesman-Probleme [] []
• Scheduling-Probleme [] [] []
• Merkmalsauswahl für Probleme des Maschinellen Lernens []
• Datenanalyse []
• Analyse in der chemischen Industrie []
• Optimierung von Funktionen []
• Computerspiele []
25

5 Ameisensysteme
5.1 Methodenbeschreibung
Ameisensysteme sind ein auf dem Gebiet der kombinatorischen Optimierung
eingesetztes, heuristisches Optimierungsverfahren, das erstmals von DORIGO
1992 vorgestellt wurde. Sie werden vor allem zur Lösung von Kürzeste-Wege-
Problemen eingesetzt (z.B. beim Routing in der Telekommunikation).
Methodenbeschreibung Ameisensysteme bilden das Verhalten von Ameisen bei der Futtersuche nach.
Eine Ameisenkolonie kann in kurzer Zeit den kürzesten Weg von ihrem Nest zu
einer Futterquelle finden, indem die einzelnen Tiere auf ihrem Weg Duftstoffe, so
genannte Pheromone hinterlassen, welche sich im Laufe der Zeit verflüchtigen.
Normalerweise bewegt sich eine einzelne Ameise fast zufällig. Trifft sie jedoch
eine Pheromonspur, so folgt sie dieser mit einer Wahrscheinlichkeit, die von der
Pheromonintensität auf dieser Spur abhängt. Geht sie dieser Spur nach, so
verstärkt sie die Pheromonspur durch ihre eigenen Ausscheidungen und zieht
hierdurch weitere Ameisen an. Somit wird eine optimale Entscheidung über den
einzuschlagenden Weg zur Futterquelle durch kollektives Verhalten getroffen.
Hier finden sie eine ausführlichere Methodenbeschreibung des Ameisen-
Algorithmus.
5.1.1 Nebenpfad: Ameisen-Algorithmus
Methodenbeschreibung Die möglichen Wege, die eine Ameisenkolonie nehmen kann werden durch einen
Graphen mit Bögen (i,j) abgebildet, wie dies in der Abbildung dargestellt ist.
An jedem Knoteni bzw. j dieses Graphen müssen sich die Ameisen entscheiden,
welchen Weg sie weiter einschlagen.
Diese Entscheidung ist von der Pheromonintensität t¡sub¿ij¡/sub¿(t) zum
Zeitpunkt t auf einem Bogen (ij) abhängig. Die Intensität dieser Markierun-
”
gen“ verändert sich mit der Zeit. Eine Ameise wählt nun eine Kante mit einer
Wahrscheinlichkeit, die sich aus den Pheromonintensitäten ergibt.
Wenn alle Ameisen nach n Zeitschritten am Ziel angekommen sind werden die
Pheromonintensitäten auf allen Kanten aktualisiert zu tij(t + n) = ρ · tij + δtij,
26

wobei ρ die Verdunstung des Pheromons zwischen den Zeitpunkten t und t+n
angibt. Die Zunahme der Pheromonintensität δtij ergibt sich als Summe der
Pheromonausschüttungen aller Ameisen die entlang des Bogens (i,j) gelaufen
sind.
Die Pheromonausschüttung einer Ameise auf einem Bogen ist hierbei umgekehrt
proportional zur Länge der Kante. Zudem wird für jede Ameise eine so
genannte Tabuliste gespeichert, auf der festgehalten wird, welche Knoten diese
Ameise bereits besucht hat und für ihren weiteren Weg tabu sind.
Wenn alle Ameisen ihr Ziel erreicht haben ist ein Iterationsdurchlauf beendet,
der bisherige kürzeste Weg wird gespeichert und der Algorithmus startet erneut
mit dem nächsten Lauf der Ameisen, die sich dann an den aktualisierten
Pheromonintensitäten orientieren. Das Verfahren endet, wenn entweder ein
Stopp-Kriterium erreicht ist oder alle Ameisen den gleichen Weg nehmen.
27

Weitere Ameisensysteme
Vor- und
Nachteile von
Ameisensystemen
5.2 Varianten
Da die Ameisensysteme von DORIGO gegenüber anderen Metaheuristiken relativ
schlecht abschneiden, wurde von STÜTZLE und HOOS [ützle98?] die Min-
Max-Ameisensysteme entwickelt. Diese legen den Wertebereich für die Pheromonkonzentration
auf ein Intervall [τmin, τmax] fest. Außerdem darf nur die
beste (z.B. die schnellste) Ameise eine Pheromonspur legen.
Schließlich entwickelten DORIGO und DI CARO [] das Verfahren der Ameisenkolonie-
Optimierung (Ant Colonie Optimization, ACO), welches im Gegensatz zu den
ursprünglichen Ameisensystemen auch eine lokale Verbesserungssuche zulässt.
Aufgrund ihres allgemeinen Ansatzes sind Ameisensysteme bei den meisten Problemstellungen
weniger effizient als Algorithmen, die speziell auf ein bestimmtes
Problem zugeschnitten sind.
Jedoch bieten Ameisensystem mehrere Vorteile gegenüber speziellen Heuristiken:
• Sie sind vielseitig und können sehr gut auf verschiedene Modifikationen
desselben Problems angepasst werden. Beispielsweise können sie
sowohl auf das symmetrische Travelling Salesman-Problem als auch auf
das asymmetrische TSP angewendet werden.
• Sie können mit minimalen Veränderungen des Basisalgorithmus an verschiedene
NP-schwereProbleme angepasst werden.
• Da es ein populationsbasierter Ansatz ist, können Ameisensysteme parallel
Implementiert werden.
28

Routing-
Probleme
5.3 Anwendung
Ameisensysteme und ihre Varianten eignen sich vor allem zur Lösung NPschwererRouting-Probleme,
die mit klassischen Methoden der exakten Optimierung
nicht lösbar sind.
Insbesondere sind dies Probleme, bei denen die Größe des Routing-Graphen
exponentiell mit der Problemgröße wächst und Probleme bei denen sich die
Eigenschaften des Graphen dynamisch verändern.
Anwendungsbeispiele Ameisensystem wurden erfolgreich eingesetzt bei
• Netzwerk Routing-Problemen [] []
• Travelling Salesman-Problemen [] []
• Quadratischen Zuordnungsproblemen [][]
• Vehicle Routing-Problemen [] []
29

Beschreiben
von
Lösungsräumen
6 Fitnesslandschaften
6.1 Methodenbeschreibung
Fitnesslandschaften sind eine Methode, um das Verhalten heuristischer Suchmethoden
in der Optimierung zu beschreiben. Sie unterstützen die Wahl einer
guten Suchstrategie im Lösungsraum, indem sie Informationen über die Struktur
des zu durchsuchenden Raumes bereitstellen.
Methodenbeschreibung In vielen Bereichen der Optimierung ist die Menge der lokalen Optima sehr groß,
so dass eine vollständige Enumeration aller dieser Lösungen nicht durchführbar
ist. Nur ein kleiner Teil der Lösungen kann ausgewertet werden. Deshalb ist
es meist notwendig, Informationen über die Struktur des Problems bzw. des
Lösungsraumes in die Lösungsfindung mit einzubeziehen.
Räumliche
Anordnung
der Optima
Formale
Definition
Fitnesslandschaften dienen dazu, die Struktur eines Optimierungsproblems
zu erkunden, um die problemspezifische Vorhersage der Performance einer Heuristik
zu ermöglichen und das Design einer Heuristik für ein bestimmtes Problem
zu erstellen.
Eine Fitnesslandschaft besteht aus einer räumlichen Anordnung der lokalen Optima
des Optimierungsproblems. Jedem solchen Optimum wird eine Höhe im
Raum zugeordnet, welche der Fitness der zugehörigen Lösung entspricht. Die
räumliche Struktur der Fitnesslandschaft wird durch eine Metrik d definiert,
die jedem Paar von Optima einen Distanzwert zuweist (z.B. mit der Hamming-
Distanz, der euklidischen Distanz oder anderen Distanzmaßen). Somit sind ähnliche
Optima in der Fitnesslandschaft benachbart. detaillierten Methodenbeschreibung
6.1.1 Nebenpfad: Methodenbeschreibung
Eine Fitnesslandschaft kann formal definiert werden als Tripel L=(S,f,d) mit
einer Menge von Lösungen S, einer Fitnessfunktion f und einem Distanzmaß
d(s,t) zwischen zwei Lösungen s und t.
Die Nachbarschaft N(s) = {t ∈ s|d(s, t) = dmin} eines Punktes s besteht aus
allen Lösungen t, die höchstens die Distanz d¡sub¿min¡/sub¿ von s haben. Die
Landschaft kann auch als Graph interpretiert werden mit der KnotenmengeV=S
und den Kanten E={(s,t)}.
30

Eigenschaften
von Fitnesslandschaften
Bestimmung
der
Unebenheit
Globale
Eigenschaften
Beispielsweise ist dann der Durchmesser der Landschaft gleich der maximalen
Entfernung zwischen zwei Lösungen im Graphen. Die Topologie des Graphen
ist problemabhängig: z.B. ist für das Bipartitioning-Problem der Graph
ein Johnson-Graph oder für das Travelling Salesman-Problem ein Cayley-Graph
(vgl. Stadler 1995).
Für die problemspezifische Vorhersage der Performance einer Heuristik
und das Design einer Heuristik für ein bestimmtes Problem werden die
Charakteristika einer Fitnesslandschaft beschrieben, welche die Effizienz von
heuristischen Suchmethoden wesentlich beeinflussen:
• Die Unebenheit der Landschaft, d.h. die Varianz von f
• Die Zahl der lokalen Optima und ihre Verteilung im Lösungsraum
• Die Struktur und die Größe von Attraktionsgebieten lokaler Optima
• Die Größe und Struktur von Ebenen mit gleicher Fitness
Um diese Eigenschaften messen zu können, wurden verschiedene Methoden entwickelt.
Zur Abschätzung der Unebenheit einer Landschaft wird z.B. die random
”
walk“-Korrelationsfunktion von Weinberger eingesetzt. Letztere bestimmt die
Autokorrelation durch einen Zufallslauf durch die Fitnesslandschaft, wobei die
” Random Walk“-Korrelation r(m) für die Fitnesswerte von Lösungen (s,t) auf
diesem Lauf berechnet wird, die m Schritte voneinander entfernt sind.
In der Regel wird mit zunehmender Anzahl an Schritten m von s ausgehend
die Korrelation r(m) kleiner. Aus den Werten der Korrelationen wird eine Korrelationslänge
berechnet. Diese ist ein Maß für die Unebenheit der Fitnesslandschaft.
Für viele Problemtypen kann die Korrelationslänge abgeschätzt werden,
wie z.B. beim Travelling Salesman-Problem oder beim Quadratischen Zuordnungsproblem.
Zur Bestimmung globaler Eigenschaften des Lösungsraumes wird die Fitness-
Distanz-Korrelation eingesetzt. Diese wird aus der Korrelation der Fitness
und der Distanz zur global optimalen Lösung berechnet.
Bei strukturierten Lösungsräumen konzentrieren sich die lokalen Optima
in einem kleinen Bereich des Lösungsraumes, d.h. mit abnehmender Distanz
31

zum globalen Optimum werden die Fitnesswerte größer. Bei unstrukturierten
Lösungsräumen hingegen sind die lokalen Optima chaotisch über den
gesamten Lösungsraum verteilt.
32

Vorteile von
Fitnesslandschaften
Nachteile von
Fitnesslandschaften
6.2 Anwendung
• Fitnesslandschaften sind eine gute Möglichkeit, um die Laufzeiten heuristischer
Methoden für kombinatorischer Optimierungsprobleme zu verbessern.
• Sie können mit nahezu allen heuristischen Methoden kombiniert werden.
• Das Konzept der Fitnesslandschaft ist intuitiv verständlich und gut graphisch
darstellbar.
• Die Implementierung ist relativ aufwändig und zusätzlich zur Implementierung
der heuristischen Methode erforderlich.
• Ob die Laufzeit von Heuristiken durch den Einsatz von Fitnesslandschaften
sinkt ist problemspezifisch.
Anwendung Aufgrund der relativ aufwändigen Implementierung eignen sich Fitnesslandschaften
vor allem für komplexe, kombinatorische Optimierungsprobleme mit
vielen Instanzen.
Sie werden in Kombination mit vielen heuristische Optimierungsmethoden eingesetzt,
wie z.B. mit Memetischen und Genetischen Algorithmen oder Algorithmen
zur Nachbarschaftssuche.
Sind die Strukturen des Lösungsraumes aufgrund der Problemstellung jedoch
bereits bekannt oder arbeiten heuristische Methoden auch ohne den Einsatz von
Fitnesslandschaften effizient, so kann auf Fitnesslandschaften verzichtet werden.
33

7 Künstliche Neuronale Netze
7.1 Aufbau
Begriff Künstlichen neuronalen Netze sind der Oberbegriff für eine Sammlung von Methoden,
deren Mechanismen zur Informationsverarbeitung sich an den Nervensystemen
im Gehirn von Säugetieren orientieren. In Analogie zur menschlichen
Lernfähigkeit lassen sich mit neuronalen Netzen künstliche lernende Systeme
modellieren, die fehlertolerant und robust gegen ungenaue Daten sind.
Aufbau Ein neuronales Netz lässt sich als ein gerichteter, gewichteter Graph darstellen,
bestehend aus Neuronen (Knoten) und Verknüpfungen (Bögen) zwischen
diesen.
Ein solches neuronales Netzwerk bildet über die Vielzahl einfacher, miteinander
verbundener Neuronen ein funktionales Gesamtsystem. Die Neuronen werden
schichtenweise angeordnet.
Jedes neuronale Netzwerk besteht mindestens aus zwei Schichten. Die unterste
Schicht wird als Eingabeschicht und die oberste Schicht als Ausgabeschicht
bezeichnet. Die Eingabeneuronen in der Eingabeschicht besitzen keine
eingehenden und die Ausgabeneuronen keine ausgehenden Verbindungen. Über
die Ausgabeneuronen gibt das neuronale Netz die Ergebnisse der Berechnungen
nach außen weiter. Oft wird die Eingabeschicht links und die Ausgabeschicht
rechts im neuronalen Netzwerk dargestellt.
Zwischen diesen beiden Schichten können eine beliebige Anzahl verborgener
Schichten (hidden layers) angeordnet sein, die für den Benutzer nicht sichtbar
sind. In der Praxis wird meist nur eine verborgene Schicht verwendet (vgl. Abbildung).
34

7.2 Reizweiterleitung
ReizweiterleitungDie Neuronen erhalten über die gerichteten Verbindungen Reize (Eingaben).
Diese Eingaben werden verarbeitet und erzeugen eine Ausgabe, die über Verbindungen
zu anderen Neuronen weitergeleitet wird. Die Reihenfolge, in der die
Neuronen aktiviert werden, wird festgelegt (z.B. durch eine topologische Sortierung
im Graphen).
Diese Vorgänge können parallel ausgeführt werden, was die Leistungsfähigkeit
des Gesamtsystems erheblich steigert. Die Anpassung eines neuronalen Netzes
erfolgt über die Verbindungen, indem die Reizweiterleitung an andere Neuronen
unterschiedlich stark erfolgt und variiert werden kann. Die unterschiedlich
starke Weiterleitung der Reize wird über die Bewertung der Verbindungen mit
Gewichten erreicht.
RückkopplungRückkopplung
Feedback-
Netze
Feedforward-
Netze
In Bezug auf die Informationsverarbeitung werden Netze mit und ohne Rückkopplung
( Feedback-Netze und Feedforward-Netze) unterschieden. Die
Abbildung zeigt, in welchen Neuronalen Netzen Feedback- und Feedforward-
Verfahren eingesetzt werden.
7.2.1 Nebenpfad: Feedback-Netze
Feedback-Netze erlauben Rückkopplungsmöglichkeiten, d.h. bei einem solchen
Netz kann eine Ausgabe wieder als Eingabe benutzt werden, wodurch ein
Iterationsprozess in Gang gesetzt wird. Es werden so viele Iterationen durchlaufen
bis das Netz einen stabilen Zustand erreicht und sich die Gewichte nur noch
minimal ändern. Beispiele hierfür sind das Hopfield-Netz und die Boltzmann-
Maschine.
7.2.2 Nebenpfad: Feedforward-Netze
Feedforward-Netze sind rückkopplungsfrei, d.h. Neuronen einer Ebene werden
nur mit Neuronen einer höheren Ebene verknüpft. Werden eine Ebene oder
mehrere Ebenen übersprungen, so wird dies eine ” shortcut connection“ genannt
oder ein Feedforward-Netz zweiter oder höherer Ordnung.
Bei vollständig vernetzten Netzen wird jedes Neuron mit jedem anderen
Neuron verknüpft. Bei vollständigen Feedforward-Netzen wird ein Neuron mit
35

jedem Neuron einer höheren Schicht verbunden. Beispiele für Feedforward-Netze
sind das Perceptron oder das Backpropagation-Netzwerk.
36

Eingabe-,
AktivierungsundAusgabefunktion.
7.3 Lernverfahren
Ein Neuron besitzt drei Teilfunktionen:
Erstens werden die eingehenden Reize in der Eingabe- bzw. Propagierungsfunktion
verarbeitet. In den meisten Fällen werden die gewichteten eingehenden Reize
aufsummiert; es sind jedoch auch andere Propagierungsfunktionen möglich.
Dann wird aus dem so berechneten Eingabewert der Aktivierungszustand des
Neurons mit Hilfe der Aktivierungsfunktion berechnet. Aus der Aktivierung
wird über die Ausgabefunktion die Ausgabe des Neurons berechnet.
Lernverfahren Lernverfahren dienen zur Bestimmung der Gewichte auf den Verbindungen
des neuronalen Netzes. Während des Lernprozesses werden diese iterativ
adaptiert. Beim überwachten Lernen benötigt man Eingabevektoren mit
bekannten Ausgaben, die als Muster bezeichnet werden. Das am häufigsten
eingesetzte Verfahren des überwachten Lernens ist der Backpropagation-
Algorithmus.
Teilt man dem Netz während der Trainingsphase mit, ob seine Ausgabe richtig
oder falsch war, nicht jedoch die erwünschte Ausgabe, so wird dies als
bestärkendes Lernen bezeichnet.
Beim unüberwachten Lernen organisiert sich das neuronale Netz selbständig,
in dem beispielsweise statistische Eigenschaften der Eingabemuster extrahiert
werden um ähnliche Eingabemuster zu clustern (z.B. bei Self Organizing Maps).
Diese Lernverfahren bedienen sich verschiedener Lernalgorithmen, wie der Hebb-
Regel, der Delta-Regel oder der verallgeminerten Delta-Regel. Nähere Erläuterungen
zu diesen Lernalgorithmen finden Sie hier.
7.3.1 Nebenpfad: Aktivierungsfunktion
Aktivierungsfunktion Entscheidend für die Anwendung neuronaler Netze ist die Form der Aktivierungsfunktion.
Der Aktivierungszustand eines Neurons zum Zeitpunkt t+1 ist
durch die Aktivierungsfunktion f¡sub¿act¡/sub¿ in Abhängigkeit vom Aktivierungszustand
im Zeitpunkt t, von der Eingabe net¡sub¿j¡/sub¿(t) in ein Neuron j
zum Zeitpunkt t und von einem Neuron-spezifischen Schwellwert θj bestimmt:
aj(t + 1) = fact(aj(t) + netj(t), θj)
37

Binäre
Schwellwertfunktion
Lineare
Schwellwertfunktion
Beim einfachen Perzeptron wird als Aktivierungsfunktion die binäre Schwellwertfunktion
verwendet:
fact = 1, falls netj ≥ θj
fact = 0, sonst
Von einem Neuronj können zwei Ausgabewerte 0 und 1 erzeugt werden, je nach
dem ob der Wert der Propagierungsfunktion kleiner oder größer einem festgelegten
Schwellwert θj ist. Problematisch ist die Unstetigkeitsstelle der Schwellwertfunktion,
da unstetige Funktionen nicht differenzierbar sind.
Die lineare Schwellwertfunktion erlaubt alle Werte im Intervall [0,1] als
Ausgabewerte. Es existieren zwei Schwellwerte θj 1 < θj 2. Ist der Wert der Propagierungsfunktion
kleiner als θj 1 so ist der Wert der Aktivierungsfunktion 1.
Ist er größer als θj 2 so beträgt der Wert 1 und liegt er zwischen θj 1 und θj 2wird
(x − θj 1)/(θj 1 − θj 2) berechnet.
Tangens Für den Backpropagation-Algorithmus eignet sich oft die Funktion Tangens
hyperbolicus- hyperbolicus als Aktivierungsfunktion:
Schwellwertfunktion
Sigmoide
Aktivierungsfunktion
fact = tanh[netj(t) − θj)
Am häufigsten werden sigmoide Aktivierungsfunktionen eingesetzt. Bei
diesem Funktionstyp wird die Schwellwertfunktion mit stetigen, differenzierbaren
Funktionen angenähert. Eine solche S-förmige Funktion ist die logistische
Aktivierungsfunktion:
flog =
1
1−e x/T
wobei der Parameter T die Steilheit des Kurvenanstiegs beeinflusst.
38

Überwachtes
Lernen
7.3.2 Nebenpfad: Lernverfahren
Beim überwachten Lernen wird die vom neuronalen Netz berechnete Ausgabe
eines Eingabevektors mit der vorgegebenen Soll-Ausgabe verglichen und ein
Fehler bestimmt.
Entsprechend der Methode der kleinsten Fehlerquadrate werden die Verbindungsgewichte
so optimiert, dass die gesamte Abweichung von Ist- und Soll-
Ausgabe minimal wird. Die Minimierung der Fehlerquadrate kann in vielen
Fällen mit einem Gradientenverfahren durchgeführt werden.
Backpropagation-Ein
solches Gradientenverfahren ist der Backpropagation-Algorithmus. Zu
Algorithmus Beginn werden alle Verbindungsgewichte mit zufälligen Werten initialisiert. Es
ist vorteilhaft, den Grad der Eingangsverbindungen eines Neurons bei dieser
Initialisierung zu berücksichtigen, um zu große Eingabewerte zu vermeiden.
Levenberg-
Marquardt-
Verfahren
Die Eingabeparameter sind ebenfalls geeignet zu skalieren. Für große Beträge
der Eingabewerte ist die geringe Steigung der Sigmoid-Funktionen problematisch.
Es entsteht ein Plateau, auf dem ein Gradientenverfahren nur langsam
fortschreitet. Generell kann nicht garantiert werden, dass das globale Minimum
wirklich gefunden wird. Um die Minima herum liegen lokale Attraktionsbecken.
Alle Eingabemuster in solch einem Becken liefern dasselbe Ausgabemuster.
Wesentlich effizienter in der Anzahl der Lernschritte als der Backpropgation-
Algorithmus ist das Levenberg-Marquardt-Verfahren. Dieses basiert auf einer
Optimierung nach dem Newton-Approximationsverfahren. Bei der Ausführung
wird jedoch erheblich mehr Speicherplatz benötigt.
7.3.3 Nebenpfad: Lernalgorithmen
Hebb-Regel Die Hebb-Regel wurde 1949 von D.O. HEBB [] vorgestellt. Sie besagt im wesentlichen,
dass die Gewichtung der Verbindung zweier Neuronen erhöht wird,
wenn diese gleichzeitig aktiv sind. Die Hebb-Regel wird beispielsweise im Perceptron-
Netzwerk eingesetzt.
Delta-Regel Eine Erweiterung der Hebb-Regel von WIDROW und HOFF[] ist die Delta-
Regel. Diese ist nur für überwachtes Lernen in Netzwerken ohne versteckte
39

Verallgemeinerte
Delta-Regel
Schichten geeignet. Es wird zusätzlich zur Hebb-Regel der Fehler aus Soll-
Ausgabe und Ist-Ausgabe E¡sub¿j¡/sub¿ des Neurons j berücksichtigt:
∆wij = k · Ej · xi
wobei w¡sub¿ij¡/sub¿ die Gewichtung der Verbindung zwischen Neuron i und j
ist, k eine festzulegende Lernrate und x¡sub¿i¡/sub¿ die Ausgabe des Neurons i.
Die Delta-Regel kann im Gegensatz zur Hebb-Regel auch reellwertige Ausgaben
erlernen und führt zu einer schnelleren Konvergenz als die Hebb-Regel.
Die Delta-Regel wird z.B. im Adaline-Netzwerk eingesetzt.
Dieverallgemeinerte Delta-Regel erweitert die Delta-Regel auf die Anwendung
für mehrschichtige Netzwerke.
Als erstes müssen die Fehler der Neuronen in den versteckten Schichten berechnet
werden. Dies erfolgt, indem die Fehler der nächst höheren Schicht j auf die
nächst tiefere Schicht i so umgelegt werden, dass der Fehler nach der Korrektur
der Gewichte möglichst klein wird.
Die Fehler der Neuronen in den einzelnen Schichten werden so, ausgehend von
der Ausgabeschicht, rekursiv ermittelt:
Ei = xi · (1 − xi) · n
j=1 (wij · Ej)
Durch dieses Verfahren wird erreicht, dass die Fehlerkorrektur nicht nur an einer
Stelle im Netz, sondern auf alle Gewichte verteilt gleichzeitig erfolgt. Einzelne
Gewichte müssen so nur wenig revidiert werden. Die Änderungen der Gewichte
∆wij werden wie bei der einfachen Delta-Regel berechnet. Die verallgemeinerte
Delta-Regel wird z.B. im Backpropagation-Netzwerk verwendet.
40

Perceptron-
Netzwerk
Adaline-
Netzwerk
7.4 Perceptron, Adaline und Backpropagation
Es gibt eine Reihe von verschiedenen Modellen Neuronaler Netze. Diese unterscheiden
sich in der zugrundeliegenden Struktur, den verwendeten Eingabe-
, Aktivierungs- und Ausgabefunktionen und den angewendeten Lernverfahren
bzw. Lernalgorithmen.
Das rückkopplungsfreiePerceptron-Netzwerk , welches 1958 von ROSEN-
BLATT [] entwickelt wurde, besteht aus drei Ebenen; es enthält also eine versteckte
Schicht.
Die Verbindung zwischen der Eingabe- und der mittleren Schicht ist aber mit
festen, nicht lernenden Gewichten versehen. Die Neuronen der mittleren
und der Ausgabeschicht stehen alle durch lernfähige Gewichte miteinander in
Verbindung.
Das Percepton lernt aus Beispielen und arbeitet mit der Hebb-Regel. Als Aktivierungsfunktion
werden die Identität und binäre Schwellwerte eingesetzt.
Einfache Klassifizierungsprobleme können relativ gut mit dem Perceptron gelöst
werden.
Das Adaline-Netzwerk (Adaptive Linear Neuron Network) wurde von WIDROW
und HOFF 1960 [] veröffentlicht. Es besteht aus zwei Schichten, ist rückkopplungsfrei,
arbeitet mit einer binären Schwellwertfunktion und verwendet die
Delta-Regel als Lernregel.
Das Adaline-Netzwerk kann wie alle Netzwerke mit zwei Schichten nur linear
separierbare Funktionen erlernen, bietet jedoch gegenüber dem Perceptron den
Vorteil der Möglichkeit zur Ausgabe reellwertiger Zahlen.
Backpropagation-Das
Backpropagation-Netzwerk (oder mehrschichtiges Perzeptron) ist das
Netzwerk wohl populärste neuronale Netz, da es auch nicht linear separierbare Problemstellungen
lösen kann. Es wurde Mitte der 80er Jahre von RUMEL-
HART, HINTON und WILLIAMS [] entwickelt und ist ein rückkopplungsfreies
Netzwerk, das neben der Ein- und der Ausgabeschicht beliebig viele weitere Zwischenschichten
haben kann. Die verdeckten Schichten und die Ausgabeschicht
sind vollständig miteinander verbunden.
Die verwendete Lernregel ist die verallgemeinerte Delta-Regel.
Als Aktivierungsfunktion wird meist eine sigmoidale Funktion eingesetzt.
Das Backpropagation-Netzwerk wird insbesondere dann eingesetzt, wenn ein
Problem mit nichtlinearen Beziehungen zwischen Ein- und Ausgabedaten
41

vorliegt. Problematisch ist jedoch, dass durch die Verwendung der sigmoidalen
Funktion die Lernphase in einem lokalen Minimum der Fehlerfunktion stecken
bleiben kann.
42

7.5 Hopfield-Netz
Hopfield-Netz Das Hopfield-Netz wurde 1982 von J.J. HOPFIELD [] vorgestellt. Es handelt
sich hierbei um ein rückgekoppeltes autoassoziatives Netzwerk, d.h. bei dem sich
der Zustand eines Neurons auf die Eingänge aller übrigen Neuronen auswirkt
bzw. das Eingangsmuster eines Neurons von den Zuständen aller übrigen Neuronen
gebildet wird.
Das Hopfield-Netzwerk ist also ein einschichtiges, vollständig verbundenes
und symmetrisches Netzwerk. Der Eingabevektor entspricht der Anfangsaktivität
des Netzes, der Ausgabevektor der Aktivität des Netzes im stabilen
Zustand. Als Aktivierungsfunktion kann eine binäre Schwellwertfunktion
eingesetzt werden.
MustererkennungDie Hauptanwendung von Hopfield-Netzen liegt in der Mustererkennung.
Wird beispielsweise ein zweifarbiges Bild vorgegeben, so kann jeder Farbpunkt
durch eine 0 oder eine 1 kodiert werden. Werden dem Hopfield-Netz mehrere
Muster vorgegeben, die gespeichert werden soll, so gehört zu jedem Muster eine
Matrix welche die Gewichte w¡sub¿ij¡/sub¿ speichert.
Aus den Matrizen aller Muster wird eine Gesamtmatrix M berechnet. Bei wenigen
Mustern speichert die Matrix M alle Muster. Wird die Anzahl der Muster
jedoch über einen bestimmten Grenzwert erhöht, speichert das Netz nicht mehr
länger die vorgegebenen Muster, da die Speicherkapazität nicht mehr ausreicht.
Die Wahrscheinlichkeit, dass ein Bild gespeichert wird, sinkt mit steigender Zahl
an Mustern. Die Kapazität kann nach Hopfield mit k = 0,15N abgeschätzt werden.
N steht für die Anzahl der Neuronen des Netzes.
Hopfield-Netze sind in der Lage, fehlerhafte und gestörte Mustern fehlerfreien
Vorgabemustern zuzuordnen und somit die Störung bzw. den Fehler auszuheilen.
Wenn jedoch einzelne Muster stark von den bekannten Mustern abweichen konvergiert
das Netz nicht gegen eine Lösung sondern pendelt zwischen verschiedenen
Mustern hin und her. Korrelierende Muster können nur schlecht gespeichert
werden. Auch ist es möglich, dass ein Netz gegen einen Zustand konvergiert, der
keinem der vorgegebenen Muster entspricht.
43

Boltzmann-
Maschine
7.6 Boltzmann-Maschine
Die Boltzmann-Maschine wurde 1985 von ACKLEY, HINTON und SE-
JNOWSKI [] veröffentlicht und stelt eine Erweiterung des Hopfield-Netzes dar.
Der Aufbau des Boltzmann-Netzes ist mit dem des Hopfield-Netzes identisch,
d.h. das Netz ist vollständig und symmetrischmit Rückkopplung.
HeteroassoziationBoltzmann-Netze können wie Feedforward-Netze, im Gegensatz zum Hopfield-
Netz, unterschiedliche Ein- und Ausgabepaare lernen. Dies wird Heteroassoziation
genannt im Gegensatz zur Autoassoziation, bei der nur die gleichen
Muster für Ein- und Ausgabe verwendet werden können.
Simulated
Annealing
Um nicht in lokalen Minima des Netzzustandes hängen zu bleiben verwendet
die Boltzmann-Maschine eine Simulated Annealing-Heuristik. Mit dieser
kann der Algorithmus aus einem lokalen Minimum in einen völlig anderen Teil
des Lösungsraumes gelangen. Da die Boltzmann-Maschine meist nicht das globale
Minimum erreicht, werden in der Praxis mehrere Läufe durchgeführt, die
Endzustände verglichen und gemittelt.
Algorithmus Der Lernalgorithmus gliedert sich in zwei Phasen. Zuerst werden an die Einund
Ausgabeneuronen ein vorgegebener Input und Output angelegt. Diese werden
während des gesamten Durchlaufes festgehalten. Nach mehreren Simulated
Annealing-Läufen wird über die Endzustände gemittelt. In der anschließenden
freien Phase wird ein vorgegebener Input angelegt, der Output ist frei. Es werden
wiederum mehrere Simulated Annealing-Läufe durchgeführt.
Beide Phasen werden abwechselnd durchlaufen und nach jedem Lauf die Gewichte
des Netzes so angepasst, dass die jeweiligen Zustände sich annähern. Ziel
des Lernalgorithmus ist es, die Gewichte so anzupassen, dass jeder Zustand im
Netz in beiden Phasen dieselbe Wahrscheinlichkeit hat.
Aufwand In Folge dieses iterativen Verfahrens ist die Boltzmann-Maschine sehr rechenund
zeitaufwändig. Die Effizienz ist stark davon abhängig, wie die Abkühlung
beim Simulated Annealing durchgeführt wird und wie genau die Endzustände
gemittelt werden können. Generell gilt, dass je langsamer abgekühlt wird und
je besser die Mittelwertbildung ist, desto besser sind die Ergebnisse.
44

7.7 Kohonen-Netze
Selbstorganisierende In vielen neuronalen Netzen ist die Lage eines bestimmten Neurons im Netz
Karten irrelevant. Im biologischen Gehirn jedoch haben benachbarte Neuronen häufig
ähnliche Aufgaben und werden in bestimmten Regionen organisiert.
Kohonen-Netze (Selbstorganisierende Karten) berücksichtigen dies, indem
die Anordnung der Neuronen im neuronalen Netz von Bedeutung ist. Die
Neuronen können ihre Struktur nach festgelegten Regeln selbst organisieren
und sich so anordnen, dass benachbarte Neuronen von ähnlichen Eingabemustern
aktiviert werden. Die Abbildung ähnlicher Eingabemuster in benachbarte
Neuronen ist eine Abstraktion, die unwichtige Details unterdrückt und nur die
wichtigsten Merkmale abbildet.
Kohonen
Feature Map
KOHONEN []formulierte 1972 ein mathematische Modell (Kohonen Feature
Map) selbstorganisierender sensorischer Karten. Die Kohonen Feature
Map besteht aus zwei Schichten:
Einer Eingabeschicht und einer zwei- oder mehrdimensionalen Ausgabeschicht,
der sensorischen Karte.
Die Neuronen der Ausgabeschicht sind sowohl mit den Eingabeneuronen als
auch untereinander verbunden. Dies ermöglicht eine Rückkopplung der Ausgabeschicht
mit sich selbst.
Die Erregung eines Neurons i kann somit als eine sigmoide Funktion der
Summe aller mit w¡sub¿il¡/sub¿ gewichteten eingehenden Aktivitäten von den
Eingabeneuronen l und den Werten der Ausgabefunktionen f¡sub¿j¡/sub¿ der
Neuronen j der Ausgabeschicht berechnet werden. Das Gewicht g¡sub¿ij¡/sub¿
zwischen den Neuronen i und j der Ausgabeschicht werden als Kopplungsstärken
bezeichnet. Θi ist die Erregungsschwelle.
Umfeldhemmung Über den zweiten Summanden erregen sich die Neuronen der Ausgabeschicht
wechselseitig.
Für kurze Distanzen zwischen den Neuronen ist die Kopplungsstärke erregend,
für lange Distanzen dagegen hemmend. Der hierdurch erzielte Effekt wird
Umfeldhemmung genannt.
Die so entstandene Antwort des Netzes auf eine Eingabe hat ein Erregungszentrum,
in dem die Erregung maximal ist. Die Lage dieses Erregungszentrums
hängt nur von der Eingabe ab.
Lernprozess Während des Lernprozesses werden die Gewichte w¡sub¿il¡/sub¿ ausgehend von
groben Näherungswerten iterativ verbessert. Um lernen zu können wird dem
45

Netz eine Folge von statistisch ausgewählten Eingaben präsentiert.
Mit jeder Eingabe werden die Gewichte angepasst bis sie sich in einem Gleichgewichtzustand
befinden. Ist dieser erreicht, so hat das Netz einen stabilen Zustand
erreicht und Regionen ähnlicher Erregbarkeit haben sich herausgebildet.
46

Vorteile
Neuronaler
Netze
Nachteile
Neuronaler
Netze
7.8 Anwendung
• Neuronaler Netze können in sehr vielen Bereichen angewendet werden.
• Sie erzeugen implizit einModell für die Eingabedaten.
• Sie erfordern keine Annahmen über Verteilungsfunktionen der eingehenden
Daten.
• Sie besitzen einen hohen Automatisierungsgrad.
• Die Toleranz gegenüber fehlenden, fehlerhaften und widersprüchlichen
Daten ist hoch.
• Neuronale Netzwerke können lange Rechenzeiten (Trainingszeit) benötigen.
• Das Finden einer ausreichend guten Lösung ist nicht garantiert.
• Neuronale Netze können sich an die Daten ” überanpassen“ (overfitting).
• Die Lösungsfindung ist nicht nachvollziehbar und nicht überprüfbar.
47

7.9 Anwendung
Anwendungsbereiche Neuronale Netze werden in verschiedenen Bereichen eingesetzt: zur Klassifikation
und Clusterung, zur Prognose und zur Mustererkennung sowie zur Optimierung.
Aufgrund ihrer Fehlertoleranz wurden neuronale Netze außerdem erfolgreich
bei der Identifikation von dynamischen stochastischen Modellen aus gestörten
Messwerten eingesetzt.
In ihrer breiten Anwendbarkeit unterscheiden sich neuronale Netze von den
meisten Methoden der Datenanalyse.
Prognose und
Mustererkennung
Bei der Prognose und Mustererkennung mit neuronalen Netzen wird ausgehend
von den beobachteten Daten eine Funktion bestimmt, welche sich an
die hinter den Daten stehende Struktur möglichst gut anpasst.
Es kann gezeigt werden, dass jede beliebige Funktion durch ein künstliches
neuronales feedforward-Netz mit einer verborgenen Schicht und sigmoider Aktivierungsfunktion
beliebig genau approximiert werden kann.
Klassifikation Die Klassifikation mit neuronalen Netzen ist ein weit verbreitetes Anwendungsgebiet.
Mit einer verborgenen Schicht können linear trennbare Daten klassifiziert
werden, mit zwei verborgenen Schichten können konvexe Polygone als Klassengrenzen
dargestellt werden und mit drei verborgenen Schichten können beliebige
Klassengrenzen repräsentiert werden.
Heuristische
Optimierung,
Clusterung
Gestörte
Messungen
Selbstorganisierende Karten können in verschiedenen Bereichen eingesetzt werden.
In der heuristischen Optimierung können sie das Handlungsreisendenproblems
effizient lösen [].
Bei der Clusterung ergänzen sie die herkömmlichen statistischen Verfahren [].
In der Industrie werden Erweiterungen von Selbstorganisierenden Karten bei
der Robotersteuerung angewendet.
Zur Modellbildung bei fehlenden oder fehlerhaften Messwerten müssen aus den
beobachteten Messungen eines Systems die unbekannten Modellparameter geschätzt
werden. Rückgekoppelte künstliche neuronale Netze wurden in verschiedenen
Arbeiten (z.B. [] [] [] eingesetzt, um aus gestörten Messgrößen die Modellparameter
eines Systems bestimmen zu können.
48

Sonstige
Anwendungsbereiche
Des weiteren werden Neuronale Netze beispielsweise bei der Handschrifterkennung,
der Spracherkennung, der EEG-Klassifikation, der Bildkompression oder
der automatischen Navigation eingesetzt.
49

8 Literatur und Methodenverzeichnis
8.1 Literatur zu Greedy-Heuristiken und Nachbarschaftssuche
Literaturverzeichnis
Literatur zu Greedy-Heuristiken
Feo, T.A./Resende, M.G.C.: Greedy Randomized Adaptive Search
Procedures, in: Journal of Global Optimization, Vol.6, 1995, pp. 109-
133. Hart, J.P./Shogan, A.W.: Semi-greedy Heuristics: An Empirical
Study, Operations Research Letters, Vol. 6, 1987, pp. 107-114. Caruana,
R./Freitag, D.: Greedy attribute selection. Proc. ML-94. Morgan Kaufmann
1994. Auf URL: http://citeseer.ist.psu.edu/caruana94greedy.html
Literaturverzeichnis
Literatur zur Nachbarschaftssuche
Applegate, D./Bixby, R./Chvtal, V./Cook, W.: Finding tours in
the TSP, 2000, auf URL: www.caam.rice.edu/caam/trs/99/TR99-05.ps.
Cerny, V.: Thermodynamical Approach to the Traveling Salesman
Problem: An Efficient Simulation Algorithm, in: Journal of Optimazation
Theory and Applications, Vol. 45, 1985, pp. 41-51. Finke,
G./Burkard, R.E./Rendl, F.: Quadratic assignment problems, in: Annals
of Discrete Mathematics, Vol. 31, pp. 61-82, 1987. auf URL:
http://citeseer.ist.psu.edu/finke98quadratic.html Glover, F./Laguna,
M.: Tabu search, in Reeves, C. (ed.): Modern Heuristic Techniques for
Combinatorial Problems, Blackwell, Oxford, pp. 70-141, 1993. auf URL:
http://citeseer.ist.psu.edu/glover97tabu.html Kirkpatrick, S./Gelatt Jr.,
C.D./Vecchi, M.P.: Optimization by Simulated Annealing, in: Science,
Vol. 220, 1983, pp. 671-680. Kuhn, Ch. H.: Praktische Anwendungen
der Suchstrategie Tabu Search - ein Überblick. Seminararbeit an der
Fernuniversität Hagen - Lehrstuhl für Wirtschaftsinformatik, 2001, auf
URL: www.qno.de/wiwi/winf/Seminar0106.pdf Loureno, H./Martin,
O./Stützle, T.: A Gentle Introduction to Iterated Local Search, in
Proceedings of MIC2001 - Meta-heuristics International Conference,
Vol. 1, 2001, auf URL: iridia.ulb.ac.be/ meta/downloads/mic2001-ils.ps
Stützle, T.: Applying iterated local search to the permutation flow shop
problem. Technical Report AIDA-98-04, FG Intellektik, TU Darmstadt
1998. Von Besten, M./Dorigo, M/Stützle, T.: Design of Iterated Local
Search Algorithms: An Example Application to the Single Machine Total
Weighted Tardiness Problem, in: Proceedings of EvoStim01, Lecture No-
50

tes in Computer Science, Springer 2001. Zimmermann, H.-J.: Operations
Research - Methoden und Modelle. Wiesbaden 2005, S. 298-304.
8.1 Literatur zu Genetischen Algorithmen
Literaturverzeichnis
Einführende Literatur zu Genetischen Algorithmen
Davis, H. (ed.): Handbook of Genetic Algorithms, Van Nostrand Reinhold
1991. Deb, K.: Genetic Algorithm in Search and Optimization: The Technique
and Applications. Auf Url: http://citeseer.ist.psu.edu/138345.html
Falkenauer, E.: Genetic Algorithms and Grouping Problems. John Wiley,
Chichester, New York et al. 1998. Goldberg, D.E.: Genetic Algorithms in
Search, Optimization and Machine Learning. Addison-Wesley, Reading
1989. Holland, J.H.: Adaption in natural and artifical systems. Ann
Arbor, University of Michigan Press 1975. Joereßen, A., Sebastian, H.-J.
(1998): Problemlösung mit Modellen und Algorithmen, Teubner Verlag,
Stuttgart 1988, S. 239 ff. Mitchell, M. (1996): An Introduction to Genetic
Algorithms. MIT Press, 1996. Rechenberg, I. (1973): Evolutionsstrategie:
Optimierung technischer Systeme nach Prinzipien der biologischen
Evolution. Frommann-Holzboog Verlag, Stuttgart 1973. Schwefel, H.-P.:
Evolution and Optimum Seeking. John Wiley & Sons, New York 1995.
Whitley, D.: An overview of evolutionary algorithms: Practical issues and
common pitfalls. Information and Software Technology Special Issue on
Software Engineering using Metaheuristic Innovative Algorithms (2001).
http://citeseer.ist.psu.edu/whitley01overview.html
Literaturverzeichnis
Weiterführende Literatur zu Genetischen Algorithmen
Bui, T./Moon, B.: A new genetic approach for the travelling salesman
problem, in: Proceedings of the First IEEE Conference on
Evolutionary Computation, 1994, pp. 7-12. Deb, K.: Genetic algorithms
in optimal filter design, in: Balagurusamy, E./Sushila, B. (eds.): Proceedings
of the International Conference on Computing Congress, 1993, pp.
29-36. Deb, K./Kumar, A.: Real-coded genetic algorithms with simulated
binary crossover: Studies on multimodal and multiobjective problems,
in: Complex Systems, 9(6), 1995, pp. 431-454. Eshelmann, L.: The CHC
Adaptive Search Algorithm. How to Have Safe Search When Engaging in
Nontraditional Genetic Recombination, in: Rawlins, G. (edt.): FOGA-1.
Morgan Kaufmann 1991, pp. 265-283. Fang, H./Ross, P./Corne, D.: A
promising genetic algorithm approach to jobshop scheduling, reschedu-
51

ling, and open-shop scheduling problems, in Forrest (edt.): Proceedings of
the Fifth International Conference on Genetic Algorithms. Morgan Kaufmann,
1993. http://citeseer.ist.psu.edu/fang93promising.html Goldberg,
D:E:/Deb, K./Clark, J.H.: Genetic algorithms, noise, and the sizing of
populations, in: Complex Systems, Vol. 6, 1992, pp. 333-362. Hibbert,
D.B.: Genetic algorithms in chemistry, in: Chemometrics and Intelligent
Laboratory Systems, Vol. 19, 1993, pp. 277-293. Horn, J./Nafpliotis, N.:
Multiobjective optimization using Pareto genetic algorithms (IlliGAL
Report No 93005). Urbana: University of Illinois at Urbana-Champaign.
Illinois Genetic Laboratory 1993. Kelly, J.D./Davis, L.: Hydridizing the
genetic algorithm and the k nearest neighbors, in: Belew, R./Booker, L.B.
(eds.): Proceedings of the Fourth International Conference on Genetic
Algorithms. Morgan Kaufmann, San Mateo 1991, pp. 377-383. Kkai,
G. (2003): Erfolge und Probleme evolutionärer Algorithmen, induktiver
logischer Programmierung und ihrer Kombination, Arbeitsberichte des
Instituts für Informatik der Friedrich-Alexander-Universität Erlangen-
Nürnberg, Bd 36, Nr 1, Erlangen 2003. Krishnakumar, K.: Microgenetic
algorithms for stationary and non-stationary function optimization. SPIE
Proceedings on Intelligent Control and Adaptive Systems, 1989, 1196,
pp. 289-296. Krolzik, S.: Künstliches Leben - Genetische Algorithmen,
auf URL: http://www.bitel.net.kehsq180/ga ausarbeitung. Lucasius,
C.B./Kateman, G.: Applications of genetic algorithms in chemometrics,
in Schaffer, J.D. (edt.): Third International Conference on Genetic
Algorithms, Morgan Kaufmann, San Mateo 1989, pp. 170-176. Packard,
N.H.: A genetic learning algorithm for the analysis of complex data,
in: Complex Systems 4, No. 5, 1990, pp. 543-572. Tamaki, H./Kita,
H./ Shimizu, N./Maekawa, K./Nishikawa, Y.: A Comparison Study of
Genetic Codings for the Travelling Salesman Problem, in: Proceedings
of the First IEEE Conference on Evolutionary Computionary Computation
1994. Vzquez, M./Whitley, L.D.: A Comparison of Genetic
Algorithms for the Dynamic Job Shop Scheduling Problem. Auf URL:
citeseer.ist.psu.edu/528131.html Wall, M: GAlib - A C++ Library of
Genetic Algorithm Components. Auf URL: http://lancet.mit.edu/ga/
Whitley, D./Mathias, K./Rana, S./Dzubera, J.: Evaluating Evolutionary
Algorithms, in: Artifical Intelligence Journal Vol. 85, 1996, pp. 1-32.
Whitley, L.D./ Howe, A.E./, Rana, S./Watson, J.P./Barbulescu, L.:
Comparing Heuristic Search Methods and Genetic Algorithms for Warehouse
Scheduling, in: Systems, Man and Cybernetics, 1998. Auf URL:
http://citeseer.ist.psu.edu/whitley98comparing.html Yang, J./Honavar,
V.: Feature Subset Selection Using a Genetic Algorithm. 1997. Auf URL:
http://citeseer.ist.psu.edu/article/yang97feature.html
52

8.1 Literatur zu Ameisensystemen und Fitnesslandschaften
Literaturverzeichnis
Einführende Literatur zu Ameisensystemen
Bullnheimer, B./Hartl, R.F./Strauss, C.: An improved ant system
algorithm fort he vehicle routing problem. Technical Report POM-
10/97, Institute of Management Science, University of Vienna 1997.
Colorni, A./Dorigo, M./Maniezzo, V.: Distributed Optimization by
Ant Colonies, in: Proceedings of the First European Conference on
Artificial Life, Paris 1991, pp. 134-142. Di Caro, G./Dorigo, M.: Ant-
Net: Distributed stigmergetic control for communications networks, in:
Journal of Atrificial Intelligence Research, Vol. 9, 1998, pp. 317-365.
Dorigo, M./Maniezzo, V./Colorni, A.: The ant system: optimization
by a colony of cooperating agents, IEEE Transactions on Systems,
Man, and Cybernetics-Part B , Vol. 26, , No. 2, 1996, pp. 29-41.
http://citeseer.ist.psu.edu/dorigo96ant.html
Literaturverzeichnis
Weiterführende LIteratur zu Ameisensystemen
Dorigo, M./Di Caro, G.: The Ant Colony Optimization
Meta-Heuristic, in: Corne, D./Dorigo, M./Glover, F. (eds.):
New Ideas in Optimization. McGraw-Hill, 1999. Auf URL:
http://citeseer.ist.psu.edu/article/dorigo99ant.html Gambardella,
L.M./Taillard, E.D./Dorigo, M.: Ant colonies for the QAP. Technical Report
4-97, IDSIA, Lugano, Switzerland 1997. Gambarella, L.M./Taillard,
E./Agazzi, G.: Ant colonies for vehicle routing problems, in : Corne,
D/Dorigo, M./Glover, F. (eds.): New Ideas in Optimization. McGraw-Hill,
1999. Maniezzo, V.: Exact and approximate nondeterministic tree-search
procedures for the quadratic assignment problem. Technical Report CSR
98-1, in: Science dellInformazione, Universit di Bologna, sede di Cesena,
Italy 1998. Schoonerwoerd, R./Holland, O./Bruten, J./Rothkranz, L.:
Ant-based load balancing in telecommunications networks, in: Adaptive
Behaviour, Vol. 5, No. 2, 1996, pp. 169-207. Stützle, T./Hoos, H.: The
Max-Min ant system and local search for combinatorial optimization
ptoblems, in: Voß, S./Martello, S../Osman, I.H./Roucairol, C. (eds.):
Meta-Heuristics: Advances and Trends in Local Search Paradigms for
Optimization, Kluwer, Boston 1998, pp. 137-154.
53

Literaturverzeichnis
Literatur zu Fitnesslandschaften
Jones, T./Forrest, S.: Fitness Distance Correlation as a Measure of
Problem Difficulty for Genetic Algorithms, in Eshelman, L.J. (ed.):
Proceedings of the 6th International Conference on Genetic Algorithms,
Morgan Kaufmann, 1995, pp. 184-192. Stadler, P.F.: Towards
a theory of landscapes, in: Lopz-Pea, R. (ed.): Complex Systems
and Binary Networks. Springer-Verlag, New York, 1995. Auf URL:
http://sherry.ifi.unizh.ch/stadler95towards.html Weinberger, E.D.: Correlated
and Uncorrelated Fitness Landscapes and How to Tell the
Difference, in: Biological Cybernetics, Vol. 63, 1990, pp. 325-336.
8.1 Literatur zu Neuronalen Netzen
Literaturverzeichnis
Einführende Literatur zu kNN
Bishop, C.M.: Neural Networks for Pattern Recognition, Oxford
Press 1995. Braun, H./Feulner, J./Malaka, R.: Praktikum neuronale Netze,
Springer, Berlin Heidelberg New York 1996. Michie, D./Spiegelhalter,
D.J./Taylor, C.C.: Machine Learning, Neural and Statistical Classification,
Ellis Horwood, New York 1994. Rehkugler, H./Zimmermann,
H.G.: Neuronale Netz in der Ökonomie, Vahlen Verlag, München 1994.
Ritter, Helge; Martinetz, Thomas; Schulten, Klaus: Neuronale Netze
- Einführung in die Neuroinformatik selbstorganisierender Netzwerke.
Bonn, 1991. Rojas, Ral: Theorie der neuronalen Netze, Eine systematische
Einführung; Springer; Berlin, Heidelberg, New York 1996. Zell, Andreas:
Simulation Neuronaler Netze; Addison-Wesley; Bonn, Paris, Reading,
Mass. 1994.
Literaturverzeichnis
Weiterführende Literatur zu kNN
Ackley, D. H., Hinton, G. E., and Sejnowski, T. J.: A learning algorithm
for Boltzmann machines, in: Cognitive Science, Vol. 9, 1985,
pp.147-169. Bock, H.H.: Clustering amd Neural Networks. In: A. Rizzi,
et al. (eds.): Advances in data science and classification. Springer-Verlag,
Heidelberg. 1998, pp. 265-278. Bunke, J.: Künstliche Neuronale Netze
zur Systemidentifikation aus gestörten Messwerten, Dissertation am
Institut für Automatisierungstechnik der Universität Bremen, Bremen
54

1997. Grossberg, S.: Nonlinear neural networks: principles, mechanisms,
and architectures, in: Neural Networks, 1988, 1:17-61. Hebb, D.: The
Organization of Behavior. Wiley, New York 1949. Hopfield, J.: Neural
networks and physical systems with emergent collective computational
abilities. Proceedings of the National Academy of Sciences of the USA,
9(2554) 1982. Kohonen, Teuvo: Self-Organizing Maps. Berlin, 1995.
Rosenblatt, F.: The perceptron: a probabilistic model for information
storage and organization in the brain, in: Psychological Review, Vol. 65,
1958, pp. 386-408. Rumelhart, D. E., Hinton, G. E., Williams, R. J.:
Learning internal representations by error propagation, in Rumelhart,
D.E./McClelland, J.L. (eds.): Parallel distributed processing: Explorations
in the microstructure of cognition. Volume 1: Foundations. MIT,
Cambridge 1986, pp. 318-364. Sjöberg, J.: Non-linear System Identification
with Neural Networks, 1995, PhD, Dept. Of Electrical Engineering
Linköping, Sweden. Wang, H./Brown, M./Harris, C.J.: Neural network
modelling of unknown nonlinear systems subject to immeasurable
disturbances. IEEE Proceedings - Control Theory Applications, 141(4),
pp. 216-222, 1994. Widroff, B./Hoff, M.E.: Adaptive switching circuits,
in: IRE WESCON Convention Record, 1960, pp. 96-140.
8.1 Methoden
Verzeichnis der erläuterten Methoden
Adaline-Netzwerk
Ameisenkolonie-Optimierung
Ameisensysteme
Backpropagation
Boltzmann-Maschine
CHC-Algorithmus
Fitnesslandschaften
Genetische Algorithmen
Greedy-Heuristik
GRASP
Hill-Climbing
Hopfield-Netz
Hybride Genetische Algorithmen
Iterative Lokale Suche (ILS)
Kohonen-Netze
Mikro-Genetische Algorithmen
Min-Max-Ameisensysteme
Perceptron-Netzwerk
Selbstorganisierende Karten
Semi-Greedy-Heuristik
55

Simulated Annealing
Tabu Search
56