Diplomarbeit von Michael Schindler

Inhaltsverzeichnis
Einleitung 1
E.1 Neuronale Netze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
E.2 Lernende Neuronale Netze . . . . . . . . . . . . . . . . . . . . . . . . . 3
E.3 Wie lernen Neuronale Netze in veränderlichen Umwelten? . . . . . . . . 7
E.4 Gliederung der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1 Grundlagen 13
1.1 Dichteschätzung mit einer Mischung multivariater Normalverteilungen . 14
1.1.1 Der multivar-Algorithmus . . . . . . . . . . . . . . . . . . . . . 20
1.1.2 Clustereinteilung und σ-Annealing: Der univar-Algorithmus . . 23
1.2 Neuronale Interpretation von multivar . . . . . . . . . . . . . . . . . . 28
1.2.1 Die Aktivität eines Neurons . . . . . . . . . . . . . . . . . . . . 29
1.2.2 Der Merkmalsraum . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.2.3 Kompetition durch Aktivitätsnormierung . . . . . . . . . . . . . 34
1.2.4 Hebb’sches Lernen . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.2.5 Kortikale Merkmalskarten . . . . . . . . . . . . . . . . . . . . . 37
1.2.6 Dimensionsreduktion . . . . . . . . . . . . . . . . . . . . . . . . 40
2 On-line Lernen mit univar 41
2.1 Die Kopplung von Lern- und Systemdynamik . . . . . . . . . . . . . . 42
2.1.1 Die Dynamik des univar-Lerners . . . . . . . . . . . . . . . . . 42
2.1.2 Die Systemdynamik . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.1.3 Phasenübergänge durch σ-Annealing . . . . . . . . . . . . . . . 46
2.1.4 Phasenübergänge durch ε-Annealing . . . . . . . . . . . . . . . 51
2.1.5 Effektive Relaxationszeiten . . . . . . . . . . . . . . . . . . . . . 52
2.1.6 Phasendiagramme für on-line Lernen . . . . . . . . . . . . . . . 56
2.2 Analytische Behandlung von prototypischen Spezialfällen . . . . . . . . 57
2.2.1 Drei analytisch lösbare Spezialfälle . . . . . . . . . . . . . . . . 57
2.2.2 Korrektur durch Diskretisierungseffekte . . . . . . . . . . . . . . 63
2.2.3 Berücksichtigung unterschiedlicher Gewichte der Datenquellen . 65
2.2.4 Verhalten bei nichtdeterministischem Schalten . . . . . . . . . . 66
2.3 Diskussion: Gegenseitige Abhängigkeit von Zeit- und Raumskalen . . . 66