Diplomarbeit von Michael Schindler

Weitere Magazine

Empfehlungen

Info

54 2. On-line Lernen mit univar (a1) (σ/σS =0.95) c1, c2 0 TS 2TS 3TS 4TS 5TS t (b1) (σ/σS =0.65) 0 TS 2TS 3TS 4TS 5TS t (c1) (σ/σS =0.58) c2 c1 0 TS 2TS 3TS 4TS 5TS t c2 c1 (a2) T 1 =T 2=40 g1, g2 3TS 4TS 5TS t (b2) T 1 =45 T 2 =34 g2 g1 3TS 4TS 5TS t (c2) T 1 =274 T 2 =20 g1 g2 3TS 4TS 5TS t Abbildung 26: Codebuchentwicklungen und Gedächtniskerne für ein einfaches System. Gezeigt sind drei Ausschnitte eines dynamischen Phasenübergangs, ähnlich demjenigen in Abb. 24. Die Datenpunkte werden bei (±1) präsentiert, immer abwechselnd TS Punkte lang. Um die verschiedenen Lernverhalten bei ein- und demselben ε = 0.05 vorführen zu können, wurde von verschieden großen TS ausgegangen. In (a) ist TS =80, in (b) TS =120 und in (c) TS =530. Durch die unterschiedlichen Zeiten und unterschiedliche Varianzen, σ/σS = 0.95, 0.65 und 0.58 von (a) bis (c), ergeben sich verschieden starke dynamische Kopplungen. In der obersten Reihe ist das Codebuch aufgrund starker Kopplung quasi entartet, obwohl sein Parameter eigentlich kleiner als σS ist. Die Lerndynamik ist, da beide Gedächtniskerne die Länge T r(t) = 2/ε = 0.5TS haben, schneller als die Systemdynamik. Deshalb kann das Codebuch nicht aufbrechen. In (b) ist die Lerndynamik immer noch schneller als die Systemdynamik, die beiden Gedächtniskerne haben Längen von T r(t)/TS =0.28 und 0.37. Zwar wird kurzfristig die Dynamik der einzelnen Zentren einigermaßen langsam, doch reicht dies nicht aus, um sich vom System abzukoppeln. Selbst bei dem gegebenen Wert σ/σS =0.65 ist unklar, ob der Phasenübergang bereits stattgefunden hat. In (c) ist schließlich ein System gegeben, dessen Lerndynamik mit T r(t)/TS =0.04 und 0.51 kurzfristig so schnell bzw. so langsam wird, dass ein Aufbrechen und somit eine teilweise Entkopplung sichtbar wird. Die beiden Codebuchzentren kommen sich nie mehr sehr nahe.
2.1 Die Kopplung von Lern- und Systemdynamik 55 verstärkten Kompetition, es wurde σ = 0.65σS verwendet. Trotzdem sorgen die langen Lebensdauern TS = 120 im System dafür, dass sich die Codebuchzentren immer wieder nahe kommen. Die zugehörigen Gedächtniskerne sind in Abb. 26b2 zu sehen. Beide haben ihr Maximum beim aktuellen Zeitpunkt t, wo ihr Wert gerade εar(xt) ist (vgl. Appendix A, Gl. (A-8)). Deswegen sind sie unterschiedlich hoch. Da sich die Aktivitätswerte schon vorher unterschieden haben, sind die Kerne auch unterschiedlich lang. Die Länge des höheren lässt sich nach (2-17) als T 2(t) = 34 = 0.28 TS angeben. Die mittlere Relaxationszeit des zugehörigen Zentrums liegt demnach zwischen der minimalen Relaxationszeit 1/ε, die es hätte, würde es alleine lernen, und derjenigen die es im entarteten Fall hätte (M/ε=40). Entsprechend länger ist der Kern des anderen Neurons (T 1(t) = 45 = 0.37 TS). Beide Kernlängen sind kleiner als TS, weswegen das Codebuch an das System gekoppelt bleibt. Anders sieht die Situation bei weiter verkleinertem σ aus. Codebuchentwicklungen wie in Abb. 26c1 stellen sich ein, wenn ein Phasenübergang aus dem dynamisch stark gekoppelten Bereich heraus geschieht, also sowohl in Abb. 24 als auch in Abb. 25. Hier scheint die Phasentrennung bereits stattgefunden zu haben, denn die beiden Codebuchzentren behalten immer relativ großen Abstand voneinander. Jeweils ein Neuron wird von dem anderen durch den kompetitiven ar-Term stark verdrängt, es schafft den Weg zur Datenquelle erst nach sehr vielen Datenpunkten (hier ist TS =530). Die Gedächtniskerne bekommen nun völlig unterschiedliche Gestalten, der hohe schmale Kern g2 hat eine Länge von T 2 ≈20 = 1/ε=0.04 TS, dieses Neuron ist demnach so beweglich wie es nur sein kann. Der andere Gedächtniskern g1 hat dagegen eine deutliche Lücke vor dem Zeitpunkt t, für den das Gedächtnis dargestellt ist. Nach Gleichung (2-17) hat er die mittlere Länge T 1 ≈0.51 TS. Sie scheint eher in die Größenordnung von TS zu kommen als die Längen der Kerne aus Abb. 26b. Eine quantitative Analyse ist an dieser Stelle noch nicht möglich. Mit ihr beschäftigt sich der nächste Abschnitt. Mit den Gedächtniskernlängen T r(t) ist also eine Größe gegeben, die verständlich macht, warum der Effekt der dynamischen Kopplung auftreten kann. Wenn alle Gedächtniskerne so kurz sind, dass sie nur unwesentlich über eine Lebensdauer im System hinausragen, dann ist jedes Codebuchzentrum so beweglich, dass es sich immer wieder an einen aktuellen Systemzustand annähern muss. Erst bei längeren Kernen ist eine Mittelung über mehrere Systemzustände möglich. Wie sich die Länge der Kerne mit σ und dem mittleren Abstand der Codebuchzentren verändert, ist in Abb. 26 vorgeführt worden. Es ist demnach auch im Zustand starker dynamischer Kopplung möglich, bei sehr kleinem σ und leichter Aufspaltung im Codebuch so lange Gedächtniskerne zu bekommen, dass effektiv über mehrere Systemzustände gemittelt wird. Dadurch entfernen sich die Zentren noch weiter voneinander, und das Codebuch bricht auf. Eine Verlängerung von Gedächtniskernen durch ε-Verkleinerung ist immer möglich, da ε invers in die zunächst definierten Lernzeitskalen TL und Tr(t) eingeht. Auch für die Gedächtniskerne gilt ähnliches, da sie eine Verallgemeinerung der Lernzeitskala TL sind und im Spezialfall von entartetem Codebuch deren 1/ε-Verhalten reproduzieren müssen (Abb. 26a). Auch im Fall einer Aufspaltung aus dem stark gekoppelten Bereich heraus (Abb. 26c) spielt die minimale Relaxationszeit 1/ε eine Rolle. Wenn sie länger gewählt wird, gleichen sich die beiden sehr unterschiedlichen Kernlängen T 1(t) und T 2(t) wieder an.
Seite 1:
Modelle zur Entkopplung von Lern- u
Seite 4 und 5:
iv Inhaltsverzeichnis 3 Neuronale G
Seite 6 und 7:
2 Einleitung a3 a4 a1 a2 Abbildung
Seite 8 und 9: 4 Einleitung Das Auffinden der pass
Seite 10 und 11: 6 Einleitung In der folgenden Gleic
Seite 12 und 13: 8 Einleitung Gleitende Mittelung vo
Seite 14 und 15: 10 Einleitung Dauer. Die akustische
Seite 16 und 17: 12 Einleitung kann, insbesondere, w
Seite 18 und 19: 14 1. Grundlagen schen Methoden zu
Seite 20 und 21: 16 1. Grundlagen lichkeitsdichte je
Seite 22 und 23: 18 1. Grundlagen Glockenkurve zuord
Seite 24 und 25: 20 1. Grundlagen folgt. Dies ist di
Seite 26 und 27: 22 1. Grundlagen Mit den Eigenwertg
Seite 28 und 29: 24 1. Grundlagen verteilungen, was
Seite 30 und 31: 26 1. Grundlagen kann diese Analogi
Seite 32 und 33: 28 1. Grundlagen Kapitel 2 gewidmet
Seite 34 und 35: 30 1. Grundlagen Eingabeschicht ⏐
Seite 36 und 37: 32 1. Grundlagen h r Sr T −→ x
Seite 38 und 39: 34 1. Grundlagen Die Verarbeitungsa
Seite 40 und 41: 36 1. Grundlagen 1.2.4 Hebb’sches
Seite 42 und 43: 38 1. Grundlagen (a) (b) kleiner Fi
Seite 44 und 45: 40 1. Grundlagen 1.2.6 Dimensionsre
Seite 46 und 47: 42 2. On-line Lernen mit univar Nac
Seite 48 und 49: 44 2. On-line Lernen mit univar 0 t
Seite 50 und 51: 46 2. On-line Lernen mit univar Au
Seite 52 und 53: 48 2. On-line Lernen mit univar x/
Seite 54 und 55: 50 2. On-line Lernen mit univar der
Seite 56 und 57: 52 2. On-line Lernen mit univar vie
Seite 60 und 61: 56 2. On-line Lernen mit univar 2.1
Seite 62 und 63: 58 2. On-line Lernen mit univar (c)
Seite 64 und 65: 60 2. On-line Lernen mit univar Die
Seite 66 und 67: 62 2. On-line Lernen mit univar log
Seite 68 und 69: 64 2. On-line Lernen mit univar imm
Seite 70 und 71: 66 2. On-line Lernen mit univar in
Seite 72 und 73: 68 2. On-line Lernen mit univar und
Seite 74 und 75: 70 2. On-line Lernen mit univar
Seite 76 und 77: 72 3. Neuronale Gewöhnung in Aplys
Seite 82 und 83: 78 4. Neuigkeitsorientiertes Lernen
Seite 100 und 101: 96 5. Zusammenfassung und Ergebniss
Seite 102 und 103: 98 A. Gedächtniskerne Man sieht, d
Seite 104 und 105: Appendix B Einige einfache Modelle
Seite 106 und 107: 102 B. Einige einfache Modelle Nun
Seite 108 und 109:
104 B. Einige einfache Modelle bere
Seite 110 und 111:
Appendix C Ergebnisse der Variation
Seite 112 und 113:
108 C. Ergebnisse der Variationsrec
Seite 114 und 115:
Seite 116 und 117:
Seite 118 und 119:
Literatur Abramowitz, M. & Stegun,
Seite 120 und 121:
116 Literatur Rieke, F., Warland, D
Seite 122 und 123:
118 Notation cr Zentren der Gaußfu
Seite 124 und 125:
120
Alle anzeigen

Diplomarbeit von Michael Schindler

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?