Neuronale Netze - D. Kriesel

Weitere Magazine

Empfehlungen

Info

Ausgabeneurone in einem RBF-Netz enthalten nur die Identität als Aktivierungsfunktion und eine gewichtete Summe als Propagierungsfunktion. Sie machen also nichts weiter, als alles, was in sie eingegeben wird, aufzusummieren und die Summe auszugeben. Versteckte Neurone heißen auch RBF-Neurone (so wie die Schicht, in der sie sich befinden, auch RBF-Schicht genannt wird). Jedes versteckte Neuron erhält als Propagierungsfunktion eine Norm, welche den Abstand zwischen der Eingabe in das Netz und dem sogenannten Ort des Neurons (Zentrum) errechnet. Diese wird in eine radiale Aktivierungsfunktion eingegeben, die die Aktivierung des Neurons berechnet und ausgibt. Definition 6.1 (RBF-Eingabeneuron). Die Definition und Darstellung ist identisch mit der Eingabeneuron-Definition 5.1 auf Seite 90. Definition 6.2 (Zentrum eines RBF-Neurons). Das Zentrum ch eines RBF-Neurons h ist der Punkt im Eingaberaum, in dem das RBF-Neuron angesiedelt ist. Je näher der Eingabevektor am Zentrumsvektor eines RBF-Neurons liegt, umso höher ist in der Regel seine Aktivierung. Definition 6.3 (RBF-Neuron). Die sogenannten RBF-Neurone h besitzen eine Propagierungsfunktion fprop, welche den Abstand zwischen dem Zentrum ch eines Neurons und dem Eingabevektor y feststellt. Dieser Abstand repräsentiert dann die Netzeingabe. Die Netzeingabe wird dann durch eine Radialbasisfunktion fact geschickt, welche die Aktivierung bzw. Ausgabe des Neurons ausgibt. RBF-Neurone werden durch das Symbol ||c,x|| Gauß dargestellt. Definition 6.4 (RBF-Ausgabeneuron). RBF-Ausgabeneurone Ω besitzen die gewichtete Summe als Propagierungsfunktion fprop, und die Identität als Aktivierungs- funktion fact. Wir stellen sie durch das Symbol Σ dar. Definition 6.5 (RBF-Netz). Ein RBF-Netz besitzt exakt drei Schichten in der folgenden Reihenfolge: Die Eingabeschicht aus Eingabeneuronen, die versteckte Schicht (auch RBF-Schicht genannt) aus RBF-Neuronen und die Ausgabeschicht aus RBF- Ausgabeneuronen. Jede Schicht ist mit der nächsten vollverknüpft, ShortCuts existieren nicht (Abb. 6.1 auf der rechten Seite) – es handelt sich also um eine reine FeedForward-Topologie. Die Verbindungen zwischen Eingabeschicht und RBF-Schicht sind ungewichtet, leiten die Eingabe also nur weiter. Die Verbindungen zwischen RBFund Ausgabeschicht sind gewichtet. Die ursprüngliche Definition eines RBF-Netzes bezog sich auf nur ein Ausgabeneuron, analog zu den Perceptrons ist aber klar, dass sich
②②②②②②②②②② ❊❘ ❱ ❊ ❘❱ ❘❱ ❊ ❘❱ ❊ ❘❱ ❘ ❱ ❊ ❘ ❱ ❊ ❱ ❘ ❱ ❊ ❘ ❱ ❊ ❱ ❊ ❘ ❱ ❊ ❘ ❱ ❱ ❊ ❘ ❱ ❊ ❘ ❱ ❱ ❊ ❊ ❘ ❱ ❊ ❘ ❱ ❱ ❊ ❘ ❱ ❘ ❱ ❊ ❱ ❘ ❱ ❘ ❱ ❊ ❱ ❘ ❱ ❊ ② ❱ ❱ ❱ ❊ ❱ ❱ ②②②②②②②②② ❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤ ❧❧❧❧❧❧❧❧❧❧❧❧❧❧❧❧❧❧❧❧ ||c,x|| Gauß ❈◗❱ ||c,x|| ||c,x|| ❈ ◗❱ ◗❱ ❈ ◗❱ ◗ ❱ Gauß ❱ ❈ ◗❱ ❈ ◗ ❱ ❈◗ ◗ ❱ ❱ ❈ ◗◗ Gauß ❈ ◗ ❱ ◗ ❱ ❱ ❈ ◗◗ ❈ ◗ ❱ ❈ ◗ ❈ ◗ ❱ ❈ ◗ ◗ ❱ ◗ ❈❱ ◗ ❈ ◗ ❱ ◗ ❈ ◗ ❈ ❱ ❱ ◗ ◗ ❱ ❈ ◗ ◗ ❱ ❱ ◗ ◗ ❈ ❱ ◗ ◗ ❱ ◗ ❈ ❱ ◗ ❱ ◗ ④ ❱ ◗ ❱ ◗ ❱ ◗ ❱ ◗ ④④④④④④④④④ ||c,x|| ❈ Gauß ❈❈❈ ❈❈❈ ❈❈❈ ♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠ ④ ④④④④④④④④④ ||c,x|| Gauß ❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤ ♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠♠ ④④④④④④④④④④ Σ Σ Σ i1, i2, . . . , i |I| h1, h2, . . . , h |H| Ω1, Ω2, . . . , Ω |O| Abbildung 6.1: Ein beispielhaftes RBF-Netz mit zwei Eingabeneuronen, fünf versteckten Neuronen und drei Ausgabeneuronen. Die Verbindungen zu den versteckten Neuronen besitzen keine Gewichte, sie leiten die Eingabe nur weiter. Rechts der Skizze ist die Benennung der Neurone zu finden, welche sich analog zu der bekannten Benennung der Neurone im MLP verhält: Inputneurone heißen i, versteckte Neurone h, Ausgabeneurone Ω. Die zugehörigen Mengen bezeichnen wir mit I, H und O. dies verallgemeinern lässt. Ein Biasneuron kennt das RBF-Netz nicht. Wir wollen die Menge der Eingabeneurone mit I, die Menge der versteckten Neurone mit H und die Menge der Ausgabeneurone mit O bezeichnen. Die inneren Neurone heißen daher Radiale Basisneurone, weil aus deren Definition direkt folgt, dass alle Eingabevektoren, welche den gleichen Abstand vom Zentrum eines Neurons haben, auch den gleichen Ausgabewert produzieren (Abb. 6.2 auf der folgenden Seite). 6.2 Informationsverarbeitung eines RBF-Netzes Die Frage ist nun, was durch dieses Netz realisiert wird und wo der Sinn liegt. Gehen wir doch einmal das RBF-Netz von oben nach unten durch: Der Input wird durch die
Seite 1:
Ein kleiner Überblick über Neuron
Seite 5 und 6:
Vorwörtchen „Diese Arbeit ist ur
Seite 7 und 8:
Fähigkeiten hat, als im Manuskript
Seite 9 und 10:
die liberaleren Lizenzen unterstehe
Seite 11:
Weiterhin danke ich der gesamten Ma
Seite 14 und 15:
2.5 Technische Neuronen als Karikat
Seite 16 und 17:
5.7.3 Wahl der Aktivierungsfunktion
Seite 18 und 19:
11.3 Erweiterungen . . . . . . . .
Seite 21:
Teil I Von der Biologie zur Formali
Seite 24 und 25:
Gehirn Computer Anzahl Recheneinhei
Seite 26 und 27:
Welche Arten von Neuronalen Netzen
Seite 28 und 29:
Abbildung 1.2: Der Roboter wird in
Seite 30 und 31:
Abbildung 1.4: Einige Urgesteine de
Seite 32 und 33:
1960 stellen Bernard Widrow und Mar
Seite 34 und 35:
1983 wird von Fukushima, Miyake und
Seite 37 und 38:
Kapitel 2 Biologische Neuronale Net
Seite 39 und 40:
Abbildung 2.1: Skizze des zentralen
Seite 41 und 42:
schenhirns ist das Medium zwischen
Seite 43 und 44:
liegt meistens an den Dendriten ein
Seite 45 und 46:
2.2.2.1 Neuronen erhalten ein elekt
Seite 47 und 48:
2.2.2.2 Veränderungen im Membranpo
Seite 49 und 50:
Zellinneren heraus. Zusätzlich ist
Seite 51 und 52:
des Aktionspotentials, technisch au
Seite 53 und 54:
Abbildung 2.5: Facettenaugen einer
Seite 55 und 56:
als reine Top-Down-Struktur kenneng
Seite 57 und 58:
10 11 Neurone besitzt ein Mensch. D
Seite 59:
Übungsaufgaben Aufgabe 4. Es wird
Seite 62 und 63:
3.2 Bestandteile Neuronaler Netze E
Seite 64 und 65:
3.2.1 Verbindungen übertragen Info
Seite 66 und 67:
Definition 3.6 (Aktivierungsfunktio
Seite 68 und 69:
f(x) 1 0.5 0 −0.5 −1 Heaviside
Seite 70 und 71:
3.3.1 FeedForward-Netze bestehen au
Seite 72 und 73:
i1 i2 h1 h2 h3
Seite 74 und 75:
1 2 3 4 5
Seite 76 und 77:
1 ❚ ❚ ❃ ❚❚ ❃ ❚
Seite 78 und 79:
Θ1 ❇❇❇ ❇❇❇ ❇❇ ⑤
Seite 80 und 81:
3.6.2 Asynchrone Aktivierung Hier
Seite 82 und 83:
Ausgabe hervorrufen. Betrachten wir
Seite 85 und 86:
Kapitel 4 Grundlagen zu Lernprozess
Seite 87 und 88:
Definition 4.1 (Trainingsmenge). Al
Seite 89 und 90:
Lernverfahren nötigenfalls eingehe
Seite 91 und 92:
als Fehlervektor, manchmal auch als
Seite 93 und 94:
Trainingsbeispiele herum mit der Au
Seite 95 und 96:
Der Root-Mean-Square wird allgemein
Seite 97 und 98:
Typische Lernkurven können auch ei
Seite 99 und 100:
Hierbei ist der Gradient ein Vektor
Seite 101 und 102:
4.5.1.2 Flache Plateaus in der Fehl
Seite 103 und 104: Abbildung 4.5: Skizze zum Trainings
Seite 105 und 106: esprechen. Hierbei wird unterschied
Seite 107: Teil II Überwacht lernende Netzpar
Seite 110 und 111: Gewissermaßen stellt eine binäre
Seite 112 und 113: dient und fest gewichtete Verbindun
Seite 114 und 115: ❆ ❆ 1❆ ❆ 1 ❆ ⑥⑥⑥
Seite 116 und 117: 1: while ∃p ∈ P and Fehler zu g
Seite 118 und 119: 5 4 3 2 1 0 −2 −1 w1 0 1 2 Abbi
Seite 120 und 121: (da sich der Gesamtfehler Err(W ) a
Seite 122 und 123: Allerdings: Wir haben die Herleitun
Seite 124 und 125: Abbildung 5.7: Lineare Separierung
Seite 126 und 127: n Anzahl binärer Funktionen davon
Seite 128 und 129: i1 ⑧⑧⑧⑧⑧⑧⑧⑧⑧ ❅
Seite 130 und 131: ihre Größe δi für ein Neuron i
Seite 132 und 133: abhängig ist vom Vektor sämtliche
Seite 134 und 135: - natürlich nur für den Fall, das
Seite 136 und 137: das Verständnis für beide Regeln
Seite 138 und 139: Lernrate: Backpropagation benutzt s
Seite 140 und 141: unser neues ηi,j(t), in dem wir da
Seite 142 und 143: 5.6.1 Masseträgheit zum Lernproze
Seite 144 und 145: Das Lernverfahren Quickpropagation
Seite 146 und 147: Es kann, wie schon gesagt, mathemat
Seite 148 und 149: Für Aufgaben der Mustererkennung 6
Seite 150 und 151: Ein 8-1-8-Netz funktioniert nicht m
Seite 153: Kapitel 6 Radiale Basisfunktionen R
Seite 157 und 158: h(r) 1 0.8 0.6 0.4 0.2 Gauss−Gloc
Seite 159 und 160: −0.5 −1 0 0.5 1 1.5 2 −2 −0
Seite 161 und 162: 6.2.2.1 Gewichte können einfach al
Seite 163 und 164: verwenden. Die Moore-Penrose-Pseudo
Seite 165 und 166: Ich möchte noch einmal ausdrückli
Seite 167 und 168: Abbildung 6.7: Beispiel einer ungle
Seite 169 und 170: Da die Herleitung dieser Terme sich
Seite 171 und 172: Eingabedimension: Bei RBF-Netzen is
Seite 173 und 174: Kapitel 7 Rückgekoppelte Netze Ged
Seite 175 und 176: i1 ⑥⑥⑥⑥⑥⑥⑥⑥⑥
Seite 177 und 178: Definition 7.3 (Elmannetz). Ein Elm
Seite 179 und 180: i1 ❖❯ ❖❯ ❖❯ i2 ❖❯
Seite 181 und 182: Kapitel 8 Hopfieldnetze In einem ma
Seite 183 und 184: Definition 8.1 (Hopfieldnetz). Ein
Seite 185 und 186: f(x) 1 0.5 0 −0.5 −1 Heaviside
Seite 187 und 188: estimmt, wobei die Diagonale der Ma
Seite 189 und 190: Eine weitere Variante wäre eine dy
Seite 191 und 192: zwischendurch für kurze Zeit stabi
Seite 193 und 194: Kapitel 9 Learning Vector Quantizat
Seite 195 und 196: Abbildung 9.1: Beispielquantisierun
Seite 197 und 198: Initialisierung: Wir platzieren uns
Seite 199: Teil III Unüberwacht lernende Netz
Seite 202 und 203: 10.1 Aufbau einer Self Organizing M
Seite 204 und 205:
Abstandsberechnung von jedem Neuron
Seite 206 und 207:
i 1 k k
Seite 208 und 209:
h(r) f(x) 1 0.8 0.6 0.4 0.2 Gauss
Seite 210 und 211:
1 4 ❃❃❃ ❃❃❃ ❃❃
Seite 212 und 213:
zur Optimaltopologie, da sie nur we
Seite 214 und 215:
Abbildung 10.6: Endzustände von ei
Seite 216 und 217:
Abbildung 10.8: Training einer SOM
Seite 218 und 219:
Abbildung 10.9: Eine Figur, die ver
Seite 220 und 221:
kann aber das dauernde Sortieren de
Seite 222 und 223:
Übungsaufgaben Aufgabe 18. Mit ein
Seite 224 und 225:
i1 ✡ ✡✡✡✡✡✡✡✡✡
Seite 226 und 227:
Ausgabeneuron hinzufügt. Das aktue
Seite 229:
Teil IV Exkurse, Anhänge und Regis
Seite 232 und 233:
sein, und der Abstand zwischen zwei
Seite 234 und 235:
Achtung, auch hier gibt es Spezialf
Seite 236 und 237:
Sei weiterhin b(p) der durchschnitt
Seite 238 und 239:
Abbildung A.2: Aufbau eines ROLF-Ne
Seite 240 und 241:
A.5.2.3 Nach Bedarf werden neue Neu
Seite 242 und 243:
Abbildung A.3: Ablauf des Clusterin
Seite 244 und 245:
Übungsaufgaben Aufgabe 19. Bestimm
Seite 246 und 247:
Abbildung B.1: Eine Funktion x der
Seite 248 und 249:
xt−3 xt−2 xt−1 xt Prediktor
Seite 250 und 251:
xt−3 xt−2 xt−1 xt Prediktor
Seite 252 und 253:
xt−3 yt−3 xt−2 yt−2 xt−1
Seite 254 und 255:
Information gegeben, wie stark der
Seite 256 und 257:
schlechte Erfahrungen, Belohnung un
Seite 258 und 259:
× × Abbildung C.1: Eine graphisch
Seite 260 und 261:
Es ist für den Agenten aber nicht
Seite 262 und 263:
Je weiter die Belohnung weg ist, um
Seite 264 und 265:
den Exploitation-Ansatz und ist erf
Seite 266 und 267:
Verhaltensweisen den Return des Rob
Seite 268 und 269:
V Π V ∗ Π∗ Abbildung C.4:
Seite 270 und 271:
-1 -6 -5 -4 -3 -2 -1 -14 -13 -12 -2
Seite 272 und 273:
Genau wie wir durch Erfahrung lerne
Seite 274 und 275:
Wir schlüsseln wieder die (zur Ler
Seite 276 und 277:
Ziel unseres Systems ist zu lernen,
Seite 279 und 280:
Literaturverzeichnis [And72] James
Seite 281 und 282:
[Kau90] L. Kaufman. Finding groups
Seite 283:
[SG06] A. Scherbart and N. Goerke.
Seite 286 und 287:
5.5 Fehlerfläche eines Netzes mit
Seite 289 und 290:
Index * 100-Schritt-Regel . . . . .
Seite 291 und 292:
G Ganglienzelle . . . . . . . . . .
Seite 293 und 294:
csiehe Zentrum eines RBF-Neurons, s
Seite 295 und 296:
R Rückenmark . . . . . . . . . . .
Alle anzeigen

Neuronale Netze - D. Kriesel

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?