Kapitel VI Neuronale Netze

Weitere Magazine

Empfehlungen

Info

Einfaches Perzeptron XOR-Problem Kapitel VI.3: Neuronale Netze Logisches AND ist linear separierbar Logisches XOR ist nicht linear separierbar Vorlesung Knowledge Discovery 0 0 0 0 1 0 Führt man weitere Hyperebenen ein, so kann man auch hier die Klassen unterscheiden. ==> Realisierung durch Zwischenschichten 1 1 45 – Perzeptron kann z.B. verschiedene Boolsche Funktionen repräsentieren: AND, OR, NAND, NOR (aber: XOR ist nicht darstellbar) • Realisierung von AND: · wähle Perzeptron mit zwei Eingabegrößen · wähle w 0 = -0.8, w 1 = w 2 = 0.5 • AND, OR sind Spezialfall sogenannter ‘‘m-aus-n Funktionen‘‘ (m-of-n functions): wenigstens m der n Eingabegrößen müssen 1 sein, hier: - AND: m=1 (wenigstens 1 Eingabegröße ist 1) - OR: m=n (alle Eingabegrößen sind 1) Vorlesung Knowledge Discovery 46 Multi Layer Perzeptron Agenda Multi Layer Perzeptron Erinnerung Perzeptron 1. Einführung 2. Einfaches Perzeptron 3. Multi Layer Perzeptron - Vektorschreibweise der Deltaregel - Schichten des MLP - Backpropagation - Probleme der Backpropagation - Varianten der Backpropagation 4. Beispiel 5. Rekurrente Netze 6. Entwurfsüberlegungen w i := •x i •e (Synapsenveränderung) • Schwellwert: s •Netz-Output: o = (x 1 w 1 +x 2 w 2 +x 3 w 3 +...+x n w n -s) • erwarteter Output: t (target) • gemachter Fehler: e = t - o (error) •Lernkonstante: x 1 x 2 x 3 x 4 ... ... x n w 1 w 2 w 3 w 4 w n o s Vorlesung Knowledge Discovery 47 Vorlesung Knowledge Discovery 48
Multi Layer Perzeptron Vektorschreibweise der Delta Regel Multi Layer Perzeptron Delta Regel als Ableitung für Perzeptron Fehlergradient: Aktivität der Input-Schicht: x = (x 1 ,x 2 ,x 3 ,...,x n ,1) Gewichtsvektor (einschl. Schwellwert): w = (w 1 ,w 2 ,w 3 ,...,w n ,-s) Aktivität des Ausgabeneurons: o = x•w) Fehler des Ausgabeneurons (t = erwarteter Wert): e = t-o Gewichtsänderung: w := •e•x x 1 x 2 x 3 ... w w w 2 3 1 w n o o = x•w) x n F = (o - t) 2 = (x•w) - t) 2 F/ w i = (o - t)/ w i = (x•w) - t) 2 / w i = 2 ´x•w) (o-t) x i Die Delta Regel kann als Gradientenabstieg mit (variablen) Lernfaktor interpretiert werden: w i = (o-t) x i mit = 2 ´x•w) Vorlesung Knowledge Discovery 49 Vorlesung Knowledge Discovery (unter derAnnahme: ist diff.-bar) 50 Multi Layer Perzeptron Multi Layer Perzeptron 2 Layer Perzeptron Multi Layer Perzeptron Input-Vektor Gewichtsmatrix Aktivitätsvektor Gewichtsvektor x v y w v 12 y 1 y 2 y 3 ... x 1 x 2 ... x m v nm y n w 2 w w 3 1 w n • Netze ohne Rückkopplungen können stets in die Form eines Schichtennetzwerkes gebracht werden, wobei aber durchaus Verbindungen eine oder mehrere Schichten überspringen dürfen v 11 52 0 1 Output o y = (v . x) o = (w . y) o 2 3 Vorlesung Knowledge Discovery 51 Vorlesung Knowledge Discovery
Seite 1 und 2: Agenda Kapitel VI Neuronale Netze (
Seite 3 und 4: Einführung & Grundbegriffe Vorbild
Seite 5 und 6: Einführung & Grundbegriffe Typolog
Seite 7 und 8: Einführung & Grundbegriffe Statist
Seite 9 und 10: Einfaches Perzeptron Perzeptron Ein
Seite 11: Einfaches Perzeptron Delta-Regel -
Seite 15 und 16: Multi Layer Perzeptron Multi Layer
Seite 17 und 18: Kapitel VI.3: Neuronale Netze Kapit
Seite 19 und 20: Beispiel Enkoderproblem Beispiel En
Seite 21: Kapitel VI.3: Neuronale Netze Weite

Kapitel VI Neuronale Netze

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?