Neuronale Netze - Universität Regensburg

Neuronale Netze - Grundlagen und
Anwendungen
Fabian Theis
Universität Regensburg

Übersicht
� Neuronale Netze
– Biologische Motivation
– Künstliches Neuron
– Historische Entwicklung
– Perceptrons & überwachtes Lernen
– MLPs & Backpropagation
� SOM
– Algorithmus
– Beispiele & Anwendungen
� Zusammenfassung

Biologische Signalverarbeitung

Struktur eines Neurons
� Neuron:
– Zellkörper
– Verzweigte
Eingangsstruktur (Dendrit)
– Verzweigte
Ausgangsstruktur (Axon)
� Axone verbinden sich
mit Dendriten durch
Synapsen
� Signale werden
elektrochemisch im
Neuron weitergeleitet
synapse
synapse
nucleus
nucleus
cell body
cell body
dendrites
dendrites
axon
axon

Struktur eines Neurons
� Neuron dient der
Signalweitergabe
� Neuron „schießt“ nur,
wenn Gesamtinput an
den Dendriten einen
Schwellenwert
(Aktionspotential)
überschreitet
� Synapsen
– untersch. Stärken
– verstärkend oder
hemmend

Synapse in 3D

Biologische Neuronale Netze
� Menschliches Gehirn mit
mehr als 10 11 Neuronen
� 1000 Synapsen für Einund
Ausgang pro Neuron
� 10 6 fach langsamere
„switching time“ als
Computer
� 1000 fach höhere
Verschaltung

Neuronen in 3D

Künstliches Neuron
fester Input wk0 = θk (Threshold)
yk=f(Σiwki+ θk) x0=-1 Eingabewerte
x 1
x 2
x p
w k0
w k1
w k2
w kp
Gewichte
(mit Threshold)
Σ
Summation
Aktivierungsfunktion
v k
f(·)
θk Threshold
Ausgabe
y k

Aktivierungsfunktionen
� beispielsweise Heaviside(Step), Signum,
Identität, Arctan, Sigmoid (1/(1+e -x ))

Künstliche Neuronale Netze (ANNs)
� Verschaltung von
künstlichen Neuronen
durch Graphen
� Beliebige Komplexität
möglich (� Gehirn)
� Im allgemeinen entsteht
rekurrentes Netzwerk
(Graph hat Schleifen) �
dynamische Struktur
Σ
-0.5
0.4
Σ
Σ
0.2
1
Σ
0.6

Layered feed-forward NNs
� Hier: nur geschichtete
neuronale azyklische
Netze (layered feedforward
NNs) Σ
-0.5
0.4
Σ
Σ
1
Σ
0.6

Biologische ���� Künstliche NNs
Eingabe
Ausgabe

Historische Entwicklung
Vapnik (1990): support vector machine
Broomhead & Lowe (1988): Radial basis function networks (RBF)
Linsker (1988): Infomax Prinzip
Rumelhart, Hinton & Williams (1986): Backpropagation
Kohonen (1982): Self-organizing maps (SOM)
Hopfield (1982): Hopfield Netze (machte NNs wieder “glaubwürdig”)
Minsky & Papert (1969): Perceptron kann XOR-Problem nicht lösen
Rosenblatt (1958): Perceptron
Minsky (1954): “Neural Networks” (PhD Thesis)
Hebb (1949): Korellierte Synapsen und Hebb’s Regel
McCullogh & Pitts (1943): Begriff “Neuronales Netzwerk” (boolsche NNs)

Perceptrons
� einschichtige Netzwerke mit
asymmetrischen feedforward
Kopplungen
� keine Rückkopplungen von
der Ausgangsschicht zur
Eingangsschicht
� keine lateralen Kopplungen in
der Ausgangsschicht
� lineare oder nicht-lineare
Neuronen
� Training mit überwachten
Lernverfahren
� Hauptanwendung:
Assoziations- und
Klassifikationsaufgaben
Ausgaben
Eingaben

Perceptrons
� x Eingaben
� W Gewichtsmatrix
� g Aktivierungsfunktion
(z.B. Heaviside, Signum,
Identität, Arctan,
Sigmoid)
� Ausgabe y geg. durch
� Klassifikation: ein
Neuron mit Signum als
Aktivierungsfunktion
� dann y geg. durch
� Menge mit Ausgabe 1 ist
� Also Mustertrennung
durch Gerade

Lineare Separabilität
x 1
A
A
A
A
A
B
A A
B
B
B
B
B
B
B
x 2
Entscheidungsgrenze

Verschiedene Separabilitäten
Struktur
Eine Schicht
2 Schichten
2 / 3 Schichten
Typen von
Entsch.regionen
Halbebene
Begrenzt durch
Hyperebene
Convex Offen
Oder
Geschl. Region
beliebig
A
B
A
B
A
B
XOR
Problem
B
A
B
A
B
A
Klassen mit
Verb. Regionen
B
B
B
A
A
A
Allgemeinere
Formen

Beispiele von Perceptrons
� Modellierung von boolschen Funktionen
� Aktivierungsfunktion: Step-Funktion mit bias
� Problem: XOR nicht modellierbar (da nicht
linear separabel)

Überwachtes Lernen
� Lernen: Veränderung der
Gewichte W eines Netzes
Γ, so dass A(Γ(W))(x t)=o t
� Lernen als Minimierung
einer Energiefunktion (z.B.
Methode der kleinsten
Quadrate)
E
=
N
∑
t=
1
(
A(
Γ(
W ))( x
t
) − o
t
2
)

Lernen als Optimierungsproblem
� Minimiere Energiefunktion
� Gradientenabstieg:
Δw
w
j
i
j
i
( t)
( t)
=
=
w
∂E
−
∂w
j
i
j
i
( W
)
( t)
+ ηΔw
j
i
( t)
� Alternative
Optimiermethoden:
– Konjugierter
Gradientenabstieg
– Simulated Annealing
– Genetische Algorithmen

Gradientenabstieg visualisiert

Lernen mit Perceptrons
Lineares Perceptron:
y = w ⋅
Daten: x , o ), ( x , o ),..., ( x , )
Fehler:
Lernen (Deltaregel):
x
( 1 1 2 2 N oN
E
=
N
N
∂E(
t)
wi
( t + 1)
= wi
( t)
−η
= wi
( t)
−η∑
( yt
− ot
) xt
= wi
( t)
−η∑
δt
xt
∂w
i
N
∑
t=
1
( y
t
− o
Lernregel wird auch Adaline - Regel, Widrow -
Hoff Regel oder LMS - Regel bezeichnet
1
2
t
2
)
t=
1
t=
1

Perceptronlernen visualisiert

Multi-Layered Perceptrons (MLPs)
� mehrschichtige
Netzwerke mit
asymmetrischen
feedforward Kopplungen
� Hidden Neurons sind
wichtig für komplexere
Approximationen
� Theorem: Ein 2schichtiges
NN ist ein
universeller
Approximator.
x 1
x 2
3-schichtiges Netzwerk
x n
Hidden layers

MLP Beispiel (XOR)
� XOR kann mit einer Zwischenschicht von 2 Neuronen
gelöst werden.
Eing. Ausg.
0 0 1 (A)
0 1 0 (B)
1 0 0 (C)
1 1 1 (D)
Eing. unit 2
1
B
OR
AND
D
0
A
C
0 Eing. unit 1 1
Eingabe 1
Eingabe 2
AND Unit
OR Unit
AND Unit
0
A
B
C
0 OR Unit 1
� Entscheidungsgrenzen sind von der Form: w 1 s 1 +w 2 s 2 +β=0
1
Ausgabe
XOR
D

Lernen mit MLPs: Backpropagation
� Berechne
Energiegradienten im
mehrschichtigen
Netzwerk
� Dazu:
– Berechne
Synapsenänderung an
den Ausgängen
– Propagiere die lokalen
Fehleränderungen durch
die Schichten zurück
j ∂E
– Erhalte Δwi
( t)
= − ( W ) j
∂w
i

Lernbeispiel
� Matlab program

MLPs: Anwendungsbeispiele
� Klassifikation
– Analyse von
Prozessierungsparameter
bei der Waferproduktion
– Qualitätsbestimmung von
Holz und Klassifikation
von Knotentype bei
Asteinschlüssen
– Arteriogrammsegmentierung
� Allgemeinere Funktionsapproximation
– Interpolierung (Missing
data recovery)
– HLPC Spektrumskorrektur
(Laufzeitunterschied
zwischen zwei Spektra
wird mit MLP gelernt �
Korrektur möglich)

Radiale Basisfunktionsnetze (RBF)
� adaptives Mehrschichtnetze mit nichtlinearen,
lokalisierten Aktivierungsfunktionen in der verborgenen
Schicht
– Aktivierungsfunktion: z(x)=K(|x-μ|/σ 2 )
– lokalisierte rezeptive Felder
� Architektur
– feedforward mit einer verborgenen Schicht
– lineare Ausgänge
� Unterschied zu MLP
– Aktivierungsfunktion hängt zusätzlich vom Ort ab (lokalisiert)

RBF Architektur

Lernen in RBFs
� zusätzlich zu Gewichten wird gelernt:
– Zentren μ der rezeptiven Felder
– Breiten σ
� späteres Lernen wieder über
Gradientenabstieg
� Initialisierung beispielsweise durch
– k-means Clustering um μ zu lernen
– Clusterbreite bestimmt σ

Selbstorganisierende
Merkmals-Karten (SOM)
� Biologische Motivation
� Topologieerhaltende
Abbildung
� Gegebene Modellvektoren
werden so
akkurat wie möglich
repräsentiert
� Nachbarschaftsrelation
bleibt erhalten
� Ordnungs- und
Clusteringphase

SOM Algorithmus
� Abbildung wird modelliert
durch Neuronen w j
� Abfallende Nachbarschaftsfunktion
h i,j
� zu Sample x(t) bestimme
das am nächsten
gelegene „Winner
Neuron“ c(x(t))
� Ändere Neuronen gemäß
w j
(t + 1)
=
wj ( t)
+η(
t)
hc(
x(
t)),
j(
x(
t)
− wj
( t))

SOM Algorithmus visualisiert

SOM Beispiele

SOM IR 2 ���� IR 2

SOM IR 2 ���� IR 3

SOM Anwendungen
� WEBSOM: SOM von
Dokumenten-sammlungen
zum einfacheren Durchsuchen
http://www.cis.hut.fi/websom
� Visualisierung von
hochdimensionalen Daten,
beispielsweise
makroökonomische Daten
� Clustering von Phonemen zur
automatischen
Spracherkennung

Netlab
� Netlab toolbox http://www.ncrg.aston.ac.uk/netlab/
– MATLAB toolbox
– stellt Methoden für
Simulation von
neuronalen Netzen
bereit
– Christopher M. Bishop,
(Oxford University
Press, 1995)
– MLPs, SOMs, RBFs…

Referenzen
� Homepage http://www.theis.de.vu
� Neuro- and Bioinformatics Group
Elmar Lang http://www.biologie.uniregensburg.de/Biophysik/Lang/index.html
� SOM http://www.cis.hut.fi/websom
� Lehrbuch: Simon Haykin, Neural
Networks: A Comprehensive
Foundation, Macmililan College
Publishing Company

Zusammenfassung
� Neuronale Netze als
Modell für Gehirnstruktur
� Perceptrons lösen lineare
Klassifikationsaufgaben
� MLPs approximieren
beliebige Funktionen
(� überwachtes Lernen)
� SOM als Beispiel von
nichtüberwachtem
Lernen

Ende
“If the brain were so simple
that we could understand it
then we’d be so simple that
we couldn’t.”
Lyall Watson