Lernverfahren von Künstlichen Neuronalen Netzwerken

3 Modelle
Im Laufe der letzen fünfzehn Jahre sind unzählige Modelle entstanden, die meistens für einen bestimmten Aufgabentyp
entwickelt wurden oder einen bestimmten biologischen Aspekt aufzeigen wollten. Darum kann man eigentlich
nicht sagen, dass ein Modell besser oder leistungsfähiger ist als das andere, man kann höchstens sagen, dass es für
eine bestimmte Aufgabe besser geeignet ist. Von all den Modellen, die existieren, wurde hier eine Auswahl unter
den interessantesten und bekanntesten KNN gemacht.
3.1 Perzeptron 7,8
Das Perzeptron wurde schon in den 60er Jahren entwickelt und ist eigentlich der Vorfahre der anderen Modelle.
Anhand von ihm wurden das erste Mal die oben beschriebenen theoretischen Voraussetzungen für KNN definiert.
3.1.1 Aufbau eines Perzeptrons
Abb. 7: Ein einstufiges Perzeptron
Das Perzeptron besteht aus zwei Schichten. In der ersten Schicht hat
es n Neuronen, die über trainierbare Verbindungen vollständig mit den
nächsten Zellen verbunden sind. Die zweite Schicht ist die Ausgabeschicht
und besteht aus nur einem Neuron, das die Nummer n + 1 = j hat. Die
Eingabe, Aktivierung und Ausgabe der Neuronen dürfen nur binäre Werte
annehmen, jedoch sind die Gewichte und Schwellenwerte reelle Zahlen.
Daraus folgt, dass die Aktivierungsfunktion die Schwellenwertfunktion
sein muss. Der Output des Neurons j ist also 1, wenn der Input net j grösser ist als der Schwellenwert θ j des
Neurons j, andernfalls 0. Mathematisch ausgedrückt:
⎧
⎨ 1 falls net j ≥ θ j
o j = a j =
, mit net
⎩
j =
0 falls net j < θ j
n∑
o i · w ij
Interessant ist es nun zu untersuchen, welche binären Funktionen sich mit einem solch einfachen Netz lösen lassen.
Die Topologie des Perzeptrons setzt voraus, dass nur binäre Funktionen, die jedem möglichen n-dimensionalen
Eingabevektor entweder die Zahl 0 oder 1 zuordnen, in Frage kommen. Im nächsten Abschnitt wird die Frage
geklärt, ob jede beliebige binäre Funktion von einem Perzeptron dargestellt werden kann.
3.1.2 Lineare Trennbarkeit
Die lineare Trennbarkeit lässt sich am besten anhand eines Beispiels auf-
zeigen. Ein Perzeptron mit zwei Eingabeneuronen soll die logische AND-
Funktion ausführen, d.h. nur eine 1 ausgeben, wenn beide Eingaben 1
sind, sonst soll es eine 0 ausgeben. Mathematisch:
o j = 1 , falls net j = o 1 w 1j + o 2 w 2j ≥ θ j .
Für w 2j > 0 ist dies äquivalent zu der Ungleichung
i=1
o 2 ≥ 1
w 2j
(θ j − o 1 w 1j ).
Abb. 8: Lineare Trennbarkeit
Da w 1j , w 2j und θ j konstant sind, beschreibt diese Ungleichung eine Halbebene in der durch o 1 und o 2 gebildeten
Ebene (siehe Abb. 8). Bei positivem w 2j stellen alle Gitterpunkte innerhalb dieser Halbebene Kombinationen von
o 1 und o 2 dar, für welche die Ausgabe 1 ist, ausserhalb ist die Ausgabe 0. Wenn man w 1j , w 2j und θ j z.B. so wählt,
12