Diplomarbeit von Michael Schindler

1.2 Neuronale Interpretation von multivar 35
von Aktivitäten der gesamten Schicht. Die Neuronen kompetieren um die gemeinsame
Aktivität. Durch diese effektive Beschreibung der Lateralverschaltung wird vermieden,
die Lateralverbindungen explizit simulieren zu müssen. Es müssen keine hemmenden
Querverbindungen berücksichtigt werden, und auch die Verknüpfungen der Eingabezur
Verarbeitungsschicht können als rein exzitatorisch angenommen werden.
An dieser Stelle ist die Modellbildung so weit, dass die Aktivität ar mit der bedingten
Klassenwahrscheinlichkeit ˆ P(r|x) identifiziert werden kann,
ar(x; θ) ≡ ˆ P(r|x; θ). (1-65)
Beide erfüllen die Normierung in (1-62), und mit der Gleichung (1-63) wurde der Bayessche
Satz (1-10) wiederentdeckt. Der Vergleich der Nenner in beiden Gleichungen liefert
zusätzlich die Identität von Approximation ˆp(x; θ) und der Gesamtaktivität A(x),
A(x; θ) ≡ ˆp(x; θ). (1-66)
Am Zähler sieht man, dass die gewichtete Normalverteilung ˆ P ˆp(x|r; θ) zum Bild des
synaptischen Baumes im Merkmalsraum gemacht wird. Die Näherung für ar auf Seite
33 ist also nichts anderes als die zentrale Modellannahme, dass die Verteilungsdichte
der Reize mit einer Mischung von Normalverteilungen approximiert werden kann.
Physiologisch kann die globale Aktivitätsnormierung als Ressourcennormierung gerechtfertigt
werden. Die Vorstellung dahinter ist, dass immer viele Nervenzellen gemeinsam
von wenigen Blutgefäßen versorgt werden. Wenn man sich die Aktivität als
Ressourcen verbrauchenden Zustand vorstellt, kann eine Nervenzelle nur auf Kosten
der Aktivität anderer Zellen erregt werden. Das ML-Prinzip bedeutet hier, dass dieser
grundlegende Organisationsprozess der Kompetition nach (1-66) und (1-7) die mittlere
Aktivität der gesamten Schicht maximiert. Die Forderung nach Load-balance (1-49)
sorgt wegen (1-65) gleichzeitig dafür, dass die mittleren Aktivitäten der einzelnen Neuronen
ähnliche Werte aufweisen. Letztere Bedingung kann durch physiologische Befunde
motiviert werden. So wurde am Beispiel der somatosensorischen Hirnrinde in Amputationsversuchen
festgestellt, dass Kortexneuronen ihre rezeptiven Felder verändern,
wenn sie lange nicht erregt werden. Sie beginnen, sich an der Kodierung noch aktiver
Bereiche zu beteiligen (Schmidt & Schaible, 2000).
Die beiden oben skizzierten Prinzipien, die Aktivitätsmaximierung und Load-balance
(Albrecht et al. 2000), bilden das Kernstück des multivar-Algorithmus. Sie wurden
als ML-Prinzip und als Kopplung der Gewichtungen ˆ Pr an den Wert 1/M in den
multivar-Algorithmus eingebaut. Auf diese Weise fügen sich die beiden Sichtweisen,
mathematische und neuronale, zwanglos ineinander. Ein weiteres Beispiel stellt die
Lernregel (1-41) dar, die im folgenden Abschnitt neuronal motiviert werden soll.