Neuronale Netze

Kapitel 6 Radiale Basisfunktionendkriesel.comM + ◮Matrix M dieses mal nicht invertierenkönnen, weil sie nicht quadratischist (es gilt |P | ≠ |H|). Hiermüssen wir also, um überhaupt weiterzukommen,die Moore-Penrose-Pseudoinverse mitM + = (M T · M) −1 · M T (6.11)verwenden. Die Moore-Penrose-Pseudoinverse ist nicht die Inverseeiner Matrix, kann aber in diesemFall so verwendet werden 1 . Wirerhalten Gleichungen, die denen imFall |P | = |H| sehr ähnlich sind:T = M · G (6.12)⇔ M + · T = M + · M · G (6.13)⇔ M + · T = E · G (6.14)⇔ M + · T = G (6.15)Ein weiterer Hauptgrund für dieVerwendung der Moore-Penrose-Pseudoinversen ist hier, dass sie diequadratische Abweichung minimiert(was unser Ziel ist): Die Schätzungdes Vektors G in Gleichung 6.15entspricht dem aus der Statistikbekannten Gauß-Markov-Modellzur Minimierung des quadratischenFehlers.Bemerkung: In den obigen Gleichungen6.11 und folgenden sei das T inM T (der transponierten Matrix M)bitte nicht mit dem T des Vektors allerTeaching Inputs zu verwechseln.1 Insbesondere gilt M + = M −1 , falls M invertierbar.Auf die Begründung für diese Umstände undVerwendungsmöglichkeiten von M + möchte ichhier nicht weiter eingehen – diese sind aber in derLinearen Algebra einfach zu finden.6.2.2.2 Die Verallgemeinerung aufmehrere Ausgaben ist trivialund wenig rechenintensivWir haben also jeweils einen mathematischexakten Weg gefunden, die Gewichtedirekt zu errechnen. Was passiert nun beimehreren Ausgabeneuronen, also |O| > 1,wobei O wie gewohnt die Menge der AusgabeneuroneΩ ist?In diesem Fall ändert sich, wie wir schonangedeutet haben, nicht viel: Diese weiterenAusgabeneurone haben ja einen eigenenSatz Gewichte, während wir die σ undc der RBF-Schicht nicht ändern. Für einRBF-Netz ist es also für gegebene σ und ceinfach, sehr viele Outputneurone zu realisieren,da wir nur für jedes neue OutputneuronΩ einzeln den Vektor der zu ihmführenden GewichteG Ω = M + · T Ω (6.16)errechnen müssen, wobei die sehraufwändig zu errechnende Matrix M +immer gleich bleibt: Das Hinzufügen vonmehr Ausgabeneuronen ist also, was dieBerechnungskomplexität angeht, rechtpreiswert.6.2.2.3 Berechnungsaufwand undGenauigkeitBei realistischen Problemstellungen gilt jedochin aller Regel, dass es wesentlichmehr Trainingsbeispiele als RBF-Neuronegibt, also |P | ≫ |H|: Man kann ohne weiteresden Wunsch haben, mit 10 6 Trainingsbeispielenzu trainieren. Wir können zwarAusgabedimensionpreiswert112 D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE)