Diplomarbeit von Michael Schindler

22 1. Grundlagen
Mit den Eigenwertgleichungen
wri = 1
σ2 Σrwri, σ
ri
2 ri = wT riΣrwri. (1-38)
können aus der Lernregel (1-33) für die Kovarianzmatrizen zwei äquivalente Regeln
gewonnen werden,
∆wri = ˆ �
(xt − cr(t)) (xt − cr(t))
P(r|xt)
Twri(t) σ 2 ri (t)
�
− wri(t) , (1-39)
∆(σ 2 ri) = ˆ ��(xt P(r|xt) − cr(t)) T wri(t) � �
2 2
− σri(t) . (1-40)
Die erste Gleichung hat die Form einer Richtungslernregel. Sie ist an diejenige von
Oja (1982) angelehnt und führt, unabhängig von den Varianzen, eine Hauptachsenbestimmung
durch (siehe dazu Rubner & Tavan, 1989; Albrecht et al. 2000). Um zu
vermeiden, dass alle wri in dieselbe Richtung maximaler Varianz zeigen, müssen die wri
nach jedem Lernschritt orthogonalisiert werden. Lässt man ferner in (1-39) den normierenden
Zerfallsterm (−wri) weg, so muss man nach jedem Lernschritt eine Gram-
Schmidt-Orthonormierung (Fischer & Kaul, 1990) der Vektoren wri durchführen. Wie
von Albrecht et al. (2000) gezeigt wurde, diagonalisieren die so gelernten wri die
r-lokalen Kovarianzmatrizen � (x−cr)(x−cr) T�
r,�.
Der multivar-Algorithmus von Kloppenburg & Tavan (1997) lautet
(MV-1) Initialisiere die Parameter θ(t=0)
(MV-2) Ziehe einen zufälligen Punkt xt aus dem Datensatz X und berechne die
Zuständigkeiten nach dem Bayes’schen Satz (1-10)
(MV-3) Berechne das neue Codebuch nach den Updateregeln θ(t+1) = θ(t) + ε∆θ,
wobei
∆cr = ˆ P(r|xt) � xt − cr(t) + R �
mit einem kleinen Rauschen R,
∆wri = ˆ P(r|xt)
σ 2 ri (t)
(1-41)
� xt − cr(t) � � xt − cr(t) � T wri(t) (1-42)
und orthonormiere die neuen Hauptachsen wri(t),
(1-43)
∆(σ 2 ri) = ˆ ��(xt P(r|xt) − cr(t)) T wri(t) �2 2
− σri(t) + µ σ2 − σ2 ri
〈 ˆ �
, (1-44)
P(r|x)〉
∆ ˆ �
Pr = ˆP(r|xt) − ˆ �
1
Pr(t) + ν
M − ˆ ��
Pr(t) . (1-45)