Theoretical Neuroscience

384 Ρεπρεσεντατιοναλ Λεαρνινγ
Ινδεπενδεντ Χοµπονεντσ Αναλψσισ
Ασ φορ τηε χασε οφ τηε µιξτυρεσ οφ Γαυσσιανσ µοδελ ανδ φαχτορ αναλψσισ, αν
ιντερεστινγ µοδελ εµεργεσ φροµ σπαρσε χοδινγ ασ → 0. Ιν τηισ λιµιτ, τηε
γενερατιϖε διστριβυτιον (εθυατιον 10.30) αππροαχηεσ α δ φυνχτιον ανδ αλ−
ωαψσ γενερατεσ υ(ϖ) = Γ·ϖ. Υνδερ τηε αδδιτιοναλ ρεστριχτιον τηατ τηερε αρε
ασ µανψ χαυσεσ ασ ινπυτσ, τηε αππροξιµατιον ωε υσεδ φορ τηε σπαρσε χοδ−
ινγ µοδελ οφ µακινγ τηε ρεχογνιτιον διστριβυτιον δετερµινιστιχ βεχοµεσ
εξαχτ, ανδ τηε ρεχογνιτιον διστριβυτιον τηατ µαξιµιζεσ F ισ
Q [ϖ; υ] =|δετ Ω| −1 δ(υ − Ω −1 · ϖ), (10.35)
ωηερε Ω = Γ −1 ισ τηε µατριξ ινϖερσε οφ τηε γενερατιϖε ωειγητ µατριξ. Τηε
φαχτορ |δετ Ω| χοµεσ φροµ τηε νορµαλιζατιον χονδιτιον ον Θ, ∫ δϖ Θ(ϖ; υ) =
1. Ατ τηε µαξιµυµ ωιτη ρεσπεχτ το Θ, τηε φυνχτιον F ισ
F (Q ,G) =
〈
− 1
2 |υ − Γ · Ω · υ|2 + ∑ α
γ ([Ω · υ] α )
〉
+ λν|δετ Ω|+Κ ,
(10.36)
ωηερε Κ ισ ινδεπενδεντ οφ Γ. Υνδερ τηε χονϖεντιοναλ ΕΜ προχεδυρε, ωε
ωουλδ µαξιµιζε τηισ εξπρεσσιον ωιτη ρεσπεχτ το Γ, κεεπινγ Ω ⇒ξεδ. Ηοω−
εϖερ, τηε νορµαλ προχεδυρε φαιλσ ιν τηισ χασε, βεχαυσε τηε µινιµυµ οφ τηε
ριγητ σιδε οφ εθυατιον 10.36 οχχυρσ ατ Γ = Ω −1 , ανδ Ω ισ βεινγ ηελδ ⇒ξεδ,
σο Γ χαννοτ χηανγε. Τηισ ισ αν ανοµαλψ οφ χοορδινατε ασχεντ ιν τηισ παρτιχ−
υλαρ λιµιτ.
Φορτυνατελψ, ιτ ισ εασψ το ⇒ξ τηισ προβλεµ, βεχαυσε ωε κνοω τηατ Ω = Γ −1
προϖιδεσ αν εξαχτ ινϖερσιον οφ τηε γενερατιϖε µοδελ. Τηερεφορε, ινστεαδ οφ
ηολδινγ Ω ⇒ξεδ δυρινγ τηε Μ πηασε οφ αν ΕΜ προχεδυρε, ωε κεεπ Ω =
Γ −1 ατ αλλ τιµεσ ασ ωε χηανγε Γ. Τηισ σετσ F εθυαλ το τηε αϖεραγε λογ
λικελιηοοδ, ανδ τηε προχεσσ οφ οπτιµιζινγ ωιτη ρεσπεχτ το Γ ισ εθυιϖαλεντ
το λικελιηοοδ µαξιµιζατιον. Βεχαυσε Ω = Γ −1 , µαξιµιζινγ ωιτη ρεσπεχτ
το Ω ισ εθυιϖαλεντ το µαξιµιζινγ ωιτη ρεσπεχτ το Γ, ανδ ιτ τυρνσ ουτ τηατ
τηισ ισ εασιερ το δο. Τηερεφορε, ωε σετ Ω = Γ −1 ιν εθυατιον 10.36, ωηιχη
χαυσεσ τηε ⇒ρστ τερµ το ϖανιση, ανδ ωριτε τηε ρεµαινινγ τερµσ ασ τηε λογ
λικελιηοοδ εξπρεσσεδ ασ α φυνχτιον οφ Ω ινστεαδ οφ Γ,
〈 〉
∑
Λ(Ω) = γ ([Ω · υ] α ) + λν|δετ Ω|+Κ . (10.37)
α
∆ιρεχτ στοχηαστιχ γραδιεντ ασχεντ ον τηισ λογ λικελιηοοδ χαν βε περφορµεδ
υσινγ τηε υπδατε ρυλε
Ω αβ → Ω αβ + ǫ ([ Ω −1] βα + γ′ (v α )υ β
) , (10.38)
ωηερε ǫ ισ α σµαλλ λεαρνινγ ρατε παραµετερ, ανδ ωε ηαϖε υσεδ τηε φαχτ τηατ
∂ λν|δετ Ω|/∂Ω αβ = [Ω −1 ] βα .
Τηε υπδατε ρυλε οφ εθυατιον 10.38 χαν βε σιµπλι⇒εδ βψ υσινγ α χλεϖερ
τριχκ. Βεχαυσε Ω Τ Ω ισ α ποσιτιϖε δε⇒νιτε µατριξ (σεε τηε Ματηεµατιχαλ