Theoretical Neuroscience

10.2 ∆ενσιτψ Εστιµατιον 371
λικελιηοοδ οφ τηε δατα ποιντσ. Ηοωεϖερ, τηε ΕΜ αλγοριτηµ φορ µαξιµιζινγ
F ισ νοτ εξαχτλψ τηε σαµε ασ λικελιηοοδ µαξιµιζατιον βψ γραδιεντ ασχεντ
οφ F . Τηισ ισ βεχαυσε τηε φυνχτιον Θ ισ ηελδ χονσταντ δυρινγ τηε Μ πηασε
ωηιλε τηε παραµετερσ οφ τηε γενερατιϖε µοδελ αρε µοδι⇒εδ. Αλτηουγη F
ισ εθυαλ το Λ ατ τηε βεγιννινγ οφ τηε Μ πηασε, εξαχτ εθυαλιτψ χεασεσ το βε
τρυε ασ σοον ασ τηε παραµετερσ αρε µοδι⇒εδ, µακινγ Π[v|υ;G] διφφερεντ
φροµ Θ. F ισ εθυαλ το Λ(G) αγαιν ονλψ αφτερ τηε υπδατε οφ Θ δυρινγ τηε
φολλοωινγ Ε πηασε. Ατ τηισ ποιντ, Λ(G) µυστ ηαϖε ινχρεασεδ σινχε τηε λαστ
Ε πηασε, βεχαυσε F ηασ ινχρεασεδ. Τηισ σηοωσ τηατ τηε λογ λικελιηοοδ ιν−
χρεασεσ µονοτονιχαλλψ δυρινγ ΕΜ υντιλ τηε προχεσσ χονϖεργεσ.
Φορ τηε εξαµπλε οφ ⇒γυρε 10.1, τηε ϕοιντ προβαβιλιτψ οϖερ χαυσεσ ανδ ινπυτσ
ισ
π[v, υ;G] =
γ v
εξπ
(− |υ − γ v| 2 )
, (10.13)
2π v 2 v
ανδ τηυσ
〈 ∑
F =
v
( ( γv
)
Θ[v; υ] λν − λν v − |υ − γ v| 2 ) 〉
− λν Θ[v; υ] . (10.14)
2π
2 v
Τηε Ε πηασε αµουντσ το χοµπυτινγ Π[v|υ;G] φροµ εθυατιον 10.3 ανδ σετ−
τινγ Θ εθυαλ το ιτ, ασ ιν εθυατιον 10.12. Τηε Μ πηασε ινϖολϖεσ µαξιµιζινγ
F ωιτη ρεσπεχτ το G φορ τηισ Θ. Ωε λεαϖε ιτ ασ αν εξερχισε φορ τηε ρεαδερ
το σηοω τηατ µαξιµιζινγ εθυατιον 10.14 ωιτη ρεσπεχτ το τηε παραµετερσ γ v
(τακινγ ιντο αχχουντ τηε χονστραιντ ∑ v γ v=1), γ v , ανδ v λεαδσ το τηε ρυλεσ
οφ εθυατιον 10.4. Φορ τηε εξαµπλε οφ ⇒γυρε 10.3, τηε ϕοιντ προβαβιλιτψ ισ
π[v, υ;G] = εξπ(−v2 /2)
√
2π
εξπ(− ∑ α (υ α − γ α v) 2 /2 α )
√
(2π)3 1 2 3
, (10.15)
φροµ ωηιχη ιτ ισ στραιγητφορωαρδ το χαλχυλατε τηε ρελεϖαντ F φυνχτιον ανδ
τηε ασσοχιατεδ λεαρνινγ ρυλεσ οφ εθυατιον 10.5.
Νονινϖερτιβλε ∆ετερµινιστιχ Μοδελσ
Ιφ τηε γενερατιϖε µοδελ ισ νονινϖερτιβλε, τηε Ε πηασε οφ τηε ΕΜ αλγοριτηµ
ισ µορε χοµπλεξ τηαν σιµπλψ σεττινγ Θ εθυαλ το Π[v|υ;G], βεχαυσε ιτ ισ νοτ
πραχτιχαλ το χοµπυτε τηε ρεχογνιτιον διστριβυτιον εξαχτλψ. Τηε στεπσ τακεν
δυρινγ τηε Ε πηασε δεπενδ ον ωηετηερ τηε αππροξιµατιον το τηε ινϖερσε
οφ τηε µοδελ ισ δετερµινιστιχ ορ προβαβιλιστιχ, αλτηουγη τηε βασιχ αργυµεντ
ισ τηε σαµε ιν ειτηερ χασε.
∆ετερµινιστιχ ρεχογνιτιον ρεσυλτσ ιν α πρεδιχτιον v(υ) οφ τηε χαυσε υνδερ−
λψινγ ινπυτ υ. Ιν τερµσ οφ τηε φυνχτιον F , τηισ αµουντσ το ρεταινινγ ονλψ
τηε σινγλε τερµ v = v(υ) ιν τηε συµ ιν εθυατιον 10.8, ανδ φορ τηισ σινγλε
τερµ Θ[v(υ); υ] = 1. Τηυσ, ιν τηισ χασε F ισ α φυνχτιοναλ οφ τηε φυνχτιον
v(υ) ανδ α φυνχτιον οφ τηε παραµετερσ G γιϖεν βψ
F (Θ,G) = F (v(υ),G) =〈λν Π[v(υ), υ;G]〉. (10.16)