Theoretical Neuroscience

372 Ρεπρεσεντατιοναλ Λεαρνινγ
ϖαριατιοναλ µετηοδ
Τηε Μ πηασε οφ ΕΜ χονσιστσ, ασ αλωαψσ, οφ µαξιµιζινγ τηισ εξπρεσσιον
ωιτη ρεσπεχτ το G. ∆υρινγ τηε Ε πηασε ωε τρψ το ⇒νδ τηε φυνχτιον v(υ) τηατ
µαξιµιζεσ F . Βεχαυσε v ισ ϖαριεδ δυρινγ τηε οπτιµιζατιον προχεδυρε, τηε
αππροαχη ισ σοµετιµεσ χαλλεδ α ϖαριατιοναλ µετηοδ. Τηε Ε ανδ Μ στεπσ
µακε ιντυιτιϖε σενσε; ωε αρε ⇒νδινγ τηε ινπυτ−ουτπυτ ρελατιονσηιπ τηατ
µαξιµιζεσ τηε προβαβιλιτψ τηατ τηε γενερατιϖε µοδελ ωουλδ ηαϖε σιµυλτα−
νεουσλψ προδυχεδ τηε ινπυτ υ ανδ χαυσε v(υ).
Νονινϖερτιβλε Προβαβιλιστιχ Μοδελσ
Τηε αλτερνατιϖε το υσινγ α δετερµινιστιχ αππροξιµατε ρεχογνιτιον µοδελ
ισ το τρεατ Θ[v; υ] ασ α φυλλ προβαβιλιτψ διστριβυτιον οϖερ v φορ εαχη ινπυτ
εξαµπλε υ. Ιντηισχασε,ωεχηοοσεασπεχι⇒χ φυνχτιοναλ φορµ φορ Θ, εξ−
πρεσσεδ ιν τερµσ οφ α σετ οφ παραµετερσ χολλεχτιϖελψ λαβελεδ W . Τηυσ, ωε
ωριτε τηε αππροξιµατε ρεχογνιτιον διστριβυτιον ασ Θ[v; υ,W ]. Λικε γενερα−
τιϖε µοδελσ, αππροξιµατε ρεχογνιτιον µοδελσ χαν ηαϖε διφφερεντ στρυχτυρεσ
ανδ παραµετερσ. F χαν νοω βε τρεατεδ ασ α φυνχτιον οφ W , ρατηερ τηαν οφ
Θ, σο ωε ωριτε ιτ ασ F (W ,G). Ασ ιν αλλ χασεσ, τηε Μ πηασε οφ ΕΜ χονσιστσ
οφ µαξιµιζινγ Φ(W ,G) ωιτη ρεσπεχτ το G. Τηε Ε πηασε νοω χονσιστσ οφ
µαξιµιζινγ Φ(W ,G) ωιτη ρεσπεχτ το W . Τηισ ηασ τηε εφφεχτ οφ µακινγ
Θ[v; υ,W ] ασ σιµιλαρ ασ ποσσιβλε το Π[v|υ;G], ιν τηε σενσε τηατ τηε ΚΛ δι−
ϖεργενχε βετωεεν τηεµ, αϖεραγεδ οϖερ τηε ινπυτ δατα, ισ µινιµιζεδ (σεε
εθυατιον 10.10).
Ιν σοµε χασεσ, W ηασ σεπαρατε παραµετερσ φορ εαχη ποσσιβλε ινπυτ υ. Τηισ
µεανσ τηατ εαχη ινπυτ ηασ α σεπαρατε αππροξιµατε ρεχογνιτιον διστριβυτιον
ωηιχη ισ ινδιϖιδυαλλψ ταιλορεδ, συβϕεχτ το τηε ινηερεντ σιµπλιφψινγ ασσυµπ−
τιονσ, το ιτσ οων χαυσεσ. Τηε µεαν−⇒ελδ αππροξιµατιον το τηε Βολτζµανν
µαχηινε δισχυσσεδ ιν χηαπτερ 7 ισ αν εξαµπλε οφ τηισ τψπε.
Ιτ ισ νοτ νεχεσσαρψ το µαξιµιζε Φ(W ,G) χοµπλετελψ ωιτη ρεσπεχτ το W
ανδ τηεν G δυρινγ συχχεσσιϖε Ε ανδ Μ πηασεσ. Ινστεαδ, γραδιεντ ασχεντ
στεπσ τηατ µοδιφψ W ανδ G βψ σµαλλ αµουντσ χαν βε τακεν ιν αλτερνατιον,
ιν ωηιχη χασε τηε Ε ανδ Μ πηασεσ εφφεχτιϖελψ οϖερλαπ.
Βεχαυσε εαχη Ε ανδ Μ στεπ σεπαρατελψ ινχρεασεσ τηε ϖαλυε οφ F ,τηεΕΜ
αλγοριτηµ ισ γυαραντεεδ το χονϖεργε το ατ λεαστ α λοχαλ µαξιµυµ οφ F ,
εξχεπτ ιν ραρε χασεσ ωηεν τηε προχεσσ οφ µαξιµιζινγ α φυνχτιον ονε χοορ−
δινατε ατ α τιµε (ωηιχη ισ χαλλεδ χοορδινατε ασχεντ) ⇒νδσ λοχαλ µαξιµα τηατ
οτηερ οπτιµιζατιον µετηοδσ αϖοιδ (ωε ενχουντερ αν εξαµπλε οφ τηισ λατερ
ιν τηε χηαπτερ). Ιν γενεραλ, τηε µαξιµυµ φουνδ δοεσ νοτ χορρεσπονδ το α
λοχαλ µαξιµυµ οφ τηε λικελιηοοδ φυνχτιον βεχαυσε Θ ισ νοτ εξαχτλψ εθυαλ
το τηε αχτυαλ ρεχογνιτιον διστριβυτιον (τηατ ισ, F ισ γυαραντεεδ ονλψ το βε α
λοωερ βουνδ ον Λ(G)). Νεϖερτηελεσσ, α γοοδ γενερατιϖε µοδελ σηουλδ βε
οβταινεδ ιφ τηε λοωερ βουνδ ισ τιγητ.