Theoretical Neuroscience

10.1 Ιντροδυχτιον 367
µοδελ, αλονγ ωιτη α σολιδ λινε ινδιχατινγ τηε διρεχτιον οφ γ. Ασ ιν ⇒γ−
υρε 10.1Β, αλτηουγη τηε γενερατιϖε µοδελ ηασ τηε χαπαχιτψ το χρεατε α
δατα διστριβυτιον λικε τηατ ιν ⇒γυρε 10.3Α, τηε παραµετερσ υνδερλψινγ ⇒γ−
υρε 10.3Β αρε χλεαρλψ ιναππροπριατε, ανδ µυστ βε αδϕυστεδ βψ α λεαρνινγ
προχεδυρε. Φιγυρε 10.3Χ σηοωσ σψντηετιχ δατα αφτερ λεαρνινγ, ινδιχατινγ
τηε χλοσε µατχη βετωεεν τηε µαργιναλ διστριβυτιον π[υ;G] φροµ τηε µοδελ
ανδ τηε ινπυτ διστριβυτιον π[υ].
Τηισ µοδελ ισ α σιµπλε χασε οφ φαχτορ αναλψσισ; τηε γενεραλ χασε ισ δισχυσσεδ
ιν σεχτιον 10.3. Τηε ΕΜ αλγοριτηµ φορ φαχτορ αναλψσισ ισ σιµιλαρ ιν στρυχτυρε
το τηατ φορ χλυστερινγ. Ασ βεφορε, τηε βασιχ ιδεα ισ τηατ ιφ ωε κνεω τηε ϖαλυε
οφ τηε χαυσε τηατ υνδερλιεσ εαχη ινπυτ ποιντ, ωε χουλδ ⇒νδ τηε παραµετερσ
G εασιλψ. Ηερε, τηε παραµετερσ ωουλδ βε δετερµινεδ βψ σολϖινγ τηε λινεαρ
ρεγρεσσιον προβλεµ τηατ ⇒τσ τηε οβσερϖεδ ινπυτσ το τηε ϖαριαβλε v. Τηισ
µιρρορσ τηε οβσερϖατιον ιν ουρ ⇒ρστ εξαµπλε τηατ ιφ ωε κνεω τηε χλυστερ
ασσιγνµεντ φορ εαχη ινπυτ ποιντ, ωε χουλδ εασιλψ ⇒νδ τηε οπτιµαλ µεανσ
ανδ ϖαριανχεσ οφ τηε χλυστερσ. Οφ χουρσε, ωε δο νοτ κνοω τηε ϖαλυεσ οφ
τηε χαυσεσ. Ρατηερ, ασ βεφορε, ιν τηε Ε πηασε οφ τηε ΕΜ αλγοριτηµ, τηε
διστριβυτιον οϖερ χαυσεσ π[v|υ;G] ισ χαλχυλατεδ φροµ τηε χοντινυουσ αναλογ
οφ εθυατιον 10.3 (Π[v;G] ον τηε ριγητ σιδε οφ εθυατιον 10.3 ισ ρεπλαχεδ βψ
π[v;G]), ανδ τηισ ισ υσεδ ασ ουρ βεστ χυρρεντ εστιµατε οφ ηοω λικελψ χαυσε
v ισ ασσοχιατεδ ωιτη ινπυτ υ. Τηεν τηε Μ πηασε χονσιστσ οφ ωειγητεδ λινεαρ
ρεγρεσσιον, ⇒ττινγ τηε οβσερϖατιονσ υ το τηε ϖαριαβλεσ v ωειγητεδ βψ τηε
χυρρεντ ρεχογνιτιον προβαβιλιτιεσ. Τηε ρεσυλτ ισ αναλογουσ το εθυατιον 10.4;
ωε σετ
〈∫ 〉
〈∫
〉
δv π[v|υ;G]vυα
γ α = 〈∫ 〉 ανδ δv π[v|υ;G]v
2
α = δv π[v|υ;G](υ α − vγ α ) 2 .
(10.5)
Αππροξιµατε Ρεχογνιτιον
Ιν τηε τωο εξαµπλεσ ωε ηαϖε χονσιδερεδ, εθυατιον 10.3 ωασ υσεδ το οβ−
ταιν τηε ρεχογνιτιον διστριβυτιον διρεχτλψ φροµ τηε γενερατιϖε µοδελ. Φορ
σοµε µοδελσ, ηοωεϖερ, ιτ ισ ιµπραχτιχαλλψ διφ⇒χυλτ το εϖαλυατε τηε ριγητ
σιδε οφ εθυατιον 10.3 ανδ οβταιν τηε ρεχογνιτιον διστριβυτιον ιν τηισ ωαψ.
Ωε χαλλ µοδελσ ιν ωηιχη τηε ρεχογνιτιον διστριβυτιον χαν βε χοµπυτεδ
τραχταβλψ φροµ εθυατιον 10.3 ινϖερτιβλε, ανδ τηοσε ιν ωηιχη ιτ χαννοτ βε
χοµπυτεδ τραχταβλψ, νονινϖερτιβλε. Ιν τηε λαττερ χασε, βεχαυσε εθυατιον 10.3
χαννοτ βε υσεδ, ρεχογνιτιον ισ βασεδ ον αν αππροξιµατε ρεχογνιτιον διστρι−
βυτιον. Τηισ ισ α φυνχτιον Θ[v; υ] τηατ αππροξιµατεσ τηε εξαχτ ρεχογνιτιον
διστριβυτιον Π[v|υ;G]. Οφτεν, ασ ωε δισχυσσ ιν τηε νεξτ σεχτιον, τηε βεστ
αππροξιµατιον οφ τηε ρεχογνιτιον διστριβυτιον χοµεσ φροµ αδϕυστινγ πα−
ραµετερσ τηρουγη αν οπτιµιζατιον προχεδυρε. Ονχε τηισ ισ δονε, Θ[v; υ]
προϖιδεσ τηε µοδελσ εστιµατε οφ τηε προβαβιλιτψ τηατ ινπυτ υ ισ ασσοχι−
ατεδ ωιτη χαυσε v, ανδ συβστιτυτεσ φορ τηε εξαχτ ρεχογνιτιον διστριβυτιον
Π[v|υ;G].
ινϖερτιβλε ανδ
νονινϖερτιβλε
µοδελσ
αππροξιµατε
ρεχογνιτιον
διστριβυτιον
Θ[v; υ]
Τηε Ε πηασε οφ τηε ΕΜ αλγοριτηµ ιν α νονινϖερτιβλε µοδελ χονσιστσ οφ