Theoretical Neuroscience

362 Ρεπρεσεντατιοναλ Λεαρνινγ
σιβλε χαυσεσ (ι.ε., τηε νυµβερ οφ χλυστερσ). Προβαβιλιστιχ µετηοδσ χαν βε
υσεδ το µακε στατιστιχαλ ινφερενχεσ αβουτ τηε νυµβερ οφ χλυστερσ ιν α δατα
σετ, βυτ τηεψ λιε βεψονδ τηε σχοπε οφ τηισ τεξτ.
Γενερατιϖε Μοδελσ
µιξινγ προπορτιονσ
πριορ Π[v;G]
παραµετερσ G
γενερατιϖε
διστριβυτιον
π[υ|v;G]
Το ιλλυστρατε τηε χονχεπτ οφ α γενερατιϖε µοδελ, ωε χονστρυχτ ονε (χαλλεδ α
µιξτυρε οφ Γαυσσιανσ µοδελ) φορ τηε δατα ιν ⇒γυρε 10.1Α. Τηε γενεραλ φορµ
οφ τηε µοδελ ισ δετερµινεδ βψ τηε ηευριστιχσ, ασσυµπτιονσ αβουτ τηε νατυρε
οφ τηε χαυσεσ ανδ τηε ωαψ τηεψ γενερατε ινπυτσ. Ηοωεϖερ, τηε µοδελ ηασ
παραµετερσ τηατ χαν βε αδϕυστεδ το ⇒τ τηε αχτυαλ δατα τηατ αρε οβσερϖεδ. Ωε
βεγιν βψ ιντροδυχινγ παραµετερσ γ Α ανδ γ Β τηατ ρεπρεσεντ τηε προπορτιονσ
(αλσο κνοων ασ µιξινγ προπορτιονσ) οφ αχτιον ποτεντιαλσ γενερατεδ βψ εαχη
οφ τηε νευρονσ. Τηεσε µιγητ αχχουντ φορ τηε φαχτ τηατ ονε οφ τηε νευρονσ
ηασ α ηιγηερ ⇒ρινγ ρατε τηαν τηε οτηερ, φορ εξαµπλε. Τηε παραµετερ γ v ,
ωιτη v = ΑορΒ,σπεχι⇒εσ τηε προβαβιλιτψ Π[v;G] τηατ α γιϖεν σπικε ωασ
γενερατεδ βψ νευρον v ιν τηε αβσενχε οφ ανψ κνοωλεδγε αβουτ τηε ινπυτ υ
ασσοχιατεδ ωιτη τηατ σπικε. Π[v;G] = γ v ισ χαλλεδ τηε πριορ διστριβυτιον οϖερ
χαυσεσ. Τηε σψµβολ G στανδσ φορ αλλ τηε παραµετερσ υσεδ το χηαραχτεριζε
τηε γενερατιϖε µοδελ. Ατ τηισ ποιντ, G χονσιστσ οφ τηε τωο παραµετερσ γ Α
ανδ γ Β , βυτ µορε παραµετερσ ωιλλ βε αδδεδ ασ ωε προχεεδ. Ωε σταρτ βψ
ασσιγνινγ γ Α ανδ γ Β ρανδοµ ϖαλυεσ χονσιστεντ ωιτη τηε χονστραιντ τηατ τηεψ
µυστ συµ το 1.
Το χοντινυε τηε χονστρυχτιον οφ τηε γενερατιϖε µοδελ, ωε νεεδ το ασσυµε
σοµετηινγ αβουτ τηε διστριβυτιον οφ υ ϖαλυεσ αρισινγ φροµ τηε αχτιον πο−
τεντιαλσ γενερατεδ βψ εαχη νευρον. Αν εξαµινατιον οφ ⇒γυρε 10.1Α συγ−
γεστσ τηατ Γαυσσιαν διστριβυτιονσ (ωιτη τηε σαµε ϖαριανχε ιν βοτη διµεν−
σιονσ) µιγητ βε αππροπριατε. Τηε προβαβιλιτψ δενσιτψ οφ υ ϖαλυεσ γιϖεν
τηατ νευρον v ⇒ρεδ ισ π[υ|v;G]. Τηισ ισ σετ το α Γαυσσιαν διστριβυτιον ωιτη
α µεαν ανδ ϖαριανχε τηατ, ινιτιαλλψ, ωε γυεσσ. Τηε παραµετερ λιστ G νοω
χονταινσ τηε πριορ προβαβιλιτιεσ, γ Α ανδ γ Β , ανδ τηε µεανσ ανδ ϖαριανχεσ
οφ τηε Γαυσσιαν διστριβυτιονσ οϖερ υ φορ v= Α ανδ Β, ωηιχη ωε λαβελ γ v
ανδ v , ρεσπεχτιϖελψ. Νοτε τηατ v ισ υσεδ το δενοτε τηε ϖαριανχε οφ χλυστερ
v, νοτ ιτσ στανδαρδ δεϖιατιον, ανδ αλσο τηατ εαχη χλυστερ ισ χηαραχτεριζεδ βψ
α σινγλε ϖαριανχε βεχαυσε ωε χονσιδερ ονλψ χιρχυλαρλψ σψµµετριχ Γαυσσιαν
διστριβυτιονσ.
Φιγυρε 10.1Β σηοωσ σψντηετιχ δατα ποιντσ (χροσσεσ) γενερατεδ βψ τηισ
µοδελ. Το χρεατε εαχη ποιντ, ωε σετ v=Α ωιτη προβαβιλιτψ Π[v=Α;G] (ορ
οτηερωισε σετ v=Β) ανδ τηεν γενερατεδ α ποιντ υ ρανδοµλψ φροµ τηε διστρι−
βυτιον π[υ|v;G]. Τηισ γενερατιϖε µοδελ χλεαρλψ ηασ τηε χαπαχιτψ το χρεατε
α δατα διστριβυτιον ωιτη τωο χλυστερσ, σιµιλαρ το τηε ονε ιν ⇒γυρε 10.1Α.
Ηοωεϖερ, τηε ϖαλυεσ οφ τηε παραµετερσ G υσεδ ιν ⇒γυρε 10.1Β αρε οβϖι−
ουσλψ ιναππροπριατε. Τηεψ µυστ βε αδϕυστεδ βψ α λεαρνινγ προχεδυρε τηατ
µατχηεσ, ασ αχχυρατελψ ασ ποσσιβλε, τηε διστριβυτιον οφ σψντηετιχ δατα ποιντσ
ιν ⇒γυρε 10.1Β το τηε αχτυαλ ινπυτ διστριβυτιον ιν ⇒γυρε 10.1Α. Ωε δε−
σχριβε ηοω τηισ ισ δονε ιν α λατερ σεχτιον. Αφτερ οπτιµιζατιον, ασ σεεν ιν