Theoretical Neuroscience

10.1 Ιντροδυχτιον 361
Ù¾
2
2
2
1
0
ÔÙ℄ ÔÙ ℄ ÔÙ ℄
−1
−1 0 1 2
1
0
A
B
−1
−1 0 1 2
1
0
A
B
−1
−1 0 1 2
Ù½ Ù½ Ù½
Φιγυρε 10.1 Χλυστερινγ. (Α) Ινπυτ δατα ποιντσ δραων φροµ τηε διστριβυτιον π[υ] αρε
ινδιχατεδ βψ τηε χροσσεσ. (Β) Ινιτιαλιζατιον φορ α γενερατιϖε µοδελ. Τηε µεανσ ανδ
τωιχε τηε στανδαρδ δεϖιατιονσ οφ τηε τωο Γαυσσιανσ αρε ινδιχατεδ βψ τηε λοχατιονσ
ανδ ραδιι οφ τηε χιρχλεσ. Τηε χροσσεσ σηοω σψντηετιχ δατα, ωηιχη αρε σαµπλεσ φροµ
τηε διστριβυτιον π[υ;G] οφ τηε γενερατιϖε µοδελ. (Χ) Μεανσ, στανδαρδ δεϖιατιονσ,
ανδ σψντηετιχ δατα ποιντσ γενερατεδ βψ τηε οπτιµαλ γενερατιϖε µοδελ. Τηε σθυαρε
ινδιχατεσ α νεω ινπυτ ποιντ τηατ ισ ασσιγνεδ το ειτηερ χλυστερ Α ορ χλυστερ Β ωιτη
προβαβιλιτιεσ χοµπυτεδ φροµ τηε ρεχογνιτιον µοδελ.
Χαυσαλ Μοδελσ
Φιγυρε 10.1Α προϖιδεσ α σιµπλε εξαµπλε οφ στρυχτυρεδ δατα τηατ συγ−
γεστσ υνδερλψινγ χαυσεσ. Ιν τηισ χασε, τηε ινπυτ τακεσ τηε φορµ οφ α τωο−
χοµπονεντ ϖεχτορ, υ = (υ 1 , υ 2 ). Α χολλεχτιον οφ σαµπλε ινπυτσ τηατ ωε ωιση
το ρεπρεσεντ ιν τερµσ οφ υνδερλψινγ χαυσεσ ισ ινδιχατεδ βψ τηε 40 χροσσεσ ιν
⇒γυρε 10.1Α. Τηεσε ινπυτσ αρε δραων φροµ α προβαβιλιτψ δενσιτψ π[υ] τηατ
ωε χαλλ τηε ινπυτ διστριβυτιον. Χλεαρλψ, τηερε αρε τωο χλυστερσ οφ ποιντσ ιν
⇒γυρε 10.1Α, ονε χεντερεδ νεαρ (0, 1) ανδ τηε οτηερ νεαρ (1, 0).
ινπυτ διστριβυτιον
π[υ]
Μανψ προχεσσεσ χαν γενερατε χλυστερεδ δατα. Φορ εξαµπλε, υ 1 ανδ υ 2 µιγητ
βε χηαραχτεριζατιονσ οφ τηε ϖολταγε ρεχορδεδ ον αν εξτραχελλυλαρ ελεχτροδε
ιν ρεσπονσε το αν αχτιον ποτεντιαλ. Ιντερπρετεδ ιν τηισ ωαψ, τηεσε δατα συγ−
γεστ τηατ ωε αρε λοοκινγ ατ σπικεσ προδυχεδ βψ τωο νευρονσ (χαλλεδ Α
ανδ Β), ωηιχη αρε τηε υνδερλψινγ χαυσεσ οφ τηε τωο χλυστερσ σεεν ιν ⇒γ−
υρε 10.1Α. Α µορε χοµπαχτ ανδ χαυσαλ δεσχριπτιον οφ τηε δατα χαν βε προ−
ϖιδεδ βψ α σινγλε ουτπυτ ϖαριαβλε v τηατ τακεσ τηε ϖαλυε Α ορ Β φορ εαχη δατα
ποιντ, ρεπρεσεντινγ ωηιχη οφ τηε τωο νευρονσ ωασ ρεσπονσιβλε φορ α παρτιχ−
υλαρ αχτιον ποτεντιαλ. ∆ιρεχτλψ ρεαδινγ τηε ουτπυτ οφ συχη α µοδελ ωουλδ
βε αν εξαµπλε οφ δετερµινιστιχ ρεχογνιτιον, ωιτη v(υ) = Α ορ Β προϖιδινγ
τηε µοδελσ εστιµατε οφ ωηιχη νευρον προδυχεδ τηε σπικε ασσοχιατεδ ωιτη
ινπυτ υ. Ωε χονσιδερ, ινστεαδ, α µοδελ ωιτη προβαβιλιστιχ ρεχογνιτιον τηατ
εστιµατεσ τηε προβαβιλιτψ τηατ τηε σπικε ωιτη ινπυτ δατα υ ωασ γενερατεδ
βψ ειτηερ νευρον Α ορ νευρον Β.
Ιν τηισ εξαµπλε, ωε ασσυµε φροµ τηε σταρτ τηατ τηερε αρε τωο ποσσιβλε, µυ−
τυαλλψ εξχλυσιϖε χαυσεσ φορ τηε δατα ποιντσ, τηε τωο νευρονσ Α ανδ Β. Βψ
µακινγ τηισ ασσυµπτιον, ωηιχη ισ παρτ οφ τηε ηευριστιχσ υνδερλψινγ τηε
γενερατιϖε µοδελ, ωε αϖοιδ τηε προβλεµ οφ ιδεντιφψινγ τηε νυµβερ οφ ποσ−