Theoretical Neuroscience

374 Ρεπρεσεντατιοναλ Λεαρνινγ
δισχυσσ τηισ λιµιτ φορ τωο χλυστερσ, ασ ιν ⇒γυρε 10.1. Ωηεν ισ εξτρεµελψ
σµαλλ, τηε ρεχογνιτιον διστριβυτιον Π[v|υ;G] οφ εθυατιον 10.19 δεγενερατεσ
βεχαυσε ιτ τακεσ εσσεντιαλλψ τωο ϖαλυεσ, 0 ορ 1, δεπενδινγ ον ωηετηερ υ
ισ χλοσερ το ονε χλυστερ ορ τηε οτηερ. Τηισ προϖιδεσ α δετερµινιστιχ, ρατηερ
τηαν α προβαβιλιστιχ, χλασσι⇒χατιον οφ υ. Ιν τηε δεγενερατε χασε, ΕΜ χονσιστσ
οφ χηοοσινγ τωο ρανδοµ ϖαλυεσ φορ τηε χεντερσ οφ τηε τωο χλυστερ διστρι−
βυτιονσ, ανδ τηεν ρεπεατεδλψ ⇒νδινγ αλλ τηε ινπυτσ υ τηατ αρε χλοσεστ το α
γιϖεν χεντερ γ v , ανδ τηεν µοϖινγ γ v το τηε αϖεραγε οφ τηεσε ποιντσ. Τηισ
ισ χαλλεδ τηε Κ−µεανσ αλγοριτηµ (ωιτη Κ = 2 φορ τωο χλυστερσ). Τηε µιξινγ
προπορτιονσ γ v δο νοτ πλαψ αν ιµπορταντ ρολε φορ τηε Κ−µεανσ αλγοριτηµ.
Νεω ινπυτ ποιντσ αρε ρεχογνιζεδ ασ βελονγινγ το τηε χλυστερσ το ωηιχη τηεψ
αρε χλοσεστ.
Φαχτορ Αναλψσισ
Τηε µοδελ υσεδ ιν ⇒γυρε 10.3 ισ αν εξαµπλε οφ φαχτορ αναλψσισ. Ιν γενεραλ,
φαχτορ αναλψσισ ινϖολϖεσ α χοντινυουσ ϖεχτορ οφ χαυσεσ, ϖ, δραων φροµ α
Γαυσσιαν πριορ διστριβυτιον, ανδ υσεσ α Γαυσσιαν γενερατιϖε διστριβυτιον
ωιτη α µεαν τηατ δεπενδσ λινεαρλψ ον ϖ. Ωε ασσυµε τηατ τηε διστριβυτιον
π[υ] ηασ α µεαν οφ 0 (νονζερο µεανσ χαν βε αχχοµµοδατεδ σιµπλψ βψ
σηιφτινγ τηε ινπυτ δατα). Τηε δε⇒νινγ διστριβυτιονσ φορ φαχτορ αναλψσισ αρε
τηυσ
π[ϖ;G] = N (ϖ; 0, 1) ανδ π[υ|ϖ;G] = N (υ; Γ · ϖ,), (10.20)
ωηερε τηε εξτενσιον οφ εθυατιον 10.18, εξπρεσσεδ ιν τερµσ οφ τηε µεαν γ
ανδ χοϖαριανχε µατριξ ,ισ
(
1
N (υ; γ,) =
((2π) εξπ − 1 )
Ν υ |δετ|) 1/2 2 (υ − γ) · −1 · (υ − γ) .
(10.21)
Τηε εξπρεσσιον |δετ| ινδιχατεσ τηε (αβσολυτε) ϖαλυε οφ τηε δετερµιναντ οφ
. Ιν φαχτορ αναλψσισ, ισ τακεν το βε διαγοναλ, = διαγ( 1 ,..., Νυ ) (σεε
τηε Ματηεµατιχαλ Αππενδιξ), ωιτη αλλ τηε διαγοναλ ελεµεντσ στριχτλψ ποσ−
ιτιϖε, σο ιτσ ινϖερσε ισ σιµπλψ −1 = διαγ(1/ 1 ,...,1/ Νυ ) ανδ |δετ|=
1 2 ... Νυ .
Βεχαυσε ισ διαγοναλ, τηε ινδιϖιδυαλ χοµπονεντσ οφ ϖ αρε µυτυαλλψ ινδε−
πενδεντ. Τηυσ, ανψ χορρελατιονσ βετωεεν τηε χοµπονεντσ οφ υ µυστ αρισε
φροµ τηε µεαν ϖαλυεσ Γ · ϖ οφ τηε γενερατιϖε διστριβυτιον. Το βε ωελλ σπεχ−
ι⇒εδ, τηε µοδελ ρεθυιρεσ ϖ το ηαϖε φεωερ διµενσιονσ τηαν υ (Ν v < Ν υ ). Ιν
τερµσ οφ ηευριστιχσ, φαχτορ αναλψσισ σεεκσ α ρελατιϖελψ σµαλλ νυµβερ οφ ιν−
δεπενδεντ χαυσεσ τηατ αχχουντ, ιν α λινεαρ µαννερ, φορ χολλεχτιϖε Γαυσσιαν
στρυχτυρε ιν τηε ινπυτσ.
Τηε ρεχογνιτιον διστριβυτιον φορ φαχτορ αναλψσισ ηασ τηε Γαυσσιαν φορµ
π[ϖ|υ;G] = N (ϖ; Ω · υ,), (10.22)