Theoretical Neuroscience

366 Ρεπρεσεντατιοναλ Λεαρνινγ
π[υ] π[υÁ] π[υÁ]
3
3
3
υ 3
υ 2
υ 1
υ 3
υ 2
υ 1
υ 3
υ 2
0
3
0
3
0
3
−3
−3
0
υ 1
3 −3 0
−3
−3
0
3 −3 0
−3
−3
0
3 −3 0
Φιγυρε 10.3 Φαχτορ αναλψσισ. (Α) Ινπυτ δατα ποιντσ δραων φροµ τηε διστριβυτιον
π[υ] αρε ινδιχατεδ βψ τηε χροσσεσ. (Β) Τηε ινιτιαλ γενερατιϖε µοδελ. Τηε σολιδ λινε
σηοωσ γ, ανδ τηε χροσσεσ αρε σψντηετιχ δατα, ωηιχη αρε σαµπλεσ φροµ τηε γενερατιϖε
διστριβυτιον π[υ;G] (ωιτη α = 0.0625, φορ αλλ α). (Χ) Τηε λινε γ ανδ σψντηετιχ δατα
ποιντσ γενερατεδ βψ τηε οπτιµαλ γενερατιϖε µοδελ.
σηοωσ ιντερµεδιατε ρεσυλτσ ατ τηρεε διφφερεντ τιµεσ δυρινγ τηε ρυννινγ οφ
τηε ΕΜ προχεδυρε, σταρτινγ φροµ τηε γενερατιϖε µοδελ ιν ⇒γυρε 10.1Β ανδ
ενδινγ υπ ωιτη τηε ⇒τ σηοων ιν ⇒γυρε 10.1Χ.
Χοντινυουσ Γενερατιϖε Μοδελσ
Τηεδαταοφ⇒γυρε 10.1Α χονσιστ οφ τωο σεπαρατεδ χλυστερσ οφ ποιντσ, σο α
χαυσε v τηατ τακεσ ονλψ τωο διφφερεντ ϖαλυεσ ισ αππροπριατε. Φιγυρε 10.3Α
σηοωσ δατα τηατ συγγεστ τηε νεεδ φορ α χοντινυουσ ϖαριαβλε v. Ωε χαν
τηινκ οφ τηεσε δατα ασ τηε ουτπυτσ οφ τηρεε νοισψ σενσορσ, εαχη µεασυρινγ
τηε σαµε θυαντιτψ. Ιν τηισ χασε, τηε χαυσε v ρεπρεσεντσ τηε ϖαλυε οφ τηε
θυαντιτψ βεινγ µεασυρεδ, ανδ ρεχογνιτιον χορρεσπονδσ το εξτραχτινγ τηισ
ϖαλυε φροµ τηε σενσορ ουτπυτσ. Βεχαυσε v ισ α χοντινυουσ ϖαριαβλε, τηε
πριορ ανδ ρεχογνιτιον διστριβυτιονσ ιν τηισ χασε αρε προβαβιλιτψ δενσιτιεσ,
π[v;G] ανδ π[v|υ;G].
Ασ ιν τηε χασε οφ χλυστερινγ, τηε γενερατιϖε µοδελ ισ δετερµινεδ βψ τηε
πριορ διστριβυτιον π[v;G] ανδ τηε γενερατιϖε διστριβυτιον π[υ|v;G], ωηερε
υ = (υ 1 , υ 2 , υ 3 ) ρεπρεσεντσ τηε τηρεε σενσορ ρεαδινγσ. Α σιµπλε χηοιχε φορ
τηε πριορ διστριβυτιον οϖερ v ισ α Γαυσσιαν ωιτη µεαν 0 ανδ ϖαριανχε 1.
Τηε γενερατιϖε διστριβυτιον ισ δεσιγνεδ το χαπτυρε τηε φαχτ τηατ τηε δατα
ποιντσ ιν ⇒γυρε 10.3Α λιε αλονγ α λινε ιν τηε τηρεε−διµενσιοναλ σπαχε. Ιτ ισ
τηε προδυχτ οφ τηρεε Γαυσσιαν φυνχτιονσ, ονε φορ εαχη οφ τηε σενσορσ, ωιτη
µεανσ γ α v ανδ ϖαριανχεσ α φορ α = 1, 2, 3. Τηε ϖεχτορ γ = (γ 1 , γ 2 , γ 3 ) σπεχ−
ι⇒εσ τηε διρεχτιον οφ τηε λινε αλονγ ωηιχη σψντηετιχ δατα ποιντσ προδυχεδ
βψ τηε γενερατιϖε µοδελ λιε, ανδ τηε ϖαριανχεσ δετερµινε ηοω τιγητλψ
τηε ποιντσ ηυγ τηισ λινε ιν εαχη ινπυτ διµενσιον. Ιν τηε εξαµπλε οφ ⇒γ−
υρε 10.3Α, τηε σενσορσ αλλ µεασυρε τηε σαµε θυαντιτψ. Τηυσ, φροµ αν αρβι−
τραρψ ινιτιαλ γ, τηε γενερατιϖε µοδελ µυστ ⇒νδ τηε βεστ ⇒τ, γ ∝ (1, 1, 1).
Φιγυρε 10.3Β σηοωσ σψντηετιχ δατα ποιντσ γενερατεδ φροµ τηε γενερατιϖε