Theoretical Neuroscience

376 Ρεπρεσεντατιοναλ Λεαρνινγ
πηασε προδυχεσ α νεω ϖαλυε οφ γ γιϖεν βψ
γ = 〈v(υ)υ〉
〈v 2 (υ)〉 . (10.26)
Τηισ δεπενδσ ονλψ ον τηε χοϖαριανχε µατριξ οφ τηε ινπυτ διστριβυτιον, ασ
δοεσ τηε µορε γενεραλ φορµ γιϖεν ιν τηε αππενδιξ. Υνδερ ΕΜ, εθυα−
τιονσ 10.24 ανδ 10.26 αρε αλτερνατεδ υντιλ χονϖεργενχε.
Φορ πρινχιπαλ χοµπονεντσ αναλψσισ, ωε χαν σαψ µορε αβουτ τηε ϖαλυε οφ
γ ατ χονϖεργενχε. Ωε χονσιδερ τηε χασε |γ| 2 = 1 βεχαυσε ωε χαν αλωαψσ
µυλτιπλψ γ ανδ διϖιδε v(υ) βψ τηε σαµε φαχτορ το µακε τηισ τρυε ωιτηουτ
αφφεχτινγ τηε δοµιναντ τερµ ιν F (v(υ),G) ασ → 0. Τηεν, τηε γ τηατ
µαξιµιζεσ τηισ δοµιναντ τερµ µυστ µινιµιζε
〈
|υ − γ(γ · υ)|
2 〉 = 〈 |υ| 2 − (γ · υ) 2〉 . (10.27)
Ηερε, ωε ηαϖε υσεδ εξπρεσσιον 10.24 φορ v(υ). Μινιµιζινγ 10.27 ωιτη ρε−
σπεχτ το γ, συβϕεχτ το τηε χονστραιντ |γ| 2 = 1, γιϖεσ τηε ρεσυλτ τηατ γ ισ τηε
ειγενϖεχτορ οφ τηε χοϖαριανχε µατριξ 〈υυ〉 ωιτη µαξιµυµ ειγενϖαλυε. Τηισ
ισ ϕυστ τηε πρινχιπαλ χοµπονεντ ϖεχτορ ανδ ισ εθυιϖαλεντ το ⇒νδινγ τηε ϖεχ−
τορ οφ υνιτ λενγτη ωιτη τηε λαργεστ ποσσιβλε αϖεραγε προϕεχτιον οντο υ. Νοτε
τηατ τηερε αρε ωαψσ οτηερ τηαν ΕΜ φορ ⇒νδινγ ειγενϖεχτορσ οφ τηισ µατριξ.
Τηε αργυµεντ ωε ηαϖε γιϖεν σηοωσ τηατ πρινχιπαλ χοµπονεντσ αναλψσισ
ισ α δεγενερατε φορµ οφ φαχτορ αναλψσισ. Τηισ ισ αλσο τρυε ιφ µορε τηαν ονε
φαχτορ ισ χονσιδερεδ, αλτηουγη µαξιµιζινγ F χονστραινσ τηε προϕεχτιονσ
Γ · υ ανδ τηερεφορε ισ συφ⇒χιεντ ονλψ το φορχε Γ το ρεπρεσεντ τηε πρινχιπαλ
χοµπονεντσ συβσπαχε οφ τηε δατα. Τηε σαµε συβσπαχε εµεργεσ φροµ φυλλ
φαχτορ αναλψσισ προϖιδεδ τηατ τηε ϖαριανχεσ οφ αλλ τηε φαχτορσ αρε εθυαλ, εϖεν
ωηεν τηεψ αρε νονζερο.
Φιγυρε 10.4 ιλλυστρατεσ αν ιµπορταντ διφφερενχε βετωεεν φαχτορ αναλψσισ ανδ
πρινχιπαλ χοµπονεντσ αναλψσισ. Ιν τηισ εξαµπλε, υ ισ α τηρεε−χοµπονεντ
ινπυτ ϖεχτορ, υ = (υ 1 , υ 2 , υ 3 ).ϑυστασιν⇒γυρε 10.3, σαµπλεσ οφ ινπυτ δατα
ωερε γενερατεδ ον τηε βασισ οφ α τρυε χαυσε, v τρυε αχχορδινγ το
υ β = v τρυε + ǫ β , (10.28)
ωηερε ǫ β ρεπρεσεντσ τηε νοισε αδδεδ το χοµπονεντ β οφ τηε ινπυτ. Ινπυτ
δατα ποιντσ ωερε γενερατεδ φροµ τηισ εθυατιον βψ χηοοσινγ α ϖαλυε οφ v τρυε
φροµ α Γαυσσιαν διστριβυτιον ωιτη µεαν 0 ανδ ϖαριανχε 1, ανδ ϖαλυεσ οφ ǫ β
φροµ ινδεπενδεντ Γαυσσιαν διστριβυτιονσ ωιτη 0 µεανσ. Τηε ϖαριανχεσ οφ
τηε διστριβυτιονσ φορ ǫ 1 , ǫ 2 ,ανδǫ 3 ωερε αλλ αρε εθυαλ το 0.25 ιν ⇒γυρεσ 10.4Α
ανδ 10.4Β. Ηοωεϖερ, ιν ⇒γυρεσ 10.4Χ ανδ 10.4∆, τηε ϖαριανχε φορ ǫ 3 ισ
µυχη λαργερ (εθυαλ το 9), ασ ιφ τηε τηιρδ σενσορ ωασ µυχη νοισιερ τηαν τηε
οτηερ τωο σενσορσ. Τηε γραπησ ιν ⇒γυρε 10.3 σηοω τηε µεαν οφ τηε ϖαλ−
υεσ οφ v εξτραχτεδ φροµ σαµπλε ινπυτσ βψ φαχτορ αναλψσισ, ορ τηε ϖαλυε οφ
v φορ πρινχιπαλ χοµπονεντσ αναλψσισ, ασ α φυνχτιον οφ τηε τρυε ϖαλυε υσεδ
το γενερατε τηε δατα. Περφεχτ εξτραχτιον οφ τηε υνδερλψινγ χαυσε ωουλδ
ηαϖε v = v τρυε , βυτ τηισ ισ ιµποσσιβλε ιν τηισ χασε βεχαυσε οφ τηε νοισε. Τηε