Theoretical Neuroscience

10.3 Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον 385
Αππενδιξ), τηε ωειγητ χηανγε χαν βε µυλτιπλιεδ βψ Ω Τ Ω ωιτηουτ αφφεχτ−
ινγ τηε ⇒ξεδ ποιντσ οφ τηε υπδατε ρυλε. Τηισ µεανσ τηατ τηε αλτερνατιϖε
λεαρνινγ ρυλε
Ω αβ → Ω αβ + ǫ ( Ω αβ + γ ′ )
(v α ) [ϖ · Ω] β (10.39)
ηασ τηε σαµε ποτεντιαλ ⇒ναλ ωειγητ µατριχεσ ασ εθυατιον 10.38. Τηισ ισ
χαλλεδ α νατυραλ γραδιεντ ρυλε, ανδ ιτ αϖοιδσ τηε µατριξ ινϖερσιον οφ Ω ασ
ωελλ ασ προϖιδινγ φαστερ χονϖεργενχε. Εθυατιον 10.39 χαν βε ιντερπρετεδ
ασ τηε συµ οφ αν αντι−δεχαψ τερµ τηατ φορχεσ Ω αωαψ φροµ 0, ανδ α γεν−
εραλιζεδ τψπε οφ αντι−Ηεββιαν τερµ. Τηε χηοιχε οφ πριορ π[v] ∝ 1/ χοση(v)
µακεσ γ ′ (v) =−τανη(v) ανδ προδυχεσ τηε ρυλε
Ω αβ → Ω αβ + ǫ ( Ω αβ − τανη(v α ) [ϖ · Ω] β
) . (10.40)
Τηισ αλγοριτηµ ισ χαλλεδ ινδεπενδεντ χοµπονεντσ αναλψσισ. ϑυστ ασ τηε
σπαρσε χοδινγ νετωορκ ισ α νονλινεαρ γενεραλιζατιον οφ φαχτορ αναλψσισ, ιν−
δεπενδεντ χοµπονεντσ αναλψσισ ισ α νονλινεαρ γενεραλιζατιον οφ πρινχιπαλ
χοµπονεντσ αναλψσισ τηατ αττεµπτσ το αχχουντ φορ νον−Γαυσσιαν φεατυρεσ οφ
τηε ινπυτ διστριβυτιον. Τηε γενερατιϖε µοδελ ισ βασεδ ον τηε ασσυµπτιον
τηατ υ=Γ · ϖ. Σοµε οτηερ τεχηνιχαλ χονδιτιονσ µυστ βε σατισ⇒εδ φορ ιν−
δεπενδεντ χοµπονεντσ αναλψσισ το εξτραχτ ρεασοναβλε χαυσεσ. Σπεχι⇒χαλλψ,
τηε πριορ διστριβυτιονσ οϖερ χαυσεσ π[v] ∝ εξπ(γ(v)) µυστ βε νον−Γαυσσιαν
ανδ, ατ λεαστ το τηε εξτεντ οφ βεινγ χορρεχτλψ συπερ− ορ συβ−Γαυσσιαν, µυστ
φαιτηφυλλψ ρε⇓εχτ τηε αχτυαλ διστριβυτιον οϖερ χαυσεσ. Τηε παρτιχυλαρ φορµ
π[v] ∝ 1/ χοση(v) ισ συπερ−Γαυσσιαν, ανδ τηυσ γενερατεσ α σπαρσε πριορ.
Τηερε αρε ϖαριαντσ οφ ινδεπενδεντ χοµπονεντσ αναλψσισ ιν ωηιχη τηε πριορ
διστριβυτιονσ αρε αδαπτιϖε.
Τηε ινδεπενδεντ χοµπονεντσ αλγοριτηµ ωασ συγγεστεδ βψ Βελλ ανδ Σε−
ϕνοωσκι (1995) φροµ τηε διφφερεντ περσπεχτιϖε οφ µαξιµιζινγ τηε µυτυαλ
ινφορµατιον βετωεεν υ ανδ ϖ ωηεν v α (υ) = φ([Ω · υ] α ), ωιτη α παρτιχυλαρ,
µονοτονιχαλλψ ινχρεασινγ νονλινεαρ φυνχτιον φ . Μαξιµιζινγ τηε µυτυαλ
ινφορµατιον ιν τηισ χοντεξτ ρεθυιρεσ µαξιµιζινγ τηε εντροπψ οφ τηε διστρι−
βυτιον οϖερ ϖ. Τηισ, ιν τυρν, ρεθυιρεσ τηε χοµπονεντσ οφ ϖ το βε ασ ινδεπεν−
δεντ ασ ποσσιβλε βεχαυσε ρεδυνδανχψ βετωεεν τηεµ ρεδυχεσ τηε εντροπψ.
Ιν τηε χασε τηατ φ(v) = γ ′ (v), τηε εξπρεσσιον φορ τηε εντροπψ ισ τηε σαµε ασ
τηατ φορ τηε λογ λικελιηοοδ ιν εθυατιον 10.37, υπ το χονσταντ φαχτορσ. Τηυσ,
µαξιµιζινγ τηε εντροπψ ανδ περφορµινγ µαξιµυµ λικελιηοοδ δενσιτψ εσ−
τιµατιον αρε ιδεντιχαλ.
Αν αδϖανταγε οφ ινδεπενδεντ χοµπονεντσ αναλψσισ οϖερ οτηερ σπαρσε χοδ−
ινγ αλγοριτηµσ ισ τηατ, βεχαυσε τηε ρεχογνιτιον µοδελ ισ αν εξαχτ ινϖερσε
οφ τηε γενερατιϖε µοδελ, ρεχεπτιϖε ασ ωελλ ασ προϕεχτιϖε ⇒ελδσ χαν βε χον−
στρυχτεδ. ϑυστ ασ τηε προϕεχτιϖε ⇒ελδ φορ v α χαν βε ρεπρεσεντεδ βψ τηε µατριξ
ελεµεντσ Γ αβ φορ αλλ β ϖαλυεσ, τηε ρεχεπτιϖε ⇒ελδ ισ γιϖεν βψ Ω αβ φορ αλλ β.
Το ιλλυστρατε ινδεπενδεντ χοµπονεντσ αναλψσισ, ⇒γυρε 10.8 σηοωσ αν (αδ−
µιττεδλψ βιζαρρε) εξαµπλε οφ ιτσ αππλιχατιον το τηε σουνδσ χρεατεδ βψ
ταππινγ α τοοτη ωηιλε αδϕυστινγ τηε σηαπε οφ τηε µουτη το ρεπροδυχε α