Theoretical Neuroscience

8.3 Υνσυπερϖισεδ Λεαρνινγ 295
1
0.8
ω 2 /ωµαξ
0.6
0.4
0.2
0
0 0.2 0.4 0.6 0.8 1
ω 1 /ω µαξ
Φιγυρε 8.3 Ηεββιαν ωειγητ δψναµιχσ ωιτη σατυρατιον. Τηε χορρελατιον µατριξ οφ
τηε ινπυτ ϖεχτορσ ηαδ διαγοναλ ελεµεντσ εθυαλ το 1 ανδ οφφ−διαγοναλ ελεµεντσ οφ
−0.4. Τηε πρινχιπαλ ειγενϖεχτορ, ε 1 = (1,−1)/2 1/2 , δοµινατεσ τηε δψναµιχσ ιφ τηε
ινιτιαλ ϖαλυεσ οφ τηε ωειγητσ αρε σµαλλ ενουγη (βελοω ορ το τηε λεφτ οφ τηε δασηεδ
λινεσ). Τηισ µακεσ τηε ωειγητ ϖεχτορ µοϖε το τηε χορνερσ (w µαξ , 0) ορ (0,w µαξ ).
Ηοωεϖερ, σταρτινγ τηε ωειγητσ ωιτη λαργερ ϖαλυεσ (βετωεεν τηε δασηεδ λινεσ) αλλοωσ
σατυρατιον το οχχυρ ατ τηε χορνερ (w µαξ ,w µαξ ). (Αδαπτεδ φροµ ΜαχΚαψ & Μιλλερ,
1990.)
Βεχαυσε τηε δοτ προδυχτ χορρεσπονδσ το α προϕεχτιον οφ ονε ϖεχτορ οντο αν−
οτηερ, Ηεββιαν πλαστιχιτψ χαν βε ιντερπρετεδ ασ προδυχινγ αν ουτπυτ προ−
πορτιοναλ το τηε προϕεχτιον οφ τηε ινπυτ ϖεχτορ οντο τηε πρινχιπαλ ειγενϖεχ−
τορ οφ τηε χορρελατιον µατριξ οφ τηε ινπυτσ υσεδ δυρινγ τραινινγ. Ωε δισχυσσ
τηε σιγνι⇒χανχε οφ τηισ ρεσυλτ ιν τηε νεξτ σεχτιον.
Τηε προπορτιοναλιτψ σιγν ιν εθυατιον 8.21 ηιδεσ τηε λαργε µυλτιπλιχατιϖε
φαχτορ εξπ(λ 1 τ/τ w ) τηατ ισ α χονσεθυενχε οφ τηε ποσιτιϖε φεεδβαχκ ινηερεντ
ιν Ηεββιαν πλαστιχιτψ. Ονε ωαψ το λιµιτ γροωτη οφ τηε ωειγητ ϖεχτορ ιν
εθυατιον 8.5 ισ το ιµποσε α σατυρατιον χονστραιντ. Τηισ χαν ηαϖε σιγνι⇒χαντ
εφφεχτσ ον τηε ουτχοµε οφ Ηεββιαν µοδι⇒χατιον, ινχλυδινγ, ιν σοµε χασεσ,
πρεϖεντινγ τηε ωειγητ ϖεχτορ φροµ ενδινγ υπ προπορτιοναλ το τηε πρινχιπαλ
ειγενϖεχτορ. Φιγυρε 8.3 σηοωσ εξαµπλεσ οφ τηε Ηεββιαν δεϖελοπµεντ οφ
τηε ωειγητσ ιν α χασε ωιτη ϕυστ τωο ινπυτσ. Φορ τηε χορρελατιον µατριξ υσεδ
ιν τηισ εξαµπλε, τηε πρινχιπαλ ειγενϖεχτορ ισ ε 1 = (1,−1)/2 1/2 , σο αν αναλ−
ψσισ τηατ ιγνορεδ σατυρατιον ωουλδ πρεδιχτ τηατ ονε ωειγητ ωουλδ ινχρεασε
ωηιλε τηε οτηερ δεχρεασεδ. Ωηιχη ωειγητ µοϖεσ ιν ωηιχη διρεχτιον ισ χον−
τρολλεδ βψ τηε ινιτιαλ χονδιτιονσ. Γιϖεν τηε χονστραιντσ, τηισ ωουλδ συγγεστ
τηατ (w µαξ , 0) ανδ (0,w µαξ ) αρε τηε µοστ λικελψ ⇒ναλ χον⇒γυρατιονσ. Τηισ
αναλψσισ γιϖεσ τηε χορρεχτ ανσωερ ονλψ φορ τηε ρεγιονσ ιν ⇒γυρε 8.3 βελοω ορ
το τηε λεφτ οφ τηε δασηεδ λινεσ. Βετωεεν τηε δασηεδ λινεσ, τηε ⇒ναλ στατε ισ
ω = (w µαξ ,w µαξ ) βεχαυσε τηε ωειγητσ ηιτ τηε σατυρατιον βουνδαρψ βεφορε
τηε εξπονεντιαλ γροωτη ισ λαργε ενουγη το αλλοω τηε πρινχιπαλ ειγενϖεχτορ
το δοµινατε.
Ανοτηερ ωαψ το ελιµινατε τηε λαργε εξπονεντιαλ φαχτορ ιν τηε ωειγητσ ισ το