Theoretical Neuroscience

8.6 Αππενδιξ 327
πλαστιχ. Ιν τηε λαττερ χασε, αντι−Ηεββιαν πλαστιχιτψ χαν ενσυρε δεχορρελατιον
οφ µυλτιπλε ουτπυτ υνιτσ. Ωε αλσο χονσιδερεδ τηε ρολε οφ χοµπετιτιον ανδ
χοοπερατιον ιν µοδελσ οφ αχτιϖιτψ−δεπενδεντ δεϖελοπµεντ, ανδ δεσχριβεδ
τωο εξαµπλεσ οφ φεατυρε−βασεδ µοδελσ, τηε σελφ−οργανιζινγ µαπ ανδ τηε
ελαστιχ νετ.
Φιναλλψ, ωε χονσιδερεδ συπερϖισεδ λεαρνινγ αππλιεδ το βιναρψ χλασσι⇒χα−
τιον ανδ φυνχτιον αππροξιµατιον, υσινγ συπερϖισεδ Ηεββιαν λεαρνινγ, τηε
περχεπτρον λεαρνινγ ρυλε, ανδ γραδιεντ δεσχεντ λεαρνινγ τηρουγη τηε δελτα
ρυλε. Ωε αλσο τρεατεδ χοντραστιϖε Ηεββιαν λεαρνινγ φορ τηε Βολτζµανν µα−
χηινε, ινϖολϖινγ Ηεββιαν ανδ αντι−Ηεββιαν υπδατεσ ιν διφφερεντ πηασεσ.
8.6 Αππενδιξ
Χονϖεργενχε οφ τηε Περχεπτρον Λεαρνινγ Ρυλε
Φορ χονϖενιενχε, ωε τακε ǫ w = 1 ανδ σταρτ τηε περχεπτρον λεαρνινγ ρυλε
(εθυατιον 8.56) ωιτη ω = 0 ανδ γ = 0. Τηεν, υνδερ πρεσεντατιον οφ τηε
σαµπλε µ, τηε χηανγεσ ιν τηε ωειγητσ ανδ τηρεσηολδ αρε γιϖεν βψ
ω = 1 2 (vµ − v(υ µ ))υ µ ανδ γ =− 1 2 (vµ − v(υ µ )). (8.73)
Γιϖεν α ⇒νιτε, λινεαρλψ σεπαραβλε προβλεµ, τηερε µυστ βε α σετ οφ ωειγητσ
ω ∗ ανδ α τηρεσηολδ γ ∗ τηατ αρε νορµαλιζεδ (|ω ∗ | 2 + (γ ∗ ) 2 = 1) ανδ αλλοω
τηε περχεπτρον το χατεγοριζε χορρεχτλψ, φορ ωηιχη ωε ρεθυιρε τηε χονδιτιον
(ω ∗ · υ µ − γ ∗ )v µ >δφορ σοµε δ>0 ανδ φορ αλλ µ.
Χονσιδερ τηε χοσινε οφ τηε ανγλε βετωεεν τηε χυρρεντ ωειγητσ ανδ τηρεση−
ολδ ω,γ ανδ τηε σολυτιον ω ∗ ,γ ∗
(ω,γ)= ω · ω∗ + γγ ∗
√
|ω|2 + (γ) = ψ(ω,γ) , (8.74)
2 |ω,γ|
το ιντροδυχε σοµε χοµπαχτ νοτατιον. Τηε περχεπτρον χονϖεργενχε τηεορεµ
προϖεσ τηατ τηε περχεπτρον λεαρνινγ ρυλε σολϖεσ ανψ σολϖαβλε χατεγοριζατιον
προβλεµ, βεχαυσε ασσυµινγ οτηερωισε ωουλδ ιµπλψ τηατ ωουλδ εϖεντυ−
αλλψ γροω λαργερ τηαν 1. Τηισ ισ ιµποσσιβλε φορ α χοσινε φυνχτιον, ωηιχη
µυστ λιε βετωεεν −1 ανδ 1.
Το σηοω τηισ, ωε χονσιδερ τηε χηανγε ιν ψ δυε το ονε στεπ οφ περχεπτρον
λεαρνινγ δυρινγ ωηιχη ω ανδ γ αρε µοδι⇒εδ βεχαυσε τηε χυρρεντ ωειγητσ
γενερατεδ τηε ωρονγ ρεσπονσε. Ωηεν αν ινχορρεχτ ρεσπονσε ισ γενερατεδ,
v(υ µ ) =−v µ ,σο(v µ − v(υ µ ))/2 = v µ , ανδ τηυσ
ψ = (ω ∗ · υ µ − γ ∗ )v µ >δ. (8.75)
Τηε ινεθυαλιτψ φολλοωσ φροµ τηε χονδιτιον ιµποσεδ ον ω ∗ ανδ γ ∗ ασ προ−
ϖιδινγ α σολυτιον οφ τηε χατεγοριζατιον προβλεµ. Ασσυµινγ τηατ ψ ισ ινι−
τιαλλψ ποσιτιϖε ανδ ιτερατινγ τηισ ρεσυλτ οϖερ ν στεπσ ιν ωηιχη τηε ωειγητσ