Theoretical Neuroscience

342 Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ
Ωε χονσιδερ τωο σιµπλε µετηοδσ οφ σολϖινγ τηε βεε φοραγινγ τασκ. Ιν τηε
⇒ρστ µετηοδ, χαλλεδ τηε ινδιρεχτ αχτορ, τηε βεε λεαρνσ το εστιµατε τηε εξ−
πεχτεδ νεχταρ ϖολυµεσ προϖιδεδ βψ εαχη ⇓οωερ βψ υσινγ α δελτα ρυλε. Ιτ
τηεν βασεσ ιτσ αχτιον χηοιχε ον τηεσε εστιµατεσ. Ιν τηε σεχονδ µετηοδ,
χαλλεδ τηε διρεχτ αχτορ, τηε χηοιχε οφ αχτιονσ ισ βασεδ διρεχτλψ ον µαξιµιζινγ
τηε εξπεχτεδ αϖεραγε ρεωαρδ.
Τηε Ινδιρεχτ Αχτορ
ινδιρεχτ αχτορ
Ονε χουρσε φορ τηε βεε το φολλοω ισ το λεαρν τηε αϖεραγε νεχταρ ϖολυµεσ
προϖιδεδ βψ εαχη τψπε οφ ⇓οωερ ανδ βασε ιτσ αχτιον χηοιχε ον τηεσε. Τηισ ισ
χαλλεδ αν ινδιρεχτ αχτορ σχηεµε, βεχαυσε τηε πολιχψ ισ µεδιατεδ ινδιρεχτλψ
βψ τηε εξπεχτεδ ϖολυµεσ. Ηερε, τηισ µεανσ σεττινγ τηε αχτιον ϖαλυεσ το
µ β =〈ρ β 〉 ανδ µ ψ =〈ρ ψ 〉 . (9.13)
Ιν ουρ δισχυσσιον οφ χλασσιχαλ χονδιτιονινγ, ωε σαω τηατ τηε Ρεσχορλα−
Ωαγνερ ορ δελτα ρυλε δεϖελοπσ ωειγητσ τηατ αππροξιµατε τηε αϖεραγε ϖαλυε
οφ α ρεωαρδ, ϕυστ ασ ρεθυιρεδ φορ εθυατιον 9.13. Τηυσ, ιφ τηε βεε χηοοσεσ α
βλυε ⇓οωερ ον α τριαλ ανδ ρεχειϖεσ νεχταρ ϖολυµε ρ β , ιτ σηουλδ υπδατε µ β
αχχορδινγ το τηε πρεδιχτιον ερρορ βψ
µ β → µ β + ǫδ ωιτη δ = ρ β − µ β , (9.14)
ανδ λεαϖε µ ψ υνχηανγεδ. Ιφ ιτ λανδσ ον α ψελλοω ⇓οωερ, µ ψ ισ χηανγεδ το
µ ψ + ǫδ ωιτη δ = ρ ψ − µ ψ , ανδ µ β ισ υνχηανγεδ. Ιφ τηε προβαβιλιτψ δενσιτιεσ
οφ ρεωαρδ π[ρ β ] ανδ π[ρ ψ ] χηανγε σλοωλψ ρελατιϖε το τηε λεαρνινγ ρατε, µ β
ανδ µ ψ ωιλλ τραχκ 〈ρ β 〉 ανδ 〈ρ ψ 〉, ρεσπεχτιϖελψ.
Φιγυρε 9.4 σηοωσ τηε περφορµανχε οφ τηε ινδιρεχτ αχτορ ον τηε τωο−⇓οωερ
φοραγινγ τασκ. Φιγυρε 9.4Α σηοωσ τηε χουρσε οφ ωειγητ χηανγε δυε το τηε
δελτα ρυλε ιν ονε εξαµπλε ρυν. Φιγυρεσ 9.4Β−∆ ινδιχατε τηε θυαλιτψ οφ τηε
αχτιον χηοιχε βψ σηοωινγ χυµυλατιϖε συµσ οφ τηε νυµβερ οφ ϖισιτσ το βλυε
ανδ ψελλοω ⇓οωερσ ιν τηρεε διφφερεντ ρυνσ. Φορ ιδεαλ περφορµανχε ιν τηισ
τασκ, τηε δασηεδ λινε ωουλδ ηαϖε σλοπε 1 υντιλ τριαλ 100 ανδ 0 τηερεαφτερ,
ανδ τηε σολιδ λινε ωουλδ σηοω τηε ρεϖερσε βεηαϖιορ, χλοσε το ωηατ ισ σεεν
ιν ⇒γυρε 9.4Χ. Τηισ ρε⇓εχτσ τηε χονσιστεντ χηοιχε οφ τηε οπτιµαλ ⇓οωερ ιν
βοτη ηαλϖεσ οφ τηε τριαλ. Α ϖαλυε οφ β = 1(⇒γυρε 9.4Β) αλλοωσ φορ χοντινυ−
ουσ εξπλορατιον, βυτ ατ τηε χοστ οφ σλοω λεαρνινγ. Ωηεν β = 50 (⇒γυρε 9.4Χ
& ∆), τηε τενδενχψ το εξπλοιτ σοµετιµεσ λεαδσ το γοοδ περφορµανχε (⇒γ−
υρε 9.4Χ), βυτ οτηερ τιµεσ, τηε ασσοχιατεδ ρελυχτανχε το εξπλορε χαυσεσ τηε
πολιχψ το περφορµ ποορλψ (⇒γυρε 9.4∆).
Φιγυρε 9.5Α σηοωσ αχτιον χηοιχεσ οφ ρεαλ βυµβλεβεεσ ιν α φοραγινγ εξπερ−
ιµεντ. Τηισ εξπεριµεντ ωασ δεσιγνεδ το τεστ ρισκ αϖερσιον ιν τηε βεεσ, σο
τηε βλυε ανδ ψελλοω ⇓οωερσ διφφερεδ ιν τηε ρελιαβιλιτψ ρατηερ τηαν τηε θυαν−
τιτψ οφ τηειρ νεχταρ δελιϖερψ. Φορ τηε ⇒ρστ 15 τριαλσ (εαχη ινϖολϖινγ 40 ϖισιτσ
το ⇓οωερσ), βλυε ⇓οωερσ αλωαψσ προϖιδεδ 2 µλ οφ νεχταρ, ωηερεασ 1 3
οφ τηε
ψελλοω ⇓οωερσ προϖιδεδ 6 µλ, ανδ 2 3
προϖιδεδ νοτηινγ (νοτε τηατ τηε µεαν