Theoretical Neuroscience

9.2 Χλασσιχαλ Χονδιτιονινγ 337
Τηισ ισ ϕυστ α δισχρετε τιµε ϖερσιον οφ τηε σορτ οφ λινεαρ ⇒λτερ υσεδ ιν χηαπ−
τερσ 1 ανδ 2.
Αρρανγινγ φορ v(τ) το πρεδιχτ τηε τοταλ φυτυρε ρεωαρδ ωουλδ αππεαρ το ρε−
θυιρε α σιµπλε µοδι⇒χατιον οφ τηε δελτα ρυλε ωε ηαϖε δισχυσσεδ πρεϖιουσλψ,
w(τ) → w(τ)+ ǫδ(τ)υ(τ − τ), (9.7)
ωιτη δ(τ) βεινγ τηε διφφερενχε βετωεεν τηε αχτυαλ ανδ πρεδιχτεδ τοταλ φυ−
τυρε ρεωαρδ, δ(τ) = ∑ τ ρ(τ + τ)− v(τ). Ηοωεϖερ, τηερε ισ α προβλεµ ωιτη
αππλψινγ τηισ ρυλε ιν α στοχηαστιχ γραδιεντ δεσχεντ αλγοριτηµ. Χοµπυτα−
τιον οφ δ(τ) ρεθυιρεσ κνοωλεδγε οφ τηε τοταλ φυτυρε ρεωαρδ ον α γιϖεν τριαλ.
Αλτηουγη ρ(τ) ισ κνοων ατ τιµε τ, τηε συχχεεδινγ ρ(τ+1), ρ(τ+2)... ηαϖε
ψετ το βε εξπεριενχεδ, µακινγ ιτ ιµποσσιβλε το χαλχυλατε δ(τ). Α ποσσιβλε
σολυτιον ισ συγγεστεδ βψ τηε ρεχυρσιϖε φορµυλα
∑Τ−τ
Τ−τ−1 ∑
ρ(τ + τ)= ρ(τ) + ρ(τ+1+τ). (9.8)
τ=0
τ=0
Τηε τεµποραλ διφφερενχε µοδελ οφ πρεδιχτιον ισ βασεδ ον τηε οβσερϖατιον
τηατ v(τ+1) προϖιδεσ αν αππροξιµατιον οφ τηε αϖεραγε ϖαλυε (αχροσσ τριαλσ)
οφ τηε λαστ τερµ ιν εθυατιον 9.8, σο ωε χαν ωριτε
∑Τ−τ
ρ(τ + τ)≈ ρ(τ) + v(τ+1). (9.9)
τ=0
Ρεπλαχινγ τηε συµ ιν τηε εθυατιον δ(τ) = ∑ τ ρ(τ+τ)−v(τ) βψ τηισ αππροξ−
ιµατιον γιϖεσ τηε τεµποραλ διφφερενχε λεαρνινγ ρυλε,
w(τ) → w(τ)+ ǫδ(τ)υ(τ−τ) ωιτη δ(τ) = ρ(τ) + v(τ+1) − v(τ). (9.10)
τεµποραλ
διφφερενχε ρυλε
Τηε ναµε οφ τηε ρυλε χοµεσ φροµ τηε τερµ v(τ+1) − v(τ), ωηιχη ισ τηε διφ−
φερενχε βετωεεν τωο συχχεσσιϖε εστιµατεσ. δ(τ) ισ υσυαλλψ χαλλεδ τηε τεµ−
ποραλ διφφερενχε ερρορ. Υνδερ α ϖαριετψ οφ χιρχυµστανχεσ, τηισ ρυλε ισ λικελψ
το χονϖεργε το µακε τηε χορρεχτ πρεδιχτιονσ.
Φιγυρε 9.2 σηοωσ ωηατ ηαππενσ ωηεν τηε τεµποραλ διφφερενχε ρυλε ισ απ−
πλιεδ δυρινγ α τραινινγ περιοδ ιν ωηιχη α στιµυλυσ αππεαρσ ατ τιµε τ = 100,
ανδ α ρεωαρδ ισ γιϖεν φορ α σηορτ ιντερϖαλ αρουνδ τ = 200. Ινιτιαλλψ, w(τ)= 0
φορ αλλ τ. Φιγυρε 9.2Α σηοωσ τηατ τηε τεµποραλ διφφερενχε ερρορ σταρτσ οφφ βε−
ινγ νονζερο ονλψ ατ τηε τιµε οφ τηε ρεωαρδ, τ = 200, ανδ τηεν, οϖερ τριαλσ,
µοϖεσ βαχκωαρδ ιν τιµε, εϖεντυαλλψ σταβιλιζινγ αρουνδ τηε τιµε οφ τηε
στιµυλυσ, ωηερε ιτ τακεσ τηε ϖαλυε 2. Τηισ ισ εθυαλ το τηε (ιντεγρατεδ) το−
ταλ ρεωαρδ προϖιδεδ οϖερ τηε χουρσε οφ εαχη τριαλ. Φιγυρε 9.2Β σηοωσ τηε
βεηαϖιορ δυρινγ α τριαλ οφ α νυµβερ οφ ϖαριαβλεσ βεφορε ανδ αφτερ λεαρνινγ.
Αφτερ λεαρνινγ, τηε πρεδιχτιον v(τ) ισ 2 φροµ τηε τιµε τηε στιµυλυσ ισ ⇒ρστ
πρεσεντεδ (τ = 100) υντιλ τηε τιµε τηε ρεωαρδ σταρτσ το βε δελιϖερεδ. Τηυσ,
τηε τεµποραλ διφφερενχε πρεδιχτιον ερρορ (δ) ηασ α σπικε ατ τ = 99. Τηισ σπικε
περσιστσ, βεχαυσε υ(τ) = 0φορτ < 100. Τηε τεµποραλ διφφερενχε τερµ (v)ισ
νεγατιϖε αρουνδ τ = 200, εξαχτλψ χοµπενσατινγ φορ τηε δελιϖερψ οφ ρεωαρδ,
ανδ τηυσ µακινγ δ = 0.