Theoretical Neuroscience

354 Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ
A
escape latency ( σ )
100
50
0
1 2 3 4 5 6 7 8 9
day
B
path length ( µ )
40
30
20
10
0
1 2 3 4 5 6 7 8 9
day
Φιγυρε 9.11 Χοµπαρισον οφ ρατσ ανδ τηε µοδελ ιν τηε ωατερ µαζε τασκ. (Α) Αϖεραγε
λατενχιεσ οφ 12 ρατσ ιν γεττινγ το α ⇒ξεδ πλατφορµ ιν τηε ωατερ µαζε, υσινγ φουρ τριαλσ
περ δαψ. Ον τηε ειγητη δαψ, τηε πλατφορµ ωασ µοϖεδ το α νεω λοχατιον, ωηιχη
ισ χαλλεδ ρεϖερσαλ. (Β) Αϖεραγε πατη λενγτη φροµ 1000 σιµυλατιονσ οφ τηε µοδελ
περφορµινγ τηε σαµε τασκ. Ινιτιαλ λεαρνινγ µατχηεσ τηατ οφ τηε ρατσ, βυτ περφορµανχε
ισ ωορσε φολλοωινγ ρεϖερσαλ. (Αδαπτεδ φροµ Φοστερ ετ αλ., 2000.)
µοδελ ιν α µαννερ χοµπαραβλε το τηατ οφ αχτυαλ ρατσ. Φιγυρε 9.11Α σηοωσ
τηε αϖεραγε περφορµανχε οφ 12 ρεαλ ρατσ περφορµινγ φουρ τριαλσ περ δαψ ιν
τηε ωατερ µαζε. Τηε ρατσ σωαµ το α πλατφορµ ατ α ⇒ξεδ λοχατιον, σταρτ−
ινγ φροµ ρανδοµλψ χηοσεν ινιτιαλ λοχατιονσ. Τηε περφορµανχε οφ τηε ρατσ
ραπιδλψ ιµπροϖεσ ανδ λεϖελσ οφφ βψ αβουτ τηε σιξτη δαψ. Ωηεν τηε πλατφορµ
ισ µοϖεδ ον τηε ειγητη δαψ, ιν ωηατ ισ χαλλεδ ρεϖερσαλ τραινινγ, τηε ινι−
τιαλ λατενχψ ισ λονγ, βεχαυσε τηε ρατσ σεαρχη νεαρ τηε ολδ πλατφορµ ποσιτιον.
Ηοωεϖερ, τηεψ ραπιδλψ λεαρν τηε νεω λοχατιον. Φιγυρε 9.11Β σηοωσ τηε περ−
φορµανχε οφ τηε µοδελ ον τηε σαµε τασκ (τηουγη ϕυδγεδ βψ πατη λενγτησ
ρατηερ τηαν λατενχιεσ). Ινιτιαλ λεαρνινγ ισ εθυαλλψ θυιχκ, ωιτη νεαρ περφεχτ
πατησ βψ τηε σιξτη δαψ. Ηοωεϖερ, περφορµανχε δυρινγ ρεϖερσαλ τραινινγ ισ
ποορ, βεχαυσε τηε µοδελ ηασ τρουβλε φοργεττινγ τηε πρεϖιουσ λοχατιον οφ τηε
πλατφορµ. Τηε ρατσ αρε χλεαρλψ βεττερ ατ ηανδλινγ τηισ τρανσιτιον. Νεϖερτηε−
λεσσ τηε µοδελ σηοωσ σοµετηινγ οφ τηε ποωερ οφ α πριµιτιϖε, βυτ γενεραλ,
λεαρνινγ µετηοδ.
9.5 Χηαπτερ Συµµαρψ
Ωε δισχυσσεδ ρεινφορχεµεντ λεαρνινγ µοδελσ φορ χλασσιχαλ ανδ ινστρυµεν−
ταλ χονδιτιονινγ, ιντερπρετινγ τηε φορµερ ιν τερµσ οφ λεαρνινγ πρεδιχτιονσ
αβουτ τοταλ φυτυρε ρεωαρδσ ανδ τηε λαττερ ιν τερµσ οφ οπτιµιζατιον οφ τηοσε
ρεωαρδσ. Ωε ιντροδυχεδ τηε Ρεσχορλα−Ωαγνερ ορ δελτα λεαρνινγ ρυλε φορ
χλασσιχαλ χονδιτιονινγ, τογετηερ ωιτη ιτσ τεµποραλ διφφερενχε εξτενσιον, ανδ
ινδιρεχτ ανδ διρεχτ αχτορ ρυλεσ φορ ινστρυµενταλ χονδιτιονινγ γιϖεν ιµµε−
διατε ρεωαρδσ. Φιναλλψ, ωε πρεσεντεδ τηε αχτορ−χριτιχ ϖερσιον οφ τηε δψναµιχ
προγραµµινγ τεχηνιθυε οφ πολιχψ ιτερατιον, εϖαλυατινγ πολιχιεσ υσινγ τεµ−
ποραλ διφφερενχε λεαρνινγ ανδ ιµπροϖινγ τηεµ υσινγ τηε διρεχτ αχτορ λεαρν−
ινγ ρυλε, βασεδ ον συρρογατε ιµµεδιατε ρεωαρδσ φροµ τηε εϖαλυατιον στεπ.