Theoretical Neuroscience

356 Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ
τεµ, αλσο τηε συβσεθυεντ ρεωαρδσ. Ιτ ωουλδ σεεµ τηατ τηε ανιµαλ ωουλδ
ηαϖε το χονσιδερ οπτιµιζινγ ωηολε σεθυενχεσ οφ αχτιονσ, τηε νυµβερ οφ
ωηιχη γροωσ εξπονεντιαλλψ ωιτη τιµε. Βελλµανσ (1957) ινσιγητ ωασ τηατ
τηε Μαρκοϖ προπερτψ εφφεχτιϖελψ σολϖεσ τηισ προβλεµ. Ηε ρεωροτε εθυα−
τιον 9.31 το σεπαρατε τηε ⇒ρστ ανδ συβσεθυεντ τερµσ, ανδ υσεδ α ρεχυρσιϖε
πρινχιπλε φορ τηε λαττερ. Τηε Βελλµαν εθυατιον ισ
{
}
v ∗ (υ) = µαξ
α
〈ρ α (υ)〉+ ∑ υ ′ Π[υ ′ |υ; α]v ∗ (υ ′ )
. (9.32)
Τηισ σαψσ τηατ µαξιµιζινγ ρεωαρδ ατ υ ρεθυιρεσ χηοοσινγ τηε αχτιον α τηατ
µαξιµιζεσ τηε συµ οφ τηε µεαν ιµµεδιατε ρεωαρδ 〈ρ α (υ)〉 ανδ τηε αϖεραγε
οφ τηε λαργεστ ποσσιβλε ϖαλυεσ οφ αλλ τηε στατεσ υ ′ το ωηιχη α χαν λεαδ τηε
σψστεµ, ωειγητεδ βψ τηειρ προβαβιλιτιεσ.
Πολιχψ Ιτερατιον
Τηε αχτορ−χριτιχ αλγοριτηµ ισ α φορµ οφ α δψναµιχ προγραµµινγ τεχηνιθυε
χαλλεδ πολιχψ ιτερατιον. Πολιχψ ιτερατιον ινϖολϖεσ ιντερλεαϖεδ στεπσ οφ πολιχψ
εϖαλυατιον (υπδατινγ τηε χριτιχ) ανδ πολιχψ ιµπροϖεµεντ (υπδατινγ τηε αχ−
τορ). Εϖαλυατιον οφ πολιχψ Μ ρεθυιρεσ ωορκινγ ουτ τηε ϖαλυεσ φορ αλλ στατεσ
υ. Ωε χαλλ τηεσε ϖαλυεσ v Μ (υ), τορε⇓εχτ εξπλιχιτλψ τηειρ δεπενδενχε ον
τηε πολιχψ. Εαχη ϖαλυε ισ αναλογουσ το τηε θυαντιτψ ιν 9.5. Υσινγ τηε σαµε
αργυµεντ τηατ λεδ το τηε Βελλµαν εθυατιον, ωε χαν δεριϖε τηε ρεχυρσιϖε
φορµυλα
{
}
v Μ (υ) = ∑ α
Π Μ [α; υ]
〈ρ α (υ)〉+ ∑ υ ′ Π[υ ′ |υ; α]v Μ (υ ′ )
. (9.33)
Εθυατιον 9.33, φορ αλλ στατεσ υ, ισ α σετ οφ λινεαρ εθυατιονσ φορ v Μ (υ) τηατ
χαν βε σολϖεδ βψ µατριξ ινϖερσιον. Ρεινφορχεµεντ λεαρνινγ ηασ βεεν ιντερ−
πρετεδ ασ α στοχηαστιχ Μοντε Χαρλο µετηοδ φορ περφορµινγ τηισ οπερατιον.
Μοντε Χαρλο
µετηοδ
Τεµποραλ διφφερενχε λεαρνινγ υσεσ αν αππροξιµατε Μοντε Χαρλο µετηοδ το
εϖαλυατε τηε ριγητ σιδε οφ εθυατιον 9.33, ανδ υσεσ τηε διφφερενχε βετωεεν
τηισ αππροξιµατιον ανδ τηε εστιµατε οφ v Μ (υ) ασ τηε πρεδιχτιον ερρορ. Τηε
⇒ρστ ιδεα υνδερλψινγ τηε µετηοδ ισ τηατ ρ α (υ) + v Μ (υ ′ ) ισ α σαµπλε ωηοσε
µεαν ισ εξαχτλψ τηε ριγητ σιδε οφ εθυατιον 9.33. Τηε σεχονδ ιδεα ισ βοοτ−
στραππινγ, υσινγ τηε χυρρεντ εστιµατε v(υ ′ ) ιν πλαχε οφ v Μ (υ ′ ) ιν τηισ σαµ−
πλε. Τηυσ ρ α (υ) + v(υ ′ ) ισ υσεδ ασ α σαµπλεδ αππροξιµατιον το v Μ (υ), ανδ
δ(τ) = ρ α (υ) + v(υ ′ ) − v(υ) (9.34)
ισ υσεδ ασ α σαµπλεδ αππροξιµατιον το τηε δισχρεπανχψ v Μ (υ) − v(υ),
ωηιχη ισ αν αππροπριατε ερρορ µεασυρε φορ τραινινγ v(υ) το εθυαλ v Μ (υ).
Εϖαλυατινγ ανδ ιµπροϖινγ πολιχιεσ φροµ συχη σαµπλεσ ωιτηουτ λεαρνινγ
Π[υ ′ |υ; α] ανδ 〈ρ α (υ)〉 διρεχτλψ ισ χαλλεδ αν ασψνχηρονουσ, µοδελ−φρεε απ−
προαχη το πολιχψ εϖαλυατιον. Ιτ ισ ποσσιβλε το γυαραντεε τηε χονϖεργενχε οφ