Können Lernalgorithmen interagieren wie im Gehirn? - Intelligent ...

ε-Greedy
Hierbei handelt es sich um ein Greedy-Verfahren welches zu einer Wahrscheinlichkeit p = 1 − ε die Aktion mit dem
höchsten Q-Wert wählt und zu einer Restwahrscheinlichkeit von p =
ε (mit N = Anzahl möglicher Aktionen) eine
N−1
zufällige nicht-optimale Aktion der Aktionsmenge. Je höher der ε-Wert gewählt ist, desto höher ist die Exploration des
Labyrinths und es wird somit zunehmend wahrscheinlicher, dass der optimale Weg gefunden wird.
3.2.3 Q-Learning
Einer der zwei hier vorgestellten Algorithmen stellt das ein-Schritt Q-Learning dar [29]. Bei diesem Algorithmus wird
die Q-Learning ist ein Reinforcement Learning Algorithmus welcher versucht für jede Aktion a eines Zustands s mittels
Exploration den Wert Q(s, a) und somit die Vorgehensweise π zu verfeinern. Hierbei wird eine Wertefunktion Q ∗
gelernt, welche versucht die Summe der zu erwartenden Belohnungen abzuschätzen [30]. Dies geschieht in dem der
Agent versucht für jeden möglichen Zustand s die jeweils optimale Aktion a zu finden, auch wenn diese nicht der Vorgehensweise
entspricht (off-policy Verfahren genannt). Dies geschieht indem zur Berechnung des Q-Werts des aktuellen
(Zustand, Aktion)-Paars derjenige Q-Wert des (Zustand, Aktion)-Paars verwendet wird, welcher die maximale Summe
der Belohnungen verspricht.
gelernter Wert
{ }} {
Q(s t , a t ) ← Q(s t , a t ) +α ∗ [ R(s
} {{ }
t+1 ) + γ maxQ(s t+1 , a t+1 ) −Q(s t , a t )]
a t+1 } {{ }
alter Wert
} {{ }
alter Wert
max. Wert des Folgezustands
Formel 3.1. Update-Regel des Q-Learning-Verfahrens.
Dadurch erlernt der Q-Learning Agent nicht nur die optimalen Aktionen der Zustände, welche durch das Folgen der
Vorgehensweise besucht werden würden, sondern auch diejenigen um die besuchten Zustände herum. Somit bildet sich
in der Q-Werte Tabelle eine Struktur ab, welche neben der zu verfeinernden Vorgehensweise π weitere mögliche
Vorgehensweisen π n aufweist, da mehr exploriert wird. Eine wichtige Eigenschaft des Q-Learnings, die Konvergenz
gegen die optimale Lösung, wurde zuvor von Watkings und Dayan im Jahre 1992 bewiesen, wodurch das Auffinden
einer optimalen Lösung im Folgenden gewährleistet ist.
Listing 3.1: Q-Learning Algorithmus
1 I n i t i a l i s i e r e Q( s , a ) ( s ∈ Zustand , a ∈ Aktionen in s )
2 Wiederhole f ür jede Episode
3 I n i t i a l i s i e r e s
4 Wiederhole f ür jeden S c h r i t t der Episode ( while s != end )
5 Wä hle a von s anhand der P o l i c y ( eps−Greedy )
6 Führe a aus , b e t r a c h t e r und s ’
7 Q( s , a ) = Q( s , a ) + alpha * [ r + gamma * maxQ( s ’ , a ’ ) − Q( s , a )]
8 s = s ’
18