Thesis - RWTH Aachen University

64 3.3 Teach-In in virtuellen Umgebungen
Umgebung
Merkmalsvektor
Controller
Lehrer
Fehlersignal
Ist−Ausgabe
Soll−Ausgabe
Abbildung 3.11: Verlauf beim Lernen mit Lehrer.
Ein Nachteil des überwachten Lernens ist, dass für die Trainingsdaten immer die Soll-Ausgaben des
Systems 7 bekannt sein müssen. Entstehen außerdem Situationen, die vom Lehrer bzw. den Trainingsdaten
nicht behandelt wurden 8 , dann kann der Agent keine geeignete Ausgabe generieren bzw. er
generiert eine falsche Antwort. Dies erfordert die Existenz eines Lehrers, der zu jeder Situation die
entsprechende richtige Ausgabe produziert. So ein Lehrer ist jedoch in vielen Fällen nicht bekannt
bzw. schwer zu definieren. Beispielsweise kann man bei der Verhaltenskoordination ohne aufwendiges
Experimentieren nicht genau sagen, mit welchem Anteil jedes Verhalten bei der Bewegung des
Manipulators beisteuern sollte. Man kann jedoch die neue Situation nach einer Roboteraktion qualitativ
bewerten und Aussagen treffen, ob die Aktion den Roboter näher zu seinem Zielzustand gebracht
hat oder nicht. Für solche Fälle ist das Lernen mit Bewerter geeignet [Mat94], das in dieser Arbeit
für die Hindernisvermeidung des Greifers und den Koordinationsmechanismus der Verhalten zum
Einsatz kommt.
3.3.2 Reinforcement Learning
Das Lernen mit Bewerter (Reinforcement Learning, RL) gehört zu der Klasse des nicht überwachten
Lernens (Unsupervised Learning). Der lernende Agent probiert in einer Situation eine Aktion aus
und erhält dafür von seiner Umgebung eine positive oder negative Reaktion. Anhand dieser Reaktion
passt er seinen Auswahlmechanismus an. Dabei bekommt er für jede gute Aktion eine positive Bewertung,
für jede schlechte eine negative. Ziel ist, dass der Agent sich so anpasst, dass die anschließend
erhaltene Belohnung mit der Zeit maximiert wird.
Im Allgemeinen besteht das Lernen mit Bewerter aus vier Komponenten [SB98]:
• einer Handlungsstrategie π (Policy),
• einer Belohnungsfunktion R() (Reward Function),
• einer Wertfunktion V () (Value Function) und
• einem Weltmodell (optional).
7In dieser Arbeit entspricht die Sollausgabe des Systems dem objektspezifischen Pfad zur Zielposition, wenn keine
Hindernisse vorhanden sind.
8Beispielsweise wenn Hindernisse vorhanden sind.