Neuronale Netze - D. Kriesel

Anhang C
Exkurs: Reinforcement Learning
Was, wenn keine Trainingsbeispiele existieren, man aber trotzdem beurteilen
kann, wie gut man gelernt hat, ein Problem zu lösen? Betrachten wir ein
Lernparadigma, welches zwischen überwachtem und unüberwachtem Lernen
anzusiedeln ist.
Wir wollen nun einen eher exotischen Ansatz des Lernens kennenlernen – einfach, um
einmal von den üblichen Verfahren wegzukommen. Wir kennen Lernverfahren, in denen
wir einem Netz genau sagen, was es tun soll, also beispielhafte Ausgabewerte bereitstellen.
Wir kennen ebenfalls Lernverfahren, wie bei den Self Organizing Maps, in denen
ausschließlich Eingabewerte gegeben werden.
Wir wollen nun eine Art Mittelding erforschen: Das Lernparadigma des bestärkenden
Lernens – Reinforcement Learning nach Sutton und Barto [SB98].
Reinforcement Learning an sich ist kein Neuronales Netz, sondern nur eines der drei
Lernparadigmen, die wir bereits in Kapitel 4 genannt haben. Manche Quellen zählen
es zu den überwachten Lernverfahren, da man ein Feedback gibt – durch die sehr rudimentäre
Art des Feedbacks ist es aber begründet von den überwachten Lernverfahren
abzugrenzen, mal ganz abgesehen von der Tatsache, dass es keine Trainingsbeispiele
gibt.
Während allgemein bekannt ist, dass Verfahren wie Backpropagation im Gehirn selbst
nicht funktionieren können, wird Reinforcement Learning allgemein als biologisch wesentlich
motivierter angesehen.
Der Ausdruck Reinforcement Learning (Bestärkendes Lernen) kommt aus den
Kognitionswissenschaften und der Psychologie und beschreibt das in der Natur überall
vorhandene Lernsystem durch Zuckerbrot und Peitsche, durch gute Erfahrungen und
235