Jahresbericht 2009 - Institute of Computer Science - Universität ...

72 Universität Osnabrück Institut für Informatik Jahresbericht 2009 Projekte
Lernen in Multi-Agenten Systemen
Leitung Prof. Dr. Martin Riedmiller
Mitarbeiter Dipl.-Inform. omas Gabel
Laufzeit 1999 - 03/2009
Förderung Deutsche Forschungsgemeinschaft (DFG)
Stichworte Reinforcement Lernen, Strategielernen, Multi-Agenten Systeme, Scheduling
Die Entscheidungsfindung in verteilten Systemen
erfordert die gezielte Zusammenarbeit individuell
handelnder Agenten, um ein vorgegebenes gemeinsames
Ziel zu erreichen. Hierzu dürfen sich die
Handlungsstrategien der einzelnen Agenten nicht
gegenseitig behindern - eine optimale Abstimmung
der Agentenverhalten aufeinander ist unabdingbar.
Das Forschungsgebiet des Reinforcement Lernens
(optimierendes Lernen) hat sich zum Ziel gesetzt,
allein aus dem Wissen über erfolgreiche oder fehlgeschlagene
Trainingsversuche ein möglichst optimales
Verhalten für einen handelnden Agenten zu erlernen.
Ziel des Forschungsprojekts ist die Entwicklung
und Untersuchung von autonomen Lernverfahren,
die die Idee des Reinforcement Lernens auf Multi-
Agenten-Systeme übertragen. So sollen kooperative
Strategien allein auf Basis der Spezifikation des
gewünschten Gesamtverhaltens des Systems erlernt
werden. Das Vorhandensein mehrerer interagierender
Agenten bedeutet hierbei eine besondere
Herausforderung, denn nicht immer ist unmittelbar
ersichtlich, welche Aktion welches Agenten wie stark
für die Gesamtleistung verantwortlich ist.
Neben dem Entwurf und der Analyse von Algorithmen
zum Erlernen der verteilten Entscheidungsfindung
umfassen die aktuell verfolgten Zielstellungen
auch die Erhöhung der Robustheit der Lernverfahren
gegenüber veränderten Rahmenbedingungen.
Zu den aktuellen Forschungsschwerpunkten gehören
dabei auch der gezielte Einsatz von Kommunikation,
das Erlernen koordinierten Handelns sowie das
direkte Erlernen von agentenspezifischen Handlungsstrategien.
Anwendungsbeispiele verteilter Agenten sind im
Ressourcenmanagement, in der Produktionsreihenfolgeplanung,
bei Energieverteilungsaufgaben, im
Netzwerk-Routing oder in der Robotik zu finden.
Den Anwendungsschwerpunkt im Rahmen dieses
Projektes stellen Probleme aus dem Bereich numerischer
Optimierung und Scheduling dar, bei denen es
Zielstellung ist, einzelne den Verarbeitungsmaschinen
zugeordnete Agenten dazu zu befähigen, die zu
verarbeitenden Aufträge in solch einer Reihenfolge
abzuarbeiten, dass möglichst wenige Randbedingungen
verletzt werden. Ein weiteres Anwendungsgebiet
der von uns untersuchten Methoden ist der Roboterfußball:
Für unser in der Simulationsliga antretendes
Team Brainstormers haben wir verschiedene
Ansätze zum Erlernen von Teamfähigkeit umgesetzt
und erfolgreich im Wettkampf verwendet.
Processing of multiple jobs
(by multiple agents)