Progettazione e realizzazione di una base robotica bilanciante su ...

7.3. Controllo basato su apprendimento per rinforzo 79cisamente nel campo dell’apprendimento automatico, che punta a realizzarealgoritmi in grado di apprendere dall’esperienza accumulata e di adattarsialle mutazioni dell’ambiente. Questa tecnica di programmazione si basa sulpresupposto di potere ricevere degli stimoli dall’esterno in seguito alle scelteeffettuate dall’algoritmo, che possono rivelarsi più o meno utili. Vienedefinito quindi un premio in caso sia stata scelta un’azione corretta, che avvicinaall’obiettivo, mentre una scelta errata comporta una penalizzazionedel sistema.L’obiettivo perseguito dal sistema è il raggiungimento del maggior premiopossibile e di conseguenza del migliore risultato possibile.Quando si affronta un problema utilizzando le tecniche di RL (dal termineinglese Reinforcement Learning) ci si chiede quindi quali azioni, tra quellepossibili, i soggetti principali (gli agenti) devono intraprendere nell’ambientein cui operano, in modo da massimizzare la ricompensa nel lungo periodo(rinforzo atteso). Lo scopo degli algoritmi di RL è far sviluppare all’agenteun comportamento (politica) che lo porti a selezionare le azioni più adattea raggiungere un determinato obiettivo.Agentestato s t rinforzo r tr t+1azione a ts t+1AmbienteSi definisce agente un’entità in grado di percepire l’ambiente che lo circonda(ad esempio tramite dei sensori) e di eseguire delle azioni che, interagendocon esso, modificano lo stato del sistema (ad esempio tramite degliattuatori). È definito ambiente quindi l’insieme degli elementi che possonopartecipare ad un qualche tipo di interazione con l’agente.La tecnica di apprendimento per rinforzo formalizza le interazioni tra agenteed ambiente permettendo di definire un metodo per selezionare, in ognistato del sistema, l’azione da eseguire.L’interazione tra agente e ambiente è continua: quando l’agente esegue delleazioni riceve in risposta dall’ambiente una descrizione, eventualmente parziale,dello stato del sistema modificato dall’azione eseguita e un rinforzo,ovvero un valore numerico che rappresenta l’utilità dell’azione eseguita alfine di raggiungere l’obiettivo.Il paradigma del Reinforcement Learning prevede che, data una sequen-