Progettazione e realizzazione di una base robotica bilanciante su ...

84 Capitolo 7. ControlloL’algoritmo fitted Q-iteration (o FQI) è un metodo di apprendimentoper rinforzo iterativo, che si basa sulla risoluzione di una sequenza di problemidi apprendimento supervisionato. L’algoritmo, a differenza dei classicimetodi RL online, non interagisce direttamente con il sistema (batch-modeReinforcement Learning) determinando una politica di controllo, che approssimail più possibile la politica ottima, eseguendo un’analisi offline diun insieme di informazioni chiamato dataset. Un dataset è composto da unaserie di quadruple di forma (s t , a t , s t+1 , r t ) in cui s t indica lo stato attuale,a t l’azione intrapresa, s t+1 lo stato in cui il sistema si porta e r t il rinforzoimmediato ottenuto.Alla prima iterazione l’algoritmo viene utilizzato per stimare il valoreatteso del rinforzo, ovvero:Q 1 (s, a) = E π R t |s t = s, a t = a (7.20)Ad ogni passo successivo l’algoritmo utilizza l’intero dataset assieme allafunzione calcolata al passo precedente per determinare un nuovo insieme didati di training utilizzato da un sistema di apprendimento supervisionato,chiamato regressore, per calcolare il successivo valore della funzione. Inquesto modo, ad ogni iterazione viene aumentato l’orizzonte temporale, finoa quando si raggiungono le condizioni di arresto. In seguito è mostrato lopseudo codice che descrive l’algoritmo FQI.Algorithm 1 Algoritmo fitted Q-iterationrepeatN ← N + 1creare un nuovo dataset T S = (i l , o l ), l = 1, . . .,♯D utilizzando l’ultimastima Q N−1 e il dataset di partenza D, in cui:i l = (s l t, a l t) (7.21)o l= r l t + γ maxa ′ Q N−1 (s l t+1, a ′ ) (7.22)applicare l’algoritmo di regressione R al dataset T S per approssimarela nuova funzione Q N (s t+1 , a)until una condizione di arresto viene raggiuntareturn π N (s) = argmax a∈A Q N (s, a)Le condizioni di arresto possono essere diverse. Si può dichiarare a prioriil numero massimo di iterazioni da eseguire, definendo quindi l’orizzonte