UNIVERSITA' DEGLI STUDI DI PAVIA - Robotica

maggiori di 1. Si è notato che dei buoni valori sono generalmente contenuti
nell’intervallo [1.5, 4].
C’è però un problema nell’utilizzare questo espediente. Aumentando troppo
β diventa sempre più importante la determinazione dei pesi di partenza dei
neuroni, come descritto nel paragrafo seguente.
4.8.2 Determinazione dei pesi iniziali
La seconda importante osservazione derivata dai test sulle reti è data dalla
necessità di impostare i pesi e le soglie iniziali in modo che siano sufficientemente
piccoli. Dei pesi troppo grandi possono dare luogo all’annullamento dell’errore
sul training set, in quanto la formula che calcola l’errore sul singolo training
sample contiene un temine del tipo
y j ⋅(
1−
y j )
che moltiplica tutto il resto, dove y i è l’uscita della sigmoide calcolata sulla
somma degli ingressi del neurone.
Si capisce che quanto più i pesi sono grandi, quanto più è facile che il punto
nel quale viene valutata la sigmoide si trovi nel tratto asintotico. In questo caso il
valore di y i vale 0 oppure 1, e l’errore sul training sample si annulla. Questo
problema si amplifica quanto più la forma della sigmoide tende a quella di uno
scalino, in quanto il range disponibile per una buona valutazione della sigmoide si
riduce.
Durante i test è capitato che fossero nulli gli errori su tutti i training sample
(per valori di β troppo alti), e che quindi l’errore globale precipitasse di colpo a
0, ingannando la procedura di addestramento e facendole “credere” di aver
raggiunto il minimo assoluto dell’errore.
90