Prà ctiques d'APNL, curs 1999/2000 - Departament d'Estadística i ...

3 Aprenentatge d’una xarxa neuronal 15valors x 1 , x 2 , x 3 i x 4 determinats a la xarxa neuronal, el resultat que obtindríem seria:F (x 1 , x 2 , x 3 , x 4 ) = O 7 = f(I 7 ) = f(w 5,7 O 5 + w 6,7 O 6 ) = f(w 5,7 f(I 5 ) + w 6,7 f(I 6 )) =4∑4∑= f(w 5,7 f( w i,5 O i ) + w 6,7 f( w i,6 O i )) =i=1i=1i=14∑4∑= f(w 5,7 f( w i,5 f(x i )) + w 6,7 f( w i,6 f(x i )))essent f() la funció sigmoidal, com abans hem indicat. En aquest cas tan senzill hem pogutescriure de forma detallada la funció que representa la xarxa neuronal mitjançant l’equació(3.1) . Si tinguéssim una quantitat més elevada de nodes i capes, això ja no seria possible, pelsmúltiples nivells de recurrència que apareixerien. Tanmateix, per realitzar la pràctica n’hi haprou amb aquesta xarxa neuronal tan simple.Abans de continuar, val la pena indicar que, a les xarxes neuronals usades realment a lapràctica, a part dels pesos w mostrats a la Figura 3.1, cada node té un pes addicional quesempre es suma directament a l’“input” de la xarxa (és a dir, sense multiplicar-lo per cap“output” d’un node d’una capa inferior). Aquests pesos especials s’anomenen “bias” a l’argotde les xarxes neuronals. A la pràctica, per tal de reduir el nombre de variables del problemaplantejat, no considerarem aquests pesos addicionals.En funció del vist fins ara, podem veure com el comportament de la xarxa neuronal ve regitprecisament pels valors dels pesos w. Depenen dels valors concrets de w, la xarxa produirà uns oaltres resultats. Ara queda la qüestió de: com obtenir els pesos w escaients?. Doncs calen duescoses: en primer lloc, unes dades per tal de poder fer “aprendre” a la xarxa el comportamentque ha de tenir (veurem això més clar una mica més endavant), i en segon lloc, un mètode(numèric) per poder fer aquest “aprenentatge” (el concepte d’“aprenentatge” també forma partde l’argot de les xarxes neuronals). Un cop hem calibrat la xarxa (hem ajustat els valors w),aquesta ja està llesta per, a partir d’un vector x e de dades d’entrada, donar una determinadaresposta.3.2 Obtenció dels pesos w.Tal i com abans s’ha indicat, ens queda veure com determinar els pesos w. Hi ha diversesformes. En aquest treball, però, usarem una basada en un problema de mínims quadrats nolineals (problema de minimització sense restriccions), on les variables a optimitzar seran elspesos w. Per obtenir aquests pesos cal disposar de p vectors de dades d’entrada x e ∈ IR n e, i pvectors de dades de sortida x s ∈ IR n s, que han de correspondre amb els valors associats a lesdades d’entrada. La idea és que s’ajustin els pesos w de la xarxa de forma que F (x ei ; w) ≈x si , i = 1, . . . , p, on F (x; w) representa la resposta de la xarxa quan la seva entrada és el vectorx, i té uns pesos w. Podríem dir que els p vectors x ei , x si , i = 1, . . . , p són una mostra per aque la xarxa “aprengui” quina resposta ha de donar en funció d’una determinada entrada.En funció del dit abans, una bona forma d’ajustar els w serà plantejar un problema demínims quadrats no lineals, on es minimitzi la distància entre F (x ei ; w) i x si . El problema queplantejaríem seria:minwi=1(3.1)p∑||F (x ei ; w) − x si || 2 (3.2)i=1