PrÃ ctiques d'APNL, curs 1999/2000 - Departament d'EstadÃstica i ...

More documents

Recommendations

Info

14 Dept.EIO / UPC / Optimització de models no lineals amb el paquet LINGOF( x 1 , x , x , x ) 2 3 4O 7I 7w 5,7w 6,7O 5I 5x 1w 1,5 ww 2,6w 3,6 w4,61,6 w 2,5 w 3,5 w 4,5O 1O 2 O 3 O 4I1I2I3I4O 6x 2 x 3 x 4Figura 3.1 : Esquema d’una xarxa neuronal simple.seran calculats de forma O i = f(I i ), on f serà la funció sigmoidal. L’“output” O 7 de la darreraneurona ens proporciona el resultat de la xarxa neuronal.I 6f(x) 10.90.80.70.60.50.40.30.20.10-10-5 0 5 10xFigura 3.2 : Gràfica de la funció sigmoidal f(x) = 1/(1 + e −x ).Ara cal veure com calcular els “inputs” I i de cada neurona i. Aquests es calcularan sumantels “outputs” de les neurones j que envien informació a la neurona i, multiplicant-los abanspels valors w j,i , que són mostrats a la Figura 3.1. Aquests valors w j,i s’anomenen “pesos”, iserveixen per ponderar la informació que arriba a cada neurona. Per exemple, al node 5 de laFigura 3.1, l’“input” I 5 que li arriba es calcularia com:I 5 = w 1,5 O 1 + w 2,5 O 2 + w 3,5 O 3 + w 4,5 O 4Anàlogament es faria per a la resta de nodes. Procedint d’aquesta forma, proporcionant uns
3 Aprenentatge d’una xarxa neuronal 15valors x 1 , x 2 , x 3 i x 4 determinats a la xarxa neuronal, el resultat que obtindríem seria:F (x 1 , x 2 , x 3 , x 4 ) = O 7 = f(I 7 ) = f(w 5,7 O 5 + w 6,7 O 6 ) = f(w 5,7 f(I 5 ) + w 6,7 f(I 6 )) =4∑4∑= f(w 5,7 f( w i,5 O i ) + w 6,7 f( w i,6 O i )) =i=1i=1i=14∑4∑= f(w 5,7 f( w i,5 f(x i )) + w 6,7 f( w i,6 f(x i )))essent f() la funció sigmoidal, com abans hem indicat. En aquest cas tan senzill hem pogutescriure de forma detallada la funció que representa la xarxa neuronal mitjançant l’equació(3.1) . Si tinguéssim una quantitat més elevada de nodes i capes, això ja no seria possible, pelsmúltiples nivells de recurrència que apareixerien. Tanmateix, per realitzar la pràctica n’hi haprou amb aquesta xarxa neuronal tan simple.Abans de continuar, val la pena indicar que, a les xarxes neuronals usades realment a lapràctica, a part dels pesos w mostrats a la Figura 3.1, cada node té un pes addicional quesempre es suma directament a l’“input” de la xarxa (és a dir, sense multiplicar-lo per cap“output” d’un node d’una capa inferior). Aquests pesos especials s’anomenen “bias” a l’argotde les xarxes neuronals. A la pràctica, per tal de reduir el nombre de variables del problemaplantejat, no considerarem aquests pesos addicionals.En funció del vist fins ara, podem veure com el comportament de la xarxa neuronal ve regitprecisament pels valors dels pesos w. Depenen dels valors concrets de w, la xarxa produirà uns oaltres resultats. Ara queda la qüestió de: com obtenir els pesos w escaients?. Doncs calen duescoses: en primer lloc, unes dades per tal de poder fer “aprendre” a la xarxa el comportamentque ha de tenir (veurem això més clar una mica més endavant), i en segon lloc, un mètode(numèric) per poder fer aquest “aprenentatge” (el concepte d’“aprenentatge” també forma partde l’argot de les xarxes neuronals). Un cop hem calibrat la xarxa (hem ajustat els valors w),aquesta ja està llesta per, a partir d’un vector x e de dades d’entrada, donar una determinadaresposta.3.2 Obtenció dels pesos w.Tal i com abans s’ha indicat, ens queda veure com determinar els pesos w. Hi ha diversesformes. En aquest treball, però, usarem una basada en un problema de mínims quadrats nolineals (problema de minimització sense restriccions), on les variables a optimitzar seran elspesos w. Per obtenir aquests pesos cal disposar de p vectors de dades d’entrada x e ∈ IR n e, i pvectors de dades de sortida x s ∈ IR n s, que han de correspondre amb els valors associats a lesdades d’entrada. La idea és que s’ajustin els pesos w de la xarxa de forma que F (x ei ; w) ≈x si , i = 1, . . . , p, on F (x; w) representa la resposta de la xarxa quan la seva entrada és el vectorx, i té uns pesos w. Podríem dir que els p vectors x ei , x si , i = 1, . . . , p són una mostra per aque la xarxa “aprengui” quina resposta ha de donar en funció d’una determinada entrada.En funció del dit abans, una bona forma d’ajustar els w serà plantejar un problema demínims quadrats no lineals, on es minimitzi la distància entre F (x ei ; w) i x si . El problema queplantejaríem seria:minwi=1(3.1)p∑||F (x ei ; w) − x si || 2 (3.2)i=1
Page 1: Aplicacions de la Programació No L
Page 4 and 5: 2 Dept.EIO / UPC / Optimització de
Page 11 and 12: 2 Sudden Infant Death Syndrome 92 S
Page 13: 2 Sudden Infant Death Syndrome 114
Page 18 and 19: 16 Dept.EIO / UPC / Optimització d
Page 35 and 36: 6 Càlcul de la posició d’equili

PrÃ ctiques d'APNL, curs 1999/2000 - Departament d'EstadÃ­stica i ...

Create successful ePaper yourself

Delete template?

Save as template?

PrÃ ctiques d'APNL, curs 1999/2000 - Departament d'EstadÃstica i ...