Perceptron-algoritmi - Helsinki.fi

More documents

Recommendations

Info

Gradientinlaskemisesta • Gradientin laskemiseksi pisteessa w ∈ R d riittää laskea osittaisderivaatat w:ssä. • Osittaisderivaatta ∂ ˆ L ∂w k pisteessä w = (w 1 , . . .,w d ) ∈ R d on yhden muuttujan funktion w k ↦→ ˆ L(w 1 , . . .,w k , . . .,w d ) derivaatta. Tämä funktio saadaan kiinnittämällä parametrit w i , i = k, pisteen w koordinaatteihin, jolloin jäljelle jää w k :sta riippuva yhden muuttujan funktio, joka voidaan derivoida lukiosta tutuin keinoin. 10
Funktion ˆ Losittaisderivaatatjagradientti • Lasketaan nyt funktion ˆ L(w) = 1 n osittaisderivaatat. • Saadaan (taululla): ∂ ˆ L 2 = − ∂wk n n i=1 yix k i + 2 n n i=1 (yi − d j=1 xj i wj ) 2 d n j=1 i=1 x j ixk j i w • Yhdistämällä nämä ja siirtymällä matriisinotaatioon nähdään, että ∇ˆ L(w) = − 2 n XT Y + 2 n XT Xw T . Tässä X on n × d matriisi, jonka rivillä i on xi, ja Y on n × 1 sarakevektori, jonka rivillä i on yi. 11
Page 1 and 2: Viikko 3: Lineaarista regressiota j
Page 3 and 4: Lineaarinenregressio • Tarkastell
Page 5 and 6: Lineaarinenregressiokoneoppimisteht
Page 7 and 8: Funktion ˆ L(w)minimointi • Mite
Page 9: Gradienttijaääriarvot • Jos fun
Page 13 and 14: Regularisoinnista • Edellä on se
Page 15 and 16: Funktion ˆ Lridgeminimoinnista •
Page 17 and 18: Lineaarinenluokittelijageometrisest
Page 19 and 20: Lineaaristenluokittelijoidenoppimin
Page 21 and 22: Perceptron-algoritmipseudokoodina w
Page 23 and 24: Perceptron-algoritminkonvergenssi

Perceptron-algoritmi - Helsinki.fi

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?