Analys av myokardiella hastighetsvariabler för diagnos av ...

3.3. FLERLAGERSNÄT I NEURAL NETWORK TOOLBOX 27
3.3 Flerlagersnät i neural network toolbox
I Matlab finns m˚anga s˚a kallade toolbox av vilken en av dem är Neural network
toolbox. Den tillför m˚anga effektiviserande makron för att skapa, träna
och testa neurala nätverk. Det medför att en stor del av skriptprogrameringen
p˚a grundläggande niv˚a redan är gjort. Tyngdpunkten ligger p˚a att testa
och justera olika parametrar s˚asom antal noder, träningsalgoritm etc. Det finns
även medföljande funktioner för förbearbetning och efterbearbetning s˚asom exempelvis
de beskrivna normaliseringarna MNMX och STD.
Funktionen för flerlagersnät är väl utbyggd och automatiserad vilket innebär
att alla funktioner för skapande, träning och simulering finns och har
tillfredställande funktioner.
3.3.1 Träningsalgoritmer för flerlagersnät
För att träna ett nätverk finns det flera algoritmer man kan använda. I bakgrundsdelen
om artificiella nätverk finns en grundläggande beskrivning av deltaalgoritmen.
För att f˚a en effektiv träning används, i de följande analyserna
Levenberg-Marquard-algoritmen för att bland annat snabba upp träningsförloppet
och motverka att fastna i lokala minima. Den inför parametrar som momentterm
och variabel steglängd, och är baserade p˚a Hessian-matrisen och Jacobi-matrisen
för att beräkna uppdateringen av viktvektorn.
Hessian-matrisen H kan användas för icke-linjära träningsalgoritmer för neuronnät
och är baserad p˚a andraderivatan av felet mellan utparametern fr˚an neuronnätet
och m˚alparamentern. Elementen i Hessian-matrisen beräknas enligt
Hik = δ2 E
δwiδwk
men kan approximeras av Jacobi-matrisen Z enligt
(3.6)
H = Z T Z (3.7)
Jacobi-matrisen i sin tur är derivatan av utsignalen med avseende p˚a inparametern
enligt
Jki = δyk
δxi
Det gör att viktuppdateringen kan skrivas som
(3.8)
wn = wn−1 − (Z T Z + λI) −1 Z T err(wn−1) (3.9)
för uppdaterin n. Levenberg-Marquard algoritmen är en sammanslagning av
Quasi-Newton-algoritmen och ordinär gradient descent-algoritm där gradienten
p˚a felvariablen styr. Om λ är liten f˚ar vi Quasi-Newton-algoritmen och om den
är stor f˚ar vi garadient descending-algoritmen. [15, 17]
3.3.2 SSE – Sum Squared Error
Vid vissa av analyserna som används en felberäkningnsmetod för neuronnät
kallad SSE (Sum Squared Error), vilket innebär att felet mellan utparametern
och m˚alparametern kvadreras och summeras över alla mönster. [17]