Analys av myokardiella hastighetsvariabler för diagnos av ...

2.4. ARTIFICIELLA NEURALA NÄTVERK 21
uppdatering generaliseras genom att införa termen δ som anpassas d˚a formeln
appliceras p˚a gömda lager. Genom att införa en vägning för hur mycket en gömd
nod k ansvarar för felet som noden j i lagret över genererar, det sista speglas
i δ j . Det innebär att δ k beräknas genom att multiplicera δ j med den aktuella
vikten wjk. D˚a noden k kan vara anslutet till flera noder i lagret över summeras
δ k över alla de noder som har insignal fr˚an noden k, de betecknas med mängden
Ck. Det ger att
δ k =
j∈Ck
δ j wjk
vilket slutligen ger att viktuppdateringen sker enligt
där
δ k ⎧
⎨
=
⎩
(t p
k
∆wki = αs ′ (ak)δ k x p
ki
− yp
k ) för översta lagret
j∈Ik δj wjk för gömda lager
(2.25)
(2.26)
(2.27)
P˚a samma sätt som vid enlagersnät itereras alla mönster igenom där man för
varje beräknar och uppdaterar vikter för alla lager i tur och ordning med början
p˚a det sista lagret, det vill säga utlagret. Sedan uppdateras proceduren för varje
mönster tills felet är godtagbart litet.
Förutom denna ganska grundläggande metod för att träna neuronnät finns
flera mer avancerade algoritmer. Det beror till viss del p˚a att de adresserar
problem som lokala minima och generalisering men ocks˚a med anledning av
minnesutrymme, snabbhet och effektivitet som blir aktuellt vid en datorimplementation.
Ett alternativ till ovanst˚aende algoritm är att felet summeras över
alla mönster innan uppdateringen av vikterna sker. [14]
2.4.2 Lokala och globala minima
D˚a felfunktionen E kan vara mer beroende av w än tidigare antytt kan det ge
upphov till lokala minima. Ett globalt minimum Mg är en punkt där felet är
minimalt inom ett omr˚ade A och ger en optimal lösning p˚a anpassningsproblemet.
Ett lokalt minimum Ml däremot är ett minimum för ett mindre omr˚ade
B där B ⊂ A samt Ml = Mg. Det vill säga att de tv˚a minima ligger p˚a olika
ställen. Det innebär att träningen kan fastna i ett lokalt minimum och inte
n˚a fram till en bättre lösning. Sv˚arigheterna och uppkomsten av lokala minima
hänger ofta ihop med nätets storlek och variationen i mönstermängden. Det
finns dock metoder för att försöka undvika lokala minima. Exempelvis kan man
ibland till˚ata uppdatering emot gradienten, innebärandes att viktuppdateringen
sker negativt till vad den brukar göra. Ett alternativ är att tillföra brus till
insignalerna och p˚a det sättet försöka undvika problemet. Ytterligare en variant
är att införa en moment-term i uppdateringen vilket innebär att felet fr˚an
tidigare uppdateringar finns kvar och p˚averkar nuvarande beräkning enligt
∆w(n) = αδ j (n)x(n) + λ∆w(n − 1), 0 < λ < 1 (2.28)
där existensen av λ skapar en sorts flytande medelvärdesbildning av felet. Till
sist kan man ocks˚a slumpa ordningen p˚a vilket sätt man presenterar insignalerna
för nätet och p˚a s˚a sätt skapa ett naturligt brus där frekvensen av lokala minima
minimeras. [14]