Poznawanie własności sieci neuronowych w środowisku MATLAB

40 Rozdział 3. Sieci dwuwarstwowe MLP
na poprawkę dowolnego neuronu sieci, Czytelnik powinien zauważyć w nim część
odpowiadającą błędowi tego neuronu.
Oszacowanie błędu k-tego neuronu w pierwszej warstwie sieci d (1)
k
, zapisane
wcześniej przybliżonym wzorem (3.2), można teraz uściślić uzupełniając odpowiednimi
pochodnymi funkcji celu:
d (1)
k
=
=
K 2 ∑
k 2 =1
K 2 ∑
k 2 =1
w (2)
k 2 ,k · d(2) k 2 · f ′ ( u (2)
k 2
)
= (3.11)
w (2)
k 2 ,k · e(2) k 2
Powyższy przykład pokazał prostotę i piękno teorii uczenia sieci neuronowych.
Wyprowadzone z początku intuicyjnie wzory – zarówno wzór na poprawkę wag
dowolnego neuronu, jak i wzór na oszacowanie błędu neuronu warstwy ukrytej –
znalazły potwierdzenie w skomplikowanej teorii optymalizacji leżącej u podstaw
uczenia sieci.
Schematyczny zapis fazy backpropagation pojedynczego kroku uczenia możemy
teraz przedstawić jak na rys. 3.8.
X S1
1
1
X S+11
W
1
S+1K
1
dW SK
1
1
1
U K 1
1
1
E K 1
1
f
f
'
1
1
1
Y K 1
1
D K 1
1
2
2
W
X K
1
BP
K1 K2
2
dW K +1 K
1 2
2
U K 1
E
2
2
K21
f
Rysunek 3.8. Pojedynczy krok uczenia sieci dwuwarstwowej - schemat dokładny
f
'
2
Y K 1
2
2
D K 1
2
Szkielet funkcji uczącej sieć dwuwarstwową w pełnej wersji można zaś uzupełnić
do następującej postaci:
function [ W1po , W2po ] = ucz2 ( W1przed , W2przed , P , T , n )
% funkcja uczy sieć dwuwarstwową na podanym ciągu uczącym (P,T)
% przez zadaną liczbę epok (n)
% wersja dokładna
% ...
liczbaPrzykladow = ...
wierW2 = ... % liczba wierszy macierzy W2
W1 = W1przed ;