Poznawanie własności sieci neuronowych w środowisku MATLAB

3.1. Inicjalizacja sieci 27
cych badany obiekt lub zjawisko, będziemy oznaczać przez X. Po rozszerzeniu o
wejście zerowe x 0 = −1 stanie się on wektorem wejściowym pierwszej warstwy
X (1) = [x 0 , x 1 , . . . , x S ] T , o wymiarze S + 1 × 1. Macierz wag pierwszej warstwy
sieci jest zbudowana, podobnie, jak w przypadku sieci jednowarstwowej, z wektorów
kolumnowych wag kolejnych neuronów. Tym razem jednak, pierwszy jej
wiersz, indeksowany przez nas jako zerowy (drugi dolny indeks), zawiera wagi
poszczególnych neuronów do wejścia progowego, czyli krótko ich biasy.
[
W (1) =
W (1)
1 W (1)
2 · · · W 1 K 1
]
=
⎡
⎢
⎣
w (1)
1,0 w (1)
2,0 · · · w (1)
K 1 ,0
w (1)
1,1 w (1)
2,1 · · · w (1)
K 1 ,1
w (1)
1,2 w (1)
2,2 · · · w (1)
K 1 ,2
.
. . .. .
w (1)
1,S
w (1)
2,S
· · · w (1)
K 1 ,S
S+1×K 1
(3.1)
Przy implementacji następnych funkcji trzeba będzie pamiętać o tym, że program
MATLAB indeksuje wiersze macierzy od 1, a nie on 0, jak np. język C++.
Sieć dwuwarstwowa jest kaskadowym połączeniem warstwy pierwszej i drugiej.
Pomimo tego, że jedną z głównych i podkreślanych zalet sieci neuronowych jest
równoległe przetwarzanie danych, to jednak architekturę rozważanych właśnie
wielowarstwowych sieci jednokierunkowych (Multi Layer Perceptron – MLP) możemy
określić jako równoległo-szeregową. W jednej warstwie rzeczywiście sygnały
przetwarzane są równolegle przez wszystkie neurony, jednak z jednej warstwy do
kolejnej przesyłane są szeregowo. Zobaczymy później, że kolejne warstwy po kolei
upraszczają zadanie, które ma do wykonania sieć. Wiele badań dowodzi, że jest
to sposób działania zbliżony do procesów, zachodzących w naszym mózgu ([1]),
szczególnie tych związanych z percepcją. W mózgu występuje jednak dodatkowo
bardzo wiele połączeń zwrotnych. Sprawiają one, ze sieci sieci biologiczne są układami
dynamicznymi o wielkich możliwościach przetwarzania i kojarzenia sygnałów.
Sieci rekurencyjne wykraczają jednak daleko poza zakres niniejszej książki.
Pełny model sieci dwuwarstwowej przedstawia rys. 3.3. Wektor wyjść warstwy
pierwszej, po rozszerzeniu o wejście progowe, staje się wektorem wejść do warstwy
drugiej. Macierz wag warstwy drugiej, konstruowana w analogiczny sposób, jak
macierz wag warstwy pierwszej, ma wymiar K 1 + 1 × K 2 . Wszystkie wielkości
odnoszące się do neuronów drugiej warstwy sieci oznaczamy indeksem górnym
(2).
Funkcja inicjująca sieć dwuwarstwową o S wejściach, K 1 neuronach w pierwszej
i K 2 neuronach w drugiej warstwie zawiera zaledwie dwie linie kodu, w których
⎤
⎥
⎦