Poznawanie wÅasnoÅci sieci neuronowych w Årodowisku MATLAB

More documents

Recommendations

Info

26 Rozdział 3. Sieci dwuwarstwowe MLP x0 1 x 1 x 2 x S w k ,1 w k ,2 w kS , w k ,0 Rysunek 3.1. Pełny model pojedynczego neuronu – z wejściem progowym (tzw. biasem) uk yk zawsze wartość -1, do którego prowadzi waga neuronu o indeksie 0. Waga ta jest odpowiednikiem progu aktywacji neuronu biologicznego – po przekroczeniu przez ważone sygnały wejściowe tej granicy, neuron wysyła sygnał do dalszych neuronów, w przeciwnym razie pozostaje w spoczynku. W modelu matematycznym znaczenia progu można się dopatrywać albo w przesunięciu funkcji aktywacji wzdłuż osi x, albo w możliwości przesuwania granic decyzyjnych neuronu, co zostanie pokazane później. Wszystkie neurony w obu warstwach sieci posiadają wejścia progowe. Istnienie biasu jest „wewnętrzną sprawą” każdego neuronu – wejścia o indeksach zerowych są niewidoczne dla użytkownika sieci. Funkcje symulujące działanie sieci będą same musiały zadbać o rozszerzenie wektora wejściowego o dodatkowe wejście, zaś macierze wag będą musiały zostać uzupełnione o dodatkowy wiersz. Próg neuronu, podobnie jak wagi, podlega uczeniu. Włączenie go do wektora wag jest zabiegiem czysto matematycznym, w naszym przypadku ułatwiającym operacje macierzowe. Nie zawsze jednak jest on stosowany. Na przykład sieci neuronowe zaimplementowane w pakiecie MATLAB Neural Network Toolbox korzystają z osobnych macierzy wag i wektorów wejść progowych (biasów). x x 1 x 2 x S 0 1 1 w k ,0 1 w k ,2 1 w k ,1 1 w k , S 1 y 1 1 y k 1 y K 1 Rysunek 3.2. Pierwsza warstwa sieci dwuwarstwowej Pierwszą warstwę sieci przedstawia rys. 3.2. Wszystkie wielkości odnoszące się do neuronów warstwy pierwszej będziemy teraz oznaczać indeksem górnym (1). Wektor sygnałów wejściowych dla całej sieci, zawierający wektor cech opisują-
3.1. Inicjalizacja sieci 27 cych badany obiekt lub zjawisko, będziemy oznaczać przez X. Po rozszerzeniu o wejście zerowe x 0 = −1 stanie się on wektorem wejściowym pierwszej warstwy X (1) = [x 0 , x 1 , . . . , x S ] T , o wymiarze S + 1 × 1. Macierz wag pierwszej warstwy sieci jest zbudowana, podobnie, jak w przypadku sieci jednowarstwowej, z wektorów kolumnowych wag kolejnych neuronów. Tym razem jednak, pierwszy jej wiersz, indeksowany przez nas jako zerowy (drugi dolny indeks), zawiera wagi poszczególnych neuronów do wejścia progowego, czyli krótko ich biasy. [ W (1) = W (1) 1 W (1) 2 · · · W 1 K 1 ] = ⎡ ⎢ ⎣ w (1) 1,0 w (1) 2,0 · · · w (1) K 1 ,0 w (1) 1,1 w (1) 2,1 · · · w (1) K 1 ,1 w (1) 1,2 w (1) 2,2 · · · w (1) K 1 ,2 . . . .. . w (1) 1,S w (1) 2,S · · · w (1) K 1 ,S S+1×K 1 (3.1) Przy implementacji następnych funkcji trzeba będzie pamiętać o tym, że program MATLAB indeksuje wiersze macierzy od 1, a nie on 0, jak np. język C++. Sieć dwuwarstwowa jest kaskadowym połączeniem warstwy pierwszej i drugiej. Pomimo tego, że jedną z głównych i podkreślanych zalet sieci neuronowych jest równoległe przetwarzanie danych, to jednak architekturę rozważanych właśnie wielowarstwowych sieci jednokierunkowych (Multi Layer Perceptron – MLP) możemy określić jako równoległo-szeregową. W jednej warstwie rzeczywiście sygnały przetwarzane są równolegle przez wszystkie neurony, jednak z jednej warstwy do kolejnej przesyłane są szeregowo. Zobaczymy później, że kolejne warstwy po kolei upraszczają zadanie, które ma do wykonania sieć. Wiele badań dowodzi, że jest to sposób działania zbliżony do procesów, zachodzących w naszym mózgu ([1]), szczególnie tych związanych z percepcją. W mózgu występuje jednak dodatkowo bardzo wiele połączeń zwrotnych. Sprawiają one, ze sieci sieci biologiczne są układami dynamicznymi o wielkich możliwościach przetwarzania i kojarzenia sygnałów. Sieci rekurencyjne wykraczają jednak daleko poza zakres niniejszej książki. Pełny model sieci dwuwarstwowej przedstawia rys. 3.3. Wektor wyjść warstwy pierwszej, po rozszerzeniu o wejście progowe, staje się wektorem wejść do warstwy drugiej. Macierz wag warstwy drugiej, konstruowana w analogiczny sposób, jak macierz wag warstwy pierwszej, ma wymiar K 1 + 1 × K 2 . Wszystkie wielkości odnoszące się do neuronów drugiej warstwy sieci oznaczamy indeksem górnym (2). Funkcja inicjująca sieć dwuwarstwową o S wejściach, K 1 neuronach w pierwszej i K 2 neuronach w drugiej warstwie zawiera zaledwie dwie linie kodu, w których ⎤ ⎥ ⎦
Page 1 and 2: Poznawanie własności sieci neuron
Page 3: Piotr Ciskowski Poznawanie własno
Page 7 and 8: Rozdział 1 Wstęp Sztuczne sieci n
Page 9 and 10: Rozdział 2 Sieci jednowarstwowe Ch
Page 11 and 12: 2.1. Inicjalizacja sieci 9 wartośc
Page 13 and 14: 2.1. Inicjalizacja sieci 11 Funkcja
Page 15 and 16: 2.2. Symulacja działania sieci 13
Page 17 and 18: 2.3. Uczenie sieci 15 2.3. Uczenie
Page 19 and 20: 2.3. Uczenie sieci 17 danych sygna
Page 21 and 22: 2.3. Uczenie sieci 19 Losuj numer p
Page 23 and 24: 2.3. Uczenie sieci 21 z odpowiednim
Page 25 and 26: 2.3. Uczenie sieci 23 Dowodem na to
Page 27: Rozdział 3 Sieci dwuwarstwowe MLP
Page 31 and 32: 3.3. Uczenie sieci 29 X S1 1 1 X S
Page 33 and 34: 3.3. Uczenie sieci 31 Zadanie 6. Na
Page 35 and 36: 3.3. Uczenie sieci 33 - również d
Page 37 and 38: 3.3. Uczenie sieci 35 Jedynym nie w
Page 39 and 40: 3.3. Uczenie sieci 37 założonych
Page 41 and 42: 3.3. Uczenie sieci 39 Jako poprawki
Page 43: 3.3. Uczenie sieci 41 W2 = W2przed
Page 46 and 47: 44 Rozdział 4. Badanie procesów u
Page 78 and 79:
76 Rozdział 5. Badanie procesów u
Page 80 and 81:
Page 82 and 83:
Page 84 and 85:
Page 86 and 87:
Page 88 and 89:
Page 90 and 91:
Page 92 and 93:
90 Rozdział 6. Rozwiązania zadań
Page 94 and 95:
Page 96 and 97:
Page 98 and 99:
Page 100 and 101:
Page 102 and 103:
100 Rozdział 6. Rozwiązania zada
Page 104:
102 Bibliografia [1] Hawkins J., Bl
show all

Poznawanie wÅasnoÅci sieci neuronowych w Årodowisku MATLAB

Create successful ePaper yourself

Delete template?

Save as template?

Poznawanie wÅasnoÅci sieci neuronowych w Årodowisku MATLAB