Poznawanie własności sieci neuronowych w środowisku MATLAB

4.2. Dokładny model neuronu 47
Uwzględniając zawsze jednakową wartość biasu
Ostatecznie otrzymaliśmy równanie prostej
−w 0 + w 1 x 1 + w 2 x 2 = 0 (4.2)
x 2 = − w 1
w 2
x 1 + w 0
w 2
(4.3)
która jest granicą decyzyjną neuronu, a której parametry (nachylenie i przesuniecie)
zależą od wag neuronu (a dokładniej: od ich wzajemnych proporcji).
Pojedynczy neuron jest więc dyskryminatorem liniowym. Oznacza to, że na
płaszczyźnie jest w stanie rozdzielić punkty do różnych klas linią prostą. Jak łatwo
zauważyć, pozbawienie neuronu wejścia progowego ograniczało jego zdolności
do linii przechodzących przez środek układu współrzędnych, których nachylenie
można regulować zmieniając wagi neuronu, bez możliwości regulacji ich przesunięcia.
Jak pokazały nam dotychczasowe ćwiczenia, w zupełności wystarczało to
do klasyfikacji zwierząt jako: ssaki, ptaki i ryby, już nie na płaszczyźnie, lecz
w pięciowymiarowej przestrzeni sygnałów wejściowych. Rozważane tu zdolności
klasyfikacyjne neuronu można więc uogólnić na przestrzenie wejściowe o większej
liczbie wymiarów.
Neuron o S wejściach, wyposażony w wejście progowe (bias) ma S + 1 parametrów,
które można dowolnie „dostroić” w procesie uczenia. Ponieważ jest on
dyskryminatorem liniowym, to w S-wymiarowej przestrzeni sygnałów wejściowych
jest w stanie rozdzielać punkty na dwie klasy przy pomocy hiperpłaszczyzn.
Czytelnik może sprawdzić, że neuron o dwóch wejściach może na płaszczyźnie
ustawić swoje wagi tak, aby rozdzielić 3 punkty na wszystkie możliwe sposoby
(kombinacje klas dla poszczególnych punktów). W ogólności potrafi on w S-wymiarowej
przestrzeni rozdzielić S + 1 punktów na wszystkie możliwe sposoby
– i tyle właśnie wynosi jego wymiar Vapnika-Chervonenkisa. Wielkość ta jest
ściśle związana z teorią rozpoznawania i pozwala określić zdolności klasyfikacyjne
maszyn uczących (w tym sieci neuronowych). Przydaje się także m.in. do szacowania
liczby przykładów w zbiorze uczącym potrzebnych do prawidłowego nauczenia
sieci, lub do określenia, jaki błąd sieć jest w stanie osiągnąć przy zbiorze uczącym
o ustalonej liczbie przykładów.
Jedno z następnych ćwiczeń pokaże nam, że w istocie jedyną granicą decyzyjną,
jaką jest w stanie wytworzyć pojedynczy neuron, jest właśnie linia prosta.
Dalsze ćwiczenia pokażą nam jednak, że z takich pojedynczych liniowych granic
decyzyjnych, sieci dwuwarstwowe są w stanie tworzyć bardzo skomplikowane
granice nieliniowe.