Note de curs - Departamentul Automatica, Calculatoare si ...

σ ( x)
1
= − α ( x−
x p )
1 + e
si graficul din figura de mai jos.
Functia sigmoidalǎ este tot de tipul salt dar saltul este neted. Saltul se apropie
oricât de mult de saltul net din cazul functiei prag pe mǎsurǎ ce constanta
pozitivǎ α creste. Functia de activare rǎmâne însǎ derivabilǎ ceea ce este foarte
important pentru metodele de gradient.
Referitor la structura retelelor neuronale se pune întrebarea (dublǎ) naturalǎ:
câte straturi de neuroni sunt necesare, câte celule sunt necesare în fiecare strat
de neuroni
Stratul prim, cel de intrare trebuie sǎ continǎ atâtea celule câte componente are
vectorul intrǎrilor retelei. Stratul ultim care produce iesirile retelei trebuie sǎ
continǎ nici mai mult nici mai putin decât numǎrul de componente ale
vectorului de iesire. Rolul oricǎrui strat neuronal interior/ascuns este acela de a
re-formula/re-aplica iesirile stratului anterior pentru a obtine o reprezentare mai
clar separabilǎ, mai limpede clasificabilǎ a datelor. Straturile interioare sunt
cele care permit atasarea unei semantici combinatiilor de intrǎri ale stratului.
Kolmogorov a dat de timpuriu un rǎspuns (partial) la problema numǎrului de
celule dintr-un strat ascuns. Rǎspunsul bazat pe teoria aproximǎrii functiilor
d c
sunǎ astfel: fiind datǎ o functie continuǎ φ : I → R , φ ( x)
= y , unde I = [0, 1]
si în consecintǎ I d este cubul unitate d-dimensional, functia φ poate fi
implementatǎ într-o retea neuronalǎ cu exact trei straturi, cu d unitǎti (celule) în
stratul de intrare, cu (2c + 1) neuroni într-un unic strat ascuns si cu c unitǎti în
stratul de iesire.
Teorema datǎ de Kolmogorov este numai o teoremǎ de existentǎ. Construirea
efectivǎ a functiilor de activare este deschisǎ. Posibilitǎtile de aproximare a
functiei φ cu functii de un gen sau altul rǎmâne obiectul unor investigatii de
naturǎ mai curând aplicativǎ.
Dupǎ cum s-a arǎtat mai devreme, retelele neuronale artificiale sunt deja larg
utilizate pentru a rezolva probleme de învǎtare în diverse domenii. Prin
utilizarea unor date experimentale existente, retelele neuronale “învatǎ” relatiile
între intrǎri si iesiri. Relatiile sunt aproape totdeauna neliniare si sunt cu totul
empirice, fǎrǎ apel la vreo teorie din fundamentele fizicii, ale chimiei etc. Sub
acest unghi, retelele neuronale sunt pur si simplu modele regresionale complexe
68