Note de curs - Departamentul Automatica, Calculatoare si ...

Un element caracteristic al oricǎrei retele neuronale este capacitatea de învǎtare.
Învǎtǎtura acumulatǎ de o retea de neuroni cu functii de activare precizate este
stocatǎ în ponderile asociate conexiunilor dintre neuroni. Într-un proces de
instruire, cum frecvent se spune în aplicatiile tehnice ale retelelor neuronale
artificiale, ponderile sunt aranjate de asa naturǎ încât la intrǎri similare,
rǎspunsul retelei, cu alte cuvinte iesirile ei sǎ fie similare dacǎ nu identice.
Instruirea unei retele se face pe o multime de perechi intrǎri-iesiri observate
experimental, numitǎ si multime de învǎtare, multime fatalmente finitǎ. În
cursul învǎtǎrii/instruirii retelei, ponderile sunt ajustate algoritmic pentru ca un
anumit criteriu de penalitate sǎ fie minimizat. Intrǎrile sunt uzual valori
observate ale unor mǎrimi fizice. Iesirile pot fi niste etichete (acestea ar putea fi
diagnostice, de pildǎ) sau alte mǎrimi care sunt legate functional de intrǎri nu
prin relatii functionale clar formulate si deci tratabile prin calcule aritmetice
simple ci într-o manierǎ mai curând tainicǎ, misterioasǎ. Rezultǎ din ultima
afirmatie cǎ retelele neuronale pot fi utilizate atât la clasificǎri cât si la
interpolǎri de functii învǎluite în mister cum sunt uneori relatiile între variabile.
Clasificǎrile pot avea în vedere simptome ale unei functionǎri defectuoase a
unui organism viu sau a unui sistem tehnic. În cazul acesta multimea de
învǎtare, o multime de perechi intrǎri-iesiri se clasificǎ prin etichetare: fiecare
set de intrǎri se asociazǎ cu un dignostic care are eventual un nume. Reteaua
neuronalǎ este instruitǎ ca la iesire sǎ producǎ indicatorul celui mai probabil
diagnostic. Astfel instruitǎ, reteaua poate recunoaste diagnosticele respective
chiar dacǎ, cum se întâmplǎ deseori, simptomele introduse ca intrǎri nu
reproduc riguros simptome-intrǎri din multimea de învǎtare. Indicatorii de
diagnostic obtinuti la iesire ar putea fi un vector binar, câte un bit pentru fiecare
diagnostic. Desigur, iesirea se poate nuanta în numere în intervalul [0,1] care sǎ
dea numai o indicatie a diagnosticului/diagnosticelor cel/cele mai probabile.
Decizia corectǎ trebuie sprijinitǎ mai departe pe alte informatii, pe experienta
acumulatǎ de experti sau de un sistem expert ca element de inteligentǎ
artificialǎ orientat pe diagnozǎ.
În procesul de instruire/învǎtare este necesar un asa-numit criteriu de penalitate
care trebuie minimizat prin modificarea ponderilor atasate legǎturilor dintre
neuronii retelei. Cele mai utilizate criterii sunt cele bazate pe distante, de pildǎ
cel al celor mai mici pǎtrate. Iesirile observate experimental în conditii de
intrǎri cunoscute, si acestea observate, se constituie în valori tintǎ pentru
învǎtare. Valorile calculate cu reteaua neuronalǎ trebuie sǎ vinǎ în procesul de
învǎtare cât mai aproape de valorile tintǎ. Sub aspectul calculului efectiv
problema este de a stabili un extrem. Existǎ metode variate de stabilire a
extremelor functiilor. Metodele de gradient întâmpinǎ o dificultate majorǎ în
cazul fuctiilor de activare de tipul salt/prag mentionate mai devreme: aceste
functii nu sunt derivabile. De aceea functiile de activare pentru retelele
neuronale au fost fǎcute continue si derivabile printr-o usoarǎ modificare.
Modificarea conduce la functia sigmoidalǎ care are expresia
67