Metody sztucznej inteligencji - Instytut Sterowania i Systemów ...
Metody sztucznej inteligencji - Instytut Sterowania i Systemów ...
Metody sztucznej inteligencji - Instytut Sterowania i Systemów ...
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
<strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong><br />
sztuczne sieci neuronowe - wstęp<br />
dr hab. inż. Andrzej Obuchowicz, prof. UZ<br />
<strong>Instytut</strong> <strong>Sterowania</strong> i <strong>Systemów</strong> Informatycznych<br />
Uniwersytet Zielonogórski<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 1/ 18
Literatura<br />
1 R. Tadeusiewicz: Sieci neuronowe, Akademicka Oficyna<br />
Wydawnicza, Warszawa 1993.<br />
2 J. Korbicz, A. Obuchowicz, D. Uciński: Sztuczne sieci neuronowe.<br />
Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ,<br />
Warszawa 1994.<br />
3 J. Hertz, A. Krogh, R.G. Palmer: Wstęp do obliczeń neuronowych,<br />
WNT, Warszawa 1993.<br />
4 J. Żurada, M. Barski, W. Jędruch: Sztuczne sieci neuronowe,<br />
Wydawnictwo naukowe PWN, Warszawa 1996.<br />
5 S. Osowski: Sieci neuronowe w ujęciu algorytmicznym, WNT,<br />
Warszawa 1996.<br />
6 W. Duch, J. Korbicz, L. Rutkowski, R. Tadeusiewicz (Red.):<br />
Biocybernetyka i inżynieria biomedyczna 2000. Sieci neuronowe,<br />
Akademicka Oficyna Wydawnicza EXIT, Warszawa 2000.<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 2/ 18
Plan wykładu<br />
trochę historii<br />
systemy biologiczne vs. systemy sztuczne<br />
elementy neurobiologii<br />
własności systemów neuronowych<br />
klasy problemów rozwiązywanych za pomocą sieci neuronowych<br />
obszary zastosowań<br />
podsumowanie<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 3/ 18
Trochę historii<br />
Krótki zarys<br />
1943 McCulloch i Pitts — model neuronu<br />
1949 Hebb — reguła uczenia samoorganizującego<br />
1958 Rosenblatt — perceptron prosty<br />
1962 Widrow i Hoff — reguła LMS dla ADALINE (reguła delty)<br />
1969 Minsky i Pappert — krytyka perceptronu prostego<br />
1969–1986 „chude” lata badań nad SSN<br />
1986 Rummelhart i McCelland (wcześniej Werbos 1974) — algorytm<br />
wstecznej propagacji<br />
1986–do dziś — eksplozja zaiteresowania i implementacji i<br />
zastosowań SSN<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 4/ 18
Systemy biologiczne vs. systemy sztuczne<br />
System biologiczny<br />
1 mózg (w szczególności ludzki) jest wysoce złożonym, nieliniowym i równoległym<br />
systemem przetwarzania informacji;<br />
2 prędkość przesyłania informacji w mózgu jest stosunkowo niska;<br />
3 proces obliczeniowy jest powolny i o niskiej precyzji;<br />
4 ludzki mózg jest bardziej efektywny od dowolnego komputera na polu<br />
rozpoznawania obrazów, przetwarzania sygnałów czy podejmowania decyzji;<br />
System elektroniczny<br />
1 elementy elektroniczne (tranzystory) działają tysiące razy szybciej od<br />
biologicznych komórek nerwowych;<br />
2 konwencjonalne komputery wykonują obliczenia szybciej i precyzyjniej niż ludzki<br />
mózg;<br />
3 rozpoznawanie obrazów, przetwarzania sygnałów czy podejmowania decyzji<br />
wymaga od klasycznego komputera niezwykle skomplikowanych algorytmów o<br />
dużej złożoności czasowej i przestrzennej.<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 5/ 18
Systemy biologiczne vs. systemy sztuczne<br />
Idea i cel<br />
Połączyć szybkość działania elementów elektronicznych z<br />
właściwościami ludzkiego mózgu – bardzo efektywne narzędzie do<br />
rozwiązywania szerokiej gamy problemów.<br />
Sztuczna sieć neuronowa jest maszyną, która jest tak<br />
zaprojektowana, aby modelowała sposób w jaki mózg rozwiązuje<br />
postawiony przed nim problem.<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 6/ 18
Elementy neurobiologii<br />
System informacyjny człowieka<br />
System informacyjny człowieka składa sie głównie z systemu nerwowego i<br />
hormonalnego. Również znaczącą rolę informacyjną ma system immunologiczny<br />
Schemat ogólny systemu nerwowego<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 7/ 18
Elementy neurobiologii<br />
Centralny (ośrodkowy) system nerwowy<br />
obejmuje mózg i rdzeń kręgowy,<br />
jest to skupisko gęsto upakowanych komórek nerwowych tworzących złożone<br />
sieci,<br />
zadanie systemu – analiza i przetwarzanie informacji.<br />
Obwodowy system nerwowy<br />
system komunikacyjny,<br />
przesyła sygnały pobierane z receptorów do systemu centralnego,<br />
przekazuje sygnały sterujące od systemu centralnego do efektorów (odbiorników<br />
rozkazów) umieszczonych w różnych częściach ciała.<br />
Autonomiczny system nerwowy<br />
Regulator procesów wegetatywnych, zachodzących w narządach wewnętrznych<br />
decydujących o funkcjonowaniu organizmu.<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 8/ 18
Elementy neurobiologii<br />
Mózg i system nerwowy<br />
Mózg i system nerwowy nie tworzą struktury ciągłej.<br />
Podstawowym elementem systemu nerwowego jest komórka nerwowa<br />
– neuron.<br />
System nerwowy zawiera ok. 10 18 , z których ok. 10 11 stanowią<br />
komórki połączone w sieć.<br />
Dzięki temu realizowane są funkcje emocji, pamięci, <strong>inteligencji</strong> i<br />
zdolności twórczych.<br />
Średnio na jeden neuron przypada kilka tysięcy połączeń, ale dla<br />
poszczególnych komórek te wartości mogą się znacznie różnić.<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 9/ 18
Elementy neurobiologii<br />
Schemat budowy komórki nerwowej<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 10/ 18
Własności systemów neuronowych<br />
Uczenie się i adaptacja<br />
proces uczenia sieci neuronowej to wyznaczenie wartości wag połączeń pomiędzy<br />
neuronami<br />
uczenie nadzorowane<br />
uczenie z krytykiem<br />
uczenie nienadzorowane<br />
Przetwarzanie równoległe<br />
sieci neuronowe przetwarzają informację równolegle<br />
typowy impuls neuronowy trwa kilka ms<br />
układy półprzewodnikowe są kilka milionów razy szybsze<br />
realizacja sieci neuronowej w postaci półprzewodnikowej<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 11/ 18
Własności systemów neuronowych<br />
Odporność na uszkodzenia<br />
z przetwarzania równoległego płynie odporność sieci neuronowych na uszkodzenia<br />
w mózgu człowieka komórki umierają nieustannie co nie wpływa ujemnie na jego<br />
funkcjonowanie<br />
przy dużej liczbie powiązań neuronowych sieć staje się odporna na błędy<br />
występujące w niektórych połączeniach<br />
funkcje uszkodzonych połączeń przejmują inne<br />
pojedyncza waga niesie tylko jedynie niewielką informację o problemie<br />
Zdolność uogólniania (generalizacja)<br />
sieć wytrenowana na pewnej liczbie wzorców potrafi skojarzyć nabytą wiedzę i<br />
wykazać poprawne działanie na danych, które nie uczestniczyły w uczeniu<br />
dostępne dane dzieli się na zbiór uczący L i testujący T . W zbiorze uczącym<br />
wydziela się podzbiór V , służący do weryfikacji postępów uczenia<br />
ilościowa miara uogólniania – trudna do zdefiniowania<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 12/ 18
Własności systemów neuronowych<br />
Realizacja sprzętowa<br />
możliwość realizacji w technice o wielkim stopniu integracji<br />
perspektywa zbudowania uniwersalnego procesora<br />
realizacja sprzętowa – daleko w tyle za realizacjami programowymi<br />
pojawiają ciekawe rozwiązania sprzętowe<br />
⋄ układy w postaci komponentów mogących współpracować z<br />
klasycznymi komputerami<br />
⋄ predykcja wykonywania zadań w procesorze Intel Pentium<br />
⋄ komputery neuronowe, np. TRW MARK III i TRW MARK IV.<br />
Ostatni składa się z 250000 neuronów i 5.5 miliona połączeń<br />
synaptycznych<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 13/ 18
Własności systemów neuronowych<br />
Aproksymacja dowolnych nieliniowości<br />
ta właściwość odnosi się do określonej klasy sieci neuronowych<br />
(wielowarstwowych jednokierunkowych i radialnych)<br />
przy doborze odpowiedniej liczby warstw i neuronów możliwe jest zrealizowanie<br />
aproksymacji dowolnej nieliniowej funkcji z żądaną dokładnością<br />
sieci wielowarstwowe i radialne najczęściej stosowane w wielu dziedzinach<br />
Wielowymiarowość)<br />
budowanie systemów o wielu wejściach i wielu wyjściach (MIMO)<br />
z technicznego punktu widzenia uczenia nie ma różnicy czy system jest typu<br />
SISO, MISO czy MIMO<br />
dla systemów o wielu wyjściach uczenie może sprawiać kłopoty – sieć musi<br />
nauczyć się kilku zadań jednocześnie<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 14/ 18
Klasy problemów rozwiązywalne przez SNN<br />
Autoasocjacja<br />
Obraz jest rekonstruowany przez sieć neuronową z obrazu niekompletnego i/lub<br />
zaszumionego<br />
przykład: sieć Hopfielda, rozpoznawanie i odtwarzanie znaków alfanumerycznych<br />
Heteroasocjacja)<br />
sieć realizuje odwzorowanie wejście-wyjście, dla obrazu 1 podawanego na wejście<br />
siec generowany jest obraz 2 na jej wyjściu<br />
przykłady: problem aproksymacji, problem modelowania obiektów dynamicznych,<br />
kompresja danych<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 15/ 18
Klasy problemów rozwiązywalne przez SNN<br />
Klasyfikacja<br />
sieć przypisuje do odpowiednich klas (zbiorów) różne obrazy wejściowe<br />
w zadaniu rozpoznawania cyfr i liter, po podaniu litery sieć generuje 1 po<br />
podaniu cyfry 0<br />
przykłady: problem parzystości, detekcja uszkodzeń w urządzeniach<br />
przemysłowych<br />
Detekcja regularności)<br />
wykrywanie statystycznie istotnych cech w obrazie wejściowym<br />
nie ma zadanego a priori zbioru kategorii, według których klasyfikuje się obrazy<br />
wejściowe<br />
system samodzielnie tworzy swoją własną reprezentację obrazów wejściowych<br />
przykłady: analiza czynników głównych, kompresja obrazów, wykrywanie<br />
uszkodzeń<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 16/ 18
Obszary zastosowań SNN<br />
Przestrzeń powietrzna: systemy autopilotażu, symulacja lotu,<br />
systemy kontroli lotu, systemy detekcji uszkodzeń komponentów<br />
samolotu<br />
Motoryzacja: systemy nawigacji<br />
Bankowość: systemy czytające czeki i inne dokumenty bankowe<br />
Obronność: systemy sterowania pociskami, śledzenie obiektów,<br />
przetwarzanie sygnałów radarowych i sonarowych, przetwarzanie<br />
obrazów<br />
Elektronika: syntezery głosu, systemy analizy błędów podczas<br />
procesu projektowania układów elektronicznych<br />
Rozrywka: animacja, efekty specjalne<br />
Finanse: analiza linii kredytowych, predykcja kursu walut,<br />
przewidywanie cen akcji spółek giełdowych, przeszukiwanie zastawów<br />
hipotecznych<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 17/ 18
Obszary zastosowań SNN<br />
Ubezpieczenia: ocena wniosków, optymalizacja produktu,<br />
Medycyna: diagnostyka raka piersi, analiza sygnałów EEG i EKG,<br />
systemy szacujące możliwości zredukowania wydatków szpitala<br />
Przemysł: projektowanie i analiza produktu, diagnostyka procesu<br />
przemysłowego i maszyn, wizualne systemy inspekcji jakości<br />
produktu, ocena jakości papieru, analiza jakości chipów<br />
komputerowych, modelowanie procesów przemysłowych,<br />
Robotyka: sterowniki, sterowanie robotem po określonej trajektorii<br />
Mowa: systemy rozpoznawania mowy, kompresja mowy<br />
Telekomunikacja: kompresja danych, systemy tłumaczenia języka<br />
Transport: systemy diagnostyki układu hamulcowego ciężarówek,<br />
planowanie ruchu<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 18/ 18
Podsumowanie<br />
Sieci neuronowe są bardzo wyrafinowaną techniką modelowania<br />
Szczególnie atrakcyjne są możliwości zastosowań do rozwiązywania<br />
problemów o charakterze nieliniowym<br />
O popularności sieci neuronowych może świadczyć fakt ilości<br />
sprzedaży oprogramowania<br />
A. Obuchowicz <strong>Metody</strong> <strong>sztucznej</strong> <strong>inteligencji</strong> 19/ 18
Change language