Ing. Miroslav Katrák Rozpoznávanie reči použitím ... - TUKE

TechnickáuniverzitavKošiciach 

Fakultaelektrotechnikyainformatiky 

Katedraelektronikyamultimediálnychtelekomunikácií 

Ing.MiroslavKatrák 

Rozpoznávanierečipoužitím 

neurónovýchsietí 

Písomnáprácakdizertačnejskúške 

Študijnýprogram:Telekomunikácie 

Študijnýodbor:5.2.15Telekomunikácie 

Školiteľ:doc.Ing.JozefJuhár,CSc. 

Formaštúdia:denná 

Košice2007

Poďakovanie 

ToutocestoubysomsachcelpoďakovaťBohu,priateľom,avneposled- 

nomrademôjmuvedúcemudoc.Ing.JozefoviJuhárovi,CSc.,zapomocpri 

vypracovanítejtopráce.

Obsah 

Úvod 1 

1 Neurónovésiete 2 

1.1 Úvod. ............................... 2 

1.2 Vlastnostineurónovejsiete.................... 3 

1.3 Výhodyneurónovýchsieti .................... 3 

1.4 História . ............................. 4 

1.5 Prečopráveumeléneurónovésiete? . .............. 6 

1.6 Činnosťneurónovejsiete . .................... 6 

1.7 Aplikácieneurónovýchsietí . .................. 7 

1.8 Perceptrón............................. 9 

1.9 Neurón............................... 10 

1.10 Typyneurónovýchsietí...................... 11 

2 Doprednéneurónovésiete 12 

2.1 Deltapravidlo........................... 13 

2.2 Metódaspätnéhošíreniachyby(backpropagationoferror) . . 14 

2.3 Momentum . ........................... 16 

2.4 SupportVectorMachines(SVM) ................ 17 

2.4.1 Úvod. ........................... 17 

2.4.2 Aktívneučeniedynamickýmvýberomtrénovacíchvek- 

torov. ........................... 17 

3 Rekurentnéneurónovésiete 20 

3.1 LSTMrekurentnáneurónovásieť ................ 21 

3.1.1 VýhodyLSTM ...................... 24 

3.2 BidirectionalLSTM(BLSTM).................. 24 

3.3 SpikingNeuralNetworks(SNNs) ................ 25 

3.4 Elmanovéneurónovésiete(ENNs)................ 27 

3.5 Neurónovásieťsechostavmi(ESN). .............. 29

4 Rozpoznávaniereči 30 

4.1 Súčasnýstavvosvete....................... 30 

4.2 Metódyrozpoznávaniareči.................... 33 

4.2.1 Skrytémodely(HMMs) . ................ 33 

4.2.2 Neurónovésiete(NN). .................. 33 

4.2.3 Dynamickéskresleniečasu(DTW) . .......... 33 

4.2.4 StateTransitionMatrix(STM) . ............ 34 

4.3 Softwareprerozpoznávaniereči . ................ 35 

4.3.1 Voľnýsoftvér ....................... 35 

4.3.2 Komerčnýsoftvér . .................... 36 

5 Tézydizertačnejpráce 37 

Zoznampoužitejliteratúry 38 

Zoznampríloh 43 

Zoznamobrázkov 43 

Zoznamtabuliek 43

Predhovor 

”najväčšírozdielmedzičasomapriestoromje,ženemôžeš 

znovupoužiťčas” 

(MerrickFurst) 

Kvýberutejtominimovejprácesomsarozhodolkvôlizáujmuhlbšie 

spoznaťproblematikuneurónovýchsietíarozpoznávaniareči.Taktiežrozho- 

dujúcimkrokombolamyšlienkaurobiťvýskumvurčitejoblastitejtoprob- 

lematiky.

Zoznampoužitýchskratiek 

ANN,NN „ArtificialNeuralNetworks 

(umeléneurónovésiete) 

RCNN,RNN „RecurrentNeuralNetworks 

(rekurentnéneurónovésiete) 

FFNN „FeedforwardNeuralNetworks 

(doprednéneurónovésiete) 

HMM,HMMs „HiddenMarkovModels 

(skrytémarkovémodely) 

SVM „SupportVectorMachines 

(technikyvyuživajúcepodpornévektory) 

SVNT „SupportVectorNeuralTraining 

(trénovaniepomocoupodpornýchvektorov) 

SV „Synapticweight(synaptickáváha) 

NN-HMM „NeuralNetwork-HiddenMarkovModel 

(neurónovésiete-skrytéMarkovovemodely, 

tzv.hybridnésystémy) 

DTW „Dynamictimewarping 

(dynamickéskresleniečasu) 

ASR „Automaticspeechrecognition 

(automatickérozpoznávanireči) 

SNNs „SpikingNeuralNetworks 

(impulzneneurónovésiete) 

STM „StateTransitionMatrix 

(statetransitionmatrix) 

LSTM „LongShort-Termmemoryrecurrentneuralnetworks 

(LSTMrekurentnéneurónovésiete) 

BLSTM „BidirectionalLSTM 

(BidirectionalLSTM) 

ENNs „ElmanNeuralNetwork

(Elmanoveneurónovesiete) 

ESN „EchoStateNetwork 

(neurónovásieťsechostavmi) 

LMS „Leastmeansquare 

(minimálnastrednáhodnota)

FEITUvKošiciach Listč.1 

Úvod 

Rečjeprirodzenáformakomunikáciemedziľuďmi.Počasdetstvabezakých- 

koľvekinštrukciízískavamevšetkydôležitéskúsenosti.Pokračujemevučení 

aspoliehamesanakomunikáciupočasceléhonášhoživota.Prichádzato 

takprirodzene,žesianineuvedomujemeakázložitájeľudskáreč.Ľudský 

hlasjebiologickýorgánsnelineárnymivlastnosťami,ktoréhooperácienie 

súpodkontrolouvedomia,alesúovplyvnenéfaktormipohybujúcimisaod 

rodupovýchovuemocionálnehostavu.Vydávanieľudskéhohlasusamôže 

meniťzhľadiskaakcentu,výslovnosti,artikulácie,hrubosti,hovorenianosom, 

hlasitosti,rýchlostiatď.Vzorkyhlasumôžubyťskreslenéhlukompozadia, 

ozvenami,podobneakojetomuvelektrickomsignáli.Všetkytietopríčiny, 

nestálostispôsobujúvľudskomrozpoznávanízložitýproblém[1].Rozhodol 

somsapozrieťnaproblematikurozpoznávaniaľudskejrečipomocouneuróno- 

výchsieti.Prečopráveneurónovésiete?Pretožeľudskýmozogjerekurentná 

neurónovásieťalebodoprednáneurónovásieť:sieťneurónovsospätnými 

prepojeniami.[43] 

Činnosť nervovej sústavy spúšťajú a uskutočňujú nervové bunky (ne- 

uróny),ktoréprenášajúinformácievpodobeelektrickýchimpulzov.Každý 

neurónmáspojeniasostovkamiďalšíchneurónov,čovytvárahustúkomu- 

nikačnúsieť.Niektorénervovébunkyreagujúpriamonasignálysprostred- 

kovanézmyslami,napríkladzrakom,sluchomahmatom.Vysielajúrýchle 

„salvynervovýchimpulzov,ktorézachytiainéneurónyaprenesúichďa- 

lej.Signálynapokondosiahnucieľovétkanivá,napríkladbunkyvsvaloch, 

orgánochalebožľazách,atelozareagujenapodnet.Okremneurónovsav 

nervovejsústavenachádzaajmnožstvoinýchdruhovbuniek,ktorévyživujú 

achrániatietobunky[?].


1 Neurónovésiete 

1.1 Úvod 

Privytváraníinteligentnýchsystémovbolourobenýchmnožstvopokrokov. 

Niektoréznichboliinšpirovanébiologickýmineurónovýmisieťami. 

Výskumnícizmnohýchvednýchdisciplínvytvoriliumeléneurónovésiete 

(ANNs)súmyslomvyriešiťmnožstvoproblémovvrozpoznávanítvaru,pre- 

dikcii, optimalizácii, asociačnej pamäte. [14] ANNs sú masívne paralelné 

výpočtovésystémypozastavajúcezextrémneveľkéhopočtujednoduchých 

procesovsmnohýmiprepojeniami.ANNsposkytujúrozličnéalternatívy,z 

ktorýchmôžuťažiťmnohéaplikácie.Umeléneurónovésietemôžubyťpri- 

meranecharakterizovanéako„výpočtovémodelysurčitýmivlastnosťami, 

akoschopnosťadaptovaťsa,aleboučiťsa,zovšeobecňovať,zoskupovať,alebo 

organizovaťdáta. 

Ľudskýmozogpracujenainomprincípeakokonvenčnýčíslicovýpočítač. 

Základnéstavebnéprvkymozgu-neurónysúpomalšieo5-6rádovvoči 

kremíkovýmlogickýmhradlám.Mozogjevysokokomplexný,nelineárnya 

paralelnýsystémspracovaniainformácií. 

Neurónovúsieť(NN)jemožnédefinovaťakoparalelnýdistribuovanýpro- 

cesor,ktorýmáschopnosťuchovávaťpoznatkyzískanéskúsenosťouamaťich 

kdispozíciinapoužitie.Podobásamozguvdvochohľadoch: 

•sieťzískavapoznatkyprocesomučenia 

•nauchovaniepoznatkovsapoužívajúmedzi-neurónovéspojeniaznáme 

akosynaptickéváhy(SV)[27]. 

Neurónovúsieťvšakmôžemedefinovaťajčistozmatematickéhohľadiska 

pomocouteóriegrafov:[29] 

Neurónovásieťještruktúrapreparalelnéadistribuovanéspracovanie 

informáciívtvareorientovanéhografusnasledujúcimiobmedzeniami: 

•uzlygrafovsanazývajúvýpočtovéprvky


•hranygrafusanazývajúspojenia 

•každývýpočtovýprvokmôžeobsahovaťľubovoľnýpočetvstupných 

spojení 

•každývýpočtovýprvokmôžemaťľubovoľnýpočetvýstupnýchspojení 

-vskutočnostisajednáotenistývýstup,ktorýsarozvetvuje. 

•výpočtovéprvkymôžumaťlokálnupamäť 

•každývýpočtovýprvokobsahujeprenosovú(aktivačnú)funkciu,ktorá 

môževyužiťlokálnupamäť,vstupnésignályaktorávytvorívýstupný 

signálvýpočtovéhoprvku. 

1.2 Vlastnostineurónovejsiete 

Základnouvlastnosťouneurónovejsietejeschopnosťabstrakciepravidiel 

medzivstupnýmiavýstupnýmihodnotamiprezentovanýmivovhodnejforme 

anáslednouaplikáciouzískanýchpravidielnaakékoľvekvstupnéhodnoty. 

Pretosačastovyužívavregulačnejasimulačnejtechnike. 

Procesabstrakciesanazývaučenie,amôžeprebiehaťsučiteľomalebo 

bezučiteľa.Počastohtoprocesusaaktualizujúhodnotyváhovýchspojení. 

Vliteratúrejeuvedenýchniekoľkoučiacichalgoritmov.Poukončeníučenia, 

saužhodnotyváhnemeniaasieťprodukujevýstupypodľauvedenéhopra- 

vidlaaplikovanéhonavstupnéhodnoty. 

1.3 Výhodyneurónovýchsieti 

•Paralelnéspracovanieinformácií,ktoréumožňujeprivhodnomhardvéri 

rozdeliťvýpočetnaniekoľkosúbežnýchprocesorov. 

•Nevyžadujúakúkoľvekinformáciuoštruktúreprocesu,naktorýsúap- 

likované. 

•Rýchlostsietiimplementovanýchbezučiacehoalgoritmu.


•Umožňujúabstrahovaťriadiacepravidláinéhoregulátora(napr.člo- 

veka,aleboregulátorasdlhýmivýpočtovýmičasmi)anahradiťich. 

•Zahŕňajúvsebemožnosťadaptácienazmenuparametrov,pokiaľsa 

aplikujeajsučiacimalgoritmom. 

•Súvhodnépreúlohyidentifikácie,aproximácie,klasifikácieatriedenia 

vzorov. 

•Poskytujúredukciurozmerudátdomenejrozmernéhopriestoru. 

•Súuniverzálnymaproximátorom,schopnýmaproximovaťakúkoľvekspo- 

jitúfunkciusľubovoľnoupresnosťou. 

1.4 História 

VýskumnícivoblastiANNzažilitrifázyrozsiahlychaktivít: 

•Prvápochádzazroku1940zásluhouvýskumníkovMcCullochaPitt 

•Ďalšiavzniklavroku1960sRosenblattovýmperceptrónomokon- 

vergenčnejteoréme[23]aprácouvýskumníkovMinskéhoaPaperta, 

ktorísazaoberaliohraničeniamijednoduchéhoperceptrónu[22]. 

•Vroku1982Hopfieldvosvojomvýskumeobjavilučiacialgoritmus 

backpropagationurčenýpreviacvrstvovédoprednéneurónovésiete. 

[18].TentoalgoritmusbolnavrhnutýWerbosom[25],niekoľkokrát 

upravovaný,potomspopularizovanýRumelhartomvroku1986[24].


vstupna vrstva 

in1 

in2 

skryta vrstva 

h2 

h3 

h1 

2. skryta vrstva 

Obr.1:Doprednáneurónovásieť 

vstupna vrstva 

in1 

in2 

skryta vrstva 

h1 

h2 

h3 

h4 

Obr.2:Rekurentnáneurónovásieť 

j1 

j2 

j3 

j4 

vystupna vrstva 

out1 

out2 

vystupna vrstva 

out2 

out1


1.5 Prečopráveumeléneurónovésiete? 

Dlhývývojevolúciedalľudskémumozguvhodnécharakteristikynezahrnuté 

vovonNeumanovýchalebovmodernýchparalelnýchpočítačoch.Tentovývoj 

zahrňuje: 

•masívnyparalelizmus, 

•distribuovanúreprezentáciúapočítanie, 

•učiaceschopnosti, 

•generalizačnéschopnosti, 

•adaptivitu, 

•prirodzenékontextovéspracovanieinformácii, 

•odolnosťvočichybám. 

Modernépočítačeprekonávajúľudívoblastimatematickýchvýpočtova 

manipuláciousosymbolmi.Architektúrabiologickýchneurónovýchsystémov 

jeúplnerozdielnaodvonNeumannovejarchitektúry. 

1.6 Činnosťneurónovejsiete 

Činnosťneurónovejsietesadározdeliťnadvezákladnéfázy,fázuučeniaa 

fázuživota.Vofázeučeniadochádzakukladaniuznalostídosynaptických 

váh.Tietováhysavofázeučeniamenia(1). 

∂dW 

=0 (1) 

∂dT 

Druháfázačinnostineurónovejsiete,fázaživota,jeužsamotnévyužitie 

získaných(naučených)vedomostizfázyučenia.Vtejtofázesasynaptické 

váhynemenia(2) 

∂dW 

∂dT 

=0 (2)


Podľaspôsobuučeniamôžemerozdeliťsamotnéučenieneurónovejsiete 

nakontrolovanéanekontrolovanéučenie.Kontrolovanéučeniejeučenies 

učiteľom,spočívavtom,ženeurónovejsietisúpredkladanévzoryaobrazy. 

Prinekontrolovanomučenísúpredkladanéibavzory. 

1.7 Aplikácieneurónovýchsietí 

Neurónovésietesúvpodstatepoužiteľnévkaždejsituácii,vktorejexis- 

tujevzťahmedzipredikčnýmipremennými(nezávislosti,vstupy)apredpo- 

vedanýmipremennými(závislosti,výstupy).Vzťahjeveľmizložitýanieje 

jednoduchozrozumiteľnývnormálnychpodmienkachzo„vzájomnýchvzťa- 

hov.Medziproblémy,ktoréboliúspešneriešenépomocouneurónovýchsietí 

možnozaradiť:[26] 

•Detekcialekárskychjavov.Jemožnémonitorovaťmnožstvozdravot- 

nýchukazovateľov(napr.kombináciumeraniatepu,úroveňrozličných 

látokvkrvi). 

•Burzacennýchpapierov.Kolísaniecenyakciíaukazovateľovakciísú 

ďalšímpríkladomkomplexného,viacrozmerného,alezaurčitýchokol- 

nostíprinajmenšomčiastočne-deterministickéhofenoménu.Mnohíana- 

lyticipoužívajúneurónovésietenavytvoreniepredikciíocenáchakcií 

založenýchnamnožstvefaktorovakopredchádzajúcivýkonarozličné 

ekonomickéukazovatele. 

•Pridelenieúveru.Napožiadanieúverujepotrebnémnožstvoinformá- 

cií.Napr.vek,vzdelanie,povolanieaďalšiefakty.Ponatrénovaníne- 

urónovejsietenahistorickýchdátachmôžeanalýzaneurónovejsiete 

identifikovaťmnožstvopodstatnýchcharakteristíkatietopoužiťnakla- 

sifikáciuuchádzačaakodobréalebozléúverovériziká. 

•Monitorovaniestavuzariadenia.Neurónovésietemôžubyťtrénované 

narozlišovaniemedzizvukom,ktorývytvorístrojkeďbežínormálne 

oprotitomukeďjenahraniciproblému.Potejtotrénovanejperióde


môžebyťodbornýposudokpoužitýnaupozornenieodborníkaonovej 

poruchepredtýmnežnastaneneočákavaný”časovýprestoj”. 

•Reguláciamotora.Neurónovésietemôžubyťpoužiténaanalýzuvstupu 

senzorovmotora.Kontrolujúrozličnéparametrespolusfunkciamimo- 

tora, za účelom dosiahnuť špeciálny cieľ ako napr. minimalizovanie 

spotrebypaliva. 

Vovšeobecnostimôžemevymenovaťniekoľkooblastívyužitianeuróno- 

výchsietí:problémyaproximáciefunkcií,klasifikáciedotried,klasifikácia 

situácií,riešeniepredikčnýchproblémov,problémyriadeniaprocesov,trans- 

formáciasignálov,asociačnéproblémysimuláciapamäte.[27]


1.8 Perceptrón 

PerceptrónbolnavrhnutýRosenblattom[23]ajeurčenýnadichotomickú 

klasifikáciu,tj.rozdelenieobjektovdodvochtried,priktorýchsapredpo- 

kladá,žetriedysúlineárneseparovateľnévpríznakovompriestore.Vpod- 

stateideonajjednoduchšítypneurónovejsieteazvyčajnesapoužívapred 

klasifikáciou.Podlineárnouseparovateľnosťoudvochtriedrozumiemesitu- 

áciu,vktorejexistujemožnosťoddeliťobjektyvpríznakovompriestorepo- 

mocounadrovinynapr.priamkav2-rozmernomaleborovinav3-rozmernom 

priestore.[27] 

Uperceptrónuspôsobučeniakonvergujekvektoruváh,ktorýkorektne 

klasifikujevšetkylineárneseparovateľnétrénovaciepríklady(3). 

Obr.3:Lineárneseparovateľnéaneseparovateľnépríklady 

Perceptrónmátrivrstvy: 

•senzorovávrstva 

•asociatívnavrstva 

•výstupnýneurón 

Základnouvlastnosťouučiacehopravidlaperceptrónuje,žeakexistuje 

množinaváh,ktorávyriešiproblém,takperceptróntietováhynájde. 

Naobrázku4jemožnévidieťjednoduchýperceptrón,kde


Obr.4:Perceptrón 

• x1,x2,...,xnsúvstupyamôžutobyťceléčíslaaleboboolovskéhodnoty 

závisléodproblému 

• yjevýstupajetoboolovskáhodnota 

• w1,w2,...,wnsúváhyasútoreálnehodnoty 

•Tjeprahajetoreálnahodnota 

Výstup yje1akakvstupsiete,ktorýje 

w1x1+ w2x2+ ...+wnxn 

jeväčšíakoprahT.Ináčjevýstup0. 

1.9 Neurón 

Jejasné,ževäčšinutoho,očomvnašomživotepremýšľamezapríčiňuje 

aktivitanervovéhosystému(hlavnemozog).Nervovýsystémjezloženýz 

biliónabuniek,najdôležitejšiesúnervovébunkynazývanéneuróny,ktoré 

prenášajúinformácievpodobeelektrickýchimpulzov[?].Odhadujesa,žev 

našomnervovomsystémejeaž100biliónovneurónov. 

(3)


Neurónsaskladázčastí,ktorémôžemaťajakákoľvekinábunka,no 

navyšeobsahujeniekoľkošpecializovanýchštruktúr,ktorésúzvlášťpripojené. 

Hlavnáčasťbunkysanazývasomaalebotelobunky,ktoréobsahujejadro 

sgenetickýmmateriálomvoformechromozómov. 

Neurónymajúobrovskýpočetnadstavcov,ktorésanazývajúdendridy. 

Častovyzerajúakovetvyalebošpičkyrozšírenémimotela.Dendridyzachy- 

távajúimpluzy(príjmajúsprávy)zincýhneurónov. 

Jednanadstavbajeodlišnáodinýchanazývasaaxón-nervovýroz- 

vetvenývýbežok.Úlohouaxónujedoručovaťelektrochemickýsignáldo 

inýchneurónov,niekedynanemalúvzdialenosť.Vneurónoch,ktorétvoria 

nervyspustenéodmiechykprstomnanohách,môžubyťaxónydlhéaž1 

meter. 

Dlhéaxónysúzvyčajnepokryté-plášťommyelin,nazývanýmajmy- 

elinovápošvaradomtučnýchbuniek.Tukovýobalizolujeaxónyniektorých 

nervovýchbuniekaurychľujeprocesimpluzov,vykonávajúpodobnúfunkciu 

akoizoláciaokoloelektrickéhodrôtu. 

Vukončeníaxónu,ktorýsanazývabouton,synaptickýuzol,alebopäta 

axónusaelektrochemickýsignál,ktorýprejdepocelejdĺžkeaxónuskonver- 

tujedochemickejsprávy,ktorápokračujedoďalšiehoneuŕonu. 

Medzizakončenímnervovéhovýbežkuadendridomďalšiehoneurónuje 

veľmitenkýotvornazývanýsynapsia(alebosynaptickýotvor,alebosynap- 

tickátrhlina).Každýneurónmáod1000do10000synapsií[28]. 

1.10 Typyneurónovýchsietí 

Podľatopológiemôžemeneurónovésieterozdeliťna: 

•dopredné(feed-forwardneuralnetworks) 

•rekurentné(recurentneuralnetworks)


Obr.5:Príkladbiologickéhoneurónu 

2 Doprednéneurónovésiete 

Pridoprednýchneurónovýchsieťiachsúneurónyjednejvrstvyspojenéibas 

neurónminasledujúcichvrstiev.Prirekurentnýchsieťachexistujúajspätné 

slučkyvrámcivrstievalinkysmerujúcezneurónuksebesamému.Re- 

kurentnésietemôžemenahradiťdoprednouneurónovousieťou,pričomna 

jejvstupprivádzameinformáciuohistóriisprávaniasasystému,t.j.časovo 

oneskorenévstupy,respektívevýstupysystému.Topológiatakejtosietesa 

označujeakočasovooneskorenádoprednáneurónovásieť(time-delayfeed- 

forwardneuralnetwork).Neurónovésietezískavajúznalostivofázeučenia. 

Podučenímneurónovejsieterozumiemecielenúzmenuichvnútornýchpara- 

metrov,ktorávediekpožadovanémusprávaniusasiete,alebokextrahovaniu 

informáciízponúknutýchdát.Učiacealgoritmyjemožnérozdeliťdonasle- 

dujúcichskupín: 

•kontrolovanéučenie(učeniesučiteľom-supervisedlearning)-pri 

tomtotypeučeniaučiteľposkytujeneurónovejsietiinformáciu,ako 

máreagovaťnaprichádzajúcevstupy.Metódakontrolovanéhoučenia


súnapr.učenienazákladeopravychyby(errorcorrectionlearning), 

stochastickéučenie(stochasticlearning)aučenienazákladehodnotenia 

činnosti(reinforcementlearning). 

•nekontrolovanéučenie(učeniebezučiteľa-unsupervisedlearning) 

-vtomtoprípadeneurónovejsietiponúkameibavstupy,neurónová 

sieťvstupspracujeasamaurčujevýstupnazákladeurčitýchzákoni- 

tosti.Kmetódamnekontrolovanéhoučeniapatrínapr.Hebbovoučenie 

(Hebbianlearning),kooperačnéakonkurenčnéučenie(cooperativeand 

competitivelearning). 

2.1 Deltapravidlo 

Totopravidlopredstavujeveľmidôležitýpostupprivýpočtezmenysynap- 

tickýchváh(∆wij)[30].Lineárnaaktivačnáfunkciavneuróneiprejedno- 

vrstvovúsieťsMvstupnýmineurónmimátvar 

M 

xi= fi(ini) ini= wijxj+ θi 

j=1 

Chybovúfunkciu,ktorámácharakterfuncienajmenšíchštvorcovvyjad- 

rímetakto 

N 

J(t)= Ji(t)= 

i=1 

1 

N 

(evi(t) − xi(t)) 

2 i=1 

2 

Toplatívprípade,ževýstupnáfunkciajeidentická(xi= outi),pričom 

evi(t)jeočakávaná, xi(t)vypočítanáhodnotana i-tomvýstupezneurónovej 

sieteaNjepočettýchtovýstupov.Metódanajmenšíchštvorcovleastmean 

square(LMS)hľadáhodnotyzmenysynaptickejváhypriminimalizáciitejto 

chybovejfunkcie. 

Zmenusynaptickejváhyvzávislostiodnegatívnejparciálnejderivácie 

chybovejfunkciepodľaváhyvyjadrímevzťahom 

∆wij(t)= −γ ∂J 

∂wij 

kde γjeučiaciparameter.Pravústranuvovzťahu6jemožnéupraviť 

(4) 

(5) 

(6)


∂J(t) 

∂wij(t) 

= ∂J(t) ∂xi(t) 

∂xi(t) 

Prvýčlenpravejstrany(7)saďalejrovná 

∂J(t) 

∂wij(t) 

∂wij(t) 

(7) 

= −(evi(t) − xi(t)) (8) 

adruhýčlenvzťahu(7)nazákladevzťahu(4)sarovná 

∂xi(t) 

∂wij(t) 

= xj(t) (9) 

Ak-(evi(t)-xi(t)))označímeako δi(t),takvýslednývzorecprevýpočet 

zmenypriľubovoľnomvstupemátvar 

∆wij= γδi(t)xj(t) (10) 

Taktovypočítanázmenasynaptickejváhypodľadeltapravidladalazá- 

kladjehoďalšímmodifikáciám,čoprispelokjehorozšíreniuaaplikáciipri 

určeníneurónovýchsietí.Signál δ(t)nazývamechybovýmsignálom. 

2.2 Metódaspätnéhošíreniachyby(backpropagation 

oferror) 

Deltapravidlojezákladomučeniasospätnýmšírenímchybyaumožňuje 

použitieľubovoľnejaktivačnejfunkcief ajnelineárnehotypu,ktoráspĺňa 

podmienkudiferencovateľnosti 

x=f(in) = in (11) 

Priurčovanízmiensynaptickýchváhbudepostupanalogickýakoprizá- 

kladnomdeltapravidlezapodmienky,žefunkcianiejelineárnaajediferen- 

covateľná. 

Stavneurónuipriľubovoľnomvstupedoneurónovejsietemátvar 

xi(t)=f(ini(t)) (12)


kde 

M 

ini(t)= xj(t)wij(t)+θi 

j=1 

(13) 

Základnýmproblémomjestanoveniepríslušnéhochybovéhosignálu δipre 

každýneurón.Vedietokjednoduchémurekurzívnemuvzťahuprevýpočet 

jednotlivýchchybovýchsignálov δi,ktorépredstavujúspätnéšíreniechyby 

smeromodvýstupuneurónovejsiete.Keďže 

potom 

δi(t)=− ∂J(t) 

∂init 

δi(t)=− ∂J(t) ∂xi(t) 

∂xi(t) ∂ini(t) 

(14) 

(15) 

Najskôrsivyriešimedruhýčlenpravejstranyvzťahu(15)avzhľadomna 

vzťah(12)homôžemezapísaťtakto 

∂xi(t) 

∂ini(t) = f ′ (ini(t)) (16) 

Prevýpočetprvéhočlenapravejstranyrovnice(15)musímeuvažovaťdva 

prípady: 

•neurón ijevýstupnýmneurónom-vtedymáhľadanáparciálnaderi- 

váciatvar 

∂Ji(t) 

∂xi(t) =(evi(t) − xi(t)), (17) 

atýmmámechybovýsignál δi(t)nazákladerovníc(16)a(17)vyriešený 

vtvare 

δi(t)=(evi(t) − xi(t))f ′ (ini(t)) (18)


•neurón iniejevýstupnýmneurónom-výpočetjezložitejšíapostupuje 

sanasledovne 

∂J(t) 

∂xi(t) = 

N 

h=1 

∂J(t) ∂inh(t) 

∂inh(t) ∂xi(t) 

(19) 

kdeNjepočetvýstupnýchneurónov,resp.početneurónovvovrstve 

napravoodvrstvy,vktorejjeneurón i. 

Chybovýsignál δh(t)súchybovýmisignálmiodneurónovzvýstupnej 

vrstvy,alebovrstvynapravoodnejawhi(t)súsynaptickéváhyod 

neurónu ikukaždémuzneurónovvnasledujúcejvrstve. 

2.3 Momentum 

Jeznáme,žepovrchniejesférický,atedaučeniemôžebyťcelkompomalé, 

pretožemieraučeniamusíbyťmalá.Jetokvôlitomu,abyzabrániladiver- 

genciipozdĺžprudkýchzakrivenýchsmerov. 

Obr.6:Príkladdivergencieneurónovejsiete 

JedenzospôsobovakotovyriešiťjepoužiťinverznýHessian(korelačnú 

maticuprelineárnesiete)akomaticuučiacehoučenia.Tovšakmôžebyť 

problematické,pretožeHessianmôžebyťveľkoumaticou,ktorújeťažkozme- 

niť.Previacvrstvovésiete,Hessianniejekonštanta(t.j.menísatakako 

sameniaváhy).PrepočítanieinverznéhoHessianuvkaždejiteráciibybolo 

neúmernenákladnéanieveľmivhodnépredodatočnépočítanie.Omnoho 

jednoduchšoumetódoujepoužitiepripočítaniačlenamomentum.


w(t+1)=w(t) − µ ∂E 

+ β(w(t) − w(t −1)) (20) 

∂W 

kde w(t)jeváhaviterácii t.Inaknapísané 

∆w(t+1)=−µ ∂E 

+ β∆w(t) (21) 

∂W 

kde∆w(t)=w(t) −w(t −1).Tedaveľkosťzmenyváhyjepodielnegatív- 

nehogradientupluszmenapredchádzajúcejváhy.Parametermomentumsa 

označuje b,amusívyhovovaťpodmienke0


Obr.7:SupportVectorMachines 

tried).Tietoparametresúaktualizovanépokaždomkrokuučeniatrénova- 

cíchdátT,podľarozdielumedzipožadovanýmiavýstupnýmihodnotami 

siete Yk − Mk(X;W): 

∆Wij= −η ∂E(W) 

Akjerozdiel 

∂Wij 

K 

= η (Yk − Mk(X;W)) 

k=1 

∂Mk(X;W) 

∂Wij 

(22) 

ε(X)= 

|Yk − Mk(X;W)| (23) 

k 

dostatočnemalý,vzorka Xbudemaťzanedbateľnývplyvnatrénovacíproces. 

Vzorky,ktorésúblízkeokrajomrozhodovaniamôžuspôsobiťzávažnéchybya 

taksamusiapoužiťpriučení.Predkaždoutrénovacouepochousamôžeurčiť, 

ktorýmvektorombudeumožnené,abymalivplyvnatrénovaciuprocedúru. 

Vektory,prektoréplatí ε(X) > εminbudúzahrnutédoaktuálnejtrénovacej 

množinyapoužitévnasledujúcejepoche,inévektorynemajúžiadnušancu 

ovplyvňovaťďalšípriebehučenia.Početvektorovvybranýchpreučeniezávisí 

kritickynaprahu εmin. 

Vprvejtrénovacejepoche εmin =0súpoužitévšetkyučiacevektory. 

Rôzneprístupynavrhujúmeniťtentoparameterlentýmsmerom,ktorývedie 

kúspešnémukoncuučenia.Vnajjednoduchšomprípadesaparameter εmin


pokaždejepochezvýšio∆ε=0.01. 

Stúpanie εminbymaloviesťkdynamickejredukciipočtuvektorov,kým 

neostanúlenpodpornévektorypotrebnénarozhodovanieblízkopriokra- 

joch.No,priveľkézvyšovanietejtohodnotybyodstránilodôležitépodporné 

vektoryapresnosťsatýmzníži.Keďženiejezaručené,žekonvergenciabude 

monotónna,budenutnéustúpiťaznížiťprah εmin. 

Početsúčasnevybranýchpodpornýchvektorovjecitlivýindikátor.Aksa 

tentopočetponasledujúcomvýberezvýšiviacakoo5%zaktuálnehopočtu 

vektorov,tak εminsamusízvýšiť,kýmsaučiaciprocesnestabilizuje. 

Vychádzamezoskutočnosti,že 

σ(W.X − θ)=σ(β(W ′ .X − σ ′ )), (24) 

β= ||W ||,W ′ = W/||W ||aθ ′ = θ/||W || (25) 

Sieťsistanovíostrejšiurozhodovaciuhranicu,odstránipodpornévektory, 

ktorémajú ε(X) > εmin;. 

AlgoritmusSupportVectorNeuralTraining(SVNT): 

1.inicializáciavšetkýchparametrovsiete W (váhyinicializujnáhodnez 

intervalu < −1;1 >),∆ε, εmin = 0,množina SV = T (trénovacia 

množina). 

Pokiaľneboladosiahnutáposlednáiteráciavykonaj: 

2.spusťfeedforwardkrokna Taurčiveľkosťchybykaždéhovektora 

3.vezmivšetky SV taképrektoréplatí SV= {X ∈ T |ε(X) > εmin}. 

4.aksapočetvektorov |SV |neznížioviacako0.05 ∗ |SV |, 

εmin= εmin+∆ε 

inak 

εmin= εmin −∆ε 

∆ε=∆ε/1.2


5.optimalizujparametresietenavšetkýchvektorochzmnožiny SV 

Strednákvadratickáchybabymalavždybyťurčovanánacelejmnožine 

dát.Variantytohtoalgoritmumôžuzahrňovaťzmenyzákladnýchparamet- 

rov,viacdômyselnýchplánovnazmenyparametrov,napríkladnárastpočtu 

iterácií Noptmedzivýberompodpornýchvektorov,ktorémôžuurýchliťpri- 

bližovaniekukoncuučeniaamnohoiného.[47] 

3 Rekurentnéneurónovésiete 

Rekurentnáneurónovásieť(RCNN,RNN)prestavujedynamickyzložitejší 

systémdoprednejneurónovejsiete(FFNN).RNNjetakásieť,ktorejpod- 

množinaneurónov(rekurentnýchneurónov)uchovávainformáciuosvojich 

aktivitáchzpredošlýchstavov.Doprednáneurónovásieťmáširoképoužite. 

Zichvlastnostívšakvyplýva,ženiesúschopnériešiťúlohysčasovousú- 

vislosťou.ProblémompriRCNNjeichglobálnastabilitaakonvergencia.O 

výstupezneurónunerozhodujelenmomentálnyvstupvčase t,aleajvstupy 

zminulosti.Učiacealgoritmymusiatútoskutočnosťbraťdoúvahy.Signálv 

FFNNješírenýibajednýmsmerom-dopredu.Sieťniejeschopnápracovať 

shistóriou,vdátachnevierozoznaťčasovúzávislosť.AbyFFNNdokázala 

zachytiťtútočasovúzávislosť,jepotrebnéjumierneupraviť.Rekurentné 

sietesúvšakschopnévytvoriťsistavovúreprezentáciučasovéhokontextu, 

apretojevýhodnejšiepoužiťichvúlohách,kdekladiemedôraznačasovú 

zložkuukrytúvdátach.Uplatnenierekurentnýchneurónovýchsietímôžeme 

rozdeliťdotrochkategórií: 

•klasifikačné-asociačnéúlohysčasovouzávislosťou-sieťmusírozhod- 

núť,čidanápostupnosťvstupovpatrídonejakejtriedy. 

•predikčnéúlohy-vdanejštruktúrečasovozávislýchdátmálneurónová 

sieťnájsťzávislosťmedzidátamianazákladečasovéhoúsekuurčiť 

hodnotuvnasledujúcomčase.


•generatívneúlohy-zložitejšiaverziapredikcie,kdesieťnazákladepozo- 

rovaniaúsekudátmusívedieťpokračovaťvčasovomradedátvzhľadom 

nazákladnútendenciudát,skrytúvdanejpostupnosti. 

Rekurentnéneurónovésiete(RNNs)sapoužívajúnapredikciuvektorov 

vrámcochreči[4]. 

Ľudskýmozogjetiežrekurentnáneurónovásieť-sieťneurónovsospät- 

nýmispojeniami.Rekurentné,podobneajdoprednéneurónovésietesúbiolo- 

gickyviachodnovernéavýpočtovoviacvýkonnénežďalšieadaptívnemodely 

akoSkrytéMarkovovemodely(HMM),doprednéneurónovésieteaSu- 

portVectorMachines(SVM).Vprincípemôžurekurentnéneurónové 

sieteimplementovaťtakmerľubovoľnésekvenčnésprávanie,rozpoznávanie 

reči,kompozíciuhudby,amnohéďalšieaplikácie[32]. 

3.1 LSTMrekurentnáneurónovásieť 

Rekurentnéneurónovésietesazdajúbyťnajsľubnejšímineurónovýmisieťami 

preautomatickérozpoznávaniereči.NarozdielodinýchNNsmajúRNNs 

potenciálnaučiťsadynamickýmodelzosegmentáciefoném[13]. 

LongShort-Termmemory(LSTM)saučígenerovaťpresnenelineárne 

prvkynadširokýmokruhomfrekvencií,apretojeschopnáriešiťajprob- 

lém,ktorýštandardnéRNNsnedokážuatokvôlistrácajúcemusaproblému 

gradientu[10]. 

AplikáciaLSTMprirozpoznávanírečijepomernejednoduchá.PrváLSTM 

sieťmapujekaždýrámecakustickéhorečovéhosignáludosúborucieľových 

foném.Nato,jepotrebnýkorpussoznačenýmifonémami.Hlavnouvýzvou 

preprvúsieťjevybudovaťjednoduchúreprezentáciuštruktúrufonémy,takže 

satodotýkaefektov,akosúčasovézarovnanieakoartikulácia.DruháLSTM 

sieťsapotomtrénujenapredikciusekvenciíslovzosekvenciefonémvyge- 

nerovanýchprvousieťouspoužitímtrénovacíchdát.Primárnymcieľompre 

tútodruhúsieťjeextrahovaťgramatikufonémdoslovzhlučnéhoprostre- 

dia.Abysatátoúlohazjednodušila,natrénovanieNNsúpoužitésekvencie 

foném,ktorésúbezšumu.


NedávneexperimentysLSTMpriadaptáciirečníkapoukazujúnato, 

žeopätovnétrénovaniejerýchleaefektívnenamalomkorpuse,ataktiežže 

výsledkyzpredchádzajúcehoučeniaazovšeobecneniesazlepšujúspodporou 

náhodnéhovybratiapodmnožinyzdát[12]. 

Vrekurentnýchneurónovýchsieťachjeinformáciauloženávdvochod- 

lišnýchcestách.Aktiváciejednotieksúfunkciezposlednejhistóriemodelu. 

Váhysúmodifikovanénazákladeskúsenosti,avšakčasovámieraváhysa 

meníomnohopomalšienežtenodaktivácie.Tietováhysanazývajúkrát- 

kodobápamäť.ModelLSTMjepokusumožniťaktiváciejednotkytak,aby 

uložilidôležitéinformácienadčonajdlhšoučasovouperiódouod10do12 

časovýchkrokov. 

Obr.8:LSTMsieť 

Obr.9znázorňujejednoduchúLSTMsieťsjednýmvstupom,jedným 

výstupom,ajednýmpamäťovýmblokomnamiesteskrytéhobloku.Každý 

blokmádveasociačnévstupnéjednotky.Každávrstvamôžemaťsamozrejme 

viacnásobnéjednotkyalebobloky.Vklasickejkonfiguráciijeprvávrstva 

zostavenázovstupovdoblokovabrán.Potomsútamrekurentnéspojenia 

zjednéhoblokudoďalšíchblokovataktieždobrán.Nakoniecsútamváhy 

zblokovdovýstupu. 

Skrytéjednotkyztradičnejrekurentnejneurónovejsietesúnahradené 

pamäťovýmiblokmi,každáznichobsahujejedenaleboviacpamäťovýchbu- 

niek.Bunkajejednoduchálineárnajednotkasjednoduchýmsamo-rekurentným 

spojenímsváhounastavenouna1.0.Totospojenieslúžinauloženieaktuál-


Obr.9:LSTMsieťpodrobnejšie 

nehostavuzjednéhomomentudodruhého.Okremtohovsamo-rekurentných 

spojeniach,bunkydostávajúvstupzovstupnýchjednotiek,ďalšíchbunieka 

brán.Bunkysúzodpovednézaudržiavanieinformáciepočasdlhejčasovej 

periódy. 

Vstupdojednotkysaodovzdávaceznelineárnufunkciu g(x),čojetypická 

logickáfunkcianormovanánainterval .Výsledokjenásobenývýstu- 

pomzovstupnejjednotky.Aktiváciazbránysapohybujevrozmedzí , 

takžeakjeaktiváciablízkonuly.Ničnemôževstúpiťdobunky.Akvstupná 

bránajedostatočneaktívna,signálmôževstúpiť.Podobne,ničnevystúpiz 

bunkypokiaľniejeaktívnavýstupnábrána.Aksazachovástavvnútornej


bunkyvlineárnejjednotke,jehoaktivačnýokruhjenekonečný,takževýstup 

zbunkyjeopäťstlačený,akonáhlejevypustený.Bránysúsamoosebenič 

viacnežbežnéjednotkysosigmoidálnymiaktivačnýmifunkciamiškálované 

vrozmedzí ,akaždáznichdostanevstupzovstupnýchjednotieksiete 

azďalšíchbuniek. 

Výstupbunkytedaje: 

y cj out 

(t)=y j (t)h(scj (t)) (26) 

kde y out 

j (t)jeaktiváciazvýstupnejbrányastav, scj (t)jedaný 

kdepre tplatí t >0. 

scj (0)=0, (27) 

scj (t)=scj (t −1)+yin j(t)g(netcj (t)) (28) 

Vstupnébránytedarozhodnú,čouložiť.Bunkaukladáinformáciuavý- 

stupnábránarozhodneotom,ktoráinformáciabudeaplikovaná.Vďakatomu 

samôžuhlavnéudalostizapamätaťpočasľubovoľnejčasovejperiódy.Zapo- 

mociniekoľkýchtakýchtopamäťovýchblokovmôžesieťefektívneobsluhovať 

udalostiprirozličnýchčasovýchmierkach[9]. 

3.1.1 VýhodyLSTM 

•Rekurentnéneurónovésietesaučiarýchlejšie-ajprihľadanínáhodných 

váh 

•lepšiageneralizácia 

3.2 BidirectionalLSTM(BLSTM) 

VýstupzklasickejRNNsjezaloženýnaúplnejhistóriipredchádzajúcichvstu- 

pov.Avšak,existujemnožstvosekvenčnýchúloh,kdesúužitočnéajďalšie 

vstupy.Jetokvôlitomu,žeexistujúreverznékorelácie.Napríkladvreči,


artikulačnýsystémsipripravujebudúceprejavy.Riešeniespočívavoboj- 

smernomtrénovaní.Vstupjezobrazovanýdopreduadozaduvdvochodliš- 

nýchneurónovýchsieťach,zktorýchsúspojenédorovnakejvýstupnejvrstvy. 

Podľatejtometódy,môžubyťchybyzavedenéakonormálneaspätnešírené 

cezsiete.SúčasnévýsledkysBLSTMukazujú,žetátometódaprekonáva 

klasickúLSTMakoajSVM[11]. 

3.3 SpikingNeuralNetworks(SNNs) 

SNNsúodlišnéod„štandardnýchneurónovýchsietí.Simulátoryneuróno- 

výchsietí,funkciemozgu,majúmnožstvodetailov.Pretojeveľmizložité 

vybraťtie,ktorébudúneskôružitočné.Jedenzdetailovjeveľmiprirodzený, 

atosíceten,ženeurónposiela„lektrochemickýsignálinémuneurónu.Väč- 

šinazosimuláciídnešnýchneurónovýchsietívie: 

•využívaťnejakúmetódusynchronizácie(rovnakoakotorobiaprocesory 

digitálnehopočítača),ktoréšpecifikujúmomenty,vktorýchmôžubyť 

poslanésignálymedzineurónmi 

•akneurónchceposlaťsignálinémuneurónu,jehoamplitúdajekon- 

štantnápočascelého„životaneurónovejsiete [45]. 

SNNsúsimulácieneurónovejsiete,ktorésapokúšajúvyužiťpresnejší 

„hrotový(spiking)modelzvýstupunervovýchsignálov.SNNssatiežna- 

zývajú„impulzovouneurónovousieťou(SNN).Medzipopulárnená- 

strojenasimuláciuSNNspatríamygdala.[46] 

SNNjevhodnejšiapreaplikácie,kdečasovanievstupnýchsignálovnesie 

dôležitúinformáciu(napr.rozpoznávanierečiaďalšieaplikáciesignálového 

spracovania). 

SNNssúbiologickyviacvhodnýmimodelmipretožepoužívajúnako- 

munikáciuimpulz(spike)[48].Oproti„klasickýmneurónovýmsietiamajú 

výhoduvtom,ženespotrebujútoľkozdrojov(akideoimplementáciuna 

hardveri).


Vstupzkaždéhoneurónujeváženýšpičkami.Neurónyvovnútripou- 

žívajúLeaky Integrate-adn-Fire(LIF)membránovýmodeladvatypy 

synaptickýchmodelov: 

•Diracovimpulz 

•impulzexponenciálnehotypu. 

Vkaždomkrokusúdomembránypridanévšetkyaktívnevstupy.Keď 

napätiemembránydosiahnehodnotuprahu,zresetujesaavygenerujesa 

výstupnýimpulz.Membránasastanenecitlivounavstupzovšetkýchsynap- 

tickýchmodelov,čosanazývažiaruvzdornosť.VSNNssapracujesdvoma 

základnýmioperáciami,ktorýmisú:súčetarozdiel. 

Keďžeideo„veľkéneurónovésiete(10až1000neurónov),sčítavanie 

váhtvoríjednuzhlavnýchoperácii.Môžetobyťdosiahnutésériovoalebo 

paralelne: 

•Paralelnéspracovanie.Sčítavaniejevykonanéparalelneimplemen- 

tovanímanalógovejsčítačkyvhardvéri. 

•Sériové spracovania.Sčítavaniejeriešenésériovoprostredníctvom 

akumulátora.Spracovaniezmembrányasynaptickýchmodelovmôže 

byťtiežimplementovanévrovnakomakumulátorepoužitímmnohoná- 

sobnýchregistrov. 

Aritmetikapoužívanánapočítaniepotenciálumembrányzneurónovmá 

veľkývplyvnaveľkosťarýchlosťimplementácie.Ztohohľadiskasarozlišujú 

dvezákladnéaritmetiky: 

•Paralelnáaritmetika.Všetkyoperáciesúvykonanévmnohonásobnom 

vektore.Tátovoľbaposkytujerýchleoperácie,alezároveňzaberáviacej 

prostriedkov. 

•Sériováaritmetika.Veľkosťjeredukovaná,avšakrýchlosťklesá. 

Vzávislostinaimplementáciimôžeelementspracovaniapodporovaťzdie- 

ľaniečasuamôžetoposkytnúťviacnežjednémuneurónu.


3.4 Elmanovéneurónovésiete(ENNs) 

Ideošpeciálnytypneurónovejsiete,ktorábolavytvorenášpeciálnepreroz- 

poznávaniereči.Jetodvojvrstvováneurónovásieť,vktorejdruhávrstvaje 

rekurentná. 

Výstupyzoskrytejvrstvy,ktorésúzachovanézpredchádzajúcehokroku 

sanazývajúkontextovéjednotky.VýstupyzENNssúfukciamipredchádza- 

júcehostavuadoterajšíchjednotiek.Toznamená,žekeďsasieťjavíako 

sústavajednotiek,môžesanaučiťodovzdaťvhodnévýstupyvzávislostiz 

predchádzajúcichstavovzosiete. 

VýhodaENNsvporovnanís„plnerekurentnýmineurónovýmisieťami 

jevtom,ženatrénovaniesietesapoužívametódabackpropagation,čonie 

jemožnévinýchRNN,vktorýchsútrénovaciealgoritmyomnohokomplex- 

nejšieatedaajpomalšie.[6] 

PrekaždéslovosapoužívasamostatnáENN.Funkcioukaždejsieteje 

rozpoznaťibaurčenéslovoazamietnuťďalšieslová.Kvôlitomujetrénovanie 

rozdelenédodvochkrokov: 

•postupnétrénovanie 

•selektívnetrénovanie 

Klasifikáciaslovsinouvýslovnosťu,nežmápriradenéslovo,jezaloženána 

porovnávanívýstupnéhosklonu ssminimálnymsklonom smmedzisklonmi 

dosiahnutýmizovšetkýchvýslovnostizpriradenéhoslova. 

•Ak s > sm,potomtovediekchybeklasifikácie 

•Ak s < sm,potomnenastanechybaklasifikácie 

Akchybaklasifikáciejeväčšiaakozvolenýprah,sieťjepretrénovaná 

podľa„najväčšiehovinníka(slovo,ktoréskončilovnajväčšomsklone)a 

podľadvochnáhodnevybratýchvýslovnostijjj. 

RozpoznávaniefonémuENNsjespravidlaimplementovanépoužitímpre- 

dikčnejchybyakomeradladeformácievoViterbihoalgoritme.Pripoužití


ANNako„prediktora,ANNmapujeposlednévektorypozorovaniadopre- 

dikovanéhovektorapozorovania,avoViterbihodekódovanísapoužijetáto 

chybapredikovania.TedanazákladetohojemožnépoužiťRNNsakopredik- 

toryrámcovreči.RNNsdovoľujúzahrnúťsúvisiacuinformáciuoposledných 

rámcochvtvarezpredchádzajúcichstavovskrytejvrstvyvrekurentných 

spojeniach. 

Obr.10:ArchitektúraElmanovejrekurentnejsiete 

Naobrázku10jemožnévidieťzákladnúarchitektúruENN,kde Si(t) 

predstavujestavyzovstupnejvrstvy, Sh(t)stavyzoskrytejvrstvyaSo(t) 

stavyzvýstupnejvrstvy. 

Prekaždúfonémuzdatabázysapoužívajednaneurónovásieť,ktorá 

predikujeaktuálnyrámecrečinazákladeposlednýchrámcovreči.Spravidla 

savyberajúdvaposlednévektorypozorovania(x(t −1)ax(t −2))akovstup 

doNNtak,abypredikovalivektorpozorovania x(t −2).Natrénovaniesa 

používametódabackpropagation(??)zaúčelomminimalizovaťpredikčnú 

chybudanúvzťahom 

T 

E= (x(t) − xi(t)) 

t=1 

2 

(29)


kde T jepočetvektorovpozorovaniavhodnýchpretrénovanie, x(t)je 

vektorpozorovaniaaxi(t)jepredikovanývektorpozorovania.Jednouzne- 

výhodENNsje,žeakjesieťprepožadovanúúlohuprílišveľká,alebotréno- 

vaciadatabázajeprílišmalá,neurónysamôžustaťneaktívnealebosazle 

natrénovať.Spravidlasapoužívasigmoidálnaaktivačnáfunkciapreskrytú 

vrstvualineárnaaktivačnáfunkciaprevýstupnúvrstvu. 

3.5 Neurónovásieťsechostavmi(ESN) 

Zaistýchpodmienokjestavrekurentnejsietefunkciouhistórievstupov,teda 

môžebyťchápanýakoozvena(echo)tejtohistórie.Odtiaľpravdepodobne 

pochádzapomenovanietejtoarchitektúry[2].NajjednoduchšiaverziaESN 

jetakmerzhodnásSRN. 

Obr.11:Neurónovásieťsechostavmi.Čiarkovanéspojeniasapritrénovaní 

modifikujú. 

Oprotinejmávšaknavyšeajspojeniazovstupnejdovýstupnejvrstvy. 

Zložitejšieverziemôžuobsahovaťspätnoväzobné spojenia,tedaoneskorené 

rekurentnéspojeniazvýstupnejvrstvydostavovej,prípadnelaterálne,teda 

oneskorenérekurentnéspojeniamedzineurónmivýstupnejvrstvy.Podstat- 

nouzmenouuESNje,žepritrénovanísaupravujúibaváhyvýstupnejvrstvy. 

Totoznačnezjednodušujeprocestrénovania.Pojemechostatevlastnosťza- 

viedolJaeger[3].


4 Rozpoznávaniereči 

4.1 Súčasnýstavvosvete 

Čojenajmodernejšievrozpoznávaníreči?Odpoveďnatútootázkujeveľmi 

zložitáotázka,pretožepresnosťrozpoznávaniazávisíodpodmienok,prikto- 

rýchjerozpoznávanievykonávané.Takmerkaždýsystémdosiahne,zadosta- 

točnepresnýchpodmienok,prenosťpodobnúčloveku.Omnohozložitejšieje 

všakdosiahnuťspoľahlivévýsledkyzabežnýchpodmienok. 

Podmienkyvyhodnoteniaaztohodôvoduajpresnosťsystémusamôže 

zmeniťpodľanasledujúcichdimenzií: 

•Veľkosť slovníka.Zabežnýchpodmienok,jejednoduchérozlišovať 

medzimalouskupinouslov,avšakchybovosťsazvyšujenarastaním 

veľkostislovníka.Napríklad,10číslicod0do9jevpodstatemožno 

rozpoznaťperfektne[16],avšakprislovníkochoveľkosti200,5000alebo 

10000slovmôžechybovosťnarásťo3%,7%,45%[19,20]. 

•Závislosť,nezávislosťodrečníka.Jeveľmizložitédosiahnuťnezá- 

vislosťodrečníkapretožesystemovéparametresúladenénarečníka 

aleborečníkov,sktorým(ktorými)prebehlotrénovanie.Tietopara- 

metremajúsklonkvysokejzávislostiodrečníka.Chybovosťjezvyčajne 

3až5krátvyššiaprerečnikovonezávislésystémyakoprerečnikovo 

závislésystémy[21]. 

•Izolovaná, nespojitá alebo spojitá reč.Izolovaná reč znamená 

jednoslovo;Diskrétna(spojitá)rečznamenácelévety,vktorýchkaždé 

slovojeumelooddelenétichom.Kontinuálnareč označujeprirodzene 

hovorenévety.Izolovanáanespojitárečjepomernejednoduchápretože 

hraniceslovsúdetekovanéaslováinklinujúkčistejvýslovnosti.Spojitá 

rečjeomnohozložitejšiapretožehraniceslovsúnejasnéaichvýslovnosť 

jeviacnarušenámedzislovnouamedzivetnoukoartikuláciou. 

•ÚlohaajazykovéobmedzeniaObmedzeniamôžubyť:


–Závisléodúlohy.Napr.priotázkachnaairolinkáchjemožné 

zamietnuťhypotézu„Jablkoječervené. 

–Sémantické.Príkladzamietnutia:„Jablkoječervené. 

–Syntaktické.Príkladzamietnutia:„Jazeleninuaľúbimovocie. 

Obmedzeniasúčastoreprezentovanégramatikou,ktoráideálne 

filtrujenezrozumiteľnévety,takžerozpoznávačrečivyhodnocuje 

ibahodnovernévety. 

•Čítanie verzus spontánna reč.Systémmôžebyťvyhodnotenýz 

reči,ktorájebuďčítanázpripravenýchskriptov,alebozreči,ktorá 

jespontánnevyslovovaná.Spontánnarečjenesmiernezložitá,pretože 

máobsahovaťnerečovézvuky,akokoktanie,kašľanie,smiechataktiež 

slovnázásobajeneobmedzená,takžesystémmusíbyťschopnýinteli- 

gentnepracovaťsneznámymislovami(t.j.detekovanieaindikáciajej 

výskytuapridaniedoslovníka,čomôžepožadovaťďalšiuinterakcius 

užívateľom). 

•Nepriaznivépodmienky.Výkonsystémumôžebyťtieždegradovaný 

rozsahomnepriaznivýchpodmienok[17].Tiezahrňujúrušenieprostre- 

dia(napr.hlukvautealebozávod),akustickédeformácie(napr.oz- 

vena,akustikamiestnosti),rozličnémikrofóny(napr.telefón),obme- 

dzenéfrekvenčnépásmo(vdosahutelefónu)astriedavéchovanie(krik, 

rýchlerozprávanie,atď.). 

Hlavnáotázkaprirozpoznávanírečijejednaniespremenlivosťou.Vsú- 

časnosti,systémyrozpoznávaniarozlišujúdvadruhypremenlivosti: 

•akustická 

•časová. 

Akustickápremenlivosťzahrňujerozličnéakcenty,výslovnosti,kolísania, 

hlasitostiatakďalej.Pričasovejpremenlivosťdochádzakukrátkodobýmale 

ajdlhodobejšímzmenámarozdielomvtempeavrytmereči.[1]


Ztýchtodvochdimenziíjejednoduchšiedosiahnuťdočasnúvariabilitu.V 

počiatočnýchvýskumochboladočasnávariabilitalineárnerozširovanáalebo 

obmedzovaná(„deformovanie).Lineárnedeformovaniesaukázalonedosta- 

točnénakoľkosaprejavmôžezrýchľovaťalebospomaľovaťvľubovoľnom 

čase.Nariešenietohtoproblémubolčoskoronavrhnutýefektívnyalgoritmus 

známyakoDynamicTimeWarping.Tentoalgoritmusje(vurčitejforme) 

praktickypoužívanývkaždomsystémenarozpoznávanierečiaproblémdo- 

časnejvariabilityjezveľkejčastipovažovanýzavyriešený. 

Akustickávariabilitajeomnohozložitejšiapremodelovanie,čiastočne 

preto,žejevprírodeheterogénna.Vdôsledkutohosavýskumvrozpoznávaní 

rečiväčšinouzameriavalnaúsiliemodelovaťakustickúvariabilitu.Posledné 

výskumyvrozpoznávanírečispadajúdotrochhlavnýchkategórii: 

•Vzorovo-založenémetódy.Vtýchtometódachjeneznámarečpo- 

rovnávanávočimnožinepredznačenýchslov(vzory),zaúčelomnájsť 

najlepšiuzhodu.Totomávýhoduodpoužitiaperfektných,precíznych 

slovnýchmodelov.Mátovšaktiežnevýhodu,žepredznačenévzorysú 

fixné,takžezmenavrečimôžebyťmodelovanáibapoužitímmnohých 

vzorovpreslovo,čosanapokonstávanepraktické. 

•Znalostne-založenémetódy.Vtýchtometódachsúznalosti„experta 

ozmenáchvrečizakódovanédosystému.Tojevýhodaodexplicitného 

modelovaniazmienvreči,aležiaľtakétoznalostijezložitédosiahnuťa 

úspešnepoužiť.Takžetátometódabolaposúdenázanepraktickú,ale 

napriektomubolihľadanéautomatickéučiaceprocedúry. 

•Štatisticky-založenémetódy.Zmenyvrečisúmodelovéštatisticky 

(napr.SkrytéMarkovémodely(HMMs)s),spoužitímautomatických 

učiacichprocedúr.Tátometódareprezentujesúčasnenajmodernejší 

stav.Hlavnánevýhodaštatistickýchmodelovje,žemusiavytvoriťmo- 

delovaciepredpoklady,ktorésúnáchylnébyťnepresnými,poškodené 

výkonomsystému.Neurónovésietevšakpomáhajúobíjsťtento 

problém.


4.2 Metódyrozpoznávaniareči 

4.2.1 Skrytémodely(HMMs) 

Modernéuniverzálnerozpoznávaciesystémysúzaloženénaskrytýchmar- 

kovýchmodeloch(HMMS).Ideoštatistickúmetódu,ktorejvýstupomje 

sekvenciasymbolov. 

JednazmožnýchpríčinprečosúHMMspoužitéprirozpoznávanírečí 

jeten,žesignálrečijemožnévidieťakokrátkodobýnemennýsignál.Tento 

signáljemožnépredvídaťvrozsahunapr.10milisekúnd.Rečmôžebyťap- 

roximovanáako„nehybnýproces. 

Ďalšiapríčina,prečosúHMMspopulárneje,žemôžubyťtrénovanéau- 

tomatickyasújednoduchoavýpočtovoreálneprepoužitie. 

4.2.2 Neurónovésiete(NN) 

Neurónovésietesúschopnériešiťomnohoviackomplikovanérozpoznávacie 

úlohy,alenevediasatakdobreprispôsobiťakoHMMspriveľkýslovníkoch. 

NiektorésystémymôžudosiahnuťväčšiupresnosťnežHMM.Prerozsiahlejší 

výskumsaneurónovésietepoužívajúprirozpoznávanífoném.Vsúčasnosti 

jetoaktívnepoleprevýskumavšeobecnedosahujúlepšievýsledkynež 

HMMs.TaktiežexistujúNN-HMMhybridnésystémy,ktorépoužívajúne- 

urónovésiete,akočasťprerozpoznávaniefonémaskrytémarkovémodely 

akomodelovaciučasťpremodelovaniejazyka. 

4.2.3 Dynamickéskresleniečasu(DTW) 

Dynamickéskresleniečasujealgoritmuspremeraniepodobnostimedzidvomi 

sekvenciami,ktorémôžubyťodlišnévčasearýchlosti.Napríklad,podobnosť 

chôdzebybolodetekované,ajkebyvjednomvideuosobakráčalapomaly 

avďalšombysapohybovalarýchlejšie,aleboajkebypripozorovaníbolo 

urýchlenieaspomaľovanie.DTWboloaplikovanénavideo,audio,grafiku. 

Akékoľvekdáta,ktorésamôžumeniťdolineárnejreprezentáciemôžubyť 

analyzovanésDTW[33].Vovšeobecnostiideometódu,ktoráumožňuje


počítačunájsťoptimálnuzhodumedzidvomasekvenciami(napr.časovýrad) 

surčitýmiobmedzeniami,napr.sekvenciesú„obaľovanénelineárne,abysa 

navzájomzhodovali.Tátosekvenčnenastavovaciametódasačastopoužíva 

vkontexteHMMs. 

4.2.4 StateTransitionMatrix(STM) 

Yang,EraGaoprezentovalinovústratégiupremetódureprezentácieprízna- 

kov.Veria,ženeurónovésietebudúschopnérealizovaťdostatočnérozpoz- 

návaniereči,aknebudúzaťažovanésdočasnýmiprechodnýmiproblémami. 

PretohlavnouúlohoupoužitiaSTMjeodvodiťstatickýmodelreči.STMje 

veľmijednoduchá,takžepotrebujeibajednovrstvovýperceptrón.Jetokvôli 

tomuabysatakdosiahlavysokápresnosť. 

STMdosahujevobochprípadoch(závislýchodrečníkaazávislýchod 

viacerorečníkov)vysokúpresnosť.Vtestochzávislýchodrečníkadosahuje 

priemernúpresnosťokolo95%,vtestochzávislýchodviacejrečníkovjeto 

okolo87%.[49]


4.3 Softwareprerozpoznávaniereči 

4.3.1 Voľnýsoftvér 

•XvoiceXvoicejespojitýrozpoznávačreči,ktorýjemožnépoužiťsroz- 

ličnýmioknovýmiaplikáciami.Xvoicepožadujestiahnuťanainštalovať 

IBMViaVoicepreLinux.Xvoiceumožňujespojiténahrávanieakon- 

trolurečipreväčšinuXaplikácii[34]. 

•OpenMindSpeechTentoprojektbolodštartovanývroku1999.Nie- 

koľkokrátsavšakzmenil.VolalsaVoiceControl,neskôrSpeechInput, 

potomFreeSpeechadnesjesúčasťouOpenMindInitiative.Jeto 

otvorenýprojekt,primárneurčenýprevývojárov[35]. 

•CMUSphinxSphinxoriginálnezačalnaCMUanedávnovyšielako 

opensource.Ideopomerneveľkýprogram,ktorýzahrňujemnožstvo 

nástrojovainformácii.Jestálevovývoji.Zahrňujevšaktrénovače, 

rozpoznávače,akustickémodely,jazykovémodelyadokumentáciu[36]. 

•NicoANNTookit.Niconástrojjetookit,ktorýpoužívaneurónové 

sieteoptimalizovanépreaplikácieurčenénarozpoznávaniehlasu.Pri- 

márnejeurčenýprevývojárov[37]. 

•MayerHiddenMarkovModelSoftware.Tentosoftwarejevytvorený 

RichardomMayeromaobsahujeHMMalgoritmus,ktorýnapísanýv 

jazykuC++.PoskytujepríkladaučiacinástrojpreHMMmodelyopí- 

sanévKniheL.Rabinera:„Podstatarozpoznávaniareči[38]. 

•JialondSpeechRecognitionResearchTool.Napriektomu,žetentoná- 

strojneboloriginálnenapísanýpreLinux,jemožnéhopodnimskom- 

pilovať.Obsahujetrirozličnétypyrozpoznávačov:DTW,skrytéMar- 

kovovemodelyaspojitézaťaženieskrytéhoMarkovovhomodelu.Tento 

nástrojjeužitočnýprevýskumnéavývojárskepoužitiealeniejetoplne 

funkčnýsystémprerozpoznávaniereči.Obsahujevšakveľmiužitočné 

nástroje[39].


•SprachSprachjeprojekt,ktorýreprezentujealgoritmyprerozpoznáva- 

niereči.Ideohybridnýrozpoznávačreči,podporujúciangličtinu,fran- 

cúzštinu,portugalčinu.JedenzvýsledkovprojektuSprachbolaverzia 

programovýchprostriedkovprerozpoznávanierečipomocouneuróno- 

výchsieti[5]. 

4.3.2 Komerčnýsoftvér 

•IBMViaVoice.IchkomerčnýproduktIBMViaVoiceDictationpre 

Linuxjedostupnýnainternetovejadrese[40].Jehosystémovépožia- 

davkysúporovnateľnésďalšímizákladnýmisystémamiprerozpoz- 

návaniereči(64MRAMa233MHzPentium).Podporujeviacerých 

používateľov.Balíkobsahuje:dokumentáciu(PDF),trenóvač,dikto- 

vacísystém,inštalačnéskripty.ASRSDKjevoľnedostupnýazahrňuje 

IBMSMAPI,gramatikuAPI,dokumentáciu,amnožstvojednoduchých 

programov.ViaVoiceRunTimeKitposkytujeASR(automaticspe- 

echrecognition)prostriedokasúborúdajovprediktovaciefunkciea 

pomocnéprogramypreužívateľa.ViaVoiceCommandaControlRun 

TImeKitzahrňujeASRprostriedokasúborúdajovprepríkazyakon- 

trolnéfunkcieapomocnéprogramypreužívateľa.SDKaKitpožaduje 

128MRAMaLinuxsjadrom2.2alebonovším[40]. 

•BabelTechnologies.Jetosystémnezávislýodrečníkov,založenýna 

HMMaumelýchneurónovýchsieťach.Tietotechnológiemajúmnož- 

stvoproduktovpreprevodtextudoreči,overovanierečníkaafonémovú 

analýzu[41]. 

•Abbot/AbbotDemo.Ideosystémsveľkýmslovníkom,ktorýjenezá- 

vislýodrečníka.PôvodnebolvyvinutýskupinouConnectionistSpeech 

GroupnaUniverziteCambridge.Neskôrbolprepísaný(skomercializo- 

vaný)doSoftSound.AbbotDemojedemonštračnýbalíkAbbotu.Toto 

demomáslovníks5000slovamipoužívaalgoritmusHMM[42].


5 Tézydizertačnejpráce 

Problematikaautomatickéhorozpoznávaniarečipredstavujemnožstvočias- 

tkovýchproblémov,úloh,riešeníaprístupov.Predmetomdizertačnejpráce 

bymalbyťnávrhmodelu,implementáciaaexperimentálneovereniesystému 

ARRnabázeneurónovejsiete,ktorýbudekombinácioudoprednýcha„me- 

taneurónovýchsietí.Vrámcitohopotenciálnymiprínosmiazatiaľtézami 

dizertačnejprácebude: 

•Návrhnovejmetódyrozpoznávaniafonémslovenskéhojazykapomocou 

doprednýchneurónovýchsietíspoužitímmetóderrorofbackpropaga- 

tion,bpmomentumasupportvectormachinesaichporovnanie. 

•Návrhnových,efektívnejšíchmetódtrénovania(učenia)sohľadomna 

zvýšeniediskriminačnejschopnostineurónovejsieteafonetickúsadu 

zvukovslovenskéhojazyka 

•Návrhnovejmetódyrozpoznávaniaslovslovenskéhojazykapomocou 

„metaneurónovýchsietísvyužitímmetódpredoprednéneurónové 

siete.


Zoznampoužitejliteratúry 

[1]Tebelskis.J.: Speechrecognitionusingneuralnetwork.PhDDissertation, 

carnegieMellonUniversity,1995. 

[2]Cernak.M.: Učenienesusednýchzávislostípomocourekurentnýchneuró- 

novýchsietí.Bratislava,2005. 

[3]Jaeger.H.: Shorttermmemoryinechostatenetworks.TechnicalReport 

GMDReport152,GermanNationalResearchCenterforInformation 

Technology,2001. 

[4]Freitag,F.-Monte,E.: Acoustic-phoneticdecodingbasedonelmanpre- 

dictiveneuralnetworks.UniversitatPolitecnicadeCatalunya,Spain, 

2005. 

[5]Wernicke, TheSPRACHcoresoftwarepackage.,2006 

[6]Gers,Winston,R.-Choubassi,E.M.-Khoury,El.E.H.-Alagha, 

J.-Skaf,A.J.-AlA.M.: ArabicSpeechRecognitionUsingRecurrent 

NeuralNetworks.,SignalProcessingandInformationTechnology,T2003. 

Proceedingsofthe3rdIEEEInternationalSymposiumonVolume,Issue, 

2003 

[7]Gers,Winston,R., Clovek.Ikar,2005 

[8]BoereeG.:Theneuron.GeneralPsychology,2003.Dostupnéna 

http,//www.ship.edu/cgboeree/theneuron.html 

[9]Cspeech LSTMnetwork.Dostupnéna 

http://cspeech.ucd.ie/fred/teaching/oldcourses/ann98/lstm.html 

[10]Gers,F.-Schraudolph,N.-Schmidhuber,J.: JournalofMachineLear- 

ningResearch.LearningprecisetimingwithLSTMrecurrentnetworks. 

pages115-143.(JMLR),2002 

[11]Graves,A.-Schmidhuber,J.: Framewisephonemeclassificationwith 

bidirectionallstmnetworks.InInternationalJointConferenceonNeural 

Networks,July-August,2005


[12]Beringer,N.-Graves,A.-Schile,F.-Schmidhuber,J., Classifying 

unpromtedspeechbyretrainingLSTMNets,Switzerland,Germany, 

[13]Eck,D.-Graves,A.-Schmidhuber,J.: Anewapproachtocontinu- 

ousspeechrecognitionusingLSTMrecurrentneuralnetworks,Technical 

ReportNo.IDSIA-14-03,July2003 

[14]Anik,K.-JianchangMaoJ.-MohiuddinK.M.: Artificialneuralne- 

tworks.IBMAlmadenResearchCenter,1996 

[15]Furui,S.: TowardsRobustSpeechRecognitionUnderAdverseConditi- 

ons.InProc.oftheESCAWorkshoponSpeechProcessingandAdverse 

Conditions,pp.pages31-41,Cannes-Mandelieu,France,1993 

[16]Doddington: PhoneticallySensitiveDiscriminantsforImprovedSpeech 

Recognition.Proc.IEEEInternatonalConferenceonAcoustics,Speech, 

andSignalProcessing,1989 

[17]Furui,S.: TowardsRobustSpeechRecognitionUnderAdverseConditi- 

ons.InProc.oftheESCAWorkshoponSpeechProcessingandAdverse 

Conditions,pp.31-41,Cannes-Mandelieu,France,1993 

[18]HopfieldJ.: NeuralNetworksandPhysicalSystemswithEmergentCol- 

lectiveComputationalAbilities.InProc.Nat‘lAcademyofSciences,USA 

79,pp.2,554-2,558,1982 

[19]Itakura,F.: MinimumPredictionResidualPrincipleAppliedtoSpeech 

Recognition.InIEEETrans.onAcoustics,Speech,andSignalProcessing, 

23(1),67-72,February1975.ReprintedinWaibelandLee,1990 

[20]Kimura,S.: 100,000-WordRecognitionUsingAcoustic-SegmentNe- 

tworks.InIEEEInternatonalConferenceonAcoustics,Speech,andSig- 

nalProcessing,1999 

[21]Lee,K.F.: LargeVocabularySpeaker-IndependentContinuousSpeech 

Recognition.,TheSPHINXSystem.PHDThesis,CarnegieMellonUni- 

versity,1988


[22]Minsky,M.: Perceptorns,AnIntroductiontoComputationalGeometry. 

MITPress,Cambridge,Mass,1962 

[23]Rosenblatt,R.:PrinciplesofNeurodynamics,SpartanBooks.NewYork 

,1962 

[24]Rumelhart,E.D.-McClelland,L.J.: ParallelDistributedProcessing, 

ExplorationintheMicrostructureofCognition.MITPress,Cambridge, 

Mass,1986 

[25]WerbosP.: NewToolsforPredictionandAnalysisintheBehavioral 

Sciences.PhDthesis,Dept.ofAppliedMathematics,HarvardUniversity, 

Cambridge,Mass,1974 

[26]Statsoft: Statistica is a trademark of StatSoft, Inc. 

Neural Networks, (1984-2003). Dostupné na adrese 

http,//www.statsoft.com/textbook/stneunet.html#apps 

[27]Sinčák P. - Andrejková G.: Neurónové siete - inžinier- 

sky prístup (1.diel)., Dostupné na adrese http,//neuron- 

ai.tuke.sk/cig/source/publications/books/NS1/html/Elfa,Košice,1996 

[28]BoereeG.:Theneuron.GeneralPsychology,2003.Dostupnénaadrese 

http,//www.ship.edu/cgboeree/theneuron.html 

[29]KurčíkM.: Rozpoznávaniezašumenéhorečovéhosignálupomocoune- 

urónovýchsieti.Košice,2000 

[30]Šidlovský,J.: Využitieneurónovýchsietíprerozpoznávaniefliašpri 

recyklácii.Košice,2005 

[31]Koščák,J., Experimentálnaanalýzaalgoritmubackpropagationthrough 

timepreučenierekurentnýchneurónovýchsietí.,Košice,2005 

[32]Schmidhuber, J.: Recurrent Neural Networks. Dostupné na adrese 

http,//www.idsia.ch/juergen/rnn.html,2006 

[33]Myers, C. S. - Rabiner, R. L.: A comparative study of se- 

veral dynamic time-warping algorithms for connected word recog-


nition. 60(7),1389-1409, September (1981). Dostupné na adrese 

http,//en.wikipedia.org/wiki/Speechrecognition 

#Approachesofstatisticalspeechrecognition 

[34]Xvoice Xvoice-speechrecognizer.,Diktovaniekontinuálnejreči,kon- 

trolarečipreaplikácievoperačnomsystemelinuxDostupnénaadrese 

http://xvoice.sourceforge.net/ 

[35]OpenMindSpeech OpenMindSpeech-speechrecognitiontoolsand 

applications.,Dostupnénaadrese 

http,//freespeech.sourceforge.net/ 

[36]CMUSphinx OpenMindSpeech-speechrecognitiontoolsandappli- 

cations.,Dostupnénaadresehttp,//freespeech.sourceforge.net/ 

[37]NICO ANN Tookit NICO ANN Tookit., Dostupné na adrese 

http,//nico.nikkostrom.com/ 

[38]Myers Hidden Markov Model Software Učiaci 

nástroj pre HMM modely., Dostupné na adrese 

http,//www.itl.atr.co.jp/comp.speech/Section6/Recognition/myers.hmm.html 

[39]Jialong: JialongspeechrecognitionResearchtool.Nástrojobsahujúcitri 

typyrozpoznávačov.Určenýprevývojavýskum..,Dostupnénaadrese 

http,//www.itl.atr.co.jp/comp.speech/Section6/Recognition/jialong.html 

[40]IBM ViaVoice Komerčný nástroj pre diktovanie ur- 

čený pre linux. ., Dostupné na adrese http,//www- 

4.ibm.com/software/speech/dev/sdklinux.html 

[41]Babel Technologies Rečníkovo závislý systém založený na HMM a 

ANN.,Dostupnénaadresehttp,//www.babeltech.com 

[42]Abbot/AbbotDemo ASRsystémsobrovskýmslovníkov.,Dostupnéna 

adresehttp,//www.softsound.com.


[43]Schmidhuber,J.:RecurrentNeuralNetwork.2003.Dostupnénaadrese 

http,//www.idsia.ch/juergen/rnn.html 

[44]Wikipedia, Neurónové siete Neurónové siete., Dostupné na adrese 

http,//sk.wikipedia.org/wiki/ 

[45]Amygdala,SpikingNeuralNetworkAmygdala,Spikingneuralnetwork., 

Dostupnénaadresehttp,//amygdala.sourceforge.net/understandsnn.php 

[46]Maass.W.:Computationwithspikingneuralnetwork.,TheHandbookof 

BrainTheoryandNeuralNetwork,MITPress(Cambridge),2ndedition 

,2001 

[47]PatlevicP.: PoužitietechníkSupportVectorMachinespriučeníneuró- 

novýchsietí.,Košice,2005 

[48]Schrauwen,B.-Haene,D.: Compactdigitalhardwareimplementation 

ofspikingneuralnetworks.,2005 

[49]Yang, S. - Er, M. J., and Gao, Y., A High Performance Neural- 

Networks-BasedSpeechRecognitionSystem.ProceedingsofInternational 

JointConferenceonNeuralNetworks,2001


Zoznampríloh 

1.Zoznamobrázkovatabuliek 

Tátočasťobsahujezoznamvšetkýchtabuliekaobrázkovspolusuvedením 

číslastrany. 

Zoznamobrázkov 

1 Doprednáneurónovásieť . .................... 5 

2 Rekurentnáneurónovásieť .................... 5 

3 Lineárneseparovateľnéaneseparovateľnépríklady....... 9 

4 Perceptrón............................. 10 

5 Príkladbiologickéhoneurónu. .................. 12 

6 Príkladdivergencieneurónovejsiete. .............. 16 

7 SupportVectorMachines. .................... 18 

8 LSTMsieť............................. 22 

9 LSTMsieťpodrobnejšie . .................... 23 

10 ArchitektúraElmanovejrekurentnejsiete . .......... 28 

11 Neurónovásieťsechostavmi.Čiarkovanéspojeniasapritré- 

novanímodifikujú. . ....................... 29 

Zoznamtabuliek

Ing. Miroslav Katrák Rozpoznávanie reči použitím ... - TUKE

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?