Statistical Language Models based on Neural Networks - Faculty of ...
Statistical Language Models based on Neural Networks - Faculty of ...
Statistical Language Models based on Neural Networks - Faculty of ...
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Abstrakt<br />
Statistické jazykové modely jsou d˚uleˇzitou součástí mnoha úspěˇsn´ych aplikací, mezi něˇz<br />
patˇrí napˇríklad automatické rozpoznávání ˇreči a strojov´y pˇreklad (pˇríkladem je známá<br />
aplikace Google Translate). Tradiční techniky pro odhad těchto model˚u jsou zaloˇzeny<br />
na tzv. N-gramech. Navzdory znám´ym nedostatk˚um těchto technik a obrovskému úsilí<br />
v´yzkumn´ych skupin napˇríč mnoha oblastmi (rozpoznávání ˇreči, automatick´y pˇreklad, neuroscience,<br />
umělá inteligence, zpracování pˇrirozeného jazyka, komprese dat, psychologie<br />
atd.), N-gramy v podstatě z˚ustaly nejúspěˇsnějˇsí technikou. Cílem této práce je prezentace<br />
několika architektur jazykov´ych model˚u zaloˇzen´ych na neur<strong>on</strong>ov´ych sítích. Ačkoliv<br />
jsou tyto modely v´ypočetně náročnějˇsí neˇz N-gramové modely, s technikami vyvinut´ymi v<br />
této práci je moˇzné jejich efektivní pouˇzití v reáln´ych aplikacích. Dosaˇzené sníˇzení počtu<br />
chyb pˇri rozpoznávání ˇreči oproti nejlepˇsím N-gramov´ym model˚um dosahuje 20%. Model<br />
zaloˇzen´y na rekurentní neurovové síti dosahuje nejlepˇsích publikovan´ych v´ysledk˚u na velmi<br />
známé datové sadě (Penn Treebank).<br />
Abstract<br />
<str<strong>on</strong>g>Statistical</str<strong>on</strong>g> language models are crucial part <strong>of</strong> many successful applicati<strong>on</strong>s, such as automatic<br />
speech recogniti<strong>on</strong> and statistical machine translati<strong>on</strong> (for example well-known<br />
Google Translate). Traditi<strong>on</strong>al techniques for estimating these models are <str<strong>on</strong>g>based</str<strong>on</strong>g> <strong>on</strong> Ngram<br />
counts. Despite known weaknesses <strong>of</strong> N-grams and huge efforts <strong>of</strong> research communities<br />
across many fields (speech recogniti<strong>on</strong>, machine translati<strong>on</strong>, neuroscience, artificial<br />
intelligence, natural language processing, data compressi<strong>on</strong>, psychology etc.), N-grams<br />
remained basically the state-<strong>of</strong>-the-art. The goal <strong>of</strong> this thesis is to present various architectures<br />
<strong>of</strong> language models that are <str<strong>on</strong>g>based</str<strong>on</strong>g> <strong>on</strong> artificial neural networks. Although these<br />
models are computati<strong>on</strong>ally more expensive than N-gram models, with the presented<br />
techniques it is possible to apply them to state-<strong>of</strong>-the-art systems efficiently. Achieved<br />
reducti<strong>on</strong>s <strong>of</strong> word error rate <strong>of</strong> speech recogniti<strong>on</strong> systems are up to 20%, against state<strong>of</strong>-the-art<br />
N-gram model. The presented recurrent neural network <str<strong>on</strong>g>based</str<strong>on</strong>g> model achieves<br />
the best published performance <strong>on</strong> well-known Penn Treebank setup.<br />
Klíčová slova<br />
jazykov´y model, neur<strong>on</strong>ová sít’, rekurentní, maximální entropie, rozpoznávání ˇreči, komprese<br />
dat, umělá inteligence<br />
Keywords<br />
language model, neural network, recurrent, maximum entropy, speech recogniti<strong>on</strong>, data<br />
compressi<strong>on</strong>, artificial intelligence<br />
Citace<br />
Tomáˇs Mikolov: <str<strong>on</strong>g>Statistical</str<strong>on</strong>g> <str<strong>on</strong>g>Language</str<strong>on</strong>g> <str<strong>on</strong>g>Models</str<strong>on</strong>g> Based <strong>on</strong> <strong>Neural</strong> <strong>Networks</strong>, disertační práce,<br />
Brno, FIT VUT v Brně, 2012