všechny slajdy

Obsah:
Algoritmy syntaktické anal´yzy (pomocí CFG)
Vladimír Kadlec, Aleˇs Horák
E-mail: hales@fi.muni.cz
http://nlp.fi.muni.cz/poc lingv/
◮ Základní postupy pro syntaktickou anal´yzu obecn´ych CFG
◮ Algoritmus CKY
◮ Tabulkové analyzátory
◮ Tomit˚uv zobecněn´y analyzátor LR
◮ Porovnání jednotliv´ych algoritm˚u
Úvod do počítačové lingvistiky 8/11 1 / 20
Základní postupy pro syntaktickou anal´yzu obecn´ych CFG
Syntaktická anal´yza
◮ Vstupy:
• ˇretězec lexikálních kategoríí (preterminálních symbol˚u) a1 a2 ... an;
• bezkontextová gramatika G = 〈N, Σ, P, S 〉.
◮ V´ystup:
• efektivní reprezentace derivačních strom˚u.
Úvod do počítačové lingvistiky 8/11 3 / 20
Základní postupy pro syntaktickou anal´yzu obecn´ych CFG
Základní postupy pro syntaktickou anal´yzu obecn´ych
bezkontextov´ych gramatik
◮ vˇsechny uvedené algoritmy pracují s polynomiální časovou a
prostorovou sloˇzitostí
◮ algoritmus CKY – Cocke, Kasami, Younger;
◮ tabulková (chart) anal´yza (neplést s LR tabulkou):
• shora dol˚u (top-down);
• zdola nahoru (bottom-up);
• anal´yza ˇrízená hlavou pravidla (head-driven);
◮ Tomit˚uv zobecněn´y algoritmus LR.
Algoritmus CKY
Úvod do počítačové lingvistiky 8/11 2 / 20
Algoritmus CKY
◮ Gramatika musí b´yt v Chomského normální formě.
CNF (kaˇzdá CFG jde do ní pˇrevést): A → BC
D → ‘d’
◮ Derivujeme ˇretězce symbol˚u délky q na p pozici, značíme wp,q.
◮ Derivace ˇretězc˚u délky 1, A ⇒ wp,1, je prováděno prohledáváním
terminálních pravidel.
◮ Derivace delˇsích ˇretězc˚u A ⇒ ∗ wp,q, q ≥ 2 vyˇzaduje aby platilo
A ⇒ BC ⇒ ∗ wp,q. Tedy z B derivujeme ˇretězec délky k, 1 ≤ k ≤ q, a
z C derivujeme zbytek, ˇretězec délky q − k. Tzn. B ⇒ ∗ wp,k a
C ⇒ ∗ wp+k,q−k. Kratˇsí ˇretězce máme tedy vˇzdy “pˇredočítané.”
Úvod do počítačové lingvistiky 8/11 4 / 20