Slides - Universiteit Utrecht

Complexiteit 

Anna Chernilovskaya 

Universiteit Utrecht 

Inleiding Taalkunde 

Anna Chernilovskaya (Universiteit Utrecht) Complexiteit Inleiding Taalkunde 1 / 47

Vandaag: Complexiteit 

• Hoofdstuk 12, sectie 12.6: voorproefje op hoofdstuk 16 

• Hoofdstuk 14, sectie 14.10: complexiteit van parsing 

(achtergrondmateriaal, hier komen statistische termen in voor die 

we niet behandelen) 

• Hoofdstuk 16: complexiteit 


Waarom bestuderen we complexiteit? 

• Omdat er verschillende soorten formele talen zijn 

• Om formele modellen te kunnen vergelijken 

• Om de complexiteit van de morfologie/syntaxis/. . . van een 

natuurlijke taal te bepalen 

• Om te kunnen bepalen welke formele modellen voor een deel van 

een natuurlijke taal te gebruiken 

• Waarom zijn sommige constructies in natuurlijke talen zo moeilijk 

te begrijpen? 

• Zijn alle natuurlijke talen “even complex”? 


Het college vandaag 

• Formele talen & de Chomsky-hierarchie 

• De generatieve kracht van talen 

• Modellen voor formele talen 

• Hoe herken je de generatieve kracht: het pumping-lemma 

• Welke generatieve kracht is nodig voor (de syntaxis van) natuurlijke 

talen 

• Complexiteit bij menselijke taalverwerking 

• Methode 

• Garden path-zinnen 

• Experimenten 


Formele Talen (I) 

Een formele taal is een verzameling symbolenrijtjes, ofwel een 

verzameling strings 

• Een formele taal over alfabet {a, b, c}: 

{abc, aabbcc, aaabbbccc, . . .} 

• Alfabet {0, 1}: {01, 001, 0001, 00001, 000001, . . .} 

• Alfabet {a, b, c, . . . z}: {sofuto, kanazawa, riku, arigato, . . .} 

• Alfabet {Jan, Marie, haat, kust, . . .}: 

{Jan kust Marie, Marie kust Jan, Jan haat Marie, . . . } 


Formele Talen (II) 

• Hoe definieer je een formele taal? 




• Met een grammatica die de verzameling strings in de taal genereert 

• Met een automaat die de verzameling strings in de taal herkent 




• Met een grammatica die de verzameling strings in de taal genereert 

• Met een automaat die de verzameling strings in de taal herkent 

S → bA 

ab 

A → abA 

A → ɛ 

q 0 

b q 1 

b(ab) ∗ 


Formele Talen (III) 

Een vb. van Context-Free Grammar (CFG): 

S → NP VP 

S → Aux NP VP 

S → VP 

NP → Pronoun 

NP → Proper-Noun 

NP → Det Nominal 

Nominal → Noun 

Nominal → Nominal Noun 

Nominal → Nominal PP 

VP → Verb 

VP → Verb NP 

VP → Verb NP PP 

VP → Verb PP 

VP → VP PP 

PP → Preposition NP 

Det → that | this | a 

Noun → book | flight | meal | money 

Verb → book | include | prefer 

Pronoun → I | she | me 

Proper-Noun → Houston | TWA 

Aux → does 

Preposition → from | to | on | near | through 


Vragen over formele talen 

• In welke interessante formele opzichten verschillen die talen? 

• Is er bv. een interessant verschil tussen de volgende 2 talen? 

• {b, bab, babab, bababab, . . .} 

• {ba, bbaa, bbbaaa, bbbbaaaa, . . .} 







• Antwoord: Ja! 

formele talen zijn in te delen in complexiteitsklassen 







• Antwoord: Ja! 

formele talen zijn in te delen in complexiteitsklassen 

• Wat is een relatie tussen FSA’s, context-vrije grammatica’s, 

fonologische herschrijfregels, etc.? 


De Chomsky-hiërarchie 

Recursief Opsombare Talen 

Context-gevoelige Talen 

Context-vrije Talen 

Reguliere Talen 


Het idee achter de Chomsky-hierarchie 

• De Chomsky-hierarchie verdeelt formele talen in 4 klassen 

• Bij elke klasse hoort een klasse van grammatica’s en automaten 

• De klassen verschillen in kracht 

• Hoe krachtiger een grammatica/automaat, hoe meer (soorten) 

talen hij kan genereren/herkennen 

• (alle “zwakkere” talen zijn herkenbaar door “sterkere” 

grammatica’s/automaten) 

• bijv. een grammatica/automaat voor context-gevoelige talen kan 

ook alle context-vrije en reguliere talen genereren 

• Vermindering in kracht van talen komt door extra constraints op 

herschrijfregels 


De Chomsky-hierarchie 

(sterk ) 

Grammar Language Grammar Automaton 

Type 0 recursief opsombare 

α → β Turing machine 

talen (α ≠ ɛ), un- 

(recursively 

enumerable) 

restricted 

grammar 

Type 1 context-gevoelige αAβ → linear-bounded 

talen (context αγβ (γ ≠ ɛ) non-deterministic 

sensitive) 

Turing machine 

Type 2 context-vrije talen A → γ push-down automaat 

(context free) 

Type 3 reguliere talen A → u, eindige automaten 

(regular) 

A → uB 

(en reg- 

uliere expressies) 

(zwak ) 


Type 3 

Type 3 reguliere talen A → uB eindige automaten 

A → u (en reguliere expressies) 

• Reguliere talen: precies de klasse talen die herkend kan worden 

door eindige automaten (FSA) 

• Precies de klasse talen die je met reguliere expressies kan 

beschrijven 

• Precies de klasse talen die gegenereerd kan worden door 

reguliere grammatica’s 

• Regels van de vorm: A → uB en A → u (right-linear) 

Óf regels van de vorm: A → Bu en A → u (left-linear) 

• A, B ∈ V (niet-terminals), u ∈ Σ ∗ (een string) 

• (niet-terminale symbolen transformeren naar een string van terminale 

symbolen, eventueel gevolgd/voorafgegaan door een niet-terminaal 

symbool) 

• Dus niet: A → bAc, A → BC 


Type 3: {b, bab, babab, bababab, . . .} (I) 

ab 

q 0 

b q 1 

b(ab) ∗ 



ab 

q 0 

b q 1 

b(ab) ∗ 

• S→bA 

A→ ɛ 

A→aS 

Rechts-lineaire reguliere grammatica 



ab 

q 0 

b q 1 

b(ab) ∗ 

• S→bA 

A→ ɛ 

A→aS 

• S→Ab 

A→ ɛ 

A→Sa 


Links-lineaire reguliere grammatica 



ab 

q 0 

b q 1 

b(ab) ∗ 

• S→bA 

A→ ɛ 

A→aS 

• S→Ab 

A→ ɛ 

A→Sa 

• S→ b 

S→ T 

T→ b A b 

A → a 

A → a S a 



Dit is geen reguliere grammatica 

maar wel een reguliere taal 



ab 

q 0 

b q 1 

b(ab) ∗ 

• S→bA 

A→ ɛ 

A→aS 

• S→Ab 

A→ ɛ 

A→Sa 



• S→ b 

S→ T 

T→ b A b 

A → a 

A → a S a 

Dit is geen reguliere grammatica 

maar wel een reguliere taal 

Gevolg: voor elke reguliere taal bestaat er een rechtslineaire 

grammatica die deze taal herkent. 


Type 3: {b, bab, babab, bababab, . . .} (II) 

ab 

Rechts-lineaire grammatica: 

S → bA 

q 0 

b q A → abA 

1 

A → ɛ 

• Voor elke FSA is er een rechts-lineaire grammatica 

• Voor elke rechts-lineaire grammatica is er een FSA 








Type 2 

Type 2 context-vrije talen 


• Context-vrije talen 

A → γ 

push-down automaat 

• Precies de klasse talen die herkend kan worden met push-down 

automaten (zie volgende slide) 


context-vrije grammatica’s 

• Regels van de vorm: A→ γ 

• γ is een rijtje symbolen (terminals of non-terminals) 


Type 2 




A → γ 








• Voorbeeld van context-vrije grammatica: 

S→bSa 

S→ ɛ 


Type 2 




A → γ 








• Voorbeeld van context-vrije grammatica: 

S→bSa 

S→ ɛ 

• Bijbehorende taal: b n a n 


Type 2 (II) 

Push-down automaat: een finite state automaat die van een stack 

gebruik maakt 

Taal: {0 n 1 n | n ≥ 0} 

PDA: 

0; Z /AZ 

0; A/AA 

p 

ɛ 

1; A/ɛ 

q 

ɛ; Z /Z 

r 

• PDA’s gebruiken een stack te bepalen welke transitie te maken 

• De inhoud van de stack kan veranderd worden in een transitie 


Type 3 en 2 

• De Chomsky-hierarchie is een hierarchie 

• Context-vrije grammatica’s genereren ook reguliere talen! 

• Context-vrije grammatica’s hebben grotere generatieve kracht dan 

reguliere grammatica’s 

• Reguliere grammatica’s zijn tegelijkertijd context-vrij 

• Regulier: A → uB of A → u 

• Context-vrij: A → γ (γ is een rijtje symbolen) 

• b(ab) ∗ = {b, bab, babab, . . .} is zowel een reguliere als een 

context-vrije taal. 

• {b n a n | n ≥ 1} = {ba, bbaa, bbbaaa, . . .} is een context-vrije taal, 

maar geen reguliere taal. 


Probeer het uit 

The context-free grammar tool: 

http://smlweb.cpsc.ucalgary.ca/ 

S → NP VP 

S → Aux NP VP 

S → VP 

NP → Pronoun 

NP → Proper-Noun 

NP → Det Nominal 

Nominal → Noun 

Nominal → Nominal Noun 

Nominal → Nominal PP 

VP → Verb 

VP → Verb NP 

VP → Verb NP PP 

VP → Verb PP 

VP → VP PP 

PP → Preposition NP 

Det → that | this | a 

Noun → book | flight | meal | money 

Verb → book | include | prefer 

Pronoun → I | she | me 

Proper-Noun → Houston | TWA 

Aux → does 

Preposition → from | to | on | near | through 








Type 1 

Type 1 

• Context-gevoelige talen 

αAβ → αγβ 

(γ ≠ ɛ) 

context-gevoelige 

talen (context sensitive) 

linear-bounded nondeterministic 

Turing 

machine 

• Precies de klasse talen die door een lineair gebonden automaat 

herkend kan worden (gaan we het niet over hebben) 

• Precies de klasse talen die door een context-gevoelige 

grammatica kan worden gegenereerd 

• Regels van de vorm: 

αAβ → αγβ 

(α, β, γ zijn hier willekeurige strings van terminale of niet-terminale 

symbolen; γ is niet ɛ) 


Type 1 

Regel uit context-sensitive grammatica: αAβ → αγβ met γ ≠ ɛ 

1 S → aSBC 

2 S → aBC 

3 CB → HB 

4 HB → HC 

5 HC → BC 

6 aB → ab 

7 bB → bb 

8 bC → bc 

9 cC → cc 


Type 1 

Regel uit context-sensitive grammatica: αAβ → αγβ met γ ≠ ɛ 

1 S → aSBC 

2 S → aBC 

3 CB → HB 

4 HB → HC 

5 HC → BC 

6 aB → ab 

7 bB → bb 

8 bC → bc 

9 cC → cc 

• Geeft: a n b n c n voor n ≥ 1 

• Deze taal kan niet context-vrij gegenereerd worden 








Type 0 

Type 0 

recursief opsombare 

talen (recursively 

enumerable) 

α → β (α ≠ ɛ) 

Turing machine 

• Recursief opsombare talen 

• De klasse talen die door een Turing machine herkend kunnen 

worden 

• Turing machine: 

• De klasse talen die door een onbeperkte grammatica 

gegenereerd kunnen worden 

• Elke regel . . . → . . . is toegestaan 

zo lang de linker-kant niet gelijk is aan ɛ 


Hoe herken je formele talen? 

• Hoe weet je welke soort regels te gebruiken voor een bepaalde 

taal (bijv. grammatica van Engels)? 

• Voor formele talen is er een manier om dat te bepalen 

Enkele typische patronen: 

• Reguliere talen kunnen locale afhankelijkheden aan 

{bab, babab, bababab, . . .} 

• Context-vrije talen kunnen geneste afhankelijkheden aan 

{lepel, parterretrap, bob, . . .} 

• Context-gevoelige talen kunnen gekruiste afhankelijkheden aan 

{abcabc, bcabca, cbacba, . . .} 


Erkenning van reguliere talen 

• Te laten zien dat een taal regulier is: bouw een reguliere expressie 




• Het pumping lemma gebruik je om aan te tonen dat een taal niet 

regulier is 

• Reguliere talen: 

• eindig geheugen (onafhankelijk van de string lengte) door 

vastliggend aantal states 

• strings met meer symbolen dan het aantal toestanden moeten dus 

gemaakt zijn mbv een loop 




• Het pumping lemma gebruik je om aan te tonen dat een taal niet 

regulier is 

• Reguliere talen: 

• eindig geheugen (onafhankelijk van de string lengte) door 

vastliggend aantal states 

• strings met meer symbolen dan het aantal toestanden moeten dus 

gemaakt zijn mbv een loop 

• Het pumping-lemma: 

Laat L een reguliere taal zijn. 

Dan bestaan er strings x, y, z met y niet-leeg zodat 

xy n z ∈ L voor n ≥ 0 

• Toepassing: als je voor een expressie in taal L geen x, y, z kunt 

vinden waarvoor y gepumpt kan worden, dan is L geen reguliere 

taal 


Toepassing van het pumping lemma 


Dan bestaan er strings x, y, z met y niet-leeg zodat xy n z ∈ L 

voor n ≥ 0 

Is a n b n regulier? 





voor n ≥ 0 


Mogelijkheden voor toepassing v/h lemma 

• y bestaat alleen uit a’s: dan bestaat x uit a’s en z bestaat uit alle 

b’s: y kan niet gepompt worden 

• y bestaat alleen uit b’s: dan bestaat x uit alle a’s en z uit de rest 

van de b’s: y kan niet gepompt worden 

• y bestaat uit a’s en b’s: dan bestaat x uit a’s en z uit b’s: xy n z zal 

nu b’s in zich hebben die voor a’s staan 

=> Gevolg: deze taal is niet regulier 





voor n ≥ 0 


Mogelijkheden voor toepassing v/h lemma 

• y bestaat alleen uit a’s: dan bestaat x uit a’s en z bestaat uit alle 

b’s: y kan niet gepompt worden 

• y bestaat alleen uit b’s: dan bestaat x uit alle a’s en z uit de rest 

van de b’s: y kan niet gepompt worden 

• y bestaat uit a’s en b’s: dan bestaat x uit a’s en z uit b’s: xy n z zal 

nu b’s in zich hebben die voor a’s staan 

=> Gevolg: deze taal is niet regulier 

• Let op! Als we een string y kunnen pompen, betekent dat nog 

niet dat de taal regulier is (vb.: {a k b m a n | k = 0 of m = n}) 


De Chomsky-Hierarchie en Natuurlijke Taal 

• Met welke soorten formele talen corresponderen aspecten van 

natuurlijke taal? 

• Welke grammatica’s hebben we nodig voor natuurlijke taal? 

• Met andere woorden: wat is krachtig genoeg, maar niet te 

krachtig? 

• Niet te krachtig: 

• Krachtige mechanismen zijn computationeel lastiger 

• Krachtige mechanismen leren ons niets over de limieten van 

cognitieve modules 

• We gaan nu onderzoeken wat voor talen we nodig hebben om 

natuurlijke taal te modelleren... 


Fonologie 

• Generatieve fonologie gebruikte context-gevoelige regels 

• Fonologische regel voor flapping: /t/ → [dx]/ ´V V 

• Computationele fonologie erkent dat context-gevoelige 

grammatica’s te krachtig zijn 

• Fonologische (en ook morfologische) processen kunnen met een 

reguliere taal gemodelleerd worden 

• Zijn misschien alle talige fenomenen modeleerbaar met eindige 

automaten? 


Center-embedding 

The man likes Mary. 

The man the boy saw likes Mary. 

The man the boy the dog bit saw likes Mary. 

The man the boy the dog the cat chased bit saw likes Mary. 


Center-embedding 

The man likes Mary. 

The man the boy saw likes Mary. 


The man the boy the dog the cat chased bit saw likes Mary. 

• Hoe meer center-embedding, hoe moeilijker te begrijpen 

• Toch bestaan er goeie voorbeelden van herhaalde 

center-embedding 

The pictures that the photographer who I met at the party took 

turned out very well. 

• Idee: herhaalde center-embedding is grammaticaal, maar moeilijk 

te begrijpen door limieten aan ons korte-termijn-geheugen 

• Gevolg: Engels (competence) is niet regulier (zie volgende slide) 


Center-embedding / pumping lemma 


NP NP NP V V VP 

• Center-embedding-zinnen: 

• Een n aantal NPs 

• gevolgd door een n − 1 aantal Vs 

• gevolgd door een VP 

• Ofwel: a n b n−1 c 

=> niet regulier 


Dus natuurlijke taal is context-vrij? 


Dus natuurlijke taal is context-vrij? 

• Engelse syntaxis is niet regulier 

• Is een context-vrije grammatica genoeg? 

• Schwyzerdütsch (Zwitserland/Italië) 

• (1) mer d’chind em Hans es huus haend wele laa hälfe 

we de-kinderen de Hans het huis hebben willen laten helpen 

aastriiche 

schilderen 

• [de kinderen].ACC [Hans].DAT [es huus].ACC haen wele [laa] ACC 

[hälfe] DAT [aastriiche] ACC 

• X (NP-dat) m (NP-acc) n (V dat ) m (Vacc) n Y 

• Deze kruisende afhankelijkheden zijn typisch voor 

context-gevoelige talen: 

voorbeeld: a n b m c n d m is context-gevoelig en niet 

context-vrij 


Meer kruisende afhankelijkheden 

dat Jan Marie het kind zag helpen leren zwemmen 

omdat ik Jan Piet de nijlpaarden zag helpen voeren 


Mildly context sensitive languages 

• kunnen kruisende afhankelijkheden behandelen 

• hebben polynomische parsing 

• Minimalist grammars 

• Combinatorial categorial grammars 

• Tree-adjoining grammars 

• elementair unit te herschrijven is een boom 

• twee soorten bomen: initial tree voor simpele structuren, auxiliary 

tree voor recursie 


Conclusie 

• Er zijn aanwijzigingen dat natuurlijke talen niet regulier zijn 

• Er zijn aanwijzigingen dat talen als het Nederlands en het 

Schwyzerdütsch niet context-vrij zijn 

• Kanttekeningen: 

• Zinnen die op een context-vrije grammatica duiden zijn moeilijk te 

begrijpen (center-embedding) 

• Kruisende afhankelijkheden komen zelden voor in talen 

• Al deze overwegingen beperken zich tot syntaxis 

• De aanname is dat center-embedding en kruisende 

afhankelijkheden oneindig diep toepasbaar zijn 

• Het is dus interessant om wat beter te kijken wat nu het verwerken 

van bepaalde zinnen moeilijk maakt 


Complexiteit bij menselijke taalverwerking 

• Niet alle grammaticale zinnen zijn even gemakkelijk te verwerken 

(processing) 

Lees bijvoorbeeld de volgende zin: 


The horse raced past the barn fell

Ik heb de stoel aangeboden op het internet onlangs gekocht.

Complexiteit bij menselijke taalverwerking 

• Niet alle grammaticale zinnen zijn even gemakkelijk te verwerken 

(processing) 

The horse raced past the barn fell 

• Hoe meet je eigenlijk of mensen moeite met een zin hebben? 

• Waardoor ontstaan processing-problemen? 


Gardenpath-zinnen 

• “To lead someone up/down the gardenpath” ∼ iemand op een 

dwaalspoor brengen 

• Beroemdste voorbeeld: 


• Probleem: je begint met de zin te verwerken voordat we de hele 

zin gehoord hebben 

• . . . maar je neemt het verkeerde pad 

• Je neemt aan dat the horse het onderwerp is en raced het 

werkwoord. 



NP 

Det 

the 

N 

horse 



S 

NP 

VP 

Det 

the 

N 

horse 

V 

raced 



S 

NP 

VP 

Det 

the 

N 

horse 

V 

raced 

P 

PP 

NP 

past 

Det 

the 

N 

barn 



S 

+ V 

NP 

VP 

fell 

Det 

the 

N 

horse 

V 

raced 

P 

PP 

NP 

past 

Det 

the 

N 

barn 


NP 

Det 

the 

N 

horse 


NP 

NP 

S 

Det 

N 

VP 

the 

horse 

V 

PP 

raced 

P 

NP 

past 

Det 

the 

N 

barn 


S 

NP 

VP 

Det 

NP 

N 

S 

VP 

V 

fell 

the 

horse 

V 

PP 

raced 

P 

NP 

past 

Det 

the 

N 

barn 


Meer gardenpaths 



1 While Mary dressed the baby spat up on the bed. 

2 I convinced her children are noisy. 

3 The old man the boat. 

4 Fat people eat accumulates. 

5 The man who whistles tunes pianos. 

6 While John hunted the deer ran into the woods. 

7 The detective charged the criminal was guilty. 



1 While Mary dressed the baby spat up on the bed. 

2 I convinced her children are noisy. 

3 The old man the boat. 

4 Fat people eat accumulates. 

5 The man who whistles tunes pianos. 

6 While John hunted the deer ran into the woods. 

7 The detective charged the criminal was guilty. 

• Garden paths-zinnen zijn niet altijd moeilijk 

• Ze zijn moeilijk omdat we een andere parse verwachtten 

• Echter: je verwachtingen zijn contekst-afhankelijk 

• Bias: intransitive, transitive, intransitively biased, transitively 

biased werkwoord. 

The detective agreed/guessed/charged the criminal was guilty. 


Meet-methodes 

• Lees-snelheid / Reactie-snelheid 

• Eye-tracking 

• ERP (Event related brain potential) – de gemeten response in 

termen van brein-activiteit op een bepaalde stimulus 

• bijvoorbeeld, N100: een piek van negatief voltage 100ms na de 

stimulus 

• N400: typisch geassocieerd met semantisch onverwachte stimulus 

• P600: typisch geassocieerd met syntactisch onverwachte stimulus 


Een experiment 

Trueswell et al. 1999: 

Put the frog on the napkin into the box 


Een experiment 

Trueswell et al. 1999: 


• Gaat het om [de kikker op het servet]? 

• Of gaat het erom de kikker op het servet te zetten? 





• Volwassenen gebruiken de context: B => D 

• Kinderen rond de 5 jaar: 

• B => D (39%) 

• A => C (19%) 

• A => C en dan van C => D (15%) 

• A => C en B=>D (15%) 


Samenvattend: complexiteit 

• Soorten formele talen, soorten grammatica’s, soorten formele 

modellen 

• De Chomsky-hierarchie 

• Natuurlijke taal lijkt context-vrij, misschien zelfs context-gevoelig 

• Taalverwerking door mensen: garden paths

Slides - Universiteit Utrecht

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?