Kapitel 4

Compiler
Kapitel 4
Syntaktische Analyse
Folie: 1
Kapitel
4
Syntaktische Analyse
Autor:
Aho et al.

Übersicht
Compiler
Kapitel 4
Syntaktische Analyse
Autor:
Aho et al.

Übersicht
Compiler
Kapitel 4
Syntaktische Analyse
Autor:
Aho et al.

Syntax: Definition
Compiler
Kapitel 4
Syntaktische Analyse
4
syn-tax: the way in which words are put
together to form phrases, clauses, or
sentences.
– Webster's Dictionary
Autor:
Aho et al.
Die Syntax (griechisch !"#$%&'( ['sʏntaksɪs] - die
Zusammenstellung) behandelt die Muster und
Regeln, nach denen Wörter zu größeren
funktionellen Einheiten wie Phrasen (Teilsätze)
und Sätzen zusammengestellt und Beziehungen
wie Teil-Ganzes, Abhängigkeit etc. zwischen
diesen formuliert werden (Satzbau)."
– Wikipedia

Natürliche Sprache
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 5
thisissometextwithoutspacesandpunctuationmarkswhichist!
hereforequitedifficulttoreadbyhumanslexicalanalysiswillbre!
akthistextupintowordswhiletheparsingphasewillextractthegr!
ammaticalstructureofthetext!
this is some text without spaces and punctuation marks which!
is therefore quite difficult to read by humans lexical analysis!
will break this text up into words while the parsing phase will!
extract the grammatical structure of the text!
Autor:
Aho et al.
This is some text without spaces and punctuation-marks
which is therefore quite difficult to read by humans.!
Lexical-analysis will break this text up into words!
while the parsing-phase will extract the grammatical
structure of the text.!

Wie soll die Syntax einer Programmier
sprache beschrieben werden?
Compiler
Kapitel 4
Syntaktische Analyse
• Beispiel:
– If – Then – Else Anweisung
Folie: 6
Autor:
Aho et al.

Deutsche Grammatik
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 7
1. Satzbauplan – Hauptsatz Der 1. Satzbauplan
hat die Reihenfolge:
Subjekt – finitives Prädikat – indirektes Objekt
– direktes Objekt – Adverbien – Prädikatrest
Die Satzverneinung steht vor dem Prädikatrest.
Beispiel:
„der Verkäufer – hatte – seinem Kunden – das
Buch – gestern – in seinem Laden – (nicht)
– gegeben.“
Autor:
Aho et al.
Quelle: Wikipedia.de

Syntax Analyse: Übersicht
Compiler
Kapitel 4
Syntaktische Analyse
10
• Beschreibung der syntaktischen
Struktur von Programmen
– kontext freie Grammatiken (kfG)
– beschreiben: Zuweisungen, Tests, !,
Programme
• Erkennen der syntaktischen Struktur
(“parsing”)
– Top-Down parsing (LL(1))
– Bottom-Up Shift/reduce parsing (LR(1))
• yacc/sablecc/... Werkzeuge
Autor:
Aho et al.

Warum studieren wir Parsing?
Compiler
• Essenziell für die semantische Analyse
Kapitel 4
Syntaktische Analyse
11
• Viele andere Anwendungen:
– Natural Language Understanding
– theoretische Informatik
– ...
Autor:
Aho et al.

Wiederholung: Formale Sprachen
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 12
• Alphabet !: endliche Menge von
Symbolen
– {0,1}, {a,b,c,!,z}, Ascii, ...
• String (Wort): endliche Folge von
Symbolen " !
– 101, helloworld, if a=0 then a:= b
• Sprache = abzählbare Menge von Strings
– Primzahlen im Binärformat, English, Java
Programme
– Lexeme für ein Token !!
Identifier : {a,b,!,foo,!,x_3,...}
Autor:
Aho et al.

Anwendung der formalen Sprachen
Compiler
Kapitel 4
Syntaktische Analyse
13
Autor:
Aho et al.
• Beim Lexing:
– Zuordnung zu Token Klassen
• L(num) = {“0”, “1”, “2”, “3”,!, “10”, “11”,!}
• L(id) = {“a”,“b”,!, “a1”,“a2”,!, “aa”,“ab”,!}
• ! = Ascii oder Unicode
• Beim Parsing:
– Zuordnung zu grammatischen
Konstrukten
• L(assignment) = { “id = id”, “id = num”, “id = id
+id”, “id = id+num”, “id = num+id”,!}
• ! = Token (oder Ascii/Unicode wenn kein
Lexing)

Alphabete
Compiler
Kapitel 4
Syntaktische Analyse
Autor:
Aho et al.
14

Beschreibung der Sprachen I
Compiler
Kapitel 4
Syntaktische Analyse
15
Aufzählung
if n == ((x+2)*3) then
return 0
else
!….!
– Beispiel: Arithmetische Ausdrücke über
natürliche Zahlen mit +,*, (, ):
{0,1,2,3,!,0+0,0+1,0+2,!,1+0,1+1,1+2,!,
0*0, 0*1, 0*2,!, 0+0+0, 0+0+1,!
0+0*0, 0+0*1, 0+0*2,!.
0*0+0, 0*0+1,!, 1*0+0, 1*0+1,!
(0+0),(0+1),(0+2),!,(1+0),(1+1),(1+2),!,
(0*0), (0*1), (0*2),!, (0+0)+0, (0+0)+1,!}
Autor:
Aho et al.
Können wir reguläre Ausdrücke verwenden ?

Beschreibung der Sprachen II
Compiler
Kapitel 4
Syntaktische Analyse
16
Reguläre Ausdrücke: a, #, M|N, MN, M *
– Beispiel: Arithmetische Ausdrücke über
natürliche Zahlen mit +,*, (, ):
– Nat = 0 | [1-9][0-9] *
– Ex = Nat ((“+”| “ *”) Nat) *
{0,1,2,3,…}!
– Mit Klammern ?
{0,…,0+0,…,0*0,...}!
Autor:
Aho et al.

Quiz: Ein einfacheres Problem
(or Who wants to be a millionaire?)
Compiler
Kapitel 4
Syntaktische Analyse
• Beschreiben Sie die Sprache
{“ab”, “aabb”, “aaabbb”, !} mit einem
regulären Ausdrück
• Unmöglich!
• Das Gleiche gilt für:
– Korrekt geklammerte Ausdrücke ( (!) !)
– Korrekt geschachtelte Schleifen,!
$ Reguläre Ausdrücke reichen zum
Parsen nicht aus
Autor:
Aho et al.

Erklärung
Compiler
Kapitel 4
Syntaktische Analyse
18
Beschreibung von {“()”, “(())”, “((()))”, !}
mit einem regulären Ausdruck:
unmöglich!
Warum:
– Regulärer Ausdruck % endlicher DFA
– DFA: Zustände haben keinen Speicher
Autor:
Aho et al.
!! (! (!
"! $!
#! )! )!
%!
)!
&!
(!
'!
)!
(!
)!
...!
...!
Wir brauchen!
- Speicher oder!
- unendlich viele Zustände!

Klammern Problem
Compiler
Kapitel 4
Syntaktische Analyse
• x := (a+b)*2;
• x := (a+b*2;
"!
!!
• if x>2 then return x*x else
return 0; !#
• if x>2 then return x*x if
"!
y>2;
• else return 0 then return
x*x;
"!
Autor:
Aho et al.
$ kontextfreie Grammatiken (Rekursion)!

Bausteine von
kontextfreien Grammatiken
Compiler
Kapitel 4
Syntaktische Analyse
20
N = Menge von Nichtterminalen
T = Menge von Terminalen
Startsymbol S " N
Menge P von Produktionen der Form:
– s 0 % s 1 ! s k mit
s 0 " N, s i " T & N, k"0
Notation:
– s 0 % ' 1 | !| ' k bezeichnet {s 0 % ' i | 1#i#k}
Autor:
Aho et al.

Beschreibung der Sprachen IV
Compiler
Kapitel 4
Syntaktische Analyse
Beispiel: Arithmetische Ausdrücke über
Bezeichner id mit +,*, (, ):
21
Version1: N={E}, S=E, T = {id,+,*, (, )}
Version 2: N={E,T,F}, S=E, T = {id,+,*, (, )}
Autor:
Aho et al.

Compiler
Kapitel 4
Syntaktische Analyse
Folie: 25
Wo ist die kfG?
Deutsche Grammatik
1. Satzbauplan – Hauptsatz Der 1. Satzbauplan
hat die Reihenfolge:
Subjekt – finitives Prädikat – indirektes Objekt
– direktes Objekt – Adverbien – Prädikatrest
Die Satzverneinung steht vor dem Prädikatrest.
Beispiel:
„der Verkäufer – hatte – seinem Kunden – das
Buch – gestern – in seinem Laden – (nicht)
– gegeben.“
Autor:
Aho et al.
Quelle: Wikipedia.de

Ableitungsschritt
Compiler
Kapitel 4
Syntaktische Analyse
26
1. Sei A % $ eine Produktion
2. Sei %A& ein String über N T
3. Dann schreiben wir:
%A& %$&
Beispiel:
E (E) (id)
Autor:
Aho et al.

Ableitungen und Sprache
Compiler
Kapitel 4
Syntaktische Analyse
27
1. Von Grammatik G erzeugte Sprache:
L(G) = {w T* | S* w}
2. Zwei Grammatiken mit derselben
Sprache: werden äquivalent genannt
Autor:
Aho et al.

Die Chomsky Hierarchie
Compiler
Kapitel 4
Syntaktische Analyse
28
Type 3: Reguläre Sprachen
– reguläre Ausdrücke, endliche Automaten
Type 2: kontextfreie Sprachen
– kfG’s, Kellerautomaten
Type 1: kontextsensitive Sprachen
– CSG’s ( AB % AC, CB % CD), LBA’s
Type 0: rekursive aufzählbare Sprachen
– Turingmaschine
Autor:
Aho et al.
{a n b n c n |n>1}: Typ 1 nicht Typ 2,
{a n b n |n>1}: Typ 2 nicht Typ 3

Reguläre Ausdrücke% kfG
Compiler
• (a|b)*abb
Kapitel 4
Syntaktische Analyse
Folie: 29
Autor:
Aho et al.

Compiler
Kapitel 4
Syntaktische Analyse
Quiz
Ex % id| (Ex) | Ex + Ex | Ex * Ex
T = {id,(,),+,*}, N = {Ex}, S = Ex
Finden Sie (falls möglich) von Ex
aus Ableitungen für:
– id+id*id
– (id+ (+id)
Autor:
Aho et al.
30

Ex % id| (Ex) | Ex + Ex | Ex * Ex
Lösung
Compiler
Ex
Kapitel 4
Ex + Ex
Syntaktische Analyse
id+ Ex
id+ Ex * Ex
id+ id* Ex
id+ id* id
Ex
Ex + Ex
Ex + Ex * Ex
Ex + Ex * id
Ex + id* id
id+ id* id
! Ex
! Ex * Ex
! Ex + Ex * Ex
! id+ Ex * Ex
! id+ id* Ex
! id+ id* id
Links-
Ableitung
Autor:
Aho et al.
alle Strings:
Satzformen
der
Grammatik
Rechts-
Ableitung
andere
Links-
Ableitung
31

Parsebäume
S % aSbSc | #!
S!
Compiler
Kapitel 4
Syntaktische Analyse
32
Blätter:
a! S S c!
– Terminale oder
b!
Nichtterminale
#! #!
– Grenze: erzeugte Satzform
Innere Knoten:
– Nichtterminale
– Kinder: ordered, obtained by using a
production rule
Wurzel: Startsymbol S
Autor:
Aho et al.

Parsebäume
Ex % Nat | (Ex) | Ex + Ex | Ex * Ex
Compiler
Kapitel 4
Ex
Ex ! Ex + Ex
Nat ! Ex + + Ex Ex
Nat ! Ex + + Ex Ex * Ex * Ex
Nat ! Ex + + Nat Ex * Ex Nat
Nat ! Ex + + Nat Nat * Nat * Nat
! Nat + Nat * Nat
Syntaktische Analyse
Ex
Ex
+
Ex
Nat Ex *
Nat
Ex
Nat
Autor:
Aho et al.
Rechtsableitun
g:
gleicher
Blätter: erzeugter String
Nat + Nat * Nat
33

Folge von Parse-Bäume
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 34
Autor:
Aho et al.

Was ist Parsing
Compiler
Kapitel 4
Syntaktische Analyse
35
E % num!
E % CFG E+E! G!
E % (E)!
Token!
String s!
Parser!
s " L(G)!
Autor:
Aho et al.
Error" No!
Message!
Yes!
Parsebaum!
für S in G!

Was ist Parsing II
Compiler
Kapitel 4
Syntaktische Analyse
36
E % num!
E % CFG E+E! G!
E % (E)!
Token!
String s!
num + num + num!
Parser!
s " L(G)!
E!
Autor:
Aho et al.
Error" No!
Message!
Yes!
Parsebaum! +! num!
für S in G!
num!
E!
+! E!
num!

Was ist Parsing III
Compiler
Kapitel 4
Syntaktische Analyse
37
E % num!
E % CFG E+E! G!
E % (E)!
Token!
String s!
(num + num!
Parser!
s " L(G)!
Autor:
Aho et al.
Missing Error" No! ‘)’!
Message! on line 1!
Parsebaum!
Yes!
für S in G!

Ex % Nat | (Ex) | Ex + Ex | Ex * Ex
Mehrdeutige Grammatiken
Compiler
Kapitel 4
Syntaktische Analyse
mehrdeutig: falls es für einen String "2
verschiedene Parsebäume gibt:
38
Ex
Nat + Nat * Nat
Ex
Ex
+
Ex
Ex
*
Ex
Nat Ex *
Ex
Ex
+
Ex
Nat
Nat
Nat
Nat
Nat
Autor:
Aho et al.
Nat + (Nat * Nat)
(Nat + Nat) * Nat

Eliminieren von Mehrdeutigkeiten
Compiler
Kapitel 4
Syntaktische Analyse
• S ' ab | aT
• T ' b | bTc
Folie: 39
Autor:
Aho et al.

Eliminieren von Mehrdeutigkeiten
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 40
if E 1 then if E 2 then S 1 else S 2
Autor:
Aho et al.

Eliminieren von Mehrdeutigkeiten II
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 41
Autor:
Aho et al.

Eliminieren von Mehrdeutigkeiten
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 42
• Sprache verbessern:
– S ' if E then S endif
– S ' if E then S else S endif
if E 1 then if E 2 then S 1 else S 2
if E 1 then if E 2 then S 1 endif else S 2 endif
Autor:
Aho et al.

Eliminieren von Mehrdeutigkeiten III
Compiler
Kapitel 4
Syntaktische Analyse
Folie: 43
Autor:
Aho et al.
if E 1 then if E 2 then S 1 else S 2

Zusammenfassung
Compiler
Kapitel 4
Syntaktische Analyse
44
Parsing: Warum, Wann, Was
Kontext-freie Grammatiken
Jetzt:
– Bestandteile, Ableitungen,, Parse Bäume,
Mehrdeutigkeit
– Mächtigkeit (im Vergleich zu regulären
Ausdrücken)
– Wie macht man Parsing
Autor:
Aho et al.