2 Lexikalische Analyse - Westfälische Wilhelms-Universität Münster

Inhaltsverzeichnis
1 Motivation .................................................................................................................. 1
2 Lexikalische Analyse ................................................................................................. 2
2.1 Einordnung der lexikalischen Analyse in den Compilerbau .............................. 2
2.1.1 Aufgaben der lexikalischen Analyse .......................................................... 3
2.1.2 Trennung der lexikalischen und syntaktischen Analyse ............................. 4
2.2 Das Verfahren der lexikalischen Analyse .......................................................... 5
2.2.1 Einstiegsbeispiel ......................................................................................... 5
2.2.2 Token .......................................................................................................... 6
2.2.3 Reguläre Ausdrücke .................................................................................... 7
2.2.4 Endliche Automaten ................................................................................... 8
2.2.5 Pattern-Matching / Tokenerkennung ........................................................ 10
2.2.6 Eingabepuffer ............................................................................................ 12
2.3 Probleme .......................................................................................................... 13
2.4 Aufwand und Optimierungsmöglichkeiten ...................................................... 14
3 Generierung eines Scanners ..................................................................................... 15
3.1 Anforderungen an einen Scanner ..................................................................... 15
3.2 Manuelle Generierung ...................................................................................... 16
3.3 Der Scannergenerator lex ................................................................................. 17
3.3.1 Einführung in lex und Darstellung seiner Vorteile ................................... 17
3.3.2 Arbeitsweise eines lex-Generators ............................................................ 18
3.3.3 Struktur eines lex-Programmes ................................................................. 19
3.4 Weitere Scannergeneratoren ............................................................................ 20
4 Zusammenfassung und Ausblick ............................................................................. 21
5 Literaturverzeichnis ................................................................................................. 23
II