2 Lexikalische Analyse - Westfälische Wilhelms-Universität Münster

Kapitel 2: Lexikalische Analyse
Tokenklasse definiert wurden und ersetzt diese durch den Tokennamen. Nach dem
Prozess der lexikalischen Analyse würde der nachstehende deutsche Satz beispielsweise
wie folgt umgewandelt:
Ein Mann steigt in sein blaues Auto .
artikel nomen verb präposition fürwort adjektiv nomen punkt
Diese Folge von Token übergibt der Lexer dann zur weiteren Verarbeitung an den
Parser.
2.2.2 Token
Token sind syntaktische Elementarbausteine [WH09, S. 58], die in verschiedene
Klassen eingeteilt werden können. Sie bestehen aus einem Namen sowie einem
optionalen Attributwert. Der Name ist ein selbstbestimmtes Symbol, das vom Parser
weiterverarbeitet wird. Der Attributwert kann, wie z. B. bei Operatoren, die bereits
durch ihren Namen, z. B. mult_op, eindeutig definiert sind, leer sein oder, wie bei
Bezeichnern (ID), einen Zeiger enthalten, der auf einen entsprechenden Eintrag in der
Symboltabelle verweist. Diese Einträge sind wichtig, da ansonsten der Compiler in
späteren Phasen beispielsweise nicht entscheiden kann, ob es sich bei dem Token op um
ein „+“ oder ein „-“ handelt.
Tokenklassen können beliebig definiert werden und folgen keiner eindeutigen
Vorschrift. Ein Großteil der Programmiersprachen jedoch umfasst die in Tabelle 1
gezeigten Klassen [ALSU08, S. 137].
Token Beispiel Beschreibung
id abcd, Dipl.-Ing., E150d Buchstabe, auf den Buchstaben/Ziffern folgen
num 3, 26.587, 0 alle Zahlen
comp , =, !=, = alle Vergleichssymbole
op +, -, /, * die Grundoperatoren
saz (, ), ;, ,, … andere Satzzeichen (Klammern, Semikolon etc.)
if if das Wort if
else else das Wort else
literal „ Ausgabe“ alles, was in Anführungszeichen steht
Tabelle 1: Typische Tokenklassen
Neben diesen Klassen existiert außerdem für jedes Schlüsselwort, z. B. begin oder
end ein eigenes Token. Hierbei sind das Muster und der Tokenname gleich.
6