Java Compiler Compiler (JavaCC)

Java Compiler Compiler
(JavaCC)
Andreas Kunert

Überblick über den Vortrag
1. Überblick über JavaCC
2. einführendes Beispiel
3. lexikalische Analyse
4. syntaktische Analyse
5. semantische Aktionen
6. Syntaxbaumgenerierung (JJTree)
7. Fragen
24. April 2003 2 / 28

1. Überblick über JavaCC
24. April 2003 Überblick 3 / 28

Eigenschaften von JavaCC (1)
• Scanner- und Parsergenerator in/für Java
• erzeugt LL(k)-Parser (rekursiver Abstieg)
• mittels Präprozessor Syntaxbaumkonstruktion möglich (JJTree)
• Dokumentationswerkzeug enthalten (JJDoc)
24. April 2003 Überblick 4 / 28

Eigenschaften von JavaCC (2)
• JavaCC ist selbst in JavaCC implementiert worden
• unterstützt Unicode
• Parsergenerator versteht EBNF
• sehr gute Debuggingmöglichkeiten
• exzellente Fehlerbehandlung
(sowohl in JavaCC als auch in den generierten Compilern)
• ”
100% Pure Java“-zertifiziert
• bewegte Geschichte (Suntest, Metamata, Webgain, Sunlabs)
24. April 2003 Überblick 5 / 28

Informationen
• Webseite:
www.experimentalstuff.com/Technologies/JavaCC
• Newsgroup:
comp.compilers.tools.javacc
• Mailing List:
www.experimentalstuff.com/Technologies/JavaCC/mailinglist.html
javacc-interest@experimentalstuff.com
• FAQ:
http://www.engr.mun.ca/~theo/JavaCC-FAQ
• Repository of JavaCC Grammars:
www.cobase.cs.ucla.edu/pub/javacc
24. April 2003 Überblick 6 / 28

2. Einführendes Beispiel
24. April 2003 Einführung 7 / 28

Anwendung von JavaCC
1. MeinCompiler.jj erzeugen (vim ;-)
2. javacc MeinCompiler.jj
(generiert Scanner, Parser und diverse Hilfsdateien)
3. javac MeinCompiler.java
4. java MeinCompiler
(wenn Parser direkt startbar)
24. April 2003 Einführung 8 / 28

Aufbau einer .jj-Datei (formal)
javacc_input ::= [ "options" "{" (option)+ "}" ]
"PARSER_BEGIN" "(" ")"
java_compilation_unit
"PARSER_END" "(" ")"
( production )*
24. April 2003 Einführung 9 / 28

Aufbau einer .jj-Datei
options{
LOOKAHEAD = 1;
...
}
PARSER_BEGIN(MeinParser)
public class MeinParser {
public static void main(String argv[]) {...}
}
PARSER_END(MeinParser)
... // Scanner- und Parserregeln
24. April 2003 Einführung 10 / 28

Beispiel
• MyCalc.jj
” handcompiliert“
24. April 2003 Einführung 11 / 28

3. Die lexikalische Analyse
24. April 2003 Lexikalische Analyse 12 / 28

Tokenaktionen
• TOKEN
Token werden ganz normal an Parser weitergegeben
• SKIP
Token werden ignoriert
• MORE
bisher gelesene Zeichen werden gepuffert und lexikalische Analyse
fortgeführt
• SPECIAL_TOKEN Token werden ”
asynchron“ an Parser weitergegeben
24. April 2003 Lexikalische Analyse 13 / 28

Aufbau einer Lexikregel (formal)
regular_expr_production ::= [ lexical_state_list ]
( "TOKEN"
| "SKIP"
| "SPECIAL_TOKEN"
| "MORE" )
[ "[" "IGNORE_CASE" "]" ]
":"
"{" regexpr_spec ("|" regexpr_spec)* "}"
24. April 2003 Lexikalische Analyse 14 / 28

Aufbau einer Lexikregel (formal)
regexpr_spec ::= regular_expression
[ java_block ]
[ ":" java_identifier ]
regular_expression ::= java_string_literal
| ""
| ""
| ""
24. April 2003 Lexikalische Analyse 15 / 28

Beispiel
• XScanner.jj
24. April 2003 Lexikalische Analyse 16 / 28

4. Die syntaktische Analyse
24. April 2003 Syntaktische Analyse 17 / 28

Eigenschaften des Parsers
• LL(k) – mit k beliebig, aber fest
• local-lookaheads möglich
• Prinzip rekursiver Abstieg
• Erweiterte BNF
24. April 2003 Syntaktische Analyse 18 / 28

Rekursiver Abstieg
programm =
”PROGRAM” bezeichner ”;” block ”.”.
block =
[ konstantendefinitionsteil ] [ typendefinitionsteil ]
[ variablendeklarationsteil ] [ prozedurdeklarationsteil ]
”BEGIN” verbundanweisung ”END”.
public void program() {
nextSymbol();
testFor (PROGRAMSY);
testFor (IDENT);
testFor (SEMICOLON);
block ();
testFor (PERIOD);
}
private void block () {
if ( testIf (CONSTSY)) constantdefinitionpart();
if ( testIf (TYPESY)) typedefinitionpart ();
if ( testIf (VARSY)) vardeclarationpart ();
if ( testIf (PROCEDURESY)) proceduredeclaration();
testFor (BEGINSY);
statseq ();
testFor (ENDSY);
}
24. April 2003 Syntaktische Analyse 19 / 28

Aufbau einer Grammatikregel
void metasymbol()
{
... // Code der am Anfang der Methode steht
}
{
{ ... }
| { ... }
| ( | ) { ... }
| [ ] { ... }
| ( )? { ... }
| ( )+ { ... }
| ( )* { ... }
}
24. April 2003 Syntaktische Analyse 20 / 28

Beispiel
• CopCow.jj
(mit verschiedenen Lookaheads)
24. April 2003 Syntaktische Analyse 21 / 28

5. Semantische Aktionen
24. April 2003 Semantische Aktionen 22 / 28

Einbau von semantischen Aktionen
• an (nahezu) beliebiger Stelle in Lexik-/Grammatikregeln
• nur Java 1.2-Syntax möglich (keine Assertions)
• beliebige Rückgabetypen
• Methodenköpfe können frei definiert werden
24. April 2003 Semantische Aktionen 23 / 28

Beispiel
• MyCalc2.jj
24. April 2003 Semantische Aktionen 24 / 28

6. Syntaxbaumkonstruktion mit JJTree
24. April 2003 JJTree 25 / 28

Geänderter Erstellungsablauf
• MeinCompiler.jjt erzeugen (vim ;-)
• jjtree MeinCompiler.jjt
(generiert Knotenklassen und JavaCC-Quelldatei)
• javacc MeinCompiler.jj
(generiert Scanner, Parser und diverse Hilfsdateien)
• javac MeinCompiler.java
• java MeinCompiler
(wenn Parser direkt startbar)
24. April 2003 JJTree 26 / 28

Beispiel
• MyCalc3.jj
• Minako
24. April 2003 JJTree 27 / 28

7. Fragen ???
24. April 2003 28 / 28