tesis_uam/Guia para hacer compiladores _UAM7403.pdf - cedip

Componentes léxicos, patrones y lexemas.Cuando se menciona el análisis, ,los terminos, "componenteléxico" (token), npatrón", y "lexeman se emplea con significadosespecificos. En la fig. 2.2 aparecen ejemplos de dichos usos. Engeneral, hay un conjunto de cadenas en la entrada para el cual seproduce como salida el mismo componente lbxico. Este conjunto decadenas se describe mediante una regla llamada patrón asiciado alcomponente léxico. Se dice que el patrón concuerda con cadacadena del conjunto. Un lexema es una secuencia de caracteres enel programa fuente con la que concuerda el patrón para uncomponente léxico. Por ejemplo, en la proposición de pascalconst pi = 3.1416;la subcadena pi es un lexema para el componente léxicoU ident if icador" .COMPONENTELEXICOconstifrelaciónidnúmliteralLEXEMAS DEEJEMPLOconstifpi, cuenta, D23.1416, O, 6.02lWacía memoria"DESCRIPCION INFORMAL DELPATRONconstif< o = o >letra seguida de letras y dígitoscualquier constante numéricacualquier cosa entre Hn.Fig. 2.2 Ejemplos de componentes léxicos.Los componentes léxicos se tratan como símbolos terminales delas gramáticas del lenguaje fuente, con noares en negritas pararepresentarlos. Los lexemas para el componente léxico queconcuerdan con el patrón representan cadenas de carcateres en elprograma fuente que se pueden tratar juntos como una unidadléxica .Un patrón es una regla que describe el conjunto de lexemas quepueden representar a un determinado componente léxico en losprogramas fuentes. El patrón para el componente léxico const dela figura 2.2 es simplemente la cadena sencilla const quedeletrea la palabra clave. El patrón para el componente léxicorelación es el conjuntom de los seis operadores relacionales dePascal. Para describir con presición los patrones paracomponentes léxicos más complejos, como id (para identificador) ynúm (para número), se utilizará la notación de expresionesregulares desarrolladas en parrafos posteriores.13