Procesadores de Lenguajes Tema II: Analisis Lexico
PROCESADORES DE LENGUAJESTEMA II: ANALISIS LEXICO
Prof. Dr. Nicolas Luis Fernandez Garcıa
Departamento de Informatica y Analisis NumericoEscuela Politecnica Superior
Universidad de Cordoba
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 1 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Programa
Tema I.- Introduccion
Tema II .- Analisis Lexicografico
Tema III.- Fundamentos Teoricos del Analisis Sintactico
Tema IV.- Analisis Sintactico Descendente
Tema V.- Analisis Sintactico Ascendente
Tema VI.- Traduccion Basada en la Sintaxis
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 2 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Programa
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 3 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Programa
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 4 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Programa
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 5 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Programa
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 6 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Programa
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 7 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido del tema
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 8 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 IntroduccionEl analisis lexico en el proceso de traduccionComponentes LexicosTabla de SımbolosPalabras clavesEjemploAutonomıa del analizador lexico
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresUniversidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 9 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Analisis Lexico
Primera fase del proceso de traduccion
Lee el codigo fuente “caracter a caracter”
Genera los componentes lexicos
Procedimiento auxiliar del Analisis Sintactico
Crea la Tabla de Sımbolos
El Gestor de errores procesa los errores lexicos detectados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 10 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Analisis Lexico
Primera fase del proceso de traduccion
Lee el codigo fuente “caracter a caracter”
Genera los componentes lexicos
Procedimiento auxiliar del Analisis Sintactico
Crea la Tabla de Sımbolos
El Gestor de errores procesa los errores lexicos detectados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 11 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Analisis Lexico
Primera fase del proceso de traduccion
Lee el codigo fuente “caracter a caracter”
Genera los componentes lexicos
Procedimiento auxiliar del Analisis Sintactico
Crea la Tabla de Sımbolos
El Gestor de errores procesa los errores lexicos detectados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 12 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Analisis Lexico
Primera fase del proceso de traduccion
Lee el codigo fuente “caracter a caracter”
Genera los componentes lexicos
Procedimiento auxiliar del Analisis Sintactico
Crea la Tabla de Sımbolos
El Gestor de errores procesa los errores lexicos detectados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 13 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Analisis Lexico
Primera fase del proceso de traduccion
Lee el codigo fuente “caracter a caracter”
Genera los componentes lexicos
Procedimiento auxiliar del Analisis Sintactico
Crea la Tabla de Sımbolos
El Gestor de errores procesa los errores lexicos detectados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 14 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Analisis Lexico
Primera fase del proceso de traduccion
Lee el codigo fuente “caracter a caracter”
Genera los componentes lexicos
Procedimiento auxiliar del Analisis Sintactico
Crea la Tabla de Sımbolos
El Gestor de errores procesa los errores lexicos detectados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 15 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Codigo Fuente
Analizador Lexico
Tabla de Sımbolos Gestor de Errores
Componentes Lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 16 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Codigo Fuente
Analizador Lexico
Tabla de Sımbolos
Gestor de Errores
Componentes Lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 17 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Codigo Fuente
Analizador Lexico
Tabla de Sımbolos Gestor de Errores
Componentes Lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 18 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEl analisis lexico en el proceso de traduccion
Codigo Fuente
Analizador Lexico
Tabla de Sımbolos Gestor de Errores
Componentes Lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 19 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 IntroduccionEl analisis lexico en el proceso de traduccionComponentes LexicosTabla de SımbolosPalabras clavesEjemploAutonomıa del analizador lexico
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresUniversidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 20 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Definicion (Componente lexico)
Elemento mas simple con significado propio de un lenguaje deprogramacion:
Ejemplo
Identificadores: variables, palabras claves, ...
Numeros
Cadenas de caracteres
Operadores: aritmeticos, relacionales, logicos, ...
Signos de puntuacion
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 21 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Definicion (Componente lexico)
Elemento mas simple con significado propio de un lenguaje deprogramacion:
Ejemplo
Identificadores: variables, palabras claves, ...
Numeros
Cadenas de caracteres
Operadores: aritmeticos, relacionales, logicos, ...
Signos de puntuacion
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 22 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Definicion (Componente lexico)
Elemento mas simple con significado propio de un lenguaje deprogramacion:
Ejemplo
Identificadores: variables, palabras claves, ...
Numeros
Cadenas de caracteres
Operadores: aritmeticos, relacionales, logicos, ...
Signos de puntuacion
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 23 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Definicion (Componente lexico)
Elemento mas simple con significado propio de un lenguaje deprogramacion:
Ejemplo
Identificadores: variables, palabras claves, ...
Numeros
Cadenas de caracteres
Operadores: aritmeticos, relacionales, logicos, ...
Signos de puntuacion
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 24 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Definicion (Componente lexico)
Elemento mas simple con significado propio de un lenguaje deprogramacion:
Ejemplo
Identificadores: variables, palabras claves, ...
Numeros
Cadenas de caracteres
Operadores: aritmeticos, relacionales, logicos, ...
Signos de puntuacion
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 25 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Definicion (Componente lexico)
Elemento mas simple con significado propio de un lenguaje deprogramacion:
Ejemplo
Identificadores: variables, palabras claves, ...
Numeros
Cadenas de caracteres
Operadores: aritmeticos, relacionales, logicos, ...
Signos de puntuacion
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 26 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Definicion (Componente lexico)
Elemento mas simple con significado propio de un lenguaje deprogramacion:
Ejemplo
Identificadores: variables, palabras claves, ...
Numeros
Cadenas de caracteres
Operadores: aritmeticos, relacionales, logicos, ...
Signos de puntuacion
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 27 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Los componentes lexicos
Tambien se denominan “tokens”
Son los sımbolos terminales de las gramaticas de contextolibre que generan los lenguajes de programacion.
Son en realidad codigos numericos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 28 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Los componentes lexicos
Tambien se denominan “tokens”
Son los sımbolos terminales de las gramaticas de contextolibre que generan los lenguajes de programacion.
Son en realidad codigos numericos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 29 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionComponentes Lexicos
Los componentes lexicos
Tambien se denominan “tokens”
Son los sımbolos terminales de las gramaticas de contextolibre que generan los lenguajes de programacion.
Son en realidad codigos numericos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 30 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 IntroduccionEl analisis lexico en el proceso de traduccionComponentes LexicosTabla de SımbolosPalabras clavesEjemploAutonomıa del analizador lexico
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresUniversidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 31 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionTabla de Sımbolos
Tabla de Sımbolos
Se crea durante el Analisis Lexico
Puede almacenar:
+ Numeros+ Cadenas+ ...+ Pero, sobre todo, identificadores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 32 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionTabla de Sımbolos
Tabla de Sımbolos
Cuando el analizador lexico reconoce un identificador:
+ Se inserta el identificador en la Tabla de Sımbolos+ Devuelve el componente lexico de identificador y un puntero o
ındice a su posicion en la Tabla de Sımbolos
La informacion del identificador depende de su naturaleza:
+ Variable: tipo de dato, valor, ...+ Funcion: numero y tipo de argumentos, ...+ Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 33 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionTabla de Sımbolos
Tabla de Sımbolos
Cuando el analizador lexico reconoce un identificador:
+ Se inserta el identificador en la Tabla de Sımbolos+ Devuelve el componente lexico de identificador y un puntero o
ındice a su posicion en la Tabla de Sımbolos
La informacion del identificador depende de su naturaleza:
+ Variable: tipo de dato, valor, ...+ Funcion: numero y tipo de argumentos, ...+ Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 34 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionTabla de Sımbolos
Ejemplo (dividendo = divisor * cociente + resto)
Nombre Tipo Valor ...
dividendo
divisor
cociente
resto
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 35 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionTabla de Sımbolos
Nota
La informacion de los identificadores se completa durante todas lasfases del proceso de traduccion
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 36 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 IntroduccionEl analisis lexico en el proceso de traduccionComponentes LexicosTabla de SımbolosPalabras clavesEjemploAutonomıa del analizador lexico
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresUniversidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 37 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves o reservadas
Son identificadores con un significado especial
Algunos lenguajes de programacion tambien permiten usar laspalabras claves como variables
+ Las palabras claves no serıan palabras reservadas+ Dificulta la legibilidad de los programas
Ejemplo (PL/I)
IF (IF > 1) THEN THEN = 0;
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 38 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves o reservadas
Son identificadores con un significado especial
Algunos lenguajes de programacion tambien permiten usar laspalabras claves como variables
+ Las palabras claves no serıan palabras reservadas+ Dificulta la legibilidad de los programas
Ejemplo (PL/I)
IF (IF > 1) THEN THEN = 0;
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 39 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves o reservadas
Son identificadores con un significado especial
Algunos lenguajes de programacion tambien permiten usar laspalabras claves como variables
+ Las palabras claves no serıan palabras reservadas+ Dificulta la legibilidad de los programas
Ejemplo (PL/I)
IF (IF > 1) THEN THEN = 0;
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 40 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
Tipos de reconocimiento de las palabras claves:
1.- Implıcito: preinstalacion en la Tabla de Sımbolos2.- Explıcito: reconocimiento especıfico de cada palabra clave.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 41 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
Tipos de reconocimiento de las palabras claves:
1.- Implıcito: preinstalacion en la Tabla de Sımbolos2.- Explıcito: reconocimiento especıfico de cada palabra clave.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 42 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
Tipos de reconocimiento de las palabras claves:
1.- Implıcito: preinstalacion en la Tabla de Sımbolos2.- Explıcito: reconocimiento especıfico de cada palabra clave.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 43 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
1.- Preinstalacion en la Tabla de Sımbolos:
+ Se almacena el nombre y el componente lexico+ Al reconocer un identificador, se consulta la Tabla de Sımbolos
para comprobar si es una palabra clave o no.+ Ventajas
- La programacion del analizador lexico es mas sencilla
+ Inconvenientes
- El reconocimiento es mas lento- Se necesita mas memoria para la Tabla de Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 44 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
1.- Preinstalacion en la Tabla de Sımbolos:
+ Se almacena el nombre y el componente lexico+ Al reconocer un identificador, se consulta la Tabla de Sımbolos
para comprobar si es una palabra clave o no.+ Ventajas
- La programacion del analizador lexico es mas sencilla
+ Inconvenientes
- El reconocimiento es mas lento- Se necesita mas memoria para la Tabla de Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 45 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
1.- Preinstalacion en la Tabla de Sımbolos:
+ Se almacena el nombre y el componente lexico
Ejemplo
Nombre Componente Lexico ... ...if IF
while WHILE...
+ Al reconocer un identificador, se consulta la Tabla de Sımbolospara comprobar si es una palabra clave o no.
+ Ventajas
- La programacion del analizador lexico es mas sencilla
+ Inconvenientes
- El reconocimiento es mas lento- Se necesita mas memoria para la Tabla de Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 46 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
1.- Preinstalacion en la Tabla de Sımbolos:
+ Se almacena el nombre y el componente lexico+ Al reconocer un identificador, se consulta la Tabla de Sımbolos
para comprobar si es una palabra clave o no.+ Ventajas
- La programacion del analizador lexico es mas sencilla
+ Inconvenientes
- El reconocimiento es mas lento- Se necesita mas memoria para la Tabla de Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 47 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
1.- Preinstalacion en la Tabla de Sımbolos:
+ Se almacena el nombre y el componente lexico+ Al reconocer un identificador, se consulta la Tabla de Sımbolos
para comprobar si es una palabra clave o no.+ Ventajas
- La programacion del analizador lexico es mas sencilla
+ Inconvenientes
- El reconocimiento es mas lento- Se necesita mas memoria para la Tabla de Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 48 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
1.- Preinstalacion en la Tabla de Sımbolos:
+ Se almacena el nombre y el componente lexico+ Al reconocer un identificador, se consulta la Tabla de Sımbolos
para comprobar si es una palabra clave o no.+ Ventajas
- La programacion del analizador lexico es mas sencilla
+ Inconvenientes
- El reconocimiento es mas lento- Se necesita mas memoria para la Tabla de Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 49 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
2.- Reconocimiento especıfico de cada palabra clave.
+ Cada palabra clave es reconocida de forma independiente delos demas identificadores y palabras claves
+ Ventajas
- El reconocimiento es mas rapido- No se necesita aumentar la memoria de la Tabla de Sımbolos:
las palabras claves no se almacenan
+ Inconvenientes
- La programacion del analizador lexico es mas compleja
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 50 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
2.- Reconocimiento especıfico de cada palabra clave.
+ Cada palabra clave es reconocida de forma independiente delos demas identificadores y palabras claves
+ Ventajas
- El reconocimiento es mas rapido- No se necesita aumentar la memoria de la Tabla de Sımbolos:
las palabras claves no se almacenan
+ Inconvenientes
- La programacion del analizador lexico es mas compleja
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 51 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionPalabras claves
Palabras claves
2.- Reconocimiento especıfico de cada palabra clave.
+ Cada palabra clave es reconocida de forma independiente delos demas identificadores y palabras claves
+ Ventajas
- El reconocimiento es mas rapido- No se necesita aumentar la memoria de la Tabla de Sımbolos:
las palabras claves no se almacenan
+ Inconvenientes
- La programacion del analizador lexico es mas compleja
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 52 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 IntroduccionEl analisis lexico en el proceso de traduccionComponentes LexicosTabla de SımbolosPalabras clavesEjemploAutonomıa del analizador lexico
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresUniversidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 53 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
dividendo
+ Es reconocido como IDENTIFICADOR+ Se devuelve el componente lexico y el puntero a la Tabla de
Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 54 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
Se eliminan
+ Espacios en blanco+ Tabuladores+ Saltos de lınea
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 55 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
Signo =
+ Se devuelve el token de ASIGNACION
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 56 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
Nota
El Analisis Sintactico solo necesita saber que se ha reconocidoel componente lexico ASIGNACION
No le importa si el sımbolo es = o := o cualquier otro
No interesa el texto concreto, sino la categorıa a la quepertenece
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 57 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
divisor
+ Es reconocido como IDENTIFICADOR+ Se devuelve el componente lexico y el puntero a la Tabla de
Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 58 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
Signo *
+ Se devuelve el token de PRODUCTO
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 59 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
cociente
+ Es reconocido como IDENTIFICADOR+ Se devuelve el componente lexico y el puntero a la Tabla de
Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 60 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
Signo +
+ Se devuelve el token de SUMA
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 61 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
resto
+ Es reconocido como IDENTIFICADOR+ Se devuelve el componente lexico y el puntero a la Tabla de
Sımbolos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 62 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionEjemplo
Ejemplo
Sentencia del lenguaje Cdividendo = divisor * cociente + resto ;
Signo ;
+ Se devuelve el token de FIN DE SENTENCIA
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 63 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 IntroduccionEl analisis lexico en el proceso de traduccionComponentes LexicosTabla de SımbolosPalabras clavesEjemploAutonomıa del analizador lexico
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresUniversidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 64 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 65 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
+ La separacion de tareas facilita el mantenimiento y mejora deltraductor
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 66 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 67 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
+ Los componentes lexicos pueden ser denotados por ExpresionesRegulares
+ Los Automatas Finitos Deterministas (AFD) reconocen laspalabras denotadas por las expresiones regulares
+ Los Analizadores Lexicos estan basados en los AutomatasFinitos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 68 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
+ Los componentes lexicos pueden ser denotados por ExpresionesRegulares
+ Los Automatas Finitos Deterministas (AFD) reconocen laspalabras denotadas por las expresiones regulares
+ Los Analizadores Lexicos estan basados en los AutomatasFinitos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 69 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
+ Los componentes lexicos pueden ser denotados por ExpresionesRegulares
+ Los Automatas Finitos Deterministas (AFD) reconocen laspalabras denotadas por las expresiones regulares
+ Los Analizadores Lexicos estan basados en los AutomatasFinitos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 70 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 71 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
+ El Analisis Lexico es la unica fase que tiene contacto con elcodigo fuente
+ Puede procesar el texto: eliminar espacios en blanco,comentarios
+ Almacena la posicion de los saltos de lınea para informar sobrela localizacion de los errores detectados
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 72 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
+ El Analisis Lexico es la unica fase que tiene contacto con elcodigo fuente
+ Puede procesar el texto: eliminar espacios en blanco,comentarios
+ Almacena la posicion de los saltos de lınea para informar sobrela localizacion de los errores detectados
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 73 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
+ El Analisis Lexico es la unica fase que tiene contacto con elcodigo fuente
+ Puede procesar el texto: eliminar espacios en blanco,comentarios
+ Almacena la posicion de los saltos de lınea para informar sobrela localizacion de los errores detectados
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 74 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 75 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
+ Las operaciones de lectura / escritura son computacionalmentemuy costosas
+ Se puede mejorar la eficiencia si se codifican con sentencias debajo nivel: ensamblador, ...
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 76 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
+ Las operaciones de lectura / escritura son computacionalmentemuy costosas
+ Se puede mejorar la eficiencia si se codifican con sentencias debajo nivel: ensamblador, ...
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 77 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 78 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
+ La codificacion de los caracteres pueden variar de un entornode ejecucion a otro: ASCII, EBCDIC, ...
+ El cambio de codificacion solo requerira modificar el AnalisisLexico, no siendo necesario modificar el resto de fases.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 79 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
+ La codificacion de los caracteres pueden variar de un entornode ejecucion a otro: ASCII, EBCDIC, ...
+ El cambio de codificacion solo requerira modificar el AnalisisLexico, no siendo necesario modificar el resto de fases.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 80 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
IntroduccionAutonomıa del analizador lexico
Razones para separar el analisis lexico del analisis sintactico
Modularidad
Menor complejidad de los componentes lexicos
Pre-procesamiento del codigo fuente
Mejora en la eficiencia del analizador lexico
Portabilidad
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 81 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido del tema
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 82 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicosDescripcion de los componentes lexicosPalabras y lenguajes formalesExpresiones Regulares
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 83 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Componentes lexicos
Elementos basicos de los lenguajes de programacion
Se describen mediante
+ Una descripcion informal+ Una descripcion formal mediante expresiones regulares+ Ejemplos o paradigmas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 84 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Componentes lexicos
Elementos basicos de los lenguajes de programacion
Se describen mediante
+ Una descripcion informal+ Una descripcion formal mediante expresiones regulares+ Ejemplos o paradigmas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 85 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Componentes lexicos
Elementos basicos de los lenguajes de programacion
Se describen mediante
+ Una descripcion informal+ Una descripcion formal mediante expresiones regulares+ Ejemplos o paradigmas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 86 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Componentes lexicos
Elementos basicos de los lenguajes de programacion
Se describen mediante
+ Una descripcion informal+ Una descripcion formal mediante expresiones regulares+ Ejemplos o paradigmas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 87 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Componentes lexicos
Elementos basicos de los lenguajes de programacion
Se describen mediante
+ Una descripcion informal+ Una descripcion formal mediante expresiones regulares+ Ejemplos o paradigmas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 88 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Ejemplo (Componentes lexicos en el lenguaje C 1 / 7)
IDENTIFICADOR
Descripcion informal: Cadenas de caracteres compuestas porletras, cifras y el sımbolo de subrayado, pero que no comienzapor una cifra.
Descripcion formal:(letra + subrayado)(letra + cifra + subrayado)∗
Ejemplos o paradigmas:dividendo, divisor, cociente, resto, suma total, x 1, ...
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 89 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Ejemplo (Componentes lexicos en el lenguaje C 2 / 7)
NUMERO
Descripcion informal: numeros enteros, reales, ...
Descripcion formal:cifra cifra∗ (ε+ .cifra∗(ε+ (E + e)(ε+ ” + ” + ”− ”)cifra cifra∗))
Ejemplos o paradigmas: 9, 19.7, 97.7e2, ...
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 90 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Ejemplo (Componentes lexicos en el lenguaje C 3 / 7)
IF
Descripcion informal: palabra clave de la sentenciacondicional if
Descripcion formal: if
Ejemplo o paradigma: if
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 91 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Ejemplo (Componentes lexicos en el lenguaje C 4 / 7)
FOR
Descripcion informal: palabra clave de la sentencia derepeticion for
Descripcion formal: for
Ejemplo o paradigma: for
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 92 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Ejemplo (Componentes lexicos en el lenguaje C 5 / 7)
ASIGNACION
Descripcion informal: signo igual para la sentencia deasignacion
Descripcion formal: =
Ejemplo o paradigma: =
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 93 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Ejemplo (Componentes lexicos en el lenguaje C 6 / 7)
MAYOR IGUAL QUE
Descripcion informal: operador relacional mayor o igual que
Descripcion formal: >=
Ejemplo o paradigma: >=
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 94 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Ejemplo (Componentes lexicos en el lenguaje C 7 / 7)
FIN SENTENCIA
Descripcion informal: signo de punto y coma para indicar elfin de una sentencia
Descripcion formal: ;
Ejemplo o paradigma: ;
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 95 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Nota
Solo interesa saber el significado (Componente Lexico) que seasocia a uno o mas signos, no como son dichos signos.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 96 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosDescripcion de los componentes lexicos
Nota
Solo interesa saber el significado (Componente Lexico) que seasocia a uno o mas signos, no como son dichos signos.
Ejemplo (Lenguaje Fortran)
La expresion regular para el componente lexicoMAYOR IGUAL QUE es: .(G+g)(E+e).
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 97 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicosDescripcion de los componentes lexicosPalabras y lenguajes formalesExpresiones Regulares
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 98 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Alfabeto o vocabulario)
Conjunto finito y no vacıo de sımbolos que permiten formar lapalabras pertenecientes a un lenguaje
Se suele denotar por Σ o V
Σ = {σ1, σ2, · · · , σn}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 99 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo
Σ1 = {0, 1} (Alfabeto binario)
Σ2 = {0, 1, 2, · · · , 9}Σ3 = {a, b, c , · · · , z}Σ4 = {if , else}Σ5 = {ab, ca, bbc}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 100 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Palabra o cadena)
Secuencia finita de sımbolos pertenecientes a un alfabeto
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 101 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Palabra o cadena)
Secuencia finita de sımbolos pertenecientes a un alfabeto
Ejemplo (Palabras definidas sobre)
Σ1 = {0, 1}: 0, 1, 01, 1, 10, 010101, 100,...
Σ3 = {a, b, c , · · · , z}: aab, valor, punto,...
Σ5 = {ab, ca, bbc}: ab, bbc, abab, abbbc,...
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 102 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Longitud de una palabra x)
Numero de sımbolos de un alfabeto que componen dichapalabra.
Se denota por |x |Si Σ = {σ1, σ2, · · · , σn} y x = σi1σi2 · · ·σik entonces |x | = k
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 103 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Nota
La longitud de una palabra depende del alfabeto sobre el queeste definida.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 104 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Nota
La longitud de una palabra depende del alfabeto sobre el queeste definida.
Ejemplo (Longitud de la palabra x = abab definida sobre)
Σ3 = {a, b, c , · · · , z}: |x | = 4
Σ5 = {ab, ca, bbc}: |x | = 2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 105 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Lenguaje universal definido sobre Σ)
Conjunto de palabras compuestas por cero o mas sımbolos deΣ.
Se representa por Σ∗.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 106 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo (Palabras definidas sobre un alfabeto Σ)
Si Σ = {σ1, σ2, · · · , σn} entonces Σ∗ se puede generar a partirde las palabras de:
+ |x | = 0: “palabra vacıa” que se denota por ε o λ.+ |x | = 1: x = σ1, x = σ2, · · · , x = σn+ |x | = 2: x = σ1σ1, x = σ1σ2, · · ·+ Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 107 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo (Palabras definidas sobre Σ = {a, b, c})|x | = 0: x = ε.
|x | = 1: x = a, x = b, x = c
|x | = 2: x = aa, x = ab, x = ac, x = ba, · · · .Etc.
En resumen, Σ∗ = {ε, a, b, c , aa, ab, ac, ba, · · · }
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 108 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Lenguajes formales)
L es un lenguaje formal definido sobre Σ si L ⊆ Σ∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 109 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Lenguajes formales)
L es un lenguaje formal definido sobre Σ si L ⊆ Σ∗
Ejemplo (Lenguajes formales definidos sobre Σ)
L∅ = ∅.Σ
Σ∗
Lσ = {σ} donde σ ∈ Σ
Lε = {ε}Σ+ = {x |x ∈ Σ∗ ∧ |x | ≥ 1}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 110 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Nota
Lε = {ε} 6= L∅ = ∅ε ∈ Σ+ ⇐⇒ ε ∈ Σ
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 111 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo (Lenguajes formales sobre Σ = {a, b, c})L∅ = ∅Lε = {ε}Σ = {a, b, c}Σ∗ = {ε, a, b, c , aa, ab, ac, · · · }La = {a}L = {a, ab, abb, abbb, · · · }
Nota
L puede ser denotado por la expresion regular ab∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 112 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Operaciones con palabras
Concatenacion
Potencia
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 113 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Concatenacion de palabras)
Sea Σ = {σ1, σ2, · · · , σn}x = σi1σi2 · · ·σip , y = σj1σj2 · · ·σjq ∈ Σ∗
La concatenacion de x con y se denota por x · y osimplemente xy
xy = σi1σi2 · · ·σipσj1σj2 · · ·σjq
Ejemplo (Concatenacion de palabras sobre Σ = {a, b, c})Si x = ab , y = bcc entonces xy = abbcc
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 114 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Concatenacion de palabras)
Sea Σ = {σ1, σ2, · · · , σn}x = σi1σi2 · · ·σip , y = σj1σj2 · · ·σjq ∈ Σ∗
La concatenacion de x con y se denota por x · y osimplemente xy
xy = σi1σi2 · · ·σipσj1σj2 · · ·σjq
Ejemplo (Concatenacion de palabras sobre Σ = {a, b, c})Si x = ab , y = bcc entonces xy = abbcc
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 115 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la concatenacion de palabras
Operacion cerrada sobre Σ∗: si x , y ∈ Σ∗ entonces xy ∈ Σ∗
|xy | = |x |+ |y |Asociativa: x(yz) = (xy)z = xyz
Existencia de elemento neutro: ε.xε = εx = x
No conmutativa: xy 6= yx
Ejemplo (Si Σ = {a, b, c})Si x = ab , y = bcc entonces xy = abbcc 6= bccab = yx
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 116 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Potencia de una palabra)
Sea Σ = {σ1, σ2, · · · , σn}x = σi1σi2 · · ·σip ∈ Σ∗
La potencia “i-esima” de x se denota por x i
x i = xx · · · x︸ ︷︷ ︸i veces
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 117 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo (Potencia una palabra definida sobre Σ = {a, b, c})Si x = abb entonces
x0 = ε
x1 = x = abb
x2 = xx = abbabb
x3 = xxx = abbabbabb
Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 118 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Potencia de una palabra (version recursiva))
x0 = ε
x i = x x i−1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 119 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la potencia de una de palabra
Operacion cerrada sobre Σ∗:si x ∈ Σ∗ entonces ∀i ∈ N, x i ∈ Σ∗
|x i | = i |x |
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 120 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Operaciones con lenguajes formales
Union
Concatenacion
Potencia
Clausura o cierre de Kleene
Clausura positiva
Interseccion
Diferencia
Complementacion
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 121 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Union de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 ∪ L2 = {x |x ∈ L1 ∨ x ∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 ∪ L2 = {ab, bc, bcc, a, abb, ac}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 122 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Union de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 ∪ L2 = {x |x ∈ L1 ∨ x ∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 ∪ L2 = {ab, bc, bcc, a, abb, ac}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 123 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Union de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 ∪ L2 = {x |x ∈ L1 ∨ x ∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 ∪ L2 = {ab, bc, bcc, a, abb, ac}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 124 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la union de lenguajes
Operacion cerrada sobre Σ∗:si L1, L2 ⊆ Σ∗ entonces L1 ∪ L2 ⊆ Σ∗
Asociativa: L1 ∪ (L2 ∪ L3) = (L1 ∪ L2) ∪ L3 = L1 ∪ L2 ∪ L3
Conmutativa: L1 ∪ L2 = L2 ∪ L1
Existencia de elemento neutro: ∅L ∪ ∅ = ∅ ∪ L = L
Idempotente: L ∪ L = L
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 125 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Concatenacion de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entoncesL1L2 = {x |x = yz ∧ y ∈ L1 ∧ z ∈ L2}
Ejemplo
Si L1 = {ab, a, bb} y L2 = {bc, c , aa}entonces L1L2 = {abbc, abc, abaa, ac , aaa, bbbc, bbc, bbaa}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 126 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Concatenacion de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entoncesL1L2 = {x |x = yz ∧ y ∈ L1 ∧ z ∈ L2}
Ejemplo
Si L1 = {ab, a, bb} y L2 = {bc, c , aa}entonces L1L2 = {abbc, abc, abaa, ac , aaa, bbbc, bbc, bbaa}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 127 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Concatenacion de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entoncesL1L2 = {x |x = yz ∧ y ∈ L1 ∧ z ∈ L2}
Ejemplo
Si L1 = {ab, a, bb} y L2 = {bc, c , aa}entonces L1L2 = {abbc, abc, abaa, ac , aaa, bbbc, bbc, bbaa}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 128 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la concatenacion de lenguajes
Operacion cerrada sobre Σ∗:si L1, L2 ⊆ Σ∗ entonces L1L2 ⊆ Σ∗
Asociativa: L1 (L2 L3) = (L1 L2)L3 = L1 L2 L3
Existencia de elemento neutro: Lε = {ε}L{ε} = {ε}L = L
No conmutativa: L1L2 6= L2L1
Nota
La concatenacion lenguajes formales no es conmutativa porque laconcatenacion de palabras tampoco lo es
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 129 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la concatenacion de lenguajes
Operacion cerrada sobre Σ∗:si L1, L2 ⊆ Σ∗ entonces L1L2 ⊆ Σ∗
Asociativa: L1 (L2 L3) = (L1 L2)L3 = L1 L2 L3
Existencia de elemento neutro: Lε = {ε}L{ε} = {ε}L = L
No conmutativa: L1L2 6= L2L1
Nota
La concatenacion lenguajes formales no es conmutativa porque laconcatenacion de palabras tampoco lo es
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 130 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Potencia de un lenguaje formal)
Si L ⊆ Σ∗ e i ∈ N entoncesLi = {x i |x ∈ L}
Ejemplo
L0 = {x0|x ∈ L} = {ε}L1 = L
L2 = LL
· · ·Li = LLi−1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 131 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Potencia de un lenguaje formal)
Si L ⊆ Σ∗ e i ∈ N entoncesLi = {x i |x ∈ L}
Ejemplo
L0 = {x0|x ∈ L} = {ε}L1 = L
L2 = LL
· · ·Li = LLi−1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 132 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la potencia de un lenguaje formal
Operacion cerrada sobre Σ∗:si L ⊆ Σ∗ entonces ∀i ∈ N Li ⊆ Σ∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 133 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Clausura de Kleene de un lenguaje formal)
Si L ⊆ Σ∗ entonces
L∗ =⋃∞
i=0 Li = L0 ∪ L1 ∪ L2 ∪ · · ·
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 134 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo
Si L = {a} entonces
L∗ =∞⋃i=0
Li
= L0 ∪ L1 ∪ L2 ∪ · · ·= {ε} ∪ {a} ∪ {aa} · · ·= {ε, a, aa, · · · }
L∗ = {a}∗ puede ser denotado por la expresion regular a∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 135 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la clausura de un lenguaje formal
Operacion cerrada sobre Σ∗:si L ⊆ Σ∗ entonces L∗ ⊆ Σ∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 136 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Clausura positiva de un lenguaje formal)
Si L ⊆ Σ∗ entoncesL+ =
⋃∞i=1 Li = L1 ∪ L2 ∪ · · ·
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 137 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la clausura positiva de un lenguaje formal
Operacion cerrada sobre Σ∗:si L ⊆ Σ∗ entonces L+ ⊆ Σ∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 138 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplos (Operaciones con lenguajes formales)
Si L1 = {a} y L2 = {b} entonces
L3 = L1L2 = {ab}L4 = L2L1 = {ba}L5 = L3 ∪ L4 = {ab, ba}
L6 = L∗5 =∞⋃i=0
Li5 = L0
5 ∪ L15 ∪ L2
5 ∪ · · ·
= {ε} ∪ {ab, ba} ∪ {abab, abba, baab, baba} · · ·= {ε, ab, ba, abab, abba, baab, baba, · · · }
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 139 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Interseccion de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 ∩ L2 = {x |x ∈ L1 ∧ x ∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 ∩ L2 = {bc}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 140 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Interseccion de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 ∩ L2 = {x |x ∈ L1 ∧ x ∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 ∩ L2 = {bc}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 141 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Interseccion de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 ∩ L2 = {x |x ∈ L1 ∧ x ∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 ∩ L2 = {bc}
Nota
No hay palabras o cadenas repetidas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 142 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la interseccion de lenguajes
Operacion cerrada sobre Σ∗:si L1, L2 ⊆ Σ∗ entonces L1 ∩ L2 ⊆ Σ∗
Asociativa: L1 ∩ (L2 ∩ L3) = (L1 ∩ L2) ∩ L3 = L1 ∩ L2 ∩ L3
Conmutativa: L1 ∩ L2 = L2 ∩ L1
Existencia de elemento neutro: Σ∗
L ∩ Σ∗ = Σ∗ ∩ L = L
Idempotente: L ∩ L = L
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 143 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Diferencia de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 − L2 = {x |x ∈ L1 ∧ x 6∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 − L2 = {ab, bcc}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 144 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Diferencia de lenguajes formales)
Si L1, L2 ⊆ Σ∗ entonces
L1 − L2 = {x |x ∈ L1 ∧ x 6∈ L2}
Ejemplo
Si L1 = {ab, bc, bcc} y L2 = {a, bc, abb, ac}entonces L1 − L2 = {ab, bcc}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 145 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la diferencia de lenguajes
Operacion cerrada sobre Σ∗:si L1, L2 ⊆ Σ∗ entonces L1 − L2 ⊆ Σ∗
No asociativa: (L1 − L2)− L3 6= L1 − (L2 − L3)
No conmutativa: L1 − L2 6= L2 − L1
No existencia de elemento neutro
No idempotente: L− L = ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 146 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Definicion (Complementacion de un lenguaje formal)
Si L ⊆ Σ∗ entonces
L = Σ∗ − L = {x |x ∈ Σ∗ ∧ x 6∈ L}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 147 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo
Si Σ = {a, b}Si L = {ε, a, ab, abb, abbb, . . .}entonces L = {b, aa, ba, bb, aaa, aab, . . .}
Ejemplo
∅ = Σ∗
Σ∗ = ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 148 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Ejemplo
Si Σ = {a, b}Si L = {ε, a, ab, abb, abbb, . . .}entonces L = {b, aa, ba, bb, aaa, aab, . . .}
Ejemplo
∅ = Σ∗
Σ∗ = ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 149 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosPalabras y lenguajes formales
Propiedades de la complementacion de lenguajes
Operacion cerrada sobre Σ∗:si L ⊆ Σ∗ entonces L ⊆ Σ∗
Doble complementacion L = L
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 150 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicosDescripcion de los componentes lexicosPalabras y lenguajes formalesExpresiones Regulares
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 151 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Definicion (Expresion regular)
Expresiones regulares sobre Σ = {σ1, σ2, · · · , σn}:1 ∅ es una expresion regular
2 ε es una expresion regular
3 Si σ ∈ Σ entonces σ es una expresion regular4 Si α y β son expresiones regulares entonces tambien son:
a) α + βb) α · βc) (α) (o (β))d) α∗ =
∑∞i=0 α
i = α0 + α1 + α2 + · · ·
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 152 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Notas
La palabra vacıa se puede representar por ε o λ
La alternativa se puede representar por + o por |El punto de la concatenacion se suele omitir
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 153 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplos (Expresiones regulares sobre Σ = {0, 1})∅, ε, 0, 1
0 + ε, ε+ 0, 0ε, ε0
1 + ε, ε+ 1, 1ε, ε1
0 + 0, 0 + 1, 1 + 0, 1 + 1
00, 01, 10, 11
0∗, 1∗
(0 + 1), (0 + 1)∗, 0∗(0 + 1)1∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 154 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Prioridad de los operadores de las expresiones regulares
+ Maxima prioridad ( )
*
·- Mınima prioridad +
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 155 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Definicion (Lenguaje denotado por una expresion regular)
1 L(∅) = ∅2 L(ε) = {ε}3 Si σ ∈ Σ entonces L(σ) = {σ}4 Si α y β son expresiones regulares sobre Σ
a) L(α + β) = L(α) ∪ L(β)b) L(α · β) = L(α) · L(β)c) L((α)) = L(α)d) L(α∗) = L(
∑∞i=0 α
i ) =⋃∞
i=0 L(αi ) =⋃∞
i=0(L(α))i
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 156 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplos (Lenguajes denotados 1 / 5)
Dado Σ = {0, 1}L(0) = {0}L(0 + 1) = L(0) ∪ L(1) = {0} ∪ {1} = {0, 1}L(01) = L(0)L(1) = {0}{1} = {01}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 157 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Lenguaje denotado 2 / 5)
L(1∗) = L(∑∞
i=0 1i ) =⋃∞
i=0 L(1i )
=⋃∞
i=0(L(1))i =⋃∞
i=0{1}i
= {ε, 1, 11, 111, · · · }
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 158 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Lenguaje denotado 2 / 5)
L(1∗) = L(∑∞
i=0 1i ) =⋃∞
i=0 L(1i )
=⋃∞
i=0(L(1))i =⋃∞
i=0{1}i
= {ε, 1, 11, 111, · · · }
Palabras compuestas por cero o mas unos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 159 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Lenguaje denotado 3 / 5)
L((0 + 1)1∗) = L((0 + 1))L(1∗)= L(0 + 1)L(1∗)= {0, 1}{ε, 1, 11, 111, · · · }= {0, 01, 011, 0111, · · · , 1, 11, 111, · · · }
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 160 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Lenguaje denotado 3 / 5)
L((0 + 1)1∗) = L((0 + 1))L(1∗)= L(0 + 1)L(1∗)= {0, 1}{ε, 1, 11, 111, · · · }= {0, 01, 011, 0111, · · · , 1, 11, 111, · · · }
Palabras que comienza por cero o por uno y van seguidas por ceroo mas unos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 161 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Lenguaje denotado 4 / 5)
L(0∗(11)0∗) = L(0∗)L((11))L(0∗)= {ε, 0, 00, 000, · · · }{11}{ε, 0, 00, 000, · · · }= {11, 011, 0011, 00011, · · · }{ε, 0, 00, 000, · · · }= {11, 0110, 00110, · · · 00110, 001100, · · · }
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 162 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Lenguaje denotado 4 / 5)
L(0∗(11)0∗) = L(0∗)L((11))L(0∗)= {ε, 0, 00, 000, · · · }{11}{ε, 0, 00, 000, · · · }= {11, 011, 0011, 00011, · · · }{ε, 0, 00, 000, · · · }= {11, 0110, 00110, · · · 00110, 001100, · · · }
Palabras que contienen a la cadena 11 y comienzan y terminan poruna secuencia de ceros, posiblemente nula
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 163 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Lenguaje denotado 5 / 5)
Dado Σ = {a, b, c , · · · , z}
L(a + b + c + · · ·+ z) = L(a) ∪ L(b) ∪ L(c) ∪ · · · L(z)= {a} ∪ {b} ∪ {c} ∪ · · · ∪ {z}= {a, b, c , · · · , z}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 164 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Definicion (Definicion regular)
Identificador que se asocia a una expresion regular
Puede ser utilizado para definir nuevas expresiones regulares
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 165 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplos
letra = (a + b + c + · · ·+ z)
cifra = (0 + 1 + · · ·+ 9)
guion = −subrayado =
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 166 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplos (Identificadores de lenguajes de programacion)
Pascal:letra (letra + cifra)∗
C:(subrayado + letra) (subrayado + letra + cifra)∗
Cobol:letra (letra + cifra + guion (letra + cifra))∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 167 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplos (Numeros en el Lenguaje C)
numero = parte entera (ε+ parte decimal)donde
parte entera = cifra cifra∗
parte decimal= punto cifra∗(ε+ (E + e)(ε+ ”− ” + ” + ”)cifra cifra∗)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 168 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Nota (Abreviaturas)
α? = α + ε = ε+ α
α+ = α α∗ = α∗α
Ejemplo (Numeros en el Lenguaje C)
numero = parte entera parte decimal?
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 169 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Nota (Abreviaturas)
α? = α + ε = ε+ α
α+ = α α∗ = α∗α
Ejemplo (Numeros en el Lenguaje C)
numero = parte entera parte decimal?
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 170 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Nota
Palabras claves: existe una expresion regular para cada palabraclave.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 171 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en C 1/3)
COMPONENTE LEXICO: IF
Expresion regular: if
Paradigma: if
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 172 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en C 2/3)
COMPONENTE LEXICO: WHILE
Expresion regular: while
Paradigma: while
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 173 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en C 3/3)
COMPONENTE LEXICO: FOR
Expresion regular: for
Paradigma: for
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 174 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en FORTRAN 1/3)
COMPONENTE LEXICO: DO
Expresion regular: (D+d)(O+o)
Paradigma: DO, Do, dO, do
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 175 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en FORTRAN 2/3)
COMPONENTE LEXICO: FORMAT
Expresion regular: (F+f)(O+o)(R+r)(M+m)(A+a)(T+t)
Paradigma: FORMAT, . . . , Format, . . . , format
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 176 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en FORTRAN 3/3)
COMPONENTE LEXICO: REAL
Expresion regular: (R+r)(E+e)(A+a)(L+l)
Paradigma: REAL, . . . , Real, . . . real
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 177 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en Pascal 1/3)
COMPONENTE LEXICO: INTEGER
Expresion regular:(I+i)(N+n)(T+t)(E+e)(G+g)(E+e)(R+r)
Paradigma: INTEGER, . . . , Integer, . . . , integer
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 178 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en Pascal 2/3)
COMPONENTE LEXICO: THEN
Expresion regular: (T+t)(H+h)(E+e)(N+n)
Paradigma: THEN, . . . , Then, . . . , then
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 179 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Palabras claves en Pascal 3/3)
COMPONENTE LEXICO: VAR
Expresion regular: (V+v)(A+a)(R+r)
Paradigma: VAR, . . . , Var, . . . , var
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 180 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores aritmeticos en C)
COMPONENTE LEXICO Expresion regular ParadigmaSUMA + +RESTA - -
MULTIPLICACION * *
DIVISION / /
RESTO DIVISION ENTERA % %
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 181 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores aritmeticos en FORTRAN)
COMPONENTE LEXICO Expresion regular ParadigmaSUMA + +
RESTA - -
MULTIPLICACION * *
DIVISION / /
POTENCIA ** **
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 182 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores aritmeticos en PASCAL)
COMPONENTE LEXICO Expresion regular ParadigmaSUMA + +
RESTA - -
MULTIPLICACION * *
DIVISION / /
RESTO DIVISION ENTERA mod mod
COCIENTE DIVISION ENTERA div div
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 183 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores relacionales en C)
COMPONENTE LEXICO Expresion regular ParadigmaMENOR QUE < <
MENOR IGUAL QUE <= <=
MAYOR QUE > >
MAYOR IGUAL QUE >= >=
IGUAL == ==
DISTINTO != !=
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 184 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores relacionales en FORTRAN)
COMPONENTE LEXICO Expresion regular ParadigmaMENOR QUE .(L+l)(T+t). .LT., . . . .lt.
MENOR IGUAL QUE .(L+l)(E+e). .LE., . . . .le.MAYOR QUE .(G+g)(T+t). .GT., . . . .gt.
MAYOR IGUAL QUE .(G+g)(E+e). .GE., . . . .ge.IGUAL .(E+e)(Q+q). .EQ., . . . .eq.
DISTINTO .(N+n)(E+e). .NE., . . . .ne.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 185 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores relacionales en Pascal)
COMPONENTE LEXICO Expresion regular ParadigmaMENOR QUE < <
MENOR IGUAL QUE <= <=
MAYOR QUE > >
MAYOR IGUAL QUE >= >=
IGUAL = =
DISTINTO <> <>
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 186 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores logicos en C)
COMPONENTE LEXICO Expresion regular Paradigma
NEGACION LOGICA ! !
CONJUNCION LOGICA && &&
DISYUNCION LOGICA || ||
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 187 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores logicos en FORTRAN)
COMPONENTE LEXICO Expresion regular Paradigma
NEGACION LOGICA .(N+n)(O+o)(T+t). .NOT, . . . .not.
CONJUNCION LOGICA .(A+a)(N+n)(T+t). .AND.,. . . .and.
DISYUNCION LOGICA .(O+o)(R+r). .OR., . . . .or.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 188 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo (Operadores logicos en PASCAL)
COMPONENTE LEXICO Expresion regular Paradigma
NEGACION LOGICA (N+n)(O+o)(T+t) NOT, . . . not
CONJUNCION LOGICA (A+a)(N+n)(T+t) AND, . . . and
DISYUNCION LOGICA (O+o)(R+r) OR, . . . or
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 189 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Nota
El analizador sintactico solo necesita saber cual es elcomponente lexico reconocido
No necesita saber como es dicho componente lexico.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 190 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Definicion (Equivalencia de expresiones regulares)
α y β son equivalentes si y solo si denotan el mismo lenguaje:L(α) = L(β)
α ≡ β ⇐⇒ L(α) = L(β)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 191 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Ejemplo
Se verifica queaa∗ ≡ a∗a
porqueL(aa∗) = L(a)L(a∗)
= {a}{ε, a, aa, · · · }= {a, aa, aaa, · · · }= {ε, a, aa, · · · }{a}= L(a∗)L(a)= L(a∗a)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 192 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 193 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 194 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 195 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 196 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 197 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 198 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 199 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
1.- Disyuncion idempotente: α + α = α
2.- Disyuncion asociativa: α + (β + γ) = (α + β) + γ
3.- Disyuncion conmutativa: α + β = β + α
4.- Concatenacion asociativa: α (β γ) = (α β) γ
5.- Concatenacion no conmutativa: α β 6= β α
6.- Distributiva: α (β + γ) = α β + α γ
7.- Elemento neutro de la disyuncion: α + ∅ = ∅+ α = α
8.- Elemento neutro de la concatenacion: αε = εα = α
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 200 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 201 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 202 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 203 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
L(∅∗) = (L(∅))∗ = (∅)∗=
⋃∞i=0 ∅i = ∅0 ∪ ∅1 ∪ ∅2 · · ·
= {ε} ∪ ∅ ∪ ∅ · · ·= {ε} = L(ε)
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 204 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 205 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 206 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 207 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Propiedades de las expresiones regulares
9.- α ∅ = ∅ α = ∅10.- ε∗ = ε
11.- ∅∗ = ε
12.- α∗ α∗ = α∗
13.- α α∗ = α∗ α = α+
14.- (α∗)∗ = α∗
15.- α∗ = ε + α α∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 208 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Capacidad de las expresiones regulares
Denotan los componentes lexicos
Pueden denotar
+ Un numero fijo de repeticiones: aaaaa+ Un numero arbitrario de repeticiones: a∗
+ Repeticiones no coordinadas
Ejemplo
L1 = {ai bj |i , j ≥ 0}= {ε, a, aa, aaa, · · · b, ab, aab, · · · }= {ε, a, aa, aaa, · · · }{ε, b, bb, bbb}= L(a∗b∗)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 209 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Capacidad de las expresiones regulares
Denotan los componentes lexicos
Pueden denotar
+ Un numero fijo de repeticiones: aaaaa+ Un numero arbitrario de repeticiones: a∗
+ Repeticiones no coordinadas
Ejemplo
L1 = {ai bj |i , j ≥ 0}= {ε, a, aa, aaa, · · · b, ab, aab, · · · }= {ε, a, aa, aaa, · · · }{ε, b, bb, bbb}= L(a∗b∗)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 210 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Nota (Limitaciones de las expresiones regulares)
No pueden denotar caracterısticas sintacticas
No pueden denotar repeticiones coordinadas
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 211 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Nota (Limitaciones de las expresiones regulares)
No pueden denotar caracterısticas sintacticas
No pueden denotar repeticiones coordinadas
Ejemplo
Lenguaje que no puede ser denotado por una expresion regular
L2 = {ai bi |i ≥ 0} = {ε, ab, aabb, aaabbb, · · · }
L2 no es un lenguaje regular.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 212 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Especificacion de componentes lexicosExpresiones Regulares
Nota (Limitaciones de las expresiones regulares)
No pueden denotar caracterısticas sintacticas
No pueden denotar repeticiones coordinadas
Ejemplo
L2 = {ai bi |i ≥ 0} representa a muchas estructuras sintacticasde los lenguajes de programacion:
+ Balanceo de parentesis, llaves o corchetes.
+ Paso de parametros
+ Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 213 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido del tema
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 214 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicosAutomatas finitosAutomatas finitos deterministas: AFDAutomatas finitos NO deterministas: AFNMinimizacion de automatas finitos deterministas
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 215 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 216 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 217 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 218 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 219 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 220 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 221 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
Expresiones regulares: denotan componentes lexicos.
Automatas finitos: reconocen componentes lexicos:
+ Automata finito no determinista: AFN+ Automata finito determinista: AFD
Generacion de automatas finitos a partir de expresionesregulares:
Paso 1.- Algoritmo de Thompson: genera un AFN a partir de unaexpresion regular
Paso 2.- Algoritmo de Construccion de subconjuntos: genera un AFDa partir de un AFN.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 222 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
Expresiones regulares: denotan componentes lexicos.
Automatas finitos: reconocen componentes lexicos:
+ Automata finito no determinista: AFN+ Automata finito determinista: AFD
Generacion de automatas finitos a partir de expresionesregulares:
Paso 1.- Algoritmo de Thompson: genera un AFN a partir de unaexpresion regular
Paso 2.- Algoritmo de Construccion de subconjuntos: genera un AFDa partir de un AFN.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 223 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos
Expresiones regulares: denotan componentes lexicos.
Automatas finitos: reconocen componentes lexicos:
+ Automata finito no determinista: AFN+ Automata finito determinista: AFD
Generacion de automatas finitos a partir de expresionesregulares:
Paso 1.- Algoritmo de Thompson: genera un AFN a partir de unaexpresion regular
Paso 2.- Algoritmo de Construccion de subconjuntos: genera un AFDa partir de un AFN.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 224 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicosAutomatas finitosAutomatas finitos deterministas: AFDAutomatas finitos NO deterministas: AFNMinimizacion de automatas finitos deterministas
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 225 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Descripcion general
Definicion formal
Funcion de transicion para palabras
Representacion grafica
Lenguaje reconocido por un AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 226 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Descripcion general
Definicion formal
Funcion de transicion para palabras
Representacion grafica
Lenguaje reconocido por un AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 227 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Definicion (Automata finito determinista: AFD)
Dispositivo formal que permite reconocer si una palabrapertenece o no a un lenguaje regular.
Tambien se denomina “maquina reconocedora o aceptadora”
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 228 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Componentes de un AFD
Cinta de lectura:
+ Dividida en celdas.+ Infinita hacia la derecha.
Cabeza de lectura:
+ Lee el sımbolo actual de la cinta.+ Solo se puede mover hacia la derecha.
Alfabeto de la cinta
Unidad de control de estados: indica el estado actual.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 229 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
σ
qi
Unidad de control de estados
Cabeza de lectura
Sentido de recorrido
... Cinta
Componentes basicos de un automata finito determinista.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 230 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Pasos del AFD para reconocer a x = σi1 . . . σijσij+1. . . σik ∈ Σ∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 231 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Pasos del AFD para reconocer a x = σi1 . . . σijσij+1. . . σik ∈ Σ∗
i 1σ ... σi j σ i j+1 ... σ i k ...
q0
Configuracion inicial
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 232 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Pasos del AFD para reconocer a x = σi1 . . . σijσij+1. . . σik ∈ Σ∗
i 1σ ... σi j σ i j+1 ... σ i k ...
q
Transicion: situacion anterior
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 233 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Pasos del AFD para reconocer a x = σi1 . . . σijσij+1. . . σik ∈ Σ∗
i 1σ ... σi j σ i j+1 ... σ i k ...
q’
Transicion: situacion posterior
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 234 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Pasos del AFD para reconocer a x = σi1 . . . σijσij+1. . . σik ∈ Σ∗
i 1σ ... σi j σ i j+1 ... σ i k ...
qf
Configuracion final
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 235 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Descripcion general
Definicion formal
Funcion de transicion para palabras
Representacion grafica
Lenguaje reconocido por un AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 236 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Definicion (Automata finito determinista)
A = (Q,Σ, δ, q0,F )
donde
Q: conjunto finito de estados
Σ: alfabeto de sımbolos de entrada
δ: funcion de transicion entre estados:
δ : Q × Σ −→ Qδ(q, σ) = q′
q0 ∈ Q: estado inicial
F ⊆ Q: conjunto de estados finales
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 237 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (AFD que reconoce identificadores de COBOL)
δ l d g→ q0 q1 q3 q3
← q1 q1 q1 q2
q2 q1 q1 q3
q3 q3 q3 q3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 238 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (AFD que reconoce identificadores de COBOL)
Los componentes del automata son:
Q = {q0, q1, q2, q3}F = {q1}El sımbolo “→” indica el estado inicial.
El sımbolo “←” indica los estados finales.
Σ = {l , d , g} donde: l = letra, d = dıgito y g = guion.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 239 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Descripcion general
Definicion formal
Funcion de transicion para palabras
Representacion grafica
Lenguaje reconocido por un AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 240 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Definicion (Funcion de transicion para palabras)
δ : Q × Σ∗ −→ Q
δ(q, ε) = q ∈ Q
δ(q, xσ) = δ(δ(q, x), σ) ∈ Q ∀x ∈ Σ∗ ∧ σ ∈ Σ
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 241 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Notas
δ y δ coinciden sobre sımbolos de Σ:
δ(q, σ) = δ(q, ε · σ) = δ(δ(q, ε), σ) = δ(q, σ) ∀σ ∈ Σ
δ(q, xy) = δ(δ(q, x), y) ∀x , y ∈ Σ∗
δ(q, σx) = δ(δ(q, σ), x) = δ(δ(q, σ), x)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 242 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo
δ(q0, x) = δ(q0, llgd)
= δ(δ(δ(q0, ll), g), d)
= δ(δ(δ(δ(q0, l), l), g), d)
= δ(δ(δ(δ(q0, l), l), g), d)
= δ(δ(δ(q1, l), g), d)
= δ(δ(q1, g), d)
= δ(q2, d)
= q1 ∈ F
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 243 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Nota
x = llgd es reconocida por el AFD porque q1 es un estado final.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 244 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Nota
Existe una notacion mas simple para el reconocimiento de unAFD.
Ejemplo
(q0, l lgd) ` (q1, lgd)
` (q1, gd)
` (q2, d)
` (q1, ε)
o simplemente (q0, llgd) `∗ (q1, ε)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 245 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Nota
Existe una notacion mas simple para el reconocimiento de unAFD.
Ejemplo
(q0, l lgd) ` (q1, lgd)
` (q1, gd)
` (q2, d)
` (q1, ε)
o simplemente (q0, llgd) `∗ (q1, ε)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 246 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Nota
Existe una notacion mas simple para el reconocimiento de unAFD.
Ejemplo
(q0, l lgd) ` (q1, lgd)
` (q1, gd)
` (q2, d)
` (q1, ε)
o simplemente (q0, llgd) `∗ (q1, ε)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 247 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Descripcion general
Definicion formal
Representacion grafica
Lenguaje reconocido por un AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 248 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Definicion (Representacion grafica de un AFD)
Grafo dirigido:
Numero de nodos = cardinal(Q).
Etiqueta de cada nodo ∈ Q.
Estado inicial:q0
Estados finales:q
fq
f
Si δ(q, σ) = q′ entoncesq q’
σ
Se agrupan las aristas que enlazan los mismos estados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 249 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (AFD que reconoce identificadores de COBOL)
g
l,d
lq
0 2q
1q
l, d
l, d, g
g
d, g
q3
Representacion grafica de un AFD.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 250 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Descripcion general
Definicion formal
Representacion grafica
Lenguaje reconocido por un AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 251 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Definicion (Lenguaje reconocido por un AFD)
L(A) = {x |x ∈ Σ∗ ∧ δ(q0, x) ∈ F}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 252 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Notas
Si F = Q entonces L(A) = Σ∗
Si F = ∅ entonces L(A) = ∅q0 ∈ F si y solo si ε ∈ L(A)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 253 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo
L(A) = L(l(l + d + g(l + d))∗)
Lenguaje reconocido por un AFD que reconoce identificadores deCOBOL
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 254 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (Lenguaje reconocido por un AFD)
Funcion de transicion
δ a b→← q0 q0 q1
← q1 q2 q1
q2 q2 q2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 255 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (Lenguaje reconocido por un AFD)
Los componentes del automata son:
Q = {q0, q1, q2}F = {q0, q1}Σ = {a, b, c}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 256 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (Lenguaje reconocido por un AFD)
q0 2
q1
qb
a, bb
a
a
a · · · a b b · · · b
L(A) = L(a∗b∗)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 257 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Nota
El estado q2 es inutil o superfluo
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 258 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (Lenguaje reconocido por un AFD)
δ(q0, aabb) = δ(δ(q0, a), abb)
= δ(δ(q0, a), bb)
= δ(δ(q0, b), b)
= δ(q1, b)
= δ(q1, b)
= q1 ∈ F
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 259 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (Lenguaje reconocido por un AFD)
(q0, aabb) ` (q0, abb)
` (q0, bb)
` (q1, b)
` (q1, ε)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 260 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (AFD que reconoce identificadores de C)
Funcion de transicion
δ letra subrayado d ıgito→ q0 q1 q1 q2
← q1 q1 q1 q1
q2 q2 q2 q2
Nota
El estado q2 es superfluo
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 261 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (AFD que reconoce identificadores de C)
q0
2q
dígito
letra, dígito, subrayado
q1
letra, dígito, subrayado
letra, subrayado
L(A) = L((letra + subrayado)(letra + subrayado + d ıgito)∗)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 262 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos deterministas: AFD
Ejemplo (AFD que reconoce cadenas de caracteres)
q0
q2
\
q3
qb
1q ""
σ
σ
σ \ y "
σ
L(A) = L(”(letra + · · · )(BARRA” + letra + · · · )∗”)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 263 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicosAutomatas finitosAutomatas finitos deterministas: AFDAutomatas finitos NO deterministas: AFNMinimizacion de automatas finitos deterministas
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 264 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 265 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 266 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Automata finito NO determinista: AFN)
Un automota finito es no determinista si posee alguna de lassiguientes transiciones:
Transicion ε: no lee el sımbolo actual pero cambia de estadoTransicion multiple: puede cambiar a mas de un estado.
Estos tipos de transiciones no son excluyentes.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 267 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 268 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Automata finito NO determinista: AFN)
A = (Q,Σ, δ, q0,F )Q: conjunto finito de estados
Σ: alfabeto de sımbolos de entrada
δ: funcion de transicion entre estados:δ : Q × (Σ ∪ {ε}) −→ P(Q)
δ(q, ε) ⊆ Qδ(q, σ) ⊆ Q
q0 ∈ Q: estado inicial
F ⊆ Q: conjunto de estados finales
P(Q): conjunto de las partes de Q
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 269 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Transicion (ε) trivial)
q ∈ δ(q, ε) ∀q ∈ Q
Nota
Las transiciones triviales siempre existen y se suponen tacitamentepor defecto.
Definicion (Transicion (ε) no trivial)
q′ ∈ δ(q, ε) ∧ q 6= q′
Nota
Si existen, estas transiciones se han de indicar expresamente.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 270 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Transicion (ε) trivial)
q ∈ δ(q, ε) ∀q ∈ Q
Nota
Las transiciones triviales siempre existen y se suponen tacitamentepor defecto.
Definicion (Transicion (ε) no trivial)
q′ ∈ δ(q, ε) ∧ q 6= q′
Nota
Si existen, estas transiciones se han de indicar expresamente.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 271 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Transicion (ε) trivial)
q ∈ δ(q, ε) ∀q ∈ Q
Nota
Las transiciones triviales siempre existen y se suponen tacitamentepor defecto.
Definicion (Transicion (ε) no trivial)
q′ ∈ δ(q, ε) ∧ q 6= q′
Nota
Si existen, estas transiciones se han de indicar expresamente.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 272 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Transicion (ε) trivial)
q ∈ δ(q, ε) ∀q ∈ Q
Nota
Las transiciones triviales siempre existen y se suponen tacitamentepor defecto.
Definicion (Transicion (ε) no trivial)
q′ ∈ δ(q, ε) ∧ q 6= q′
Nota
Si existen, estas transiciones se han de indicar expresamente.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 273 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo
δ a b ε→ q0 {q1} ∅ {q0, q1}
q1 ∅ {q3, q4} {q1, q2}q2 ∅ {q5} {q2}q3 {q2} ∅ {q3}q4 {q4, q5} ∅ {q2, q4}
← q5 ∅ {q5} {q3, q5}
Las transiciones triviales se pueden omitir.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 274 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Nota
Un AFD puede considerarse un caso especial de AFN:
No existen transiciones-ε no triviales.
y no existen transiciones multiples, es decir,
δ(q, σ) = {q′}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 275 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 276 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (AFN: representacion grafica)
Numero de nodos del grafo = cardinal(Q).
Etiqueta de cada nodo ∈ Q.
Estado inicial:q0
Estados finales:q
fq
f
Si q′ ∈ δ(q, σ) entoncesq q’
σ
Si q′ ∈ δ(q, ε) entoncesq q’
ε
Las aristas de las transiciones-ε triviales se pueden omitir.
Se agrupan las aristas que enlazan los mismos estados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 277 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo
qq q10
εa,
ε
2ε
ε
q3
ab
ε
ε
ε
q4
bq 5
b, ε
ε
a
a,ε
b
AFN con transiciones triviales
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 278 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo
qq q10
εa,2
ε
q3
ab
ε
q4
bq 5
b
ε
a
a
b
AFN sin transiciones triviales
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 279 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 280 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Funcion de transicion para palabras en un AFN:
+ Clausura - ε aplicada a estados+ Clausura - ε aplicada a conjuntos de estados+ Funcion de transicion para palabras: δ
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 281 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Clausura - ε aplicada a estados)
clausura− ε : Q −→ P(Q)
Si q ∈ Q+ q ∈ clausura− ε(q)+ Si q′ ∈ clausura− ε(q) ∧ q′′ ∈ δ(q′, ε)
entonces q′′ ∈ clausura− ε(q)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 282 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Clausura - ε aplicada a estados)
Segunda version
clausura− ε : Q −→ P(Q)
clausura− ε(q) = {q′|q′ ∈ Q ∧ ∃un camino de q a q’con las aristas etiquetadas con ε}
Nota
Siempre se verifica que q ∈ clausura− ε(q)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 283 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplos (Clausura-ε de los estados del AFD anterior)
clausura− ε(q0) = {q0, q1, q2}clausura− ε(q1) = {q1, q2}clausura− ε(q2) = {q2}clausura− ε(q3) = {q3}clausura− ε(q4) = {q2, q4}clausura− ε(q5) = {q3, q5}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 284 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Clausura - ε aplicada a conjuntos de estados)
clausura− ε : P(Q) −→ P(Q)
Si P ⊆ Q+ P ∈ clausura− ε(P)+ Si q′ ∈ clausura− ε(P) ∧ q′′ ∈ δ(q′, ε)
entonces q′′ ∈ clausura− ε(P)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 285 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Clausura - ε aplicada a conjuntos de estados)
Segunda version
Si P ⊆ Q entonces
clausura− ε(P) =⋃q∈P
clausura− ε(q)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 286 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Clausura-ε de un conjunto de estados)
clausura− ε({q1, q3}) =⋃
q∈{q1,q3}
clausura− ε(q)
= clausura− ε(q1) ∪ clausura− ε(q3)
= {q1, q2} ∪ {q3}= {q1, q2, q3}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 287 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Clausura-ε de un conjunto de estados)
clausura− ε({q0, q5}) =⋃
q∈{q0,q5}
clausura− ε(q)
= clausura− ε(q0) ∪ clausura− ε(q5)
= {q0, q1, q2} ∪ {q3, q5}= {q0, q1, q2, q3, q5}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 288 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Funcion de transicion para palabras)
δ : Q × Σ∗ −→ P(Q)
δ(q, ε) = clausura− ε(q)
δ(q, xσ) = clausura− ε
( ⋃q′∈δ(q,x)
δ(q′, σ)
)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 289 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Funcion de transicion para palabras)
En particular
+ δ(q, σ) = clausura− ε
( ⋃q′∈δ(q,ε)
δ(q′, σ)
)
= clausura− ε
( ⋃q′∈clausura−ε(q)
δ(q′, σ)
)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 290 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 1 / 8)
δ(q0, x) = δ(q0, abb)
= clausura− ε
⋃q′∈δ(q0,ab)
δ(q′, b)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 291 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 2 / 8)
δ(q0, ab) = clausura− ε
⋃q′∈δ(q0,a)
δ(q′, b)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 292 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 3 / 8)
δ(q0, a) = clausura− ε
⋃q′∈δ(q0,ε)
δ(q′, a)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 293 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 4 / 8)
δ(q0, ε) = clausura− ε(q0)
= {q0, q1, q2}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 294 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 5 / 8)
Se sustituye δ(q0, ε) en δ(q0, a):
δ(q0, a) = clausura− ε
( ⋃q′∈δ(q0,ε)
δ(q′, a)
)
= clausura− ε
( ⋃q′∈{q0,q1,q2}
δ(q′, a)
)
= clausura− ε(δ(q0, a) ∪ δ(q1, a) ∪ δ(q2, a))= clausura− ε({q1} ∪ ∅ ∪ ∅)= {q1, q2}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 295 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 6 / 8)
Se sustituye δ(q0, a) en δ(q0, ab):
δ(q0, ab) = clausura− ε
( ⋃q′∈δ(q0,a)
δ(q′, b)
)
= clausura− ε
( ⋃q′∈{q1,q2}
δ(q′, b)
)= clausura− ε(δ(q1, b) ∪ δ(q2, b))= clausura− ε({q3, q4} ∪ {q5})= clausura− ε({q3, q4, q5})= {q2, q3, q4, q5}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 296 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 7 / 8)
Por ultimo, se sustituye δ(q0, ab) en δ(q0, abb):
δ(q0, abb) = clausura− ε
( ⋃q′∈δ(q0,ab)
δ(q′, b)
)
= clausura− ε
( ⋃q′∈{q2,q3,q4,q5}
δ(q′, b)
)
= clausura− ε(δ(q2, b) ∪ δ(q3, b) ∪ δ(q4, b) ∪ δ(q5, b))= clausura− ε({q5} ∪ ∅ ∪ ∅ ∪ {q5})= clausura− ε({q5}) = {q3, q5}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 297 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Reconocimiento de una palabra: 8 / 8)
x = abb ∈ L(A) porque
δ(q0, abb) ∩ F = {q3, q5} ∩ F = {q5} 6= ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 298 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 299 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Lenguaje reconocido por un AFN)
L(A) = {x |x ∈ Σ∗ ∧ δ(q0, x) ∩ F 6= ∅}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 300 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 301 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Necesidad de convertir AFN en AFD
Calcular δ(q0, x) es un AFN muy tedioso.
Se suele evitar el uso de AFN.
AFN y AFD tienen la misma capacidad de reconocimiento.
Paso de AFN a AFD: algoritmo de Construccion desubconjuntos.
Se ha de extender la definicion de la funcion de transicion asubconjuntos de Q.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 302 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Definicion (Extension de δ a subconjuntos de Q)
δ : P(Q)× (Σ ∪ {ε}) −→ P(Q)δ(P, σ) =
⋃q∈P
δ(q, σ)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 303 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Aplicacion de δ a p ⊆ Q)
Sea el AFN anterior y p = {q0, q3}:
δ(p, a) = δ({q0, q3}, a)
=⋃
q∈{q0,q3}
δ(q, σ)
= δ(q0, a) ∪ δ(q3, a)
= {q1} ∪ {q2}= {q1, q2}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 304 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Teorema
Dado un AFN AN , se puede construir otro AFD AD equivalente:
L(AN) = L(AD)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 305 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 306 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 307 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 308 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
Algoritmo (Construccion de subconjuntos)
Entrada: AN = (QN ,Σ, δN , q0,FN)
Salida: AD = (QD ,Σ, δD , p0,FD)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 309 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Algoritmo (Construccion de subconjuntos)
inicio
p0 ← clausura− ε(q0) ; QD ← {p0} y p0 no marcado
mientras haya un estado p ∈ QD no marcado hacer
Marcar a p
para cada σ ∈ Σ hacerp′ ← clausura− ε(δN(p, σ))si p′ /∈ QD entonces
QD ← QD ∪ {p′} y p′ no marcadofin si
Definir δD(p, σ)← p′
fin para
fin mientras
FD ← {pi |FN ∩ pi 6= ∅}fin
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 310 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 0: Estado inicial del AFD:
p0 = clausura− ε(q0) = {q0, q1, q2}QD = {p0}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 311 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
p0
Paso 0: estado inicial p0
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 312 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 1: Transiciones de p0 = {q0, q1, q2}
Se marca el estado p0:QD = {p
0}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 313 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 1: Transiciones de p0 = {q0, q1, q2}clausura− ε(δN(p0, a)) =
= clausura− ε(⋃q∈p0
δN(q, a))
= clausura− ε(⋃
q∈{q0,q1,q2}
δN(q, a))
= clausura− ε(δN(q0, a) ∪ δN(q1, a) ∪ δN(q2, a))
= clausura− ε({q1} ∪ ∅ ∪ ∅)= clausura− ε({q1}) = {q1, q2} = p1
Por tanto, δD(p0, a) = p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 314 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 1: Transiciones de p0 = {q0, q1, q2}
Como p1 /∈ QD :
QD = QD ∪ {p1} = {p0, p1}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 315 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 1: Transiciones de p0 = {q0, q1, q2}clausura− ε(δN(p0, b)) =
= clausura− ε(⋃q∈p0
δN(q, b))
= · · ·= clausura− ε(δN(q0, b) ∪ δN(q1, b) ∪ δN(q2, b))
= clausura− ε(∅ ∪ {q3, q4} ∪ {q5})= clausura− ε({q3, q4, q5})= {q2, q3, q4, q5} = p2
δD(p0, b) = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 316 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 1: Transiciones de p0 = {q0, q1, q2}
Como p2 /∈ QD :
QD = QD ∪ {p2} = {p0, p1, p2}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 317 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
p 0
p1
p2
a
b
Paso 1: transiciones de p0
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 318 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 2: Transiciones de p1 = {q1, q2}
Se marca el estado p1:
QD = {p0, p
1, p2}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 319 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 2: Transiciones de p1 = {q1, q2}
clausura− ε(δN(p1, a)) = clausura− ε(⋃q∈p1
δN(q, a))
= · · ·= clausura− ε(δN(q1, a) ∪ δN(q2, a))
= clausura− ε(∅ ∪ ∅)= clausura− ε(∅) = ∅
Por tanto, δD(p1, a) = − , es decir, esta indefinida.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 320 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 2: Transiciones de p1 = {q1, q2}
clausura− ε(δN(p1, b)) = clausura− ε(⋃q∈p1
δN(q, b))
= · · ·= clausura− ε(δN(q1, b) ∪ δN(q2, b))
= clausura− ε({q3, q4} ∪ {q5})= clausura− ε({q3, q4, q5})= {q2, q3, q4, q5} = p2
δD(p1, b) = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 321 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
p 0
p1
p2
a
bb
Paso 2: transiciones de p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 322 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 3: Transiciones de p2 = {q2, q3, q4, q5}
Se marca el estado p2:
QD = {p0, p
1, p
2}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 323 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 3: Transiciones de p2 = {q2, q3, q4, q5}
clausura− ε(δN(p2, a)) = clausura− ε(⋃q∈p2
δN(q, a))
= clausura− ε(⋃
{q2,q3,q4,q5}
δN(q, a))
= clausura− ε(δN(q2, a) ∪ · · · ∪ δN(q5, a))
= clausura− ε(∅ ∪ {q2} ∪ {q4, q5} ∪ ∅)= clausura− ε({q2, q4, q5})= {q2, q3, q4, q5} = p2
δD(p2, a) = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 324 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 3: Transiciones de p2 = {q2, q3, q4, q5}
clausura− ε(δN(p2, b)) = clausura− ε(⋃q∈p2
δN(q, b))
= clausura− ε(⋃
{q2,q3,q4,q5}
δN(q, a))
= clausura− ε(δN(q2, b) ∪ · · · ∪ δN(q5, b))
= clausura− ε({q5} ∪ ∅ ∪ ∅ ∪ {q5})= clausura− ε({q5})= {q3, q5} = p3
δD(p2, b) = p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 325 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 3: Transiciones de p2 = {q2, q3, q4, q5}
Como p3 /∈ QD
QD = {p0, p
1, p
2, p3}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 326 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
p 0
p1
p2
a
bb
a
bp3
Paso 3: transiciones de p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 327 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 4: Transiciones de p3 = {q3, q5}
Se marca el estado p3:
QD = {p0, p
1, p
2, p
3}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 328 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 4: Transiciones de p3 = {q3, q5}
clausura− ε(δN(p3, a)) = clausura− ε(⋃q∈p3
δN(q, a))
= · · ·= clausura− ε(δN(q3, a) ∪ δN(q5, a))
= clausura− ε({q2} ∪ ∅)= clausura− ε({q2})= {q2} = p4
δD(p3, a) = p4
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 329 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 4: Transiciones de p3 = {q3, q5}
Como p4 /∈ QD
QD = {p0, p
1, p
2, p
3, p4}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 330 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 4: Transiciones de p3 = {q3, q5}
clausura− ε(δN(p3, b)) = clausura− ε(⋃q∈p3
δN(q, b))
= · · ·= clausura− ε(δN(q3, b) ∪ δN(q5, b))
= clausura− ε(∅ ∪ {q5})= clausura− ε({q5})= {q3, q5} = p3
δD(p3, b) = p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 331 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
p 0
p1
p2
a
bb
a
bp3
b
pa4
Paso 4: transiciones de p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 332 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 5: Transiciones de p4 = {q2}
Se marca el estado p4
QD = {p0, p
1, p
2, p
3, p
4}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 333 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 5: Transiciones de p4 = {q2}
clausura− ε(δN(p4, a)) = clausura− ε(⋃q∈p4
δN(q, a))
= · · ·= clausura− ε(δN(q2, a))
= clausura− ε(∅) = ∅
δD(p4, a) = −
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 334 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Paso 5: Transiciones de p4 = {q2}
clausura− ε(δN(p4, b)) = clausura− ε(⋃q∈p4
δN(q, b))
= · · ·= clausura− ε(δN(q2, b))
= clausura− ε({q5})= {q3, q5} = p3
δ(p4, b) = p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 335 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Nota
El algoritmo finaliza al estar marcados todos los estados de QD .
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 336 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
p 0
p1
p2
a
bb
a
bp3
b
p4
a
b
Paso 5: transiciones de p4
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 337 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
La funcion de transicion del AFD es:
δ a b→ p0 p1 p2
p1 − p2
← p2 p2 p3
← p3 p4 p3
p4 − p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 338 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Los dos unicos estados finales son p2 y p3 porque
p2 ∩ FN = {q2, q3, q4, q5} ∩ {q5} = {q5} 6= ∅
p3 ∩ FN = {q3, q5} ∩ {q5} = {q5} 6= ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 339 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Construccion de AFD a partir de AFN)
Analisis de x = abb usando el AFD construido:
(p0, abb) ` (p1, bb)
` (p2, b)
` (p3, ε)
x ∈ L(AD) porque p3 ∈ FD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 340 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Descripcion general
Definicion formal
Representacion grafica
Funcion de transicion para palabras
Lenguaje reconocido por un AFN
Equivalencia entre AFN y AFD
Equivalencia entre expresiones regulares y automatas finitos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 341 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
AFN
Algoritmo de Construccion de subconjuntos
AFD
EXPRESION REGULAR
Algoritmo de Thompson
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 342 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
AFN
Algoritmo de Construccion de subconjuntos
AFD
EXPRESION REGULAR
Algoritmo de Thompson
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 343 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
AFN
Algoritmo de Construccion de subconjuntos
AFD
EXPRESION REGULAR
Algoritmo de Thompson
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 344 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
AFN
Algoritmo de Construccion de subconjuntos
AFD
EXPRESION REGULAR
Algoritmo de Thompson
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 345 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
AFN
Algoritmo de Construccion de subconjuntos
AFD
EXPRESION REGULAR
Algoritmo de Thompson
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 346 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Teorema
Dada una expresion regular α, se puede construir un AFN AN
equivalente:L(α) = L(AN)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 347 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 348 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 349 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 350 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Demostracion
Algoritmo (Thompson)
Entrada: expresion regular α.
Salida: AFN AN = (QN ,Σ, δN , q0,FN)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 351 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Algoritmo (Thompson)
q q0 f
AFN equivalente a la expresion regular ∅.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 352 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Algoritmo (Thompson)
εq q0 f
AFN equivalente a la expresion regular ε.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 353 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Algoritmo (Thompson)
σq qf0
AFN equivalente a la expresion regular σ.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 354 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Algoritmo (Thompson)
ε
ε
ε
ε
A
A
Nuevo estado inicial
q0 q f
q qf
qqf0
0
Nuevo estado final
β
α
β β
α α
AFN equivalente a la expresion regular α + β.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 355 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Algoritmo (Thompson)
Estado inicial
A βε
αA
Estado final
q0 q 0qfq
fα βα β
AFN equivalente a la expresion regular αβ.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 356 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Algoritmo (Thompson)
Nuevo estado inicial
ε
εεAα
ε
q0
q fq
0α α
q f
Nuevo estado final
AFN equivalente a la expresion regular α∗.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 357 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Algoritmo (Thompson)
Nota
L((α)) = L(α) = L(AN)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 358 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Algoritmo de Thompson)
AFN equivalente a α = l(l + d)∗
l
Paso 1: AFN equivalente a l
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 359 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Algoritmo de Thompson)
AFN equivalente a α = l(l + d)∗
d
Paso 2: AFN equivalente a d
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 360 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Algoritmo de Thompson)
AFN equivalente a α = l(l + d)∗
ε
εl
d
ε
ε
Paso 3: AFN equivalente a l + d
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 361 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Algoritmo de Thompson)
AFN equivalente a α = l(l + d)∗
ε
εl
d ε
εε
ε
ε
ε
Paso 4: AFN equivalente a (l + d)∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 362 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (Algoritmo de Thompson)
AFN equivalente a α = l(l + d)∗
ε
ε
l
d ε
ε
ε
ε
ε
ε
q q q
q
q
q
q
q q1 3
4
5
6
7
8 9l εq
0 2
Paso 5: AFN equivalente a l(l + d)∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 363 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 364 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 365 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 366 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 367 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
EXPRESION REGULAR
Algoritmo de Thompson
AFN
Algoritmo de Construccion de subconjuntos
AFD
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 368 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 0: Estado inicial del AFD:
p0 = clausura− ε(q0) = {q0}QD = {p0}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 369 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
p0
Paso 0: estado inicial p0
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 370 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 1: Transiciones de p0 = {q0}
Se marca el estado p0:QD = {p
0}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 371 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 1: Transiciones de p0 = {q0}clausura− ε(δN(p0, l)) =
= clausura− ε(⋃q∈p0
δN(q, l))
= clausura− ε(⋃
q∈{q0}
δN(q, l))
= clausura− ε(δN(q0, l))
= clausura− ε({q1})= {q1, q2, q3, q4, q5, q9} = p1
Por tanto, δD(p0, l) = p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 372 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 1: Transiciones de p0 = {q0}
Como p1 /∈ QD :
QD = QD ∪ {p1} = {p0, p1}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 373 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 1: Transiciones de p0 = {q0}clausura− ε(δN(p0, d)) =
= clausura− ε(⋃q∈p0
δN(q, d))
= clausura− ε(⋃
q∈{q0}
δN(q, d))
= clausura− ε(δN(q0, d)))
= clausura− ε(∅)= ∅
δD(p0, d) = −
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 374 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
p 0 1
lp
Paso 1: transiciones de p0
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 375 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 2: Transiciones de p1 = {q1, q2, q3, q4, q5, q9}
Se marca el estado p1:
QD = {p0, p
1}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 376 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 2: Transiciones de p1 = {q1, q2, q3, q4, q5, q9}
clausura− ε(δN(p1, l)) = clausura− ε(⋃q∈p1
δ(q, l))
= · · ·= clausura− ε(δN(q1, l) ∪ · · · ∪ δN(q9, l))
= clausura− ε(∅ ∪ ∅ ∪ ∅ ∪ {q6} ∪ ∅)= clausura− ε({q6})= {q3, q4, q5, q6, q8, q9} = p2
Por tanto, δD(p1, l) = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 377 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 1: Transiciones de p1 = {q1, q2, q3, q4, q5, q9}
Como p2 /∈ QD :
QD = QD ∪ {p2} = {p0, p
1, p2}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 378 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 2: Transiciones de p1 = {q1, q2, q3, q4, q5, q9}
clausura− ε(δN(p1, d)) = clausura− ε(⋃q∈p1
δ(q, d))
= · · ·= clausura− ε(δN(q1, d) ∪ · · · ∪ δN(q9, d))
= clausura− ε(∅ ∪ ∅ ∪ ∅ ∪ {q7} ∪ ∅)= clausura− ε({q7})= {q3, q4, q5, q7, q8, q9} = p3
Por tanto, δD(p1, d) = p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 379 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 2: Transiciones de p1 = {q1, q2, q3, q4, q5, q9}
Como p3 /∈ QD :
QD = QD ∪ {p3} = {p0, p
1, p2, p3}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 380 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
p 0 1
lp
l
d
p
p
2
3
Paso 2: transiciones de p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 381 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 3: Transiciones de p2 = {q3, q4, q5, q6, q8, q9}
Se marca el estado p2:
QD = {p0, p
1, p
2, p3}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 382 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 3: Transiciones de p2 = {q3, q4, q5, q6, q8, q9}
clausura− ε(δN(p2, l)) = clausura− ε(⋃q∈p2
δN(q, l))
= · · ·= clausura− ε(δN(q3, l) ∪ · · · ∪ δN(q9, l))
= clausura− ε(∅ ∪ {q6} ∪ ∅ ∪ ∅ ∪ ∅ ∪ ∅)= clausura− ε({q6})= {q3, q4, q5, q6, q8, q9} = p2
δD(p2, l) = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 383 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 3: Transiciones de p2 = {q3, q4, q5, q6, q8, q9}
clausura− ε(δN(p2, d)) = clausura− ε(⋃q∈p2
δN(q, d))
= · · ·= clausura− ε(δN(q3, d) ∪ · · · ∪ δN(q9, d))
= clausura− ε(∅ ∪ ∅ ∪ {q7} ∪ ∅ ∪ ∅ ∪ ∅)= clausura− ε({q7})= {q3, q4, q5, q7, q8, q9} = p3
δD(p2, d) = p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 384 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
p 0 1
lp
l
d
p
p
2
3
l
d
Paso 3: transiciones de p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 385 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 4: Transiciones de p3 = {q3, q4, q5, q7, q8, q9}
Se marca el estado p3:
QD = {p0, p
1, p
2, p
3}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 386 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 4: Transiciones de p3 = {q3, q4, q5, q7, q8, q9}
clausura− ε(δ(p3, l)) = clausura− ε(⋃q∈p3
δ(q, l))
= clausura− ε(δN(q3, l) ∪ · · · ∪ δN(q9, l))
= clausura− ε(∅ ∪ {q6} ∪ ∅ ∪ ∅ ∪ ∅ ∪ ∅)= clausura− ε({q6})= {q3, q4, q5, q6, q8, q9} = p2
δD(p3, l) = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 387 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Paso 4: Transiciones de p3 = {q3, q4, q5, q7, q8, q9}
clausura− ε(δ(p3, d)) = clausura− ε(⋃q∈p3
δ(q, d))
= clausura− ε(δN(q3, d) ∪ · · · ∪ δN(q8, d))
= clausura− ε(∅ ∪ ∅ ∪ {q7} ∪ ∅ ∪ ∅ ∪ ∅)= clausura− ε({q7})= {q3, q4, q5, q7, q8, q9} = p3
δD(p3, d) = p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 388 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
p 0 1
lp
l
d
p
p
2
3
l
l
d
d
Paso 4: transiciones de p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 389 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Nota
El algoritmo finaliza al estar marcados todos los estados de QD .
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 390 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Funcion de transicion del AFDδ l d
→ p0 p1 −← p1 p2 p3
← p2 p2 p3
← p3 p2 p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 391 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo (α = l(l + d)∗: paso de AFN a AFD)
Estados finales: p1, p2 y p3
p1 ∩ FN = {q1, q2, q3, q4, q5, q9} ∩ {q9} = {q9} 6= ∅
p2 ∩ FN = {q3, q4, q5, q6, q8, q9} ∩ {q9} = {q9} 6= ∅
p3 ∩ FN = {q3, q4, q5, q7, q8, q9} ∩ {q9} = {q9} 6= ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 392 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosAutomatas finitos NO deterministas: AFN
Ejemplo
q 0 1
lq
l, d
AFD mas simple y equivalente a α = l(l + d)∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 393 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicosAutomatas finitosAutomatas finitos deterministas: AFDAutomatas finitos NO deterministas: AFNMinimizacion de automatas finitos deterministas
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 394 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Definicion
Dos automatas son equivalentes si reconocen el mismo lenguaje:
A ≡ A′ ⇔ L(A) = L(A′)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 395 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Razones para minimizar un AFD
Un lenguaje regular puede ser reconocido por variosautomatas finitos deterministas equivalentes.
Se debe usar el AFD con el menor numero de estados.
La Minimizacion permite generar el AFD que reconoce unlenguaje regular con el menor numero de estados.
La minimizacion esta basada en una relacion deequivalencia entre estados.
El automata cociente de la relacion de equivalencia es elAFD mınimo.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 396 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Definicion (Equivalencia entre estados)
Se dice que dos estados q, q′ ∈ Q son equivalentes (qEq′) si severifica que:
∀x ∈ Σ∗ (δ(q, x) ∈ F ⇔ δ(q′, x) ∈ F )
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 397 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
E es una relacion de quivalencia
∀x ∈ Σ∗ ∧ ∀q, q′ ∈ Q:
Reflexiva: qEq δ(q, x) ∈ F ⇔ δ(q, x) ∈ F
Simetrica: qEq′ =⇒ q′Eq
(δ(q, x) ∈ F ⇔ δ(q′, x) ∈ F ) =⇒ (δ(q′, x) ∈ F ⇔ δ(q, x) ∈ F )
Transitiva: qEq′ ∧ q′Eq′′ =⇒ qEq′′
(δ(q, x) ∈ F ⇔ δ(q′, x) ∈ F )
(δ(q′, x) ∈ F ⇔ δ(q′′, x) ∈ F )
}⇒ (δ(q, x) ∈ F ⇔ δ(q′′, x) ∈ F )
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 398 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Definicion (Clase de equivalencia de un estado)
Si q ∈ Q, la clase de equivalencia de q respecto de la relacion Ese define como:
E [q] = {q′|qEq′} = {q′ | ∀x ∈ Σ∗ (δ(q, x) ∈ F ⇔ δ(q′, x) ∈ F )}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 399 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Propiedades de la relacion de equivalencia E
∀q ∈ Q q ∈ E [q]
Si q′ /∈ E [q] entonces E [q′] ∩ E [q] = ∅Q =
⋃q∈Q
E [q]
|Q|E | ≤ |Q|
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 400 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Definicion (Automata cociente)
A|E = (Q|E ,Σ, δ|E ,E [q0],F|E )
Q|E = {E [q]|q ∈ Q}
La funcion de transicion δ|E se define como:
δ|E : Q|E × Σ −→ Q|E
δ|E (p, σ) = p′ ∈ Q|E ⇐⇒
∃q, q′ ∈ Qp = E [q] ∧ p′ = E [q′]∧ δ(q, σ) = q′
E [q0] es el estado inicial y
F|E = {E [qf ]|qf ∈ F},
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 401 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Nota
La funcion δ|E se define de manera similar a δ.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 402 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Teorema
Todo AFD es equivalente a su automata cociente:
L(A) = L(A|E )
Demostracion
x ∈ L(A) ⇔ δ(q0, x) ∈ F
⇔ ∃qf ∈ F δ(q0, x) = qf
⇔ p0 = E [q0] ∧ ∃qf ∈ F pf = E [qf ] ∧ δ|E (p0, x) = pf
⇔ δ|E (p0, x) = pf ∈ F|E⇔ x ∈ L(A|E )
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 403 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Teorema
Todo AFD es equivalente a su automata cociente:
L(A) = L(A|E )
Demostracion
x ∈ L(A) ⇔ δ(q0, x) ∈ F
⇔ ∃qf ∈ F δ(q0, x) = qf
⇔ p0 = E [q0] ∧ ∃qf ∈ F pf = E [qf ] ∧ δ|E (p0, x) = pf
⇔ δ|E (p0, x) = pf ∈ F|E⇔ x ∈ L(A|E )
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 404 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Demostracion
Algoritmo (Construccion del Automata Cociente)
Entrada: A = (Q,Σ, δ, q0,F ).
Salida: A|E = (Q|E ,Σ, δ|E ,E [q0],F|E ), Automata cociente
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 405 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Algoritmo (Construccion del Automata Cociente)
iniciop0 ← Q − F , p1 ← FNuevo ← {p0, p1} y p0 y p1 no marcadosmientras ∃p ∈ Nuevo no marcado hacer
Marcar a ppara cada σ ∈ Σ hacer
Dividir p en subconjuntos de forma que sus estadosqi y qj estaran en el mismo subconjuntosi δ(qi , σ) y δ(qj , σ) pertenecen al mismo subconjunto
fin parasi se ha dividido p en subconjuntos
entoncesSustituir p por los nuevos subconjuntosDesmarcar todos los estados de Nuevo
fin sifin mientras
fin
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 406 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (1.- Minimizacion de AFD)
q 0 1
lq
l
d
q
q
2
3
ld
d
l
AFD original que reconoce identificadores de Pascal.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 407 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (1.- Minimizacion de AFD)
Estados no finales: p0 = Q − F = {q0}Estados finales: p1 = F = {q1, q2, q3}Nuevo = {p0, p1}Los estados de Nuevo no estan marcados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 408 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (1.- Minimizacion de AFD)
Paso 1: Analisis de p0 = {q0}Se marca p0: Nuevo = {p
0, p1}
p0 solo contiene un estado y no se puede descomponer mas.
Transiciones “provisionales” de p0:
δ|E (p0, l) = E [δ(q0, l)] = E [q1] = p1
δ|E (p0, d) = E [δ(q0, d)] = E [−] = −
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 409 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (1.- Minimizacion de AFD)
Paso 2: Analisis de p1 = {q1, q2, q3}Se marca p1: Nuevo = {p
0, p
1}
Se comprueban que los estados de p1 son homogeneos:
p1 l d
q1 p1 p1
q2 p1 p1
q3 p1 p1
Transiciones de p1: δ|E (p1, l) = p1, δ|E (p1, d) = p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 410 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (1.- Minimizacion de AFD)
El algoritmo finaliza porque todos los estados de Nuevoestan marcados.
Los estados generados son:
+ p0 = {q0}+ p1 = {q1, q2, q3}
El estado inicial es p0 porque q0 ∈ p0.
F|E = {p1} porque p1 ∩ F = {q1, q2, q3} 6= ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 411 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (1.- Minimizacion de AFD)
Funcion de transicion del automata minimizadoδ l d
← p0 p1 −→ p1 p1 p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 412 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (1.- Minimizacion de AFD)
p 0 1
lp
l, d
AFD minimizado que reconoce identificadores de Pascal.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 413 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
qq q1 20
q4
q3
[
[
d
d
d]
]
AFD original que reconoce componentes de arrays.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 414 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Estados no finales: p0 = Q − F = {q1, q2, q4}Estados finales: p1 = F = {q0, q3}Nuevo = {p0, p1}Los estados p0 y p1 no estan marcados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 415 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Nota
El estado inicial q0 pertenece a p1 porque tambien es un estadofinal
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 416 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Paso 1: Analisis de p0 = {q1, q2, q4}Se marca p0: Nuevo = {p
0, p1}
Se comprueban las transiciones de los estados de p0:
δ [ d ]
q1 − p0 −q2 − p0 p1
q4 − p0 p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 417 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Paso 1: Analisis de p0 = {q1, q2, q4}q1 no es equivalente a q2 y q4.
El antiguo estado p0 se divide en dos nuevos estados:
p0 = {q1}p2 = {q2, q4}
Nuevo = {p0, p1, p2}Todos los estados estan desmarcados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 418 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Paso 2: Segundo analisis de p0 = {q1}Se marca p0: Nuevo = {p
0, p1, p2}
p0 solo contiene un estado y no se puede descomponer mas.
Transiciones “provisionales” de p0:
δ|E (p0, [) = E [δ(q1, [)] = E [−] = −δ|E (p0, d) = E [δ(q1, d)] = E [q2] = p2
δ|E (p0, ]) = E [δ(q1, ])] = E [−] = −
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 419 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Paso 3: Analisis de p1 = {q0, q3}Se marca p1: Nuevo = {p
0, p
1, p2}
Se comprueban que los estados de p1 son homogeneos:
δ [ d ]
q0 p0 − −q3 p0 − −
Transiciones “provisionales” de p1:
δ|E (p1, [) = E [δ(q0, [)] = E [q1] = p0
δ|E (p1, d) = E [δ(q0, d)] = E [−] = −δ|E (p1, ]) = E [δ(q0, ])] = E [−] = −
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 420 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Paso 4: Analisis de p2 = {q2, q4}Se marca p2: Nuevo = {p
0, p
1, p
2}
Se comprueban que los estados de p1 son homogeneos:
δ [ d ]
q2 − p2 p1
q4 − p2 p1
Transiciones de p2:
δ|E (p1, [) = E [δ(q2, [)] = E [−] = −δ|E (p1, d) = E [δ(q2, d)] = E [q4] = p2
δ|E (p1, ]) = E [δ(q2, ])] = E [q3] = p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 421 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
El algoritmo finaliza porque todos los estados de Nuevoestan marcados.
Los estados generados son:
+ p0 = {q1}+ p1 = {q0, q3}+ p2 = {q2, q4}
El estado inicial es p1 porque q0 ∈ p1.
F|E = {p1} porque p1 ∩ F = {q0, q3} 6= ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 422 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
Funcion de transicion del automata minimizadoδ [ d ]
p0 − p2 −→← p1 p0 − −
p2 − p2 p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 423 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (2.- Minimizacion de AFD)
pp1
p
[
d
d
]
0
2
Automata cociente (automata mınimo).
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 424 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
qq q q1 2
010 3
0
qq q6
0 11
0
0
1 1
5 4
10
1
1
0
AFD que se va a minimizar.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 425 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Estados no finales: p0 = Q − F = {q0, q2, q3, q4, q5, q6}Estados finales: p1 = F = {q1}Nuevo = {p0, p1}Los estados p0 y p1 no estan marcados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 426 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso 1: Analisis de p0 = {q0, q2, q3, q4, q5, q6}Se marca p0: Nuevo = {p
0, p1}
Se comprueban las transiciones de los estados de p0:
δ 0 1
q0 p1 p0
q2 p0 p1
q3 p0 p1
q4 p1 p0
q5 p0 p1
q6 p0 p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 427 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso numero 1: Analisis de p0 = {q0, q2, q3, q4, q5, q6}q0 y q4 tienen transiciones diferentes de los otros estados
El antiguo estado p0 se divide en dos nuevos estados:
p0 = {q0, q4}p2 = {q2, q3, q5, q6}
Nuevo = {p0, p1, p2}Todos los estados estan desmarcados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 428 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso 2: Segundo analisis de p0 = {q0, q4}Se marca p0: Nuevo = {p
0, p1, p2}
Se comprueban si las transiciones de los estados contenidos enp0 son homogeneas:
δ 0 1
q0 p1 p2
q4 p1 p2
Transiciones “provisionales” de p0:
δ|E (p0, 0) = E [δ(q0, 0)] = E [q1] = p1
δ|E (p0, 1) = E [δ(q0, 1)] = E [q5] = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 429 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso 3: Analisis de p1 = {q1}Se marca p1: Nuevo = {p
0, p
1, p2}
p1 solo contiene un estado y no se puede descomponer mas.
Transiciones “provisionales” de p1:
δ|E (p1, 0) = E [δ(q1, 0)] = E [q0] = p1
δ|E (p1, 1) = E [δ(q1, 1)] = E [q2] = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 430 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso 4: Analisis de p2 = {q2, q3, q5, q6}Se marca p2: Nuevo = {p
0, p
1, p
2}
Se comprueban si son homogeneas las transiciones de losestados contenidos en p2:
δ 0 1
q2 p2 p1
q3 p2 p1
q5 p0 p1
q6 p0 p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 431 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso 4: Analisis de p2 = {q2, q3, q5, q6}q2 y q3 tienen transiciones diferentes de los otros estados
El antiguo estado p2 se divide en dos nuevos estados:
p2 = {q2, q3}p3 = {q5, q6}
Nuevo = {p0, p1, p2, p3}Todos los estados estan desmarcados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 432 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso 5: Tercer analisis de p0 = {q0, q4}Se marca p0: Nuevo = {p
0, p1, p2, p3}
Se comprueban si las transiciones de los estados contenidos enp0 son homogeneas:
δ 0 1
q0 p1 p3
q4 p1 p3
Transiciones “provisionales” de p0 han cambiado:
δ|E (p0, 0) = E [δ(q0, 0)] = E [q1] = p1
δ|E (p0, 1) = E [δ(q0, 1)] = E [q5] = p3
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 433 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso 6: Segundo analisis de p1 = {q1}Se marca p1: Nuevo = {p
0, p
1, p2, p3}
El estado p1 no se puede dividir porque solo contiene a q1
Se comprueba si han cambiado las transiciones “provisionales”de p1:
δ|E (p1, 0) = E [δ(q1, 0)] = E [q1] = p1
δ|E (p1, 1) = E [δ(q1, 1)] = E [q2] = p2
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 434 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso numero 7: Segundo analisis de p2 = {q2, q3}Se marca p2: Nuevo = {p
0, p
1, p
2, p3}
Se comprueban si son homogeneas las transiciones de losestados contenidos en p2:
δ 0 1
q2 p2 p1
q3 p2 p1
Los estados q2 y q3 son equivalentes y no se requiere ningunadivision.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 435 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Paso numero 8: Analisis de p3 = {q5, q6}Se marca p3: Nuevo = {p
0, p
1, p
2, p
3}
Se comprueban si son homogeneas las transiciones de losestados contenidos en p3:
δ 0 1
q5 p0 p1
q6 p0 p1
Los estados q5 y q6 son equivalentes y no se requiere ningunadivision.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 436 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
El algoritmo finaliza porque todos los estados de Nuevoestan marcados.
Los estados generados son:
+ p0 = {q0, q4}+ p1 = {q1}+ p2 = {q2, q3}+ p3 = {q5, q6}
El estado inicial es p0 porque q0 ∈ p0.
F|E = {p1} porque p1 ∩ F = {q1} 6= ∅
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 437 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
Funcion de transicion del automata minimizadoδ|E 0 1
→ p0 p1 p3
← p1 p1 p2
p2 p2 p1
p3 p0 p1
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 438 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
pp p1 2
10
0
p3
0 1
1
0
10
Representacion grafica del AFD minimizado.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 439 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Reconocimiento de componentes lexicosMinimizacion de automatas finitos deterministas
Ejemplo (3.- Minimizacion de AFD)
qq q q1 2
010 3
0
qq q6
0 11
0
0
1 1
5 4
10
1
1
0
AFD que se ha minimizado.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 440 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido del tema
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 441 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicosIntroduccionCodificacion manual del analizador lexicoGeneracion automatica del analizador lexico
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 442 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosIntroduccion
Definicion
# se ha publicado documentacion sobre el tema 3 de la asignaturade Procesadores de lenguaje* Fundamentos teoricos del analisis sintactico * Tipos degeneradores sintacticos
Se denomina implementacion de un analizador lexico a sucodificacion en un lenguaje de programacion.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 443 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosIntroduccion
Nota
Se recuerda que el analizador lexico suele ser una funcion oprocedimiento auxiliar del analizador sintactico.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 444 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosIntroduccion
Tareas del analizador lexico
Reconocer todos los componentes lexicos:
+ Palabras reservadas+ Identificadores+ numeros+ Operadores aritmeticos, relacionales, etc.+ Etc.
Enviar al analizador sintactico los componentes lexicosreconocidos.
Procesar los errores lexicos que pueda detectar.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 445 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosIntroduccion
Nota (Primer paso para implementar el analizador lexico)
Definir una expresion regularpara denotar cada componente lexico
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 446 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosIntroduccion
Tipo de reconocimiento de las palabras reservadas
Implıcito
+ Se pre-instalan en la tabla de sımbolos.+ Se procesan inicialmente como identificadores.+ Se reconocen como palabras claves al buscarlas en la tabla de
sımbolos.
Explıcito
+ Se reconocen de forma independiente a los identificadores+ Siempre se utiliza el lexema mas largo: if - ifa+ En caso de igualdad de longitudes, se escoge el componente
lexico que se haya especificado en primer lugar.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 447 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosIntroduccion
Metodos de implementacion del Analizador Lexico
Codificacion manual utilizando un lenguaje de programacion.
Utilizacion de un generador automatico del analizador lexico:
+ LEX+ Pclex+ Jlex+ Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 448 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicosIntroduccionCodificacion manual del analizador lexicoGeneracion automatica del analizador lexico
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 449 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Caracterısticas
Se utiliza un lenguaje de programacion:
+ Alto nivel: C, C++, Pascal, Java, etc.+ Bajo nivel: ensamblador.
Se codifica una funcion que combina todos los AFDstransformados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 450 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Lenguaje de programacion de alto nivel
Ventajas
+ Computacionalmente eficiente+ Permite la deteccion y recuperacion especıfica de errores
Inconvenientes
+ Requiere un gran esfuerzo de programacion.+ Las modificaciones pueden ser dificultosas.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 451 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Lenguaje de programacion de bajo nivel
Ventajas
+ Computacionalmente muy eficiente: permite controlar deforma directa la Entrada / Salida
+ Permite la deteccion y recuperacion especıfica de errores
Inconvenientes
+ Requiere un esfuerzo de programacion muy elevado.+ Las modificaciones son muy dificultosas.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 452 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Combinacion de los Automatas Finitos Deterministastransformados
Se transforma cada AFD para que:
+ reconozca el componente lexico+ compruebe si es necesario procesar el sımbolo que sigue al
componente lexico:
- Si el sımbolo es correcto, se devuelve al “buffer” de entrada.- Si el sımbolo es incorrecto, se procesa el error detectado.
+ devuelva el componente lexico reconocido.+ y continue el analisis lexico.
Se combinan todos los Automatas Finitos Deterministastransformados.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 453 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (1.- Transformacion de AFD: 1/3)
q 0 1
l, sq
l, s, d
AFD que reconoce identificadores del lenguaje C.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 454 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (1.- Transformacion de AFD: 2/3)
2qq
1q0
l, s
l, s, d
3q
Símbolo correcto
Símbolo incorrectol, sσ
AFD transformado.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 455 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (1.- Transformacion de AFD: 3/3)
El estado q2 debe:
+ Devolver el componente lexico reconocido.+ Devolver al “buffer” de entrada el sımbolo correcto que no
pertenece al identificador de C:
- espacio en blanco- punto y coma,- etc.
El estado q3 debe procesar el error detectado.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 456 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Nota
Las celdas vacıas de la funcion de transicion se completan con“rutinas” de tratamiento de errores:
δ · · · σj · · ·→ q0
· · ·qi Error· · ·
Error representa una funcion o procedimiento que permite eltratamiento del error detectado.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 457 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Nota
Algunas veces no es necesario comprobar el sımbolo que sigueal componente lexico.
Suele ocurrir con los componentes lexicos mas simples:
Punto y comaEspacio en blanco, tabular o salto de lıneaOperadores aritmeticosEtc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 458 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (2.- Transformacion AFD: 1/2)
q0 1
<q
=q
q
2
3
otro símbolo
AFD transformado que reconoce los componentes lexicos MENORo MENOR IGUAL.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 459 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (2.- Transformacion AFD: 2/2)
q2 reconoce el componente lexico MENOR IGUAL
+ No se necesita procesar el sımbolo siguiente, porque no ha sidoleıdo.
q3 reconoce el componente lexico MENOR.
+ El “otro sımbolo” debe ser devuelto al “buffer” de entrada.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 460 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Estrategias de la codificacion manual
Utilizar directamente las tablas de la funcion de transicion delos AFDs.
Simular el funcionamiento de los AFDs mediante sentenciasde control.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 461 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (Uso de la tabla de la funcion de transicion)
INICIO ESTADO ← INICIAL
LEER (CARACTER)
MIENTRAS (FINAL(ESTADO) = FALSO Y CARACTER 6= FIN-DE-FICHERO)
HACERESTADO ← M(ESTADO,CARACTER)
LEER (CARACTER)
FIN MIENTRAS
SI ERROR(ESTADO) = VERDADERO ENTONCESPROCESAR-ERROR(ESTADO)
SI NOSI DEVOLVER-CARACTER(ESTADO) ENTONCESDEVOLVER (CARACTER)
FIN SI
COMPONENTE-LEXICO(ESTADO)
FIN
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 462 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (Uso de la tabla de la funcion de transicion)
INICIO ESTADO ← INICIAL
LEER (CARACTER)
MIENTRAS (FINAL(ESTADO) = FALSO Y CARACTER 6= FIN-DE-FICHERO)
HACERESTADO ← M(ESTADO,CARACTER)
LEER (CARACTER)
FIN MIENTRAS
SI ERROR(ESTADO) = VERDADERO ENTONCESPROCESAR-ERROR(ESTADO)
SI NOSI DEVOLVER-CARACTER(ESTADO) ENTONCESDEVOLVER (CARACTER)
FIN SI
COMPONENTE-LEXICO(ESTADO)
FIN
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 463 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (Simulacion con sentencias de control: 1/3)
yylex(){
int c;
/* Salta blancos y tabuladores */
while((c=getchar())==’ ’ || c==’\t’ ); /* Sentencia nula */
if (c == EOF){
printf("\n Fin de la ejecucion de %s \n", progname);
return 0;
}else if (c == ’.’ || isdigit(c)){ /* El sımbolo leıdo se devuelve al buffer de entrada
para leerlo como parte de un numero */
ungetc(c,stdin);/* Lee el numero */
scanf(" %lf",&yylval.val);return NUMBER;
}Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 464 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (Simulacion con sentencias de control: 2/3)
else if (isalpha(c)){ /* comprueba si lee un identificador */
Symbol *s;
char sbuf[100],*p=sbuf;
do {*p++=c;
} while((c=getchar()) != EOF && isalnum(c));
/* Devuelve el sımbolo que no pertenece al identificador */
ungetc(c,stdin);/* Cadena correcta: caracter nulo al final */
*p=’\0’;/* Si no esta en la tabla de sımbolos, lo instala */
if ((s=lookup(sbuf))==0) s = install(sbuf,INDEFINIDA,0.0);
yylval.sym=s;
return s->tipo==INDEFINIDA ? VAR : s->tipo;
}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 465 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosCodificacion manual del analizador lexico
Ejemplo (Simulacion con sentencias de control: 3/3)
else if (c==’\n’){lineno++;
return FIN;
}else if (c==’;’) return FIN;
/* Devuelve el codigo ASCII de los demas caracteres */
return c;
}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 466 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicosIntroduccionCodificacion manual del analizador lexicoGeneracion automatica del analizador lexico
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 467 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Caracterısticas de la generacion automatica
Los componentes lexicos se denotan mediante expresionesregulares.
El generador lexico crea automaticamente el codigo a partir delas expresiones regulares.
Generadores lexicos: lex, flex, pclex, jlex, ...
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 468 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 469 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 470 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 471 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 472 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 473 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
COMPONENTES LEXICOS
EXPRESIONES REGULARES
AFN
AFD
ANALIZADOR LEXICO
LEX
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 474 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
LEX
Creado por M. E. Lesk y E. Schmidt (Bell Laboratories).
Genera analizadores lexicos para C, Fortran, Raftor.
Hay versiones para Unix, Linux, DOS, etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 475 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Funcionamiento de LEX
Analizador léxicofichero de lex
yylex()
lex.yy.cnombre.l
LEXExpresiones regulares
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 476 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Estructura del fichero de LEX
declaraciones (opcional)
% %
reglas de traduccion de las expresiones regulares
% %
funciones auxiliares (opcional)
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 477 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
LEX: expresiones regulares
Sımbolos especiales:
+ |: disyuncion+ ( ): agrupacion de expresiones regulares+ *: repeticion de un patron cero o mas veces.+ +: repeticion de un patron una o mas veces.+ ?: el patron puede aparecer cero o una vez.+ “ ”: delimitadores de cadenas+ .: cualquier caracter distinto del salto de lınea (\n).+ \n: salto de lınea+ $ : caracter de final de lınea+ [ ]: delimitadores de clases de caracteres+ ˆ : inicio de lınea y complementario de una clase.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 478 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
LEX: expresiones regulares
Nota
Si se antepone la barra \ delante de un sımbolo especial entoncessolo se representa a sı mismo:
\. → solo representa el punto.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 479 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (LEX: expresiones regulares 1 / 3)
Expresion regular Significadoa|b a, b
[ab] a, b
ab ab
ab+ ab, abb, abbb, · · ·(ab)+ ab, abab, ababab, · · ·
ab* a, ab, abb, · · ·(ab)* ε, ab, abab, · · ·
ab{1,3} ab, abb, abbb
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 480 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (LEX: expresiones regulares 2 / 3)
Expresion regular Significado[a-z] a, b, c, · · · , z
[a \-z] a, −, z
[-az] −, a, z
[az-] a, z, −[a-zA-Z] a, b, · · · , z, A, B, · · · , Z
[a-zA-Z0-9] a, b, · · · , z, A, B, · · · , Z, 0, 1, · · · , 9
[a-zA-Z0-9]* cero o mas veces a, b, c, · · · , 9
[a-zA-Z0-9]+ una o mas veces a, b, c, · · · , 9
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 481 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (LEX: expresiones regulares 3 / 3)
Expresion regular Significado[ \t \n] espacio en blanco, tabulador y salto de lınea
[ˆ ab] cualquier caracter distinto de a o b[a ˆ b] a, acento circunflejo, b
a/b a solo si va seguido de ba$ a si va seguido del caracter \n
a/ \n a si va seguido del caracter \nˆ abc abc si esta escrito al principio de la lınea
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 482 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
LEX: Zona de declaraciones (opcional)
Codigo extendido de lenguaje C delimitado por %{ y }%+ Ficheros de cabecera.+ Macros.+ Prototipos de funciones.+ Variables globales+ Etc.
Directivas de lex: %a, %n %o, %p, ...
Declaracion de definiciones regulares.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 483 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (Definiciones regulares 1/2)
numero [0-9]
letra [a-zA-Z]
identificador {letra}({letra}|{numero})*
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 484 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (Definiciones regulares 2/2)
La definicion regular identificador definida como
{letra}({letra}|{numero})∗
es transformada en
[a− zA− Z ]([a− zA− Z ]|[0− 9])∗
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 485 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
LEX: Zona de reglas de traduccion
expresion regular 1 sentencias 1 de lenguaje C
expresion regular 2 sentencias 2 de lenguaje C
· · ·expresion regular n sentencias n de lenguaje C
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 486 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (Lex: zona de reglas)
% %{numero}+\.?|{numero}*\.{numero}+ {
sscanf(yytext," %lf",&yylval.val);return NUMBER;
}
{identificador} { Symbol *s;
if ((s=lookup(yytext)) == 0)
s = install (yytext, INDEFINIDA, 0.0);
yylval.sym = s;
return s->tipo == INDEFINIDA ? VAR : s->tipo;
}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 487 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
LEX: Zona de funciones auxiliares (opcional)
Codigo de funciones auxiliares utilizadas por las reglas detraduccion
Tambien se pueden incluir
+ Ficheros de cabecera.+ Macros.+ Prototipos de funciones.+ Declaracion de variables globales+ Etc.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 488 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (Lex: zona de declaraciones 1/3)
%{#include "macros.h"
#include "hoc3.h"
#include "y.tab.h"
extern char *progname;
extern int lineno;
%}
/* definiciones regulares */
numero [0-9]letra [a-zA-Z]
identificador {letra}({letra}|{numero})*
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 489 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (Lex: zona de reglas 2/3)
% %[ \t] { ; } /* saltar los espacios y los tabuladores */
{numero}+\.?—{numero}*\.{numero}+ {sscanf(yytext," %lf",&yylval.val);return NUMBER;
}{identificador} { Symbol *s;
if ((s=lookup(yytext)) == 0)
s = install (yytext, INDEFINIDA, 0.0);
yylval.sym = s;
return s->tipo == INDEFINIDA ? VAR : s->tipo;
}; {return FIN ;}\n {lineno++; return FIN;}. {return yytext[0];} /* todo lo demas */
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 490 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Implementacion de los analizadores lexicosGeneracion automatica del analizador lexico
Ejemplo (Lex: zona de funciones auxiliares 3/3)
/***** Zona de funciones auxiliares *****/
extern FILE *yyin, *yyout;
main(int cantidad, char *palabras[])
{ switch(cantidad){
case 2: yyin=fopen(palabras[1],‘‘r’’);break;
case 3: yyin=fopen(palabras[1],‘‘r’’);yyout=fopen(palabras[2],‘‘w’’);
}yylex();
}
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 491 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido del tema
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de errores
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 492 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccionErrores lexicosTratamiento de los erroresMetodos de recuperacion de los errores lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 493 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccion
Tipos de errores
Invisibles: errores que no pueden ser detectados por elprocesador de lenguajes
Visibles: errores que sı pueden ser detectados
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 494 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccion
Ejemplo (Error invisible)
Se ha tecleadoa = b + c
en veza = b ∗ c
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 495 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccion
Errores invisibles
Suelen ser errores “conceptuales” o “algorıtmicos”
No pueden ser detectados porque no infrigen ningunanorma del lenguaje de programacion.
Podrıan ser detectados si se incluyen tecnicas de verificacionen el procesador de lenguajes:
+ Poseen gran complejidad+ Su coste computacional es muy elevado
En la practica, estos errores son “detectados” y “corregidos”manualmente
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 496 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccion
Errores visibles
Pueden ser detectados:
+ durante el proceso de traduccion+ o durante la ejecucion del programa ejecutable.
Son producidos porque no se ha tenido suficiente “cuidado” alprogramar:
+ falta de comprension o desconocimiento de lascaracterısticas del lenguaje
+ o confusion con las caracterısticas de otro lenguaje.
Se caracterizan por
+ Ser errores de ortografıa+ Ser errores que omiten requisitos formales del lenguaje de
programacion.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 497 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccion
Errores visibles
Se clasifican segun la fase en que son detectados:
Errores lexicos: no se reconoce un componente lexico correcto.
Errores sintacticos:
+ Sentencia que no respeta las reglas gramaticales del lenguajede programacion
+ Se origina al procesar un componente lexico “inesperado”
Errores semanticos: el significado de un componente lexico esincorrecto o inapropiado.
Errores de ejecucion:
+ Funcionamiento incorrecto del programa.+ No detectables durante el proceso de compilacion.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 498 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccion
Ejemplos (Errores visibles)
Errores lexicos:
+ Componente lexico mal escrito.+ Componente lexico con sımbolos no permitidos.
Errores sintacticos:
+ Sentencias de control incompletas o mal escritas.+ Parametros incorrectos, parentesis no balanceados, ...
Errores semanticos:
+ Identificador usado incorrectamente o no declarado.+ Valor fuera de rango, ...
Errores de ejecucion:
+ Bucles infinitos.+ Flujo de control incorrecto, ...
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 499 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccionErrores lexicosTratamiento de los erroresMetodos de recuperacion de los errores lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 500 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Tipos de errores lexicos
Componentes lexicos
con sımbolos ilegales.
incompletos o muy largos.
mal escritos: infrigen alguna restriccion del lenguaje deprogramacion
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 501 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplos (Errores lexicos 1/3)
Componentes lexicos con sımbolos ilegales
+ Sımbolo no permitido en un identificador: dato$+ Sımbolo no permitido en un numero: 3.17#10
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 502 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplos (Errores lexicos 2/3)
Componentes lexicos incompletos
+ Cadenas de caracteres no cerradas
/* faltan las comillas finales */
static char *nombre = ‘‘Almudena ... ;
+ Comentarios no cerrados.
/* Este es un ejemplo maravilloso de comentario
que no tiene cierre final
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 503 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplos (Errores lexicos 3/3)
Componentes lexicos mal escritos
Lenguaje Componente lexico Incorrecto Correcto
C IDENTIFICADOR 1dato- dato 1
C NUMERO 3.14.15 3.1415
C MENOR IGUAL =< <=
Prolog MENOR IGUAL <= =<
Fortran MENOR IGUAL .le .le.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 504 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Caracterısticas de los errores de los componentes lexicos
Son provocados por una escritura incorrecta.
Son los mas frecuentes.
El Analisis Lexico no puede detectar todos los errores de loscomponentes lexicos.
Muchos errores de los componentes lexicos son detectadosdurante las demas fases.
Pueden provocar errores sintacticos, semanticos o deejecucion.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 505 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (1.- Error no detectable durante el analisis lexico)
Palabra reservada mal escrita
fi (x >= 0) valor absoluto = x;
else valor absoluto = -x;
Nota
El analisis lexico genera para fi el componente lexicoIDENTIFICADOR en vez de IF.
Este error podra ser detectado durante el analisis sintactico
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 506 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (1.- Error no detectable durante el analisis lexico)
Palabra reservada mal escrita
fi (x >= 0) valor absoluto = x;
else valor absoluto = -x;
Nota
El analisis lexico genera para fi el componente lexicoIDENTIFICADOR en vez de IF.
Este error podra ser detectado durante el analisis sintactico
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 507 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (2.- Error no detectable durante el analisis lexico)
Omision de sımbolo de fin de sentencia
/* falta el punto y coma */
if (x >= 0) valor absoluto = x
else valor absoluto = -x;
Nota
Este error puede ser detectado durante el analisis sintactico.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 508 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (2.- Error no detectable durante el analisis lexico)
Omision de sımbolo de fin de sentencia
/* falta el punto y coma */
if (x >= 0) valor absoluto = x
else valor absoluto = -x;
Nota
Este error puede ser detectado durante el analisis sintactico.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 509 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (3.- Error no detectable durante el analisis lexico)
Indice de un array que posee un valor que fuera de rango
a[-999999] = 10;
Nota
Este error puede ser detectado durante el analisis semantico.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 510 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (3.- Error no detectable durante el analisis lexico)
Indice de un array que posee un valor que fuera de rango
a[-999999] = 10;
Nota
Este error puede ser detectado durante el analisis semantico.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 511 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (4.- Error no detectable durante el analisis lexico)
Argumento erroneo de una funcion
valor = log(-10);
Nota
Este error se detectara durante la ejecucion.
Podrıa ser detectado con tecnicas de verificacion
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 512 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresErrores lexicos
Ejemplo (4.- Error no detectable durante el analisis lexico)
Argumento erroneo de una funcion
valor = log(-10);
Nota
Este error se detectara durante la ejecucion.
Podrıa ser detectado con tecnicas de verificacion
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 513 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccionErrores lexicosTratamiento de los erroresMetodos de recuperacion de los errores lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 514 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresTratamiento de los errores
Criterios “generales” para el tratamiento de los errores
Informar del error
+ Localizacion: ubicacion del error dentro del codigo.+ Descripcion: motivo o caracterısticas del error
Evitar la cascada de errores
+ Informar una sola vez de cada error.+ Si un error es producido por otro entonces solo se debe
informar del primero.
Reparar el error, si es posible, e informar de la correccionrealizada.
Continuar con el proceso de traduccion para detectar otrosposibles errores.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 515 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresTratamiento de los errores
Criterios “generales” para el tratamiento de los errores
Informar del error
+ Localizacion: ubicacion del error dentro del codigo.+ Descripcion: motivo o caracterısticas del error
Evitar la cascada de errores
+ Informar una sola vez de cada error.+ Si un error es producido por otro entonces solo se debe
informar del primero.
Reparar el error, si es posible, e informar de la correccionrealizada.
Continuar con el proceso de traduccion para detectar otrosposibles errores.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 516 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresTratamiento de los errores
Criterios “generales” para el tratamiento de los errores
Informar del error
+ Localizacion: ubicacion del error dentro del codigo.+ Descripcion: motivo o caracterısticas del error
Evitar la cascada de errores
+ Informar una sola vez de cada error.+ Si un error es producido por otro entonces solo se debe
informar del primero.
Reparar el error, si es posible, e informar de la correccionrealizada.
Continuar con el proceso de traduccion para detectar otrosposibles errores.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 517 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresTratamiento de los errores
Criterios “generales” para el tratamiento de los errores
Informar del error
+ Localizacion: ubicacion del error dentro del codigo.+ Descripcion: motivo o caracterısticas del error
Evitar la cascada de errores
+ Informar una sola vez de cada error.+ Si un error es producido por otro entonces solo se debe
informar del primero.
Reparar el error, si es posible, e informar de la correccionrealizada.
Continuar con el proceso de traduccion para detectar otrosposibles errores.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 518 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresTratamiento de los errores
Nota
Los criterios “generales” para el tratamiento de los errores sonaplicables a todos los tipos de errores.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 519 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresTratamiento de los errores
Nota (Reparacion del error)
Siempre debe ser revisada despues por el programador.
Solo propone una solucion, que no tiene por que ser lacorrecta.
Solo pretende que el proceso de traduccion continue ... paradetectar mas errores.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 520 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Contenido de la seccion
1 Introduccion
2 Especificacion de componentes lexicos
3 Reconocimiento de componentes lexicos
4 Implementacion de los analizadores lexicos
5 Deteccion y recuperacion de erroresClasificacion de los errores del proceso de traduccionErrores lexicosTratamiento de los erroresMetodos de recuperacion de los errores lexicos
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 521 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresMetodos de recuperacion de los errores lexicos
Metodos de procesamiento de los errores lexicos
Modo de panico o de sincronizacion
Metodo de la mınima distancia
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 522 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresMetodos de recuperacion de los errores lexicos
Modo de panico o de sincronizacion
Se eliminan los caracteres de la entrada hasta que seencuentra un componente lexico bien formado
Es sencillo de aplicar
Puede provocar errores en el analisis sintactico al suprimirotros componentes lexicos correctos.
Es util en un entorno interactivo.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 523 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresMetodos de recuperacion de los errores lexicos
Metodo de la mınima distancia
Supone que la mayorıa de los errores lexicos son provocadospor una unica transformacion.
Se realizan transformaciones relativamente simples:
+ Eliminar un caracter: dato$1 =⇒ dato1+ Insertar un caracter: include =⇒ #include+ Permutar dos caracteres: => =⇒ >=+ Modificar un caracter: /# =⇒ /*
Es costoso de implementar.
Es adecuado para un entorno local o interactivo.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 524 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
Deteccion y recuperacion de erroresMetodos de recuperacion de los errores lexicos
Nota
Se debe informar de la transformacion realizada.
La transformacion no pretende corregir el error, sino continuarcon el analisis lexico.
Posteriormente, el programador debera supervisar latransformacion realizada.
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 525 / 526
Procesadores de Lenguajes Tema II: Analisis Lexico
PROCESADORES DE LENGUAJESTEMA II: ANALISIS LEXICO
Prof. Dr. Nicolas Luis Fernandez Garcıa
Departamento de Informatica y Analisis NumericoEscuela Politecnica Superior
Universidad de Cordoba
Universidad de Cordoba: Escuela Politecnica Superior Ingenierıa Informatica 526 / 526