Categoras lxicas ms usuales

Algunas familias de categoras lxicas tpicas de los lenguajes de programacin son:

Palabras clave

Palabras con un significado concreto en el lenguaje. Ejemplos de palabras clave en C son while, if, Return, etc.

Habitualmente las palabras clave son reservadas. Si no lo fueran, el analizador lxico necesitara informacin del sintctico para resolver la ambigedad. Cada palabra suele corresponder a una categora lxica.

Identificadores

Nombres de variables, nombres de funcin, nombres de tipos definidos por el usuario, etc. Ejemplos de identificadores en C son i, x10, valor_leido, etc.

Operadores

Smbolos que especifican operaciones aritmticas, lgicas, de cadena, etc. Ejemplos de operadores en C son +, *, /, %, ==, !=, &&, ||, etc.

Constantes numricas

Literales que especifican valores numricos enteros (en base decimal, octal, hexadecimal, etc.), en coma flotante, etc. Ejemplos de constantes numricas en C son 928, 0xF6A5, 83.3E+2, etc.

Constantes de caracter o de cadena

Literales que especifican caracteres o cadenas de caracteres. Un ejemplo de literal de cadena en C es "una cadena"; ejemplos de literal de carcter son 'x', '\0', etc.

Smbolos especiales

Separadores, delimitadores, terminadores, etc. Ejemplos de estos smbolos en C son {, }, ;, etc. Suelen pertenecer cada uno a una categora lxica separada.

Hay 3 categoras lxicas que son especiales:

Blancos

En los denominados lenguajes de formato libre" (C, Pascal, Lisp, etc.) los espacios en blanco, tabuladores y saltos de lnea slo sirven para separar componentes lxicos. En ese caso, el analizador lxico se limita a suprimirlos. En otros lenguajes, como Python, no se pueden eliminar totalmente.

Comentarios

Informacin destinada al lector del programa. El analizador lxico los elimina.

Fin de entrada

Se trata de una categora ficticia emitida por el analizador lxico para indicar que no queda ningn componente pendiente en la entrada.