La teora de la informacin fue desarrollada por Claude E. Shannon para encontrar los lmites fundamentales en la compresin y almacenamiento confiable y comunicacin de datos. ... se ha ampliado para encontrar aplicaciones en muchas otras reas, incluyendo inferencia estadstica, procesamiento del lenguaje natural, criptografa, otras redes diferentes a las redes de comunicacin como en neurobiologa, la evolucin y funcin de cdigos moleculares, seleccin de modelos en ecologa, fsica trmica, computacin cuntica, deteccin de plagiarismo y otras formas de anlisis de datos.
Una medida clave de la informacin en la teora es conocida como entropa, la que usualmente se expresa como el nmero promedio de bits necesarios para almacenamiento o comunicacin. ...La entropa cuantifica la incertidumbre involucrada al encontrar una variable al azar. Por ejemplo, tirar una moneda (con dos resultados probables) tendr menos entropa que tirar un dado (con 6 resultados igualmente probables).

Aplicaciones de tpicos fundamentales de la teora de la informacin incluyen compresin sin prdida de datos (ej. Archivos ZIP), compresin de datos con prdida (ej. MP3s), y codificacin de canal (ej. Para lneas DSL). El campo est en la interseccin de las matemticas, estadstica, ciencias de la computacin, fsica, neurobiologa, e ingeniera elctrica. Su impacto ha sido crucial para el xito de las misiones del Voyager al espacio profundo, la invencin del disco compacto, la factibilidad de los telfonos mviles, el desarrollo de Internet, el estudio de la lingstica y la percepcin humana, la comprensin de los agujeros negros, y otros campos numerosos. Subcampos importantes de la teora de la informacin son la codificacin de fuentes, codificacin de canales, teora de la complejidad algortmica, teora de la informacin algortmica, y medida de la informacin.

Segn el trabajo original de Shannon:
Un sistema de comunicacin consiste de cinco partes esenciales:
1. Una Fuente de Informacin que produce un mensaje o secuencia de mensajes a ser comunicados a una terminal receptora. Los mensajes pueden ser de varios tipos: Una secuencia de letras

Una funcin nica de tiempo ft como en radio o telefona

Ua funcin de tiempo y otras variables como en la televisin en blanco y negro- aqu el mensaje puede considerarse como una funcin fxy de dos coordenadas espaciales y tiempo, la intensidad de la luz en el punto xy y tiempo t en la placa del tubo.

2o ms funciones de tiempo, es decir ft, gt, ht- este es el caso de la transmisin de sonido tridimensional o si el sistema intenta servir varios canales individuales en mltiple.

varias funciones de varias variablesen la televisin de color consiste de tres funciones fxyt, gxyt, hxyt definidas en un continuo tridimensionaltambin podemos pensar de esas tres funciones como componentes de un campo de vectores definido en la reginsimilarmente, varias fuentes de televisin blanco y negro produciran mensajes consistentes de un nmero de funciones de tres variables.

Tambin pueden ocurrir varias combinaciones, por ejemplo en televisin con un canal de audio asociado.

2. Un Transmisor que opera sobre el mensaje de alguna manera para producir una seal adecuada para la transmisin a travs del canal. En telefona esta operacin consiste meramente de cambiar la presin de sonido en una corriente elctrica proporcional. En telegrafa tenemos una operacin de codificacin que produce una secuencia de puntos, rayas y espacios en el canal correspondiente al mensaje. En un sistema PCM mltiple las diferentes funciones de lenguaje deben ser muestreadas, comprimidas, cuantificadas y codificadas, y finalmente interfoliadas adecuadamente para construir la seal. Sistemas Vocoder, televisin y frecuencia modulada son otros ejemplos de operaciones complejas aplicadas al mensaje para obtener la seal.

3. El canal es meramente el medio utilizado para transmitir la seal del transmisor al receptor. Puede ser un par de alambres, un cable coaxial, una banda de frecuencia de radio, un haz de luz, etc.

4. El Receptor ordinariamente realiza la operacin inversa de la hecha por el Transmisor, reconstruyendo el mensaje de la Seal.

5. El Destino es la persona (o cosa) para quien se propone el mensaje. Podemos clasificar los sistemas de comunicacin en tres categoras principales: Discretos, Continuos y Mixtos. Entendemos como Sistema Discreto uno en el que ambos Mensaje y Seal son una secuencia de smbolos discretos. Tpico caso es el telgrafo donde el mensaje es una secuencia de letras y la seal una secuencias de puntos, rayas y espacios. Un Sistema Continuo es uno en el que el Mensaje y la Seal son tratados como funciones continuas, ej. Radio o televisin. Un Sistema Mixto es uno en el que aparecen ambas, variables Continuas y Discretas, ej. Transmisin de palabras PCM.