Pgina 1 de 8

Teora de la Informacin - Modelo de comunicacin

Cunta informacin transmite la fuente?

Notar: Emisor y Receptor deben tener un alfabeto comn.

La informacin "Definimos como informacin a todas aquellas representaciones simblicas que por el significado que le asigna quien la recibe e interpreta, contribuyen a disminuir la incertidumbre"

Un suceso contendr mayor cantidad de informacin, a menor probabilidad de ocurrencia.

El concepto de informacin supone la existencia de duda o incertidumbre.

EFECTOS DE LA INFORMACIN (Shannon): "Informacin es lo que reduce la incertidumbre"

"Es el conjunto de datos que permiten tomar una decisin".

La jerarqua de la informacin Datos: fragmentos inconexos (140 km/h).

Informacin: datos organizados o procesados (140 km/h, circulando por autopista).

Conocimiento: es informacin internalizada (velocidad excesiva).

Sabidura: es conocimiento integrado (si circulo a velocidad excesiva = multa).

Medida de la Informacin El valor La Informacin es lo incomprensible que posee un mensaje, es lo original que contiene

Existir Mensaje: slo si contiene, o es portador de informacin.

Mensaje de informacin mxima: Si sus elementos son originales al 100% : es ininteligible

Pgina 2 de 8

El VALOR de un mensaje es mayor si es ms nuevo (aporta mas al aprendizaje del receptor) Medir la cantidad de informacin de un mensaje es medir lo IMPREVISIBLE que contiene .

Equivale a medir la PROBABILIDAD de que algo sea imprevisible para el receptor.

Redundancia Al formar una palabra se elige una primera letra de todas las posibles; luego, se elige la segunda letra cuya probabilidad depende de la primera letra seleccionada, y as hasta formar la palabra. La informacin aportada por las ltimas letras de una palabra es menor.

En los idiomas permite que si se pierde parte de un mensaje podamos completarlo.

Pr jmpl, qtms tds ls vcls.

La redundancia es que nos permite ahorrar tiempo en la decodificacin de los mensajes. Generalmente, no leemos cada una de las letras y palabras que conforman un texto, sino que vamos adivinando lo que viene:

Sgen un etsduio de una uivenrsdiad ignlsea, no ipmotra el odren en el que las ltears etsan ersciats, la uicna csoa ipormtnate es que la pmrirea y la tlima ltera esten ecsritas en la psiocin cocrrtea. El rsteo peuden estar ttaolmntee mal y aun pordas lerelo sin pobrleams.

Principios de la medicin de informacin Primer Principio:

La informacin que suministra un evento es funcin de la inversa de probabilidad de ocurrencia del mismo:

I = (1/P) Es la probabilidad que tiene un mensaje de ser enviado (no su contenido), lo que determina su valor informativo. Segundo Principio ( informacin mutua):

La informacin total recibida ser la suma de las informaciones mutuas.

Si ocurren dos eventos simultneamente: a y b, que nos aportan informacin:

I = Ia + Ib = (1/Pa) + (1/Pb)

Pero la informacin deber ser esa misma funcin de a y b simultneamente, es decir:

I = ( 1 / Pa y b )

Si los eventos son independientes, la probabilidad de que ocurran simultneamente es:

P(a y b) = P(a)*P(b)

De (1) y (2) vemos que las informaciones se suman, mientras que las probabilidades se multiplican.

La funcin que nos permite realizar esto es evidentemente una funcin logartmica, o sea:

I = log(1/P)

Pgina 3 de 8

UNIDADES DE INFORMACION

I (a) = log 2 BIT ( tambin: SHANNON)

I (a) = log e (NAT)

I (a) = log 10 (HARTLEY)

BIT Y BINITS Seales Binarias con dos niveles de tensin. Al 0 y al 1 se les llama dgitos binarios.

Si cada dgito es equiprobable: P(0) = P(1) = 1/2, la informacin por cada dgito binario ser:

I = log(1/) = log2 = 1 [bit]

A un dgito binario se lo llama binit

A la unidad de informacin se la llama BIT.

BIT es la unidad de informacin que transporta un dgito binario.

(No siempre un dgito binario transporta un bit de informacin )

o Si los dgitos binarios son conocidos de antemano (010101010101) o Si los ceros y los unos no son equiprobables

Dgitos binarios que CONTIENEN informacin:

o Forman cdigos, representan letras, nmeros y smbolos especiales. Dgitos binarios que NO CONTIENEN informacin:

o Bits de paridad, bits de sincronismo para principio y fin de transmisiones.

SIMBOLOS Y DATOS Smbolo: Todo aquello que por una convencin predeterminada hace alusin a algo que no necesariamente debe estar presente.

Atributos: Son las propiedades o cualidades de los sucesos al representarse simblicamente.

Datos: Son representaciones simblicas de propiedades o cualidades de entes o sucesos.

Informacin de un smbolo: Si una fuente sin memoria que entrega smbolos:

o Antes de la aparicin del smbolo: estado de incertidumbre, desconocimiento del smbolo que aparecer.

o En la aparicin del smbolo: sorpresa, porque aparece un smbolo no esperado. o Tras la aparicin del smbolo: aumento en la informacin que tenemos ya que no

tenemos la incertidumbre anterior.

1

P (a)

1

P (a)

1

P (a)

Pgina 4 de 8

=

ii p

sI 1log)( 2 (Bits)

La informacin de un smbolo tiene las siguientes propiedades:

0)( isI , (probabilidad: entre 0 y 1). El smbolo nunca supondr prdida de informacin.

10)( == ii psI . Si sabemos que smbolo va a aparecer, no aporta informacin.

jiji ppsIsI >< para)()( , (a mayor sorpresa, mayor informacin).

)()()( jiji sIsIssI += . La informacin aportada por un smbolo que es la concatenacin de otros dos es la suma de las informaciones de ambos smbolos.

Fuentes de informacin Una fuente de informacin es un elemento que entrega informacin

o Fuentes sin memoria: los smbolos que emite son estadsticamente independientes. o Fuentes con memoria: la aparicin de los smbolos no es estadsticamente

independiente.

Entropia Magnitud que mide la informacin contenida en un flujo de datos con m simbolos diferentes.

La entropa H de una fuente es igual a la cantidad de informacin media de sus mensajes.

H = Imed

H = p1*log(1/p1) + p2*log(1/p2) + .. + pm*log(1/pm)

Si en los mensajes sus probabilidades son iguales, la entropa total ser: H = log2 m

La entropa nos indica el lmite terico para la compresin de datos.

Se utiliza habitualmente el logaritmo en base 2, y entonces la entropa se mide en bits. Ejemplo :

Transmitamos mensajes del abecedario. (combinaciones aleatorias y mensajes equiprobables):

o 26 Letras + 5 signos de puntuacin + 1 espacio en blanco = 32 smbolos

La entropa ser: H = log2 32 = 5

Significa que se necesitan 5 bits para codificar cada smbolo: 00000, 00001, 00010, etc.,

La entropa nos permite ver la cantidad de bits necesarios para representar el mensaje que se va a transmitir.

Un mensaje suministra la mayor cantidad de informacin cuando todos los elementos del mensaje son equiprobables.

Pgina 5 de 8

G r a f i c o d e E n t r o p a H

0

0 , 4 7

0 , 7 2

0 , 8 80 , 9 7 1 0 , 9 7

0 , 8 8

0 , 7 2

0 , 4 7

00

0 , 2

0 , 4

0 , 6

0 , 8

1

1 , 2

P ( 0 ) = P ( 1 )

H=[

bit/

dig

ito]

Informacin de una fuente. Si no todos los binits pueden traer un bit de informacin.

Si la informacin mutua depende de los smbolos que una fuente puede producir.

Si el diseo de las fuentes es para todo tipo de mensajes y no para un mensaje particular.

Entonces, se debe definir la fuente en trminos de informacin promedio o entropa de la fuente.

Entropa de fuentes sin memoria La entropa H, representa la incertidumbre media en la ocurrencia de cada smbolo.

Permite describir la fuente en trminos de la informacin promedio producida por ella.

Se puede tener el caso de que varias entropas sean iguales pero una fuente ms rpida (entrega ms smbolos por unidad de tiempo) que otra.

La informacin que entregue la fuente ser el valor medio de las informaciones que entregue cada smbolo individualmente cada vez que aparezcan. Este parmetro se llama Entropa de la fuente, y se puede expresar como:

{ } =

==m

iiim sIpsIE

1

)()()S(H (E{} es la esperanza matemtica.)

La entropa mide la informacin media, y por tanto, la cantidad media de smbolos necesarios.

Propiedades de H(S):

)(log)S(H0 2 m , no es negativa y est acotada superiormente. La fuente no puede suponer una prdida de informacin. No puede entregar informacin ilimitada.

10)( == ipSH para algn i. En este caso el resto de las probabilidades sern nulas. Entropa nula (caso de menor incertidumbre).

impm i "==1)(log)S(H 2 .Si todos los smbolos son equiprobables, la incertidumbre

ser mxima, y nos encontraremos en el lmite superior de la entropa.

Se mide en bits/smbolo. (Obtenemos H bits por cada smbolo transmitido).

Entropa Normalizada Para comparar la entropa de fuentes con diferente nmero de smbolos.

)(log)S(H

)S(H2 m

= de manera que 1)(0 SH .

Es como si estuvisemos normalizando en nmero de smbolos a 2 (nmero mnimo de smbolos).

Hmax = log m ->

Pgina 6 de 8

Tasa de informacin (R) Si dos fuentes tienen igual entropa, pero una es ms rpida (produce ms smbolos por unidad de tiempo): a igual tiempo, tranfiere ms informacin la fuente ms rpida.

Definicin: Velocidad o Tasa de Informacin (R) es el Cociente entre la entropa de la fuente respecto de la duracin promedio de los smbolos que sta enva.

( )t

sR H= bits por seg. (bps) Shannon por seg.

t = duracin promedio de los smbolos (se mide en seg/smbolo). R nos brinda la cantidad de informacin producida por una fuente, en un determinado tiempo.

Velocidad de sealizacin (r) Las seales se transmiten en los canales como smbolos de duracin fija.

La duracin de cada seal determina la Velocidad de Sealizacin.

Es la inversa del ancho de pulso ( smbolo) enviado:

t1

=r [binits/seg.]=Baudio

BAUDIO: el nmero de elementos de seal (smbolos) que puede ser transmitido por segundo.

Tambin: la cantidad de dgitos o binits que es transmitida por segundo = BAUDIOS

El Baudio mide la velocidad de sealizacin. Indica la velocidad de los smbolos.

Unidad de la Tasa de Informacin Usando la Velocidad de sealizacin, nuestra Tasa de informacin nos queda:

( )srR H= . R = [binits/seg.] * [bits/binits] = [bits/seg.] (BPS)

Velocidad de sealizacin Mxima posible (S) La inversa del periodo ms corto de los pulsos que contenga el mensaje.

Con pulsos de seal de igual duracin, r es el nmero de dichos pulsos por segundo, o el mximo nmero de transiciones de estados del canal por segundo.

1 0 1 0 1 )()(min

1BaudiosS

segS =

T=

Es decir: r(max) = S

? min.

Pgina 7 de 8

m Niveles:

3 v

2 v

1 v

0 v 0 1 2 3 4 5 6 7 8 9 10 ? T(seg)

0 v

0 = -12v

1 = +12v

Pulso de datos = 20ms Pulsos de parada = 30ms

6 1

Ejemplo. Emisin de datos codificados en pulsos bipolares con I = 1 Bit c/u (equiprobables):

Pero se transmiten siete binits cada 150 mseg.: Baudiossegbinitsmseg

binitsr 46/46)(150

7 ==

Pero Istop=0 => (Tasa o cantidad de informacin de la fuente)

Si ( )xrR H= . -> binitsbitssegbinitssegbits

rR /869,0

/46/40 ===H (Inf. Prom. por c/smbolo entregado)

CAPACIDAD DEL CANAL (C)

? t ?

Posibilidades en cada intervalo: 41, 42, 43,., 4(T/t) m(T/t)

La cantidad de smbolos distintos estar dada por la cantidad de niveles distintos.

A Inf. Mx. (smbolos del mensajes equiprobables) la probabilidad de que aparezca un cierto

smbolo en un tiempo T ser: t

T=Rm

1 y se transmite: mm xx loglog t

t T=I=IT

En un tiempo T, tranportar esa Informacin, por lo tanto (en bits):

)/(log1 2 segbitmCnInformaciC

t=

T=

Como t1=S resulta: R = S logx m

Lo cual significa que un canal que quiera transportar esa cantidad de informacin deber tener una capacidad: C = S log m (o mayor):

R = C

Baudiosms

S 5020

1 ==

msT 20min =

segbitsmsegbitsR /40

)(1506 ==

Pgina 8 de 8

CANAL IDEAL: Si intoducimos en la entrada m smbolos, a su salida reproduce exactamente los mismos smbolos. (En el canal ideal no se consideran ruido ni distorsin).

C = S log m es la mayor informacin por unidad de tiempo que puede transportar.

TEOREMA DE NYQUIST La velocidad de sealizacin esta relacionada con B (el ancho de banda del canal).

El teorema de Nyquist establece que:

S = 2 B Mxima velocidad de datos posibles en un canal sin ruido y con un ancho de banda infinito.

Frecuencia de Nyquist: Frecuencia de muestreo. No puede ser superior al doble de la frecuencia de la seal a muestrear: FN = 2 f (a mayor frecuencia, la inf. es redundante).

FN 1 :

C =2 B log2 m Tambin: C =2 B. H

= S H

A esta velocidad binaria la llamamos Lmite de Nyquist.

TEOREMA DE SHANNON - HARTLEY Hartley, y despus Shannon, demostraron que la capacidad de un canal de transportar informacin en presencia de ruido vale:

C = B log (1 + S/N) [bits/seg.]

S/N es la relacin seal a ruido expresada en nmero de veces (no en dB).

Comparando con el Teorema de Nyquist: C =2 B log2 m C = B log2 m2

Donde: m = 1 + S/N

WW+=+=+=

1/1/)(1

RuidodeleficazValorRuidosealladeeficazValor

NNS

NSm

Es decir, podemos determinar el nmero mximo de niveles de la seal o cantidad de smbolos que se pueden enviar, considerando el ruido presente en el canal.

C depende de la relacin seal a ruido (S/N) y del ancho de banda, y es independiente de la tasa de informacin de la fuente (su velocidad).

B = ancho de banda del canal

S = potencia media de la seal

N = potencia media del ruido