teoría de la información - aula...

Teoría de la información breve introducción práctica

Javier García, Graphics & Imaging Laboratory (UdG)

Contenido • Introducción • Definición de Información y Entropía • Ejemplos de aplicación I • Ejemplos de aplicación II

Introducción

• Entropía física (siglo XIX) vs Entropía de información (siglo XX) • Telecomunicaciones & informática basada en T.Información

Información & Entropía

conjunto de posibles resultados de una observación

p i probabilidad de un resultado concreto

I i información asociada al resultado i I i log2p i

Ejemplo 1: Lanzar una moneda

cara,cruzpcara 1

2pcruz 1

2

I cara log212 1 bit

I cruz log212 1 bit

Valor promedio de x i

p ixi

i

p i log2p i 12

log212 1

2log2

12 1 bit

Ejemplo 2 : Género de personas viendo el fútbol en un bar

hombre,mujer

phombre 910

pmujer 110

I hombre log2910

0.15 bits

I mujer log2110

3. 32 bits

i

p i log2p i 910

log2910 1

10log2

110

0.47 bit

Ejemplo 3 : Moneda con caras iguales

cara,cruz

pcara 1 pcruz 0

I cara log21 0 bits

I cruz log20 bits

i

p i log2p i 1log21 0log20 0 bit


Ejemplo 1: Lanzar una moneda

Ejemplo 2 : Género de personas viendo el fútbol en un bar

Ejemplo 3 : Moneda con caras iguales

1 bit

0.47 bits

0 bits

¿Qué aprendemos?

• Cuando los resultados son equiprobables: 1 bit de información en promedio • Cuando sólo un resultado es posible: 0 bits de información en promedio • Cualquier otra posibilidad: entre 0 y 1 bits de información.

ENTROPIA ∼ INFORMACION PROMEDIO EN EL RESULTADO


Todos los experimentos expuestos en los ejemplos anteriores tienen 2 posibles resultados.

Ejemplos de aplicación I

Problema a solucionar Una máquina ‘expulsa’ números X.

Posibles salidas de X: 1, 2, 3, 4, 5, 6, 7 ó 8 Probabilidades:

Queremos saber qué número ha salido.

Solo podemos hacer preguntas de SÍ o NO

X?

¿Cuál es el mínimo número de preguntas?

p1,p2,p3,p4,p5,p6,p7 y p8

Ejemplos de aplicación I (http://blog.pseudolog.com)

CASO 1: Búsqueda binaria

X?

p1 p2 . . . p8 18

Pregunta: ¿Es 1, 2, 3 ó 4?

Sí No

Pregunta: ¿Es 1 ó 2? Pregunta: ¿Es 5 ó 6?

Sí No

Pregunta: ¿Es 1?

Sí No 1 2

Pregunta: ¿Es 3?

Sí No 3 4

Sí No

Pregunta: ¿Es 5?

Sí No 5 6

Pregunta: ¿Es 7?

Sí No 7 8

NUMERO DE PREGUNTAS: 3


CASO 2: Búsqueda Jerárquica

X?

Pregunta: ¿Es 1? Sí

NUMERO DE PREGUNTAS: 2.83

p1 0.35 p2 0.25 p3 0.12 p4 0.10

p5 0.08 p6 0.06 p7 0.03 p8 0.01

No Pregunta: ¿Es 2?

Sí No Pregunta: ¿Es 3?





Sí No

1

2

3

4

5

6

7 8

0.35 1 0.25 2 0.12 3 0.10 4 0.08 5 0.06 6 0.03 7 2.83

p1 1 p2 2 . . .p7 7

Valor esperado de número de preguntas


CASO 3: SHANNON-FANO ELEGIR PREGUNTAS ∼ BINARIAS en probabilidades

X?

Pregunta: ¿Es 1,3 ó 7?

Sí

p1 0.35 p2 0.25 p3 0.12 p4 0.10

p5 0.08 p6 0.06 p7 0.03 p8 0.01

No Pregunta: ¿Es 1?

Sí No 1 Pregunta: ¿Es 3?

Sí No 3 7

Pregunta: ¿Es 2?

Sí No 2 Pregunta: ¿Es 5 ó 6?

Sí No

5 6

Pregunta: ¿Es 5?

Sí No 4 8

Pregunta: ¿Es 4?

Sí No

p1 0.35 | p3 p7 0.15

p1 p3 p7 0.5 | p2 p4 p5 p6 p8 0.5

p3 0.12 | p7 0.03

p2 0.25 | p4 p5 p6 p8 0.25

p5 p6 0.14 | p4 p8 0.11

p5 0.08 | p6 0.06 p4 0.10 | p8 0.01

1 preguntas. Probabilidad = 0 2 preguntas. Probabilidad = 0.35 + 0.25 = 0.60 3 preguntas. Probabilidad = 0.12 + 0.03 = 0.15 4 preguntas. Probabilidad = 0.08 + 0.06 + 0.10 + 0.01 = 0.25 Valor esperado de preguntas = 1 × 0 + 2 × 0.60 + 3 × 0.15 + 4 × 0.25 = 2.65



CASO 4: HUFFMAN (óptimo) CONSTRUIR ARBOL DE MENOR A MAYOR PROBABILIDAD

X?

p1 0.35 p2 0.25 p3 0.12 p4 0.10

p5 0.08 p6 0.06 p7 0.03 p8 0.01

Pregunta: ¿Es 6? 0.10 No

5 0.08

Pregunta: ¿Es 5? 0.18 Sí No

7 0.03 8 0.01

Pregunta: ¿Es 7? 0.04 Sí No


6 0.06

Sí

Pregunta: ¿Es 3? 0.22

3 0.12 Sí No

4 0.10

Pregunta: ¿Es 3 ó 4? 0.40

Sí No

Pregunta: ¿Es 1 ó 2? 1

Sí Pregunta: ¿Es 1? 0.60 No

Sí No 1 0.35 2 0.25

0.35 0.25 2 0.12 0.10 0.08 3 0.06 4 0.03 0.01 5 2. 54


HUFFMAN (óptimo) versus ENTROPIA

Codificación de las preguntas en 0’s y 1’s

Pregunta: ¿Es 6? 5

Pregunta: ¿Es 5?

7 8

Pregunta: ¿Es 7? 6

Pregunta: ¿Es 3?

3 4

Pregunta: ¿Es 3 ó 4?

Pregunta: ¿Es 1 ó 2?

Sí 1 Pregunta: ¿Es 1?

No 0

1 2 Sí 1 No 0 Sí 1 No 0

Sí 1 No 0 Sí 1 No 0

No 0

No 0 Sí 1 Sí 1

1 = 11 2 = 10 3 = 011 4 = 010 5 = 001 6 = 0001 7 = 00001 8 = 00000

p1 0.35 log2p1 1. 8646

p2 0.25 log2p2 2. 25

p3 0.12 log2p3 3. 1789

p4 0.10 log2p4 3. 4219

p5 0.08 log2p5 3. 7239

p6 0.06 log2p6 4. 1189

p7 0.03 log2p7 5. 0889

p8 0.01 log2p8 6. 6539

Codificación probabilidad información

ENTROPIA p1 log2p1 p2 log2p2 p3 log2p3 p4 log2p4 p5 log2p5 p6 log2p6 p7 log2p7 p8 log2p8 2. 4826

Cota inferior de número de preguntas

Ejemplos de aplicación II

COMPRESION IMAGENES SIN PERDIDAS CON HUFFMAN

6

2

5

3

FRECUENCIAS DE APARICIÓN

PROBABILIDADES DE APARICIÓN

IMAGEN DE 4x4 píxeles con 2 bits/pixel -> 4 niveles de gris

Nivel de gris

00

01

10

11

00

01

10

11

616

0.375216

0.125516

0.3125316

0.1875

0.375 0.375 0.375 0.625 0.3125 0.3125 0.625 0.375 0.1875 0.3125 0.125

00

01

10

11

0.375 0.375 0.625 0.3125 0.3125 0.375 0.1875 0.3125 0.125

01

00

0

1

1 1 00

010

011

00

01

10

11

1

00

010

011

Huffman Original

COMPRESION IMAGENES SIN PERDIDAS CON HUFFMAN

6

2

5

3

FRECUENCIAS DE APARICIÓN

PROBABILIDADES DE APARICIÓN

IMAGEN DE 4x4 píxeles con 2 bits/pixel -> 4 niveles de gris

Nivel de gris

00

01

10

11

616

0.375216

0.125516

0.3125316

0.1875

00

01

10

11

1

00

010

011

Huffman Original

Original Huffman

L 2 0.375 2 0.3125 2 0.1875 2 0.125 2 bits/pixel

L 1 0.375 2 0.3125 3 0.1875 3 0.125 1. 9375 bits/pixel

0.375 log20.375 0.3125 log20.3125 0.1875 log20.1875 0.125 log20.125 1. 8829 bits/pixel

ENTROPIA

00011000101110000010111100100100

1011001000100011000100101000111

Original

Huffman

Ejemplos de aplicación II

Telecomunicaciones Basadas en teoría de la información

Gracias por la atención

teoría de la información - aula...

Documents