164 test resuelto
DESCRIPTION
164 test de programacionTRANSCRIPT
-
INF-164 1er
parcial II/2013
A C.I. Apellido Nombre firma _
So poi
0 p
1 q
Fuente
Original
S pi
000 ppp
001 ppq
010 pqp
011 pqq
100 qpp
101 qpq
110 qqp
111 qqq
Tercera
extensin
T pi
0 qqq
1 3pqq
2 3ppq
3 ppp
Fuente T
1. Sean S={s1, s2, s3} y T={t1, t2} dos fuentes -no necesariamente estadsticamente independientes- con probabilidades {p1, p2, p3}
y {q1, q2} respectivamente. Si el producto S T es la fuente cuyos smbolos son los pares (si, tj), demostrar que: H(S T) H(S) + H(T).
)()()()()|(
)()/(
)(log)()|(log)()(log)()|()|(log)()|(
)(log)|(log)()|()()|(log)()|()(
THSHTSHSHTSHcomo
THTSH
tPtPtsPtPtPtPtsPtsPtPtsP
tPtsPtPtsPtPtsPtPtsPTSH
i
jj
i j
jij
i j
jjji
i j
jijji
i j
jjijji
i j
jjijji
2. Sea S la extensin de tercer orden de una fuente binaria de memoria nula, cuya probabilidad de emitir un 0 es igual a p. Otra fuente, T, observa las salidas de S, emitiendo un 0, 1, 2 3 segn que la salida de S contenga 0,1,2 3 ceros.
a) (10) Calcular H(S) b) (15) Calcular H(T) c) (05) Interpretar el resultado de H(S) H(T).
3
3
2
2
2
2
3
3 1log1
log31
log31
log)(q
qpq
pqqp
qpp
pSH
3
3
2
2
2
2
3
3 1log3
1log3
3
1log3
1log)(
qq
pqpq
qpqp
ppTH
)()()3log(3)()3log(3)3(log3)3(log3)()( 2222 THSHpqpqqppqqpTHSH
3. Determinar la entropa de la fuente afn de la siguiente fuente de Markov de segundo orden
0.30.9
0.8 0.4
0.2
0.7
01
11
00
10
0.6
0.1
1,56
1/13
3/13
3/13
6/13
= 4/13
= 9/13
0,89049
p(1)=p(1/00)p(00)+p(1/10)p(10)+p(1/01)p(01)+p(1/11)p(11) = w2 + w4
p(00) = w1 = p13p34 / D =
p(01) = w2 = p34p21 / D =
Entropia de la Fuente Afin S'
H( S' ) =
p(10) = w3 = p34p21 / D =
p(11) = w4 = p42p21 / D =
D = p34p13+ 2p21p34 + p42 p21 =
p(0)=p(0/00)p(00)+p(0/10)p(10)+p(0/01)p(01)+p(0/11)p(11) = w1 + w3
1 31 1 1
2 2 21 3
3 3 32 4
4 4 42 4
1 2 3 4
1 3
0.1 0.0 0.3 0.00.1 0 0.3 00.9 0.0 0.7 0.00.9 0 0.7 0
0 0.8 0 0.4 0.0 0.8 0.0 0.40 0.2 0 0.6 0.0 0.2 0.0 0.6
1
0.9 0.0 0.3 0
w ww w ww w ww ww w ww ww w ww w
w w w w
w w
131 31 2 3 2 3
2 3 4122 42 4
1 1 13 3 61 2 3 4 1 2 3 4 1
3 3 6113 13 13 131 1 1 1 1 1 2 3 4
.0 00.9 0.7 0.0 0
00.0 0.2 0.400.0 0.8 0.0 0.4
3 ; 6
3 3 6 1 13 1 ; ; ;
w ww w w w w
w w ww ww w
w w w w w w w w w
w w w w w w w w w
0,1 0,0 0,3 0,0 0,077 0,077
0,9 0,0 0,7 0,0 0,231 0,231
0,0 0,8 0,0 0,4 0,231 0,369
0,0 0,2 0,0 0,6 0,462 0,323
X =
-
INF-164 1er
parcial II/2013
B C.I. Apellido Nombre firma _
1. Sean S={s1, s2} y T={t1, t2, t3} dos fuentes -no necesariamente estadsticamente independientes- con probabilidades {p1, p2} y {q1, q2, q3} respectivamente. Si el producto S T es la fuente cuyos smbolos son los pares (s i, tj), demostrar que:
H(S T) H(S) + H(T). 2. El nmero de cdigos diferentes correspondientes a una fuente S de q smbolos puede cifrarse con ayuda de rboles.
Encontrar todos los rboles diferentes que corresponda a algn cdigo compacto ternarios con q = 7. Dos cdigos son diferentes si sus conjuntos de longitudes de palabras son diferentes. A cada rbol encontrado coloque su conjunto de longitudes e indique las probabilidades para el cual cada cdigo encontrado tiene el 100% de eficiencia.
e
31
1 2 3
3332
33
1
33
3
33
2
32
1
32
3
32
2
31
1
31
3
31
2
e
31
1 2 3
333222
33
1
33
3
33
2
32
1
32
3
32
2
21 23
e
31
2 3
333222
33
1
33
3
33
2
21 23
1
1211 13
si 1 2 3 4 5 6 7 8 9 10 11
xi 1 2 311 312 313 321 322 323 331 332 333
li 1 1 3 3 3 3 3 3 3 3 3
pi 0,33 0,33 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 1
pi*li 0,33 0,33 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 1,67 =L
-pi*log(pi) 0,33 0,33 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 1,67 =H(S)
si 1 2 3 4 5 6 7 8 9 10 11
xi 1 21 22 23 31 321 322 323 331 332 333
li 1 2 2 2 2 3 3 3 3 3 3
pi 0,33 0,11 0,11 0,11 0,11 0,04 0,04 0,04 0,04 0,04 0,04 1
pi*li 0,33 0,22 0,22 0,22 0,22 0,11 0,11 0,11 0,11 0,11 0,11 1,89 =L
-pi*log(pi) 0,33 0,22 0,22 0,22 0,22 0,11 0,11 0,11 0,11 0,11 0,11 1,89 =H(S)
si 1 2 3 4 5 6 7 8 9 10 11
xi 11 12 13 21 22 23 31 32 331 332 333
li 2 2 2 2 2 2 2 2 3 3 3
pi 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,04 0,04 0,04 1
pi*li 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11 0,11 2,11 =L
-pi*log(pi) 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11 0,11 2,11 =H(S)
3. Determinar la entropa de la fuente afn de la siguiente fuente de Markov de segundo orden:
0.70.9
0.2 0.4
0.8
0.3
01
11
00
10
0.6
0.1