20/10/2014 Clase 17 1

TEMTICA DE HOY

Tiempos de Ocupacin.

Procesos con Matrices de Probabilidades de Transicin de

orden 22

20/10/2014 Clase 17 2

TIEMPOS DE OCUPACIN

Por tiempos de ocupacin queremos significar el

nmero de pasos que el proceso se queda en un

estado determinado durante un perodo de tiempo

dado.

Sea el nmero de veces que el proceso visita

el estado j en n pasos, dado que el proceso estaba

inicialmente en el estado i.

Entonces es la fraccin del tiempo que el

proceso visita el estado j en n pasos.

nijN

nijN

n

20/10/2014 Clase 17 3

La cantidad es una variable aleatoria que se

identifica como sigue:

Se define una variable aleatoria indicadora por

Con

Donde es la cadena de Markov.

Se tiene que y

Entonces tambin

Por consiguiente

nijN

kijY

01 Si dado que

0 en cualquier otro caso

k k

ij

X j X iY

, 0,1,2,...nX n

1k kij ijP Y P 0 1k kij ijP Y P

k kij ijE Y P 1

nn k

ij ij

k

N Y

1

1 1 nn kij ij

k

E N Pn n

20/10/2014 Clase 17 4

Para determinar los tiempos de ocupacin a largo

plazo, debemos calcular:

Esto demuestra que las probabilidades limtrofes

son tambin las fracciones del tiempo que se

espera que la cadena de Markov ocupe los

diferentes estados en un largo nmero de pasos. Y

estas fracciones son independientes del estado

inicial del proceso (o cadena de Markov).

Recuerde el caso del ejecutivo.

1

1 1lim lim

nn k

ij ij jn n

k

E N Pn n

20/10/2014 Clase 17 5

Suponga ahora que la Cadena de Markov est en

el estado i en algn momento.

Sea el nmero de nuevos perodos que el pro-

ceso se queda en el estado i hasta que se mueve

fuera de l.

La distribucin de probabilidades de se obtie-

ne considerando las transiciones como ensayos

repetidos con resultados i i y i no i. Y con

probabilidades Pii y 1-Pii respectivamente.

Y la distribucin de probabilidades de sigue

una distribucin Geomtrica.

i

i

i

20/10/2014 Clase 17 6

La cual viene dada por :

Con Esperanza:

Y con varianza:

1ni ii iiP n P P

1

iii

ii

PE

P

21

iii

ii

PV

P

20/10/2014 Clase 17 7

CADENAS DE MARKOV CON DOS ESTADOS.

Revisar el texto en la pagina 107.

20/10/2014 Clase 17 8

TIEMPOS DE OCUPACIN

Ir a la pgina 105 del texto.