elementos de cadenas de markov.ppt

Elementos de Cadenas de Markov

Probabilidad y Estadística Aplicadas a las Operaciones

Especialidad en Dirección de Operaciones

MCE Paul Ramírez De la Cruz

feb 2009

feb 201016 feb 2009 Elementos de Cadenas de

Markov2

Contenido

Introducción Definiciones sobre Cadenas de Markov de

tiempo discreto Ejemplos Estados absorbentes Procesos Poisson Ejemplo


Markov3

Introducción

Consideremos un cajero que atiende a las personas que llegan a una sucursal bancaria

Pensemos que en la fila nunca hay más de tres personas (incluyendo la que se atiende)

Supongamos que los clientes no llegan en grupos

Entonces el número de personas en la fila (incluyendo la que se atiende) puede tomar los valores 0, 1, 2, 3


Markov4

Introducción

Pensemos que el cajero tarda al menos un minuto en atender a un cliente y que en un minuto dado no puede llegar más de un cliente al banco

Si observamos el número de personas en la fila cada minuto, esta cantidad puede:

Aumentar en 1, si llega otro cliente antes de que atiendan al que está en servicio

Disminuir en 1, si se termina de atender al cliente y nadie más llega

Esto se repite a lo largo del día

Minuto 5

Minuto 6

Minuto 7

Minuto 8


Markov5

Introducción

Si podemos considerar que la cantidad de clientes en el próximo minuto depende solamente de la cantidad de clientes en el minuto actual, entonces podríamos determinar la probabilidad de tener una cierta cantidad de clientes en la fila en el próximo minuto

Para ello requeriríamos solamente probabilidades condicionales del tipo:

P(en el siguiente minuto haya i clientes | en este minuto hay j clientes) A fin de poder calcular tales probabilidades, debemos contar con:

Información acerca de la “velocidad” con que atiende el cajero a los clientes

Información sobre la cantidad de clientes que llega al banco por unidad de tiempo


Markov6

Introducción

Una forma adecuada de organizar dicha información es mediante una tabla o matriz

En los renglones colocamos el número actual de clientes

En las columnas, el número de clientes en el siguiente minuto

Llamemos Xn al número de clientes en el minuto n

0 1 2 3

0 0.5 0.5 0 0

1 0.25 0.5 0.25 0

2 0 0.7 0.2 0.1

3 0 0 0.4 0.6Clie

nte

s e

n

el m

inu

to n

Clientes en el minuto n+1

12 1 2 | 1 0.25n np P X X


Markov7

Introducción

Notemos que el primer renglón de la matriz anterior indica las probabilidades de pasar a 0, 1, 2 o 3 clientes en la fila dado que ahora hay cero clientes Como estos valores representan todos los posibles

resultados, deben sumar 1 Lo mismo ocurre con los otros renglones

A una matriz que cumple con esta condición se le llama matriz estocástica (probabilística)


Markov8

Definiciones sobre Cadenas de Markov de Tiempo Discreto

Proceso estocástico Es una función aleatoria que varía en el tiempo Sus valores no pueden ser predichos con exactitud, sino con

cierta probabilidad Proceso o Cadena de Markov

Es un tipo importante de proceso estocástico que cumple con la Propiedad Markoviana

Dicha propiedad implica que el comportamiento futuro del proceso, dada la trayectoria que ha seguido en el pasado y hasta el momento actual, depende únicamente de su situación presente

Esto implica que un proceso de Markov “no tiene memoria” En el ejemplo, el proceso o cadena de Markov, Xn, es el número

de clientes en la fila en el minuto n


Markov9


Si se observa el valor de la cadena de Markov en una cantidad a lo más numerable de momentos: 0, 1, ..., n, ... entonces se dice que es de tiempo discreto

Estados de una cadena de Markov Son los valores que puede asumir el proceso En el ejemplo visto, los estados son 0, 1, 2 y 3

Probabilidades de transición Son las probabilidades de que la cadena pase al estado j dado

que está en el estado i Se representan por pij

Por ejemplo, si i = 1 y j = 2, entonces

12 1 2 | 1 0.25n np P X X


Markov10


Si las probabilidades de transición son constantes con respecto al tiempo, entonces se dice que la cadena de Markov es homogénea o estacionaria

Matriz de transición o matriz estocástica Es la matriz que resume las probabilidades de transición

Si la matriz da las probabilidades de pasar: Del estado i en el tiempo n al estado j en el tiempo n+1, entonces se

le llama “de un paso” Del estado i en el tiempo n al estado j en el tiempo n+2, se le llama

“de dos pasos”, etc Si P es la matriz de un paso de una cadena de Markov,

entonces P2 es la matriz de dos pasos; P3 la de tres pasos, etc


Markov11


La distribución inicial de una cadena de Markov son las probabilidades de que inicie en cada estado

En nuestro ejemplo, siempre se empieza sin clientes, así que siempre tenemos X0 = 0, lo cual es equivalente a decir que P(X0 = 0) = 1

En general podríamos tener una probabilidad de empezar con 0 clientes, una probabilidad de empezar con 1 cliente, etcétera

Esto podríamos expresarlo mediante un vector: (P(X0 = 0), P(X0 = 1), P(X0 = 2), P(X0 = 3)) = (1,0,0,0)


Markov12

Ejemplo 1

Dada la matriz de transición del cajero bancario, calcule

Solución Hay que observar que

Pero por la definición de probabilidad condicional

0 10, 1P X X

0 1 0 10, 1 0 1P X X P X X

0 1 1 0 0

01

0 1 1| 0 0

1 0.5

P X X P X X P X

p


Markov13

Ejemplo 2

Dada la matriz de transición del cajero bancario, calcule

Solución Hay que observar que Por la definición de probabilidad condicional

Luego

Pero por el ejemplo anterior y por la propiedad markoviana

0 1 20, 1, 2P X X X

0 1 2 0 1 20, 1, 2 0 1 2P X X X P X X X

0 1 2 2 0 1 0 10 1 2 2 | 0, 1 0, 1P X X X P X X X P X X

0 1 22 0 1

0 1

0 1 22 | 0, 1

0, 1

P X X XP X X X

P X X

0 1 2 2 0 1 1 0 0

2 1 1 0 0

12 01

0 1 2 2 | 0, 1 1| 0 0

2 | 1 1| 0 0

1 0.25 0.5 0.125

P X X X P X X X P X X P X

P X X P X X P X

p p


Markov14

Ejemplo 3

Considere el problema de enviar un mensaje binario a través de un canal de señal que consta de tres etapas

La transmisión en cada etapa está sujeta a una probabilidad de error fija de 0.01

Suponga que se envía X0 = 0 y que Xn es la señal que se recibe en la n-ésima etapa. Asuma que Xn es una cadena de Markov

Obtenga: La matriz de transición de Xn

La probabilidad de que el mensaje llegue sin errores hasta la segunda etapa: P(X0 = 0, X1 = 0, X2 = 0)

Sugerencia: Sea P la matriz de transición de Xn. Calcule P2


Markov15

Clasificación de estados de una cadena de Markov

Los estados de una cadena de Markov se clasifican dependiendo de la fracción de tiempo que la cadena pasa en cada uno de ellos

Los estados de una cadena de Markov pueden ser: Transitorios Recurrentes Absorbentes


Markov16

Estado Absorbente

Es un estado de una cadena de Markov tal que cuando el proceso llega a él, ya no puede pasar a otro estado

Un estado es absorbente si la probabilidad de que el proceso siga en él es igual a 1

En la siguiente matriz de transición, note que el estado 2 es absorbente, más no así el estado 0

0 1 2 3

0 0 1 0 0

1 0.1 0.5 0.25 0.15

2 0 0 1 0

3 0.2 0.1 0.4 0.3Es

tad

o n

Estado n+1


Markov17

Estados transitorios y recurrentes

Un estado i está comunicado con un estado j si existe una ruta que lleva de i a j

Definimos como la probabilidad de que la cadena de Markov regrese al estado j en n pasos

Se define como la probabilidad de que la cadena regrese eventualmente al estado j y se calcula como

Un estado es transitorio si Un estado es recurrente si

njjf

jjf

1jjf

1jjf

1 2

1

n njj jj jj jj jj

n

f f f f f


Markov18

Cadenas de Markov irreducibles

Cadena de Markov irreducible, es aquella en la que todos los estados están comunicados entre sí

Se puede saber si una cadena de Markov es irreducible verificando que Pk tiene todas sus entradas positivas para algún k natural


Markov19

Ejemplo

Verifique si las siguientes matrices de transición pertenecen a una cadena de Markov irreducible

0 1 2 3

0 0.5 0.5 0 0

1 0.25 0.5 0.25 0

2 0 0.7 0.2 0.1

3 0 0 0.4 0.6

0 1 2 3

0 1 0 0 0

1 0.1 0.5 0.25 0.15

2 0 0 1 0

3 0.2 0.1 0.4 0.3


Markov20

Distribución límite de una cadena de Markov

Si una cadena de Markov es irreducible, entonces tiene distribución límite única Si es reducible, puede que también tenga distribución límite

única La distribución límite de una cadena de Markov

irreducible es un vector de probabilidades que puede interpretarse como: La probabilidad de que en cualquier momento dado, la cadena

se encuentre en el estado j, j = 1,2,…,n; o bien La fracción del tiempo que, en el largo plazo, la cadena pasa en

el estado j, j = 1,2,…,n


Markov21

Distribución límite de una cadena de Markov

Sea P la matriz de transición de una cadena de Markov irreducible con n estados y sea = (1, 2,…, n)t un vector

La distribución límite de la cadena de Markov es la solución de

Note que una de las ecuaciones en P = es redundante

1 2

.

1n

P

s a


Markov22

Ejemplo

Calcule la distribución límite de la cadena de Markov cuya matriz de transición es

0 1 2 3

0 0.5 0.5 0 0

1 0.25 0.5 0.25 0

2 0 0.7 0.2 0.1

3 0 0 0.4 0.6


Markov23

Procesos Poisson

Es uno de los tipos más importantes de procesos estocásticos Ejemplos de sus aplicaciones son

Llegada de consumidores a una estación de servicio Solicitudes de archivos a un servidor de red Ocurrencia de accidentes en un crucero en particular Defectos en un producto manufacturado

Comenzamos definiendo “un contador” que cuenta el número de ocurrencias de un fenómeno a partir de un punto de referencia y definimos

X(t) = Número de ocurrencias en el intervalo (0,t] El contador X(t) se incrementa en una unidad cada vez que hay

una ocurrencia


Markov24

Procesos Poisson

En un proceso Poisson, el número de ocurrencias hasta el tiempo t sigue una distribución Poisson con media t:

X(t) toma sólo valores enteros y X(0) = 0 Los incrementos de X(t) son independientes entre sí y

estacionarios (todos tienen la misma tasa de ocurrencia, t) Lo anterior implica que, por ejemplo, en el caso del banco, los

clientes no llegan en grupos y a lo largo de todo el día llegan con la misma intensidad

Si estas condiciones no se cumplen, no es un proceso Poisson

; 0,1,2,...

!

xte tp x P X t x x

x


Markov25

Ejemplo

Suponga que las solicitudes a un servidor de red siguen la distribución Poisson con tasa =5 por minuto. Encuentre la probabilidad de que haya al menos 8 solicitudes en un periodo de 2 minutos


Markov26

Ejemplo

Los defectos en cierto tipo de cable siguen la distribución Poisson con tasa 1.5 por metro. Encuentre la probabilidad de que haya no más de 4 defectos en una pieza de 2 metros de cable


Markov27

Ejemplo

Una central telefónica recibe llamadas con una intensidad de 3 llamadas por minuto

Calcule la probabilidad de que se reciban 3 llamadas en un periodo de 40 segundos


Markov28

Suma de Procesos Poisson

Si X1(t) es un proceso Poisson con tasa 1t y X2(t)

es otro proceso Poisson con tasa 2t, entonces X3(t) = X1(t) + X2(t) es un proceso Poisson con intensidad (1 + 2)t

Ejemplo Cierto tipo de cacerolas presenta defectos no graves en 10 de

cada 1000 unidades y presenta defectos graves en 1 de cada 10000 unidades

Encuentre la probabilidad de que en las próximas 100 unidades haya por lo menos 2 con algún defecto, grave o no grave

elementos de cadenas de markov.ppt

Documents