cadenas-de-markov.pdf
TRANSCRIPT
CADENAS DE MARKOV
PROCESOS ESTOCÁSTICOS
Una sucesión de observaciones X1, X2, Se denomina proceso estocástico
¨ Si los valores de estas observaciones no se pueden predecir exactamente
¨ Pero se pueden especificar las probabilidades para los distintos valores
Posibles en cualquier instante de tiempo.
X1: v.a. que define el estado inicial del proceso
Xn: v.a. que define el estado del proceso en el instante de tiempo n
Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos
Valores sn de los estados Xn, n = 2, 3, especificamos:
P (Xn+1 = sn+1 | X1 = s1, X2 = s2, Xn = sn )
CADENAS DE MARKOV
Una cadena de Markov es un proceso estocástico en el que
Si el estado actual Xn y los estados previos X1, Xn−1 son conocidos
La probabilidad del estado futuro Xn+1
F No depende de los estados anteriores X1, Xn−1, y
F Solamente depende del estado actual Xn.
Es decir,
♣ Para n = 1, 2. . . Y
♣ Para cualquier sucesión de estados s1, sn+1
P (Xn+1 = Sn+1 | X1 = s1, X2 = s2. Xn = sn) =
= P (Xn+1 = sn+1 | Xn = sn)
Una cadena de Markov, que recibe su nombre del matemático ruso Andrei
Markov, es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo
tienen memoria. “Recuerdan” el último evento y esto condiciona las posibilidades
de los eventos futuros. Esta dependencia del evento anterior distingue a las
cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
En matemáticas, se define como un proceso estocástico discreto que cumple con
la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la información relevante para
describir en probabilidad su estado futuro.
Una cadena de Markov es una secuencia X1, X2, X3, de variables aleatorias. El
rango de estas variables, es llamado espacio estado, el valor de Xn es el estado
del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1
en estados pasados es una función de Xn por sí sola, entonces:
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la
Propiedad de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. “Recuerdan” el último evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo
el método en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo más importante
aún, es que permite encontrar el promedio a la larga o las probabilidades de
estado estable para cada estado. Con esta información se puede predecir el
comportamiento del sistema a través del tiempo.
La tarea más difícil es reconocer cuándo puede aplicarse. La caracteristica más
importante que hay que buscar en la memoria de un evento a otro.
Formulación de las cadenas de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. “Recuerdan” el último evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El
generador de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . . ,
n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las
probabilidades de ocurrencia para cada uno de estos eventos dependen del
estado del generador. Este estado se describe por el último evento generado. En
la figura 4.1.1, el último evento generado fue Ej , de manera que el generador se
encuentra en el estado Mj .
La probabilidad de que Ek sea el siguiente evento generado es una probabilidad
condicional: P ( Ek / Mj ). Esto se llama probabilidad de transición del estado Mj al
estado Ek. Para describir completamente una cadena de Markov es necesario
saber el estado actual y todas las probabilidades de transición.
Probabilidades de transición.
Una forma de describir una cadena de Markov es con un diagrama de estados,
como el que se muestra en la figura 4.1.2. En ésta se ilustra un sistema de Markov
con cuatro estados posibles: M1, M2 , M3 y M4 . La probabilidad condicional o de
transición de moverse de un estado a otro se indica en el diagrama
Otro método para exhibir las probabilidades de transición es usar una matriz de
transición. . La matriz de transición para el ejemplo del diagrama de estados se
muestra en la tabla 4.1.1.
Otro método para exhibir las probabilidades de transición es usar una matriz de
transición. .
Para n = 0, 1, 2,….
El superíndice n no se escribe cuando n = 1.
Procesos estocásticos.
Un proceso estocástico se define sencillamente como una colección indexada de
variables aleatorias {X1}, donde el subíndice t toma valores de un conjunto T dado.
Con frecuencia T se toma como el conjunto de enteros no negativos y X,
representa una característica de interés medible en el tiempo t. Por ejemplo, el
proceso estocástico, X1, X2, X3, Puede representar la colección de niveles de
inventario semanales (o mensuales) de un producto dado, o puede representar la
colección de demandas semanales (o mensuales) de este producto.
Un estudio del comportamiento de un sistema de operación durante algún periodo
suele llevar al análisis de un proceso estocástico con la siguiente estructura. En
puntos específicos del tiempo t , el sistema se encuentra exactamente en una de
un número finito de estados mutuamente excluyentes y exhaustivos, etiquetados
0, 1, . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su
esparcimiento puede depender del comportamiento general del sistema en el que
se encuentra sumergido el proceso estocástico. Aunque los estados pueden
constituir una caracterización tanto cualitativa como cuantitativa del sistema, no
hay pérdida de generalidad con las etiquetas numéricas 0, 1, M, que se usarán en
adelante para denotar los estados posibles del sistema. Así la representación
matemática del sistema físico es la de un proceso estocástico {Xi}, en donde las
variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable
aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, M . Estos
enteros son una caracterización de los M + 1 estados del proceso.
Propiedad Markoviana de 1o. orden.
Se dice que un proceso estocástico tiene la propiedad markoviana si
P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda
Sucesión i, j , K0 , K1, Ki-1 .
Se puede demostrar que esta propiedad markoviana es equivalente a establecer
una probabilidad condicional de cualquier “evento” futuro dados cualquier “evento
“pasado y el estado actual Xi = i , es independiente del evento pasado y sólo
depende del estado actual del proceso. Las probabilidades condicionales PXt+1 =
j se llaman probabilidades de transición. Si para cada i y j,
P Xt+1 = j = pX1 = j , para toda t = 0, 1, ….
Entonces se dice que las probabilidades de transición (de un paso) son
estacionarias y por lo general se denotan por pij . Así, tener probabilidades de
transición estacionarias implica que las probabilidades de transición no cambian
con el tiempo. La existencia de probabilidades de transición (de un paso)
estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,…),
P Xt+n = j = pXn = j ,
Para toda t = 0, 1. Estas probabilidades condicionales casi siempre se denotan por
y se llaman probabilidades de transición de n pasos. Así, es simplemente la
probabilidad condicional de que la variable aleatoria X, comenzando en el estado i,
se encuentre en el estado j después de n pasos (unidades de tiempo).
Como las son probabilidades condicionales, deben satisfacer las propiedades:
Probabilidad de transición de un solo paso.
Ejemplo:
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se
puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara
durante la primera, segunda, … , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idénticamente distribuidas que tienen
una distribución de probabilidad conocida. Sea X0 el número de cámaras que se
tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen
al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la
semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el
almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocástico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras
en inventario al final de la semana.
Observe que {Xi}, en donde Xi es el número de cámaras en el almacén al final de
la semana t ( antes de recibir el pedido }), es una cadena de Markov. Se verá
ahora cómo obtener las probabilidades de transición (de un paso), es decir, los
elementos de la matriz de transición ( de un paso).
Suponiendo que cada Dt tiene una distribución Poisson con parámetro.
Para obtener es necesario evaluar. Si, Entonces. Por lo tanto, significa que la
demanda durante la semana fue de tres o más cámaras. Así, , la probabilidad de
que una variable aleatoria Poisson con parámetro tome el valor de 3 o más; y se
puede obtener de una manera parecida. Si, entonces. Para obtener, la demanda
durante la semana debe ser 1 o más. Por esto, Para encontrar, observe que si .
En consecuencia, si , entonces la demanda durante la semana tiene que ser
exactamente 1. por ende, . Los elementos restantes se obtienen en forma similar,
lo que lleva a la siguiente a la siguiente matriz de transición ( de un paso):
Probabilidad de transición estacionaria de n pasos.
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular
estas probabilidades de transición de n pasos :
Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n
pasos, el proceso estará en algún estado k después de exactamente m (menor
que n) pasos. Así,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k después de m pasos y después al estado j en n- m
pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n pasos
se pueden obtener a partir de las probabilidades de transición de un paso de
manera recursiva. Para n=2, estas expresiones se vuelven:
Note que las son los elementos de la matriz P(2) , pero también debe de
observarse que estos elementos, se obtienen multiplicando la matriz de transición
de un paso por sí misma; esto es , P(2) = P * P = P2 .
En términos más generales, se concluye que la matriz de probabilidades de
transición de n pasos se puede obtener de la expresión: P(n) = P * P …. P = Pn =
PPn−1 = Pn-1 P.
Entonces, la matriz de probabilidades de transición de n pasos se puede obtener
calculando la n-ésima potencia de la matriz de transición de un paso. Para valores
no muy grandes de n, la matriz de transición de n pasos se puede calcular en la
forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan
tediosos y, más aún, los errores de redondeo pueden causar inexactitudes.
Ejemplo:
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se
puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara
durante la primera, segunda, … , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idénticamente distribuidas que tienen
una distribución de probabilidad conocida. Sea X0 el número de cámaras que se
tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen
al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la
semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el
almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocástico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras
en inventario al final de la semana.
Así, dado que tiene una cámara al final de una semana, la probabilidad de que no
haya cámaras en inventario dos semanas después es 0.283; es decir, De igual
manera, dado que se tienen dos cámaras al final de una semana, la probabilidad
de que haya tres cámaras en el almacén dos semanas después es 0.097; esto es,
La matriz de transición de cuatro pasos también se puede obtener de la siguiente
manera :
P(4) = P4 = P(2) * P(2)
Así, dado que queda una cámara al final de una semana, 0.282 es la probabi lidad
de que no haya cámaras en inventario 4 semanas más tarde; es decir, De igual
manera, dado que quedan dos cámaras en el almacén final de una semana, se
tiene una probabilidad de 0.171 de que haya tres cámaras en el almacén 4
semanas después; esto es,
Probabilidades de transición estacionaria de estados estables.
Teorema
Sea P la matriz de transición de una cadena de M estados . Existe entonces un
vector tal que
Se establece que para cualquier estado inicial i , .
El vector a menudo se llama distribución de estado estable, o también distribución
de equilibrio para la cadena de Markov. Para encontrar la distribución de
probabilidades de estacionario para una cadena dada cuya matriz de transición es
P, según el teorema, para n grande y para toda i , (1)
Como Pij (n + 1) = ( renglón i de Pn )(columna j de P), podemos escribir
(2)
Ejemplo:
Suponga que toda la industria de refrescos produce dos colas. Cuando una
persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente
compra se de cola 1. Si una persona compró cola 2, hay un 80 % de
probabilidades que su próxima compra sea de cola 2.
Entonces:
Al reemplazar la segunda ecuación por la condición,
Obtenemos el sistema
Al despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona
compre cola 2.
Tiempos de primer pasó.
Con frecuencia es conveniente poder hacer afirmaciones en términos de
probabilidades sobre el número de transiciones que hace el proceso al ir de un
estado i a un estado j por primera vez . este lapso se llama tiempos de primer
paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo
el número de transiciones hasta que el proceso regresa al estado inicial i. En este
caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente:
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se
puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara
durante la primera, segunda, … , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idénticamente distribuidas que tienen
una distribución de probabilidad conocida. Sea X0 el número de cámaras que se
tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen
al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la
semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el
almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocástico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras
en inventario al final de la semana.
Donde Xt es el número de cámaras en inventario al final de la semana t y se
comienza con , Suponga que ocurrió lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2
semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3
semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.
En general, los tiempos de primer paso son variables aleatorias y, por lo tanto,
tienen una distribución de probabilidad asociada a ellos. Estas distribuciones de
probabilidad dependen de las probabilidades de transición del proceso. En
particular, denota la probabilidad de que el tiempo de primer paso del estado i al j
sea igual a n. Se puede demostrar que estas probabilidades satisfacen las
siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del
estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de
transición de un paso. En el ejemplo, la distribución de probabilidad de los tiempos
de primer paso del estado 3 al estado 0 se obtiene como sigue:
Para i y j fijos, las son números no negativos tales que
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar
se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es
igual a 1, las pueden considerarse como una distribución de probabilidad para la
variable aleatoria, el tiempo de primer paso.
Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que
se define como:
entonces satisface, de manera única, la ecuación:
Cuando i=j, se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para
calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén,
suponiendo que el proceso inicia cuando se tienen tres cámaras; es decir, se
puede obtener el tiempo esperado de primer paso . Como todos los estados son
recurrentes, el sistema de ecuaciones conduce a las expresiones
La solución simultánea de este sistema es
De manera que el tiempo esperado hasta que la tienda se queda sin cámaras es
de 3.50 semanas.
Caso de Aplicación.
Aplicación a la administración : Planeación de Personal.
El anális de transición puede ser útil al planear satisfacer las necesidades de
personal. Muchas firmas emplean trabajadores de diferentes niveles de
clasificación dentro de la misma categoría de trabajo. Esto es común para
personal de confianza, oficinistas, obreros calificados, no calificados y personal
profesional. La firma debe tener el número de empleados en cada nivel de
clasificación para proporcionar la oportunidad de promoción adecuada, cumplir
con las habilidades necesarias para el trabajo y controlar la nómina. Una
planeación de personal a largo plazo apropiada requiere que se considere el
movimiento de personas tanto hacia arriba en el escalafón de clasificación como
hacia afuera de la organización. El análisis de Markov puede ayudar en este
esfuerzo de planeación.
El movimiento de personal a otras clasificaciones puede considerarse como una
cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es la más
baja. Además, los descensos se consideran raros y se omiten. El estado “salen”
es absorbente, el cual incluye renuncias, ceses, despidos y muertes. Por
supuesto, todos los empleados finalmente alcanzan este estado.
Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan
promociones. Como transiciones de probabilidad, están controladas por la firma,
puede establecerse el nivel que la firma determine que es necesario para cumplir
sus objetivos. Como ejemplo, supóngase que la firma tiene en este momento 30
empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que
desea mantener este nivel de empleados durante el próximo año. Por experiencia,
se espera que salgan el 30 % de los empleados de grado 1 al año, el 20 % de los
empleados de grado 2 y el 10 % de aquellos que están en el grado 3. Si la política
es contratar sólo en los niveles de clasificación más bajos, cuántos se deben
contratar y cuántos se deben promover el siguiente año para mantener estables
los niveles ?.
Este problema puede resolverse sin el análisis de Markov, pero el modelo es útil
para ayudar a conceptualizar el problema. Como se trata sólo de un ciclo, se usa
el análisis de transición. El análisis comienza con el graado más alto. No se hacen
promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por
promociones del grado 2. En el nivel de clasificación, el 20 % sale y se deben
promover 3, con una pérdida de 21. Esto se debe compensar por promoción del
grado 1. Al pasar al grado 1, el 30 % sale y 21 deben promoverse, lo cual una
pérdida total de 111. Por tanto, el siguiente año se deben contratar 111 empleados
del nivel 1.
IMÁGENES CADENAS DE MARKOV
EN TIEMPO DISCRETO
PROBABILIDADES DE TRANSICIÓN. CADENAS DE MARKOV
EL TRABAJO EMPLEA
SIMULACIONES CON
ORDENADOR
MEDIANTE CADENAS
MARKOV