Unidad II: Procesos Estocsticos

Investigacin de Operaciones II

Ing. Paulina Gonzlez Martnez

Contacto: clasesdii@gmail.com

Unidad II: Procesos Estocsticos

Procesos Estocsticos.

Cadenas de Markov. Ecuaciones de Chapman-Kolmogorov.

Clasificacin de estados de una cadena de Markov.

Tiempos de primera pasada.

Propiedades de lago plazo de las cadenas de Markov.

Cadenas de Markov en tiempo continuo.

Recordemos

Sea Xt una V.A. que caracteriza el estado del sistema en puntos discretos en el tiempo t=1, 2 La familia de V.A. {Xt} forma un proceso estocstico con una cantidad finita o infinita de estados.

Proceso de Markov: Un proceso estocstico es un proceso de Markov si un estado futuro depende slo del estado inmediatamente anterior. Esto significa que dados los tiempo cronolgicos t0, t1, ., tn, la familia de V.A. {Xtn} = {X1, X2, ., Xn} es un proceso de Markov si P(Xn+1 = j | Xn = i), es decir, la cadena estar en el estado j en el tiempo n + 1 si est en el estado i en el tiempo n. Esto se conoce como probabilidad de transicin de un paso.

Recordemos

La Matriz P define una Cadena de Markov. Tiene la propiedad de que todas sus probabilidades de transicin pij son estacionarias e independientes a lo largo del tiempo. Aunque una cadena de Markov puede incluir un nmero infinito de estados, en esta oportunidad nos limitaremos a cadenas finitas.

MMMM

MMMM

M

M

MjMiij

ppp

ppp

ppp

ppp

pP

21

)1(2)1(1)1(

22221

11211

...1...1)(

Probabilidades absolutas y de n

pasos

Por ejemplo, se tiene la siguiente matriz de transicin P:

Se solicita calcular las probabilidades absolutas de los tres estados del sistema despus de 1, 8 y 16 temporadas.

Probabilidades absolutas y de n

pasos

Probabilidades absolutas y de n

pasos

Por lo tanto, las probabilidades absolutas requeridas se calculan como:

Las filas de P^(8) y el vector de probabilidades absolutas a^(8) son casi idnticos. El resultado es ms evidente para P^(16). Ello demuestra que, a medida que la cantidad de transiciones aumenta, las probabilidades absolutas se vuelven independientes de a^(0) inicial. Las probabilidades resultantes se conocen como probabilidades de estado estable.

Los estados de una Cadena de Markov se clasifican con base en la

probabilidad de transicin pij de P.

1. Un estado j es ABSORBENTE si est seguro de regresar a s mismo en

una transicin, es decir, pij=1

2. Un estado j es TRANSITORIO si puede llegar a otro estado pero no puede

regresar desde otro estado. Matemticamente, esto suceder si

para todas las i.

3. Un estado j es RECURRENTE si la probabilidad de ser revisitado desde

otros estados es 1. esto puede suceder si, y slo si, el estado no es

transitorio.

Clasificacin de los estados en una

Cadena de Markov

Con base en las definiciones dadas, una Cadena de Markov finita no puede constar de

todos los estados transitorios porque, por definicin, la propiedad transitoria requiere

entrar a otro estado de atrapamiento y nunca volver a visitar el estado transitorio. El

estado de atrapamiento no necesita ser un solo estado absorbente. Por ejemplo, considere la siguiente cadena:

Los estados 1 y 2 son transitorios porque no se puede volver a entrar en ellos una vez

que el sistema queda atrapado en los estados 3 y 4. Un CONJUNTO CERRADO lo

constituyen los estados 3 y 4, que en cierta forma desempean el papel de un estado

absorbente. Por definicin, todos los estados de un conjunto cerrado DEBEN

COMUNICARSE, lo cual significa que es posible ir de cualquier estado a cualquier otro

del conjunto en una o ms transiciones, es decir, pij^(n)>o para todas las ij y n >=1.

Se dice que una Cadena de Markov es ERGDICA si todos los estados son

RECURRENTES. En este caso, las probabilidades absolutas despus de n

transiciones , siempre convergen de forma nica a una distribucin limitante (estado

estable) que es independiente de las probabilidades iniciales a^(0).

Clasificacin de los estados en una

Cadena de Markov

Por ejemplo, considere la siguiente Cadena de Markov:

-Los estados 1 y 2 son transitorios porque llegan al estado 3 pero nunca se puede

regresar a ellos.

-El estado 3 es absorbente porque p33=1, es decir, cuando el es

calculado:

El resultado demuestra que, a la larga, la probabilidad de volver a entrar al estado 1 o

2 es cero, y que la probabilidad de quedarse atrapado en el estado absorbente 3 es segura.

Clasificacin de los estados en una

Cadena de Markov

4.- Suponga que la probabilidad de lluvia maana es 0,5 si hoy llueve y que

la probabilidad de un da claro (sin lluvia) maana es 0,9 si hoy est claro.

Suponga adems que estas probabilidades no cambian si tambin se

proporciona informacin sobre el clima de das anteriores a hoy. Formule la

evolucin del clima como una cadena de Markov definiendo sus estados y

dando su matriz de transicin.

5.- Suponga que una red de comunicaciones transmite dgitos binarios, 0 o

1, en donde cada dgito se transmite 10 veces sucesivas. Durante cada

transmisin, la probabilidad de que ese dgito se transmita correctamente es

0,99. en otras palabras, se tiene una probabilidad de 0,01 de que el dgito

transmitido se registre con el valor opuesto al final de la transmisin. Para

cada transmisin despus de la primera, el dgito transmitido es el

registrado al final de la transmisin anterior. Si Xo denota al dgito binario

que entra al sistema, X1 el dgito binario registrado despus de la primera

tranmisin, X2 el dgito binario registrado despus de la segunda

tranmisin, ., entonces Xn es una cadena de Markov. Determine la Cadena de Markov.

Ejercicios

6.- Una partcula se mueve sobre un crculo por puntos marcados 0, 1, 2, 3, 4 (en el

sentido de las manecillas del reloj). La partcula comienza en el punto 0. en cada paso

tiene una probabilidad de 0,5 de moverse un punto en el sentido de las manecillas del

reloj (0 sigue a 4) y una probabilidad de 0,5 de moverse a un punto en el sentido

opuesto a las manecillas del reloj. Encuentre la matriz de transicin de un paso.

7.- La cervecera ms importante del pas (A) ha contratado un analista de IO para

analizar su posicin en el mercado. Estn preocupados en especial por su mayor

competidor (B). El analista piensa que el cambio de marca se puede modelar como

una Cadena de Markov incluyendo tres estados: los estados A y B representan a los

clientes que beben cerveza producida por las mencionadas cerveceras y el estado C

representa todas las dems marcas. Los datos se toman cada mes y el analista

construye la siguiente matriz de transicin de un paso con datos histricos. Cules

son los porcentajes de mercado en el estado estable para las dos cerveceras

grandes? A B C

A 0,7 0,2 0,1

B 0,2 0,75 0,05

C 0,1 0,1 0,8

Ejercicios

1.- Considere el siguiente modelo para el valor de una accin. Al final de un

da dado se registra el precio. Si la accin subi, la probabilidad de que suba

maana es 0,7. si la accin baj, la probabilidad de que suba maana es slo

0,5.

2.- Suponga que el modelo del mercado de acciones se comporta de manera

que una accin suba o no maana depende si subi o no ayer.

En particular, si la accin subi los dos das, ayer y hoy, la probabilidad de

que suba maana es 0,9. si la accin de hoy subi pero ayer baj, maana

subir con probabilidad de 0,6. Si la accin baj hoy pero ayer subi,

entonces maana subir con probabilidad de 0,5. por ltimo, si baj durante

estos das, la probabilidad de que maana suba es de 0,3.

3.- Suponga que un jugador tiene $1 y que cada jugada gana $1 con

probabilidad p>0 o pierde $1 con probabilidad 1-p. El juego termina cuando

el jugador acumula $3 o bien cuando quiebra.

Cadenas de Markov

8.- Una fbrica de jabn se especializa en jabn de tocador de lujo. Las ventas

fluctan entre dos niveles, bajo y alto, y dependen de dos factores: 1)si hacen o no publicidad y 2) si los competidores anuncian y comercializan sus nuevos

productos. El segundo factor est fuera del control de la compaa, pero les interesa

determinar cul debe ser la poltica de publicidad. Por ejemplo, el gerente de ventas

propone hacer publicidad cuando las ventas son bajas y no hacerlas si son altas. La

publicidad que se hace en un trimestre dado del ao tiene impacto en el siguiente

trimestre. Al principio de cada trimestre disponen de la informacin necesaria para

pronosticar si las ventas sern altas o bajas ese trimestre y decidir si hacer

publicidad.

El costo de la publicidad es de $1 milln cada trimestre el ao que se haga. Cuando se

hace publicidad en un trimestre, la probabilidad de tener ventas altas el siguiente

trimestre es o segn si el trimestre actual se tienen ventas bajas o altas. Las

probabilidades bajan y cuando no se hace publicidad en el trimestre actual. Las

ganancias trimestrales de la compaa (sin incluir los costos de publicidad) son $4

millones cuando las ventas son altas, pero $2 millones cuando son bajas.

a) Construya la matriz de transicin para cada una de las siguientes estrategias de

publicidad i) nunca hacer publicidad ii) siempre hacer publicidad iii) seguir

estrategia del gerente de ventas

b) Determine las probabilidades de estado estable para los tres casos presentados

en la pregunta a)

Ejercicios

9.- Un fabricante tiene una mquina que cuando est operando al comenzar el da tiene una

probabilidad de 0,1 de descomponerse en algn momento de ese da. Cuando esto ocurre, la

reparacin se hace al siguiente da y se termina al finalizar ese da.

a) Formule la evolucin del estado de la mquina como una cadena de Markov, identifique los

tres estados posibles al final del da y despus construya la matriz de transicin.

b) Determine el estado estable del sistema

10.-Un proceso de produccin incluye una mquina que deteriora con rapidez tanto en la calidad

como en la cantidad de produccin con el trabajo pesado, por lo que se inspecciona al final de

cada da. Despus de la inspeccin, se clasifica la condicin de la mquina en uno de cuatro

estados posibles:

Estado 0: Tan buena como nueva

Estado 1: Operable, deterioro mnimo

Estado 2: Operable, deterioro mayor

Estado 3: Inoperable y reemplazada por una tan buena como nueva

El proceso se puede modelar como una Cadena de Markov con matriz de transicin P dada por:

Ejercicios

Estado 0 1 2 3

0 0 7/8 1/16 1/16

1 0 3/4 1/8 1/8

2 0 0 1/2

3 1 0 0 0