CADENAS DE MARKOV (Tomado de Inverse Problems, G.K. Nicholls, The University of Auckland 7-1

Chapter 7 Stochastic Simulation) Introducción

Supongamos que 0n n

X

M (o n n

X

M ) es una sucesión de variables

aleatorias correlacionadas, donde cada (estado) nX proviene de algún conjunto

conocido como el espacio de estados. Se supone que los estados en pueden ser etiquetados mediante enteros, es decir, es discreto. El proceso es una cadena de Markov si éste satisface la condición de Markov

1 1 1 0 0 1Pr , ,..., Pr n n n n n nX j X i X x X x X j X i (0.1)

Una distribución inicial 0Pr X i para 0X y la probabilidad de transición

para 1nX dado nX , 1Pr n nX j X i determinan una cadena de Markov.

Si la probabilidad de transición no depende de n , es decir, si

1 1Pr Pr ; n m n m n nX j X i X j X i m (0.2)

decimos que la cadena de Markov M es homogénea y escribimos la

probabilidad de transición como una matriz P donde sus elementos están

dados por

1Pr ij n nP X j X i (0.3)

Note que ijP es la probabilidad condicional para pasar al estado j en el

próximo paso dado que el estado actual sea i . Las probabilidades de transición

satisfacen la condición de normalización

1ij

j

P

(0.4)

ya que la cadena debe estar en algún estado en el próximo paso. Una matriz de esta naturaleza, cuyas filas suman uno es conocida como matriz estocástica.

Ejemplo 1: Supongamos que 1,2,3 , la matriz de transición es

2 1 15 2 10

71 15 10 10

2 2 15 5 5

P

(0.5)

y la distribución inicial es 1 1 10 3 3 3

Pr , ,X i .

Se puede representar a la matriz de transición como un grafo, donde un vértice corresponde a un estado y un enlace orientado del vértice i al vértice j le

corresponde una probabilidad de transición ijP de i a j cuando ésta sea

diferente de cero. Para el ejemplo tenemos su correspondiente representación en un grafo orientado en la Figura 1.

Figura1: Grafo orientado correspondiente al Ejemplo 1. Simulación: Note que si 1 a b c y deseamos elegir un estado en

1,2,3 con probabilidad a para 1, b para 2 y c para, solamente

necesitamos generar un número aleatorio p distribuido uniformemente en 0,1

y si p a se toma 1, si a p a b se toma 2 y si 1a b p a b c se

toma 3. Se usará esta técnica para similar la cadena del ejemplo 1. Los siguientes números aleatorios

1u 2u 3u 4u 5u 6u

0. 429 0. 156 0.146 0. 951 0. 921 0. 644

han sido muestreados a partir de una distribución uniforme en 0,1 . Nuestra

simulación es como sigue:

1.- Tomar 0X usando la distribución inicial 1 1 10 3 3 3

Pr , ,X i , ya que

tenemos que a b c y 1 0.429u seleccionamos a 0 2X .

2.- Ya que estamos en el estado 2 debemos elegir un nuevo estado

saltando del estado 2. Ya que 71 12 5 10 10

, ,jP , por lo que como

12 5

0. 156u a entonces seleccionamos 1 1X .

1

2 3

0.4

0.5

0.2

0.4

0.1

0.4

0.1

0.2 0.7

3.- Estamos ahora en el estado 1. Ya que 2 1 11 5 2 10

, ,jP , por lo que como

23 5

0.146u a entonces seleccionamos 2 1X .

Y así sucesivamente se obtiene una realización de la cadena:

0X 1X 2X 3X 4X 5X ...

2 1 1 3 3 2 ...

Mediante la simulación del proceso se obtiene una realización del mismo. Podemos ver a partir del procedimiento de simulación que el proceso estocástico satisface la condición de Markov: sólo se usa el valor del último

estado nX para calcular la distribución del estado 1nX .