Cadenas de Markov Regulares

Dr. José Dionicio Zacarias Flores

Introducción

• Se estudia el comportamiento de una cadena de Markov regular.

• Recordemos que una cadena de Markov regular es una que no tiene conjuntos transitorios, y tiene un conjunto ergódico simple con sólo una clase cíclica

Definición

• La matriz de transición para una cadena de Markov regular, se llama matriz de transición regular.

Teorema 1

• Una matriz de transición es regular si y sólo si para algún N, PN no tiene entradas igual a cero.

Teorema 2

• Sea P una matriz de transición r x r que no tiene entradas cero. Sea E la entrada más pequeña de P. Sea x cualquier vector de columna de r-componentes, teniendo un componente máximo M0 y un componente mínimo m0. Sean M1 y m1 los componentes máximos y mínimos para el vector Px,

• Entonces M1 ≤ Mo, m1 ≥ m0, y

M1 – m1 ≤ (1-2)(M0-m0)

Teorema 3 (Teorema Fundamental para

cadenas de Markov Regulares) Si P es una matriz de transición regular, entonces

• (i) las potencias de Pn tienden a una matriz de Probabilidad A.

• (ii) Cada fila de A es el mismo vector de probabilidad = (a1, a2, …, an).

• (iii) Las componentes de son positivas.

Corolario

• Sea P una matriz de transición regular. Sea

𝑎𝑗 = lim𝑛→∞𝑝(𝑛)𝑖𝑗. Entonces existen constantes b y

r con 0 < r < 1 tal que

𝑝(𝑛)𝑖𝑗 = 𝑎𝑗 + 𝑒(𝑛)𝑖𝑗

Con 𝑒(𝑛)𝑖𝑗 ≤ 𝑏𝑟𝑛

Teorema 4

• Si P es una matriz de transición regular y A y α como se establecen en el teorema 2, entonces

• (i) Para cualquier vector de probabilidad π, πPn tiende al vector α cuando n tiende a infinito.

• (ii) El vector α es el único vector de probabilidad tal que αP = α.

• (iii) PA = AP = A.

Introducción

• Como ya hemos visto, para una cadena de Markov regular hay una probabilidad limitante aj de estar en el estado sj independientemente del estado en que inicie el proceso.

• Ahora veremos que aj también representa la fracción del tiempo que el proceso puede esperarse que esté en el estado sj por un número grande de pasos.

Introducción

• Para abordar lo anterior, necesitamos introducir nuevas funciones. Sea u(n)

j una función con dominio en n y con valor 1 si en el n-ésimo paso estaba en el estado sj para un número grande de pasos y 0 sino.

• Definimos y(n)j = 𝑢(𝑘)𝑗

𝑛𝑘=1 . Entonces y(n)

j es también

una función con dominio en n y valora la cantidad de veces que el proceso está en el estado sj durante los

primeros n pasos. La función 𝑣(𝑛)𝑗 = 𝑦(𝑛)𝑗/𝑛 nos da

la fracción de veces en los primeros n pasos que el proceso se mueve al estado sj.

Teorema (Ley de los Grandes Números)

• Consideremos una cadena de Markov regular con vector limitante = (a1, a2, …, ar). Para cualquier vector inicial ,

𝐸𝜋 𝑣(𝑛)𝑗 → 𝑎𝑗

y para todo > 0

𝑃𝜋 = 𝑣(𝑛)𝑗 − 𝑎𝑗 > 𝜀 → 0

cuando n tiende a infinito.

Interpretación

• La ley de los grandes números nos dice en el primer resultado que conforme la n es grande la fracción de veces que el proceso está en el estado sj, lo que se espera es que converja al valor aj.

• El segundo resultado nos dice que probabilísticamente hablando la posibilidad de que 𝑣(𝑛)𝑗 y aj sean diferentes es casi nula.

• En ambos casos, si la n es lo suficientemente grande, sin importar cual sea el vector inicial del proceso.

Caso especial

• Consideremos el caso de un proceso de pruebas independientes. Tal proceso es una cadena de Markov con matriz de transición teniendo todas las filas al mismo vector α y con vector de probabilidad inicial α.

• En este caso 𝐸∝ 𝑢(𝑛)𝑗 = 𝑎𝑗 para todo n, de aquí

también se cumple que 𝐸∝ 𝑣(𝑛)𝑗 = 𝑎𝑗, de aquí

𝐸𝛼 𝑣(𝑛)𝑗 − 𝑎𝑗

2= 𝑉𝛼 𝑣

(𝑛)𝑗 =

𝜎2

𝑛, el cual

tiende a cero cuando n tiende a infinito.

Otro caso especial

• Es cuando se tiene un proceso de una cadena de Markov en general, el cual se inicia por un vector de probabilidad inicial π = α. En este caso se

cumple que : 𝐸∝ 𝑢(𝑛)𝑗 = 𝐸∝ 𝑣

(𝑛)𝑗 = 𝑎𝑗 para

toda n. De aquí

𝐸𝛼 𝑣(𝑛)𝑗 − 𝑎𝑗

2= 𝑉𝛼 𝑣

(𝑛)𝑗

• Aquí no es posible dar una expresión simple para la varianza como función de n.

Teorema 5

• Sea P la matriz de transición para una cadena de Markov regular. Sea A la matriz limitante. Entonces Z = (I-(P-A))-1 existe y

𝑍 = 𝐼 + 𝑃𝑛 − 𝐴

∞

𝑛=1

Definición

• Si P es una matriz de transición regular. La matriz Z = (I-(P-A))-1 es llamada la matriz fundamental para la cadena de Markov determinada por P.

• Veamos a continuación algunas propiedades de la matriz Z.

Teorema 6

• Sea Z la matriz fundamental para una cadena de Markov regular con matriz de transición P, vector limitante α, y matriz limitante A. Entonces

A) PZ = ZP

B) Zξ = ξ

C) αZ = α

D) I-Z = A-PZ

Ejemplo

• Sean P y A como:

• Ahora para hallar Z, debemos hallar la inversa de

Ejemplo

• Sacando la inversa se obtiene:

• Nótese que Z no necesariamente tiene entradas no negativas.

• En el caso de un proceso de pruebas independientes, P = A, con lo que Z = I

Teorema

• Sea 𝑦 (𝑛)𝑗 el número de veces que el proceso está en

el estado sj en los primeros n estados, es decir, la posición inicial más n-1 estados.

• Para cualquier cadena de Markov regular, y cualquier vector inicial π,

• 𝐸𝜋 𝑦 (𝑛)𝑗 − 𝑛 ∝ → 𝜋 𝑍 − 𝐴 = 𝜋𝑍 − 𝛼

Corolario

• Para cualesquiera dos distribuciones iniciales π y π’

𝐸𝜋 𝑦 (𝑛)𝑗 - 𝐸𝜋′ 𝑦

(𝑛)𝑗 → 𝜋 − 𝜋

′ 𝑍

Nota

• Si elegimos un estado de inicio en particular, digamos i, entonces el teorema anterior

establece que 𝐸𝜋 𝑦 (𝑛)𝑗 − 𝑛𝑎𝐽 → 𝑧𝑖𝑗 − 𝑎𝑗 .

• Es decir, para n grande el número promedio de veces en el estado sj iniciando en el estado si difiere de naj aproximadamente zij – aj.

• Por el corolario podemos comparar dos estados

de inicio, pues 𝐸𝑖 𝑦 (𝑛)𝑗 − 𝐸𝑘 𝑦

𝑛𝑗 → 𝑧𝑖𝑗 − 𝑧𝑘𝑗.

Corolario

• Sea 𝑐 = 𝑧𝑗𝑗. Entonces

• 𝐸𝑗 𝑦 (𝑛)𝑗 − 𝐸𝜋 𝑦

(𝑛)𝑗 → 𝑐 − 1𝑗

Problema 0

• ¿Cuáles de las siguientes matrices de transición, son regulares?

a) b) c) d)

e) ¿Puede una cadena de Mark0v ser a la vez regular y absorbente? Argumentar la respuesta.

Problema 1

• Una secuencia de experimentos es ejecutado, en cada uno de los cuales dos monedas son lanzadas. Sea s1 que indica que dos soles salieron, s2 indica que un sol y un águila salieron, y s3 indica que dos águilas salieron.

(a) Encontrar la matriz de transición. (b) Si salen dos soles en un lanzamiento hecho, ¿Cuál es la

probabilidad de que dos soles salgan tres lanzamientos después?

(c) Clasificar los estados. (d) Encontrar la matriz limitante A. (e) Calcular la media y la varianza para el número de veces

que se está en el estado s1 en los primeros n pasos. (f) Calcular la matriz fundamental.

Problema 2

a) Demostrar que la siguiente matriz de transición es regular. Encontrar el vector fijo .

b) Demostrar que si es el vector de probabilidad fijo para una cadena con matriz de transición P, entonces también es un vector de probabilidad fijo para la cadena con matriz de transición Pn.

c) Dado un vector de probabilidad con componentes positivos, determinar una matriz de transición regular la cual tenga a como su vector fijo.

Problema 3

Considerar la cadena de Markov con matriz de transición

Iniciando el proceso en s2, y calcular la media de v(n)1

para n = 1, 2, 3, 4, 5, 6. Comparar esos resultados con a1.

Problema 4

• Un hombre está jugando dos máquinas de video juegos. El primer video juego pays off con probabilidad c, la segunda con probabilidad d. si él pierde, juega con el mismo video juego otra vez; si él gana, el cambia al otro video juego. Sea si el estado de jugar la el i-ésimo video juego.

(a) Encontrar la matriz de transiciones, y

(b) Encontrar la matriz fundamental cuando c = ½ y d = ¼.

Problema 5: Tendencias de votación

• A fines de junio, en un año de elecciones presidenciales, el 40% de los votantes estaban registrados como liberales, el 45% como conservadores y el 15% como independientes. Durante un período de un mes, los liberales retuvieron el 80% de su circunscripción, mientras que el 15% cambió a conservador y el 5% a independiente. Los conservadores conservaron el 70% y perdieron el 20% frente a los liberales. Los independientes retuvieron 60% y perdieron 20% cada uno ante los conservadores y liberales. Suponga que estas tendencias continúan.

a. Escriba una matriz de transición usando esta información. b. si. Escribe un vector de probabilidad para la distribución inicial. Encuentre el porcentaje de cada tipo de votante al final de cada uno de los siguientes meses. c. Julio d. Agosto, e. Septiembre f. octubre

Problema 6

• Un estudio de estudiantes que tomaron un examen de química de 20 preguntas rastreó su progreso de un período de prueba al siguiente. Para simplificar, hemos agrupado a los estudiantes con puntajes de 0 a 5 en el grupo 1, de 6 a 10 en el grupo 2, de 11 a 15 en el grupo 3 y de 15 a 20 en el grupo 4. El resultado es la siguiente matriz de transición.

Problema 6

a) Encuentre la predicción a largo plazo para la proporción de estudiantes en cada grupo.

b) Los autores de este estudio estaban interesados en el número de períodos de prueba requeridos antes de que una cierta proporción de los estudiantes dominaran el material. Supongamos que una vez que un alumno alcanza el grupo 4, se dice que el alumno ha dominado el material y ya no se le prueba, por lo que el alumno permanece en ese grupo para siempre. Inicialmente, todos los estudiantes en el estudio estaban en el grupo 1. Encuentre el número de períodos de prueba que esperaría que al menos el 70% de los estudiantes hayan dominado el material. (Sugerencia: intente aumentar los valores de n en x0•Pn.)