maestría en bioinformática probabilidad y estadística: clase 4

Procesos aleatorios Ejemplos Cadenas de Markov

Maestrıa en BioinformaticaProbabilidad y Estadıstica: Clase 4

Gustavo Guerberoffgguerber@fing.edu.uy

Facultad de IngenierıaUniversidad de la Republica

Abril de 2010

Procesos aleatorios Ejemplos Cadenas de Markov

Contenidos

1 Procesos aleatorios

1 EjemplosCaminata del borracho con barreras absorbentesCaminata del borracho con barreras reflectantesLa ruina del apostadorPaseo aleatorio en ZPaseo aleatorio en Z2

Paseo aleatorio en Z3

Competencia de especiesProceso de Galton-WatsonModelo de Ehrenfest

2 Cadenas de MarkovMatriz de transicionEstado inicial

Procesos aleatorios Ejemplos Cadenas de Markov

Procesos aleatorios

Informalmente hablando, un proceso aleatorio se obtienecuando se repite un experimento aleatorio.

Ejemplo: Tiramos una moneda sucesivas veces y registramoslos resultados:

C C N C N N C N N N C N C N N N C C...

Este es un proceso aleatorio independiente, ya que lasvariables aleatorias Xi , i = 1,2, . . ., que registran los sucesivosresultados de tirar la moneda, son independientes. (Podemospensar que estamos codificando la secuencia de tiradasdefiniendo Xi = 1 si en la tirada i sale Cara, Xi = 0 si en latirada i sale Numero).

Procesos aleatorios Ejemplos Cadenas de Markov

Para introducir la definicion general comenzamos considerandoel Espacio de estados:

DefinicionEl Espacio de estados, E = {s1, s2, . . . , sr}, es el conjunto deposibles valores que puede tomar cada una de las variablesaleatorias que definen el proceso.

Observacion: A lo largo del curso supondremos que elconjunto E es discreto (con una cantidad finita o infinita deelementos).

DefinicionUn Proceso aleatorio (en tiempo discreto) con espacio deestados E es una sucesion de variables aleatorias{Xn : n = 0,1,2, . . .}, donde Xn ∈ E para cada n ≥ 0.

Procesos aleatorios Ejemplos Cadenas de Markov

Comentarios:

A la variable X0 se le llama Estado inicial del proceso.Decimos que los procesos estan definidos a tiempodiscreto porque el ındice n (el tiempo) toma valores en elconjunto de enteros no negativos. Sin embargo no siempreeste ındice representa al tiempo: por ejemplo, las variables{Xn} pueden caracterizar los nucleotidos en una cadenade ADN, y en tal caso el ındice n representa los sitios de lacadena. Mas adelante estudiaremos algunos procesos entiempo continuo.

Procesos aleatorios Ejemplos Cadenas de Markov

Ejemplos

1) La caminata del borracho con barreras absorbentes:Consideremos el espacio de estados E = {0,1,2,3,4,5,6,7}.Cada uno de esos estados representa una esquina en unaciudad unidimensional. Consideremos un borracho que caminaaleatoriamente en esta ciudad de acuerdo con las siguientesreglas:

Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1,2,3,4,5,6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1

2 oretrocede una cuadra con probabilidad 1

2 .Toda vez que el borracho alcanza la esquina 0 (quecorresponde a su casa) o la esquina 7 (que corresponde aun bar), allı se queda. Decimos que 0 y 7 son estadosabsorbentes.

El proceso {Xn} registra las sucesivas esquinas por las quepasa el borracho.

Procesos aleatorios Ejemplos Cadenas de Markov

2) La caminata del borracho con barreras reflectantes:Igual que en el ejemplo anterior, E = {0,1,2,3,4,5,6,7}.Consideremos ahora que el borracho camina aleatoriamentede acuerdo con las siguientes reglas:

Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1,2,3,4,5,6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1

2 oretrocede una cuadra con probabilidad 1

2 .Toda vez que el borracho alcanza la esquina 0 esempujado hacia el estado 1 y toda vez que alcanza laesquina 7 es empujado hacia el estado 6. Decimos ahoraque 0 y 7 son estados reflectantes.

Procesos aleatorios Ejemplos Cadenas de Markov

Al estudiar este tipo de problemas surgen naturalmente unaserie de preguntas:

En el Ejemplo 1: ¿Cual es la probabilidad de que elsistema sea absorbido por el estado 0 antes de serabsorbido por el estado 7?En el Ejemplo 1: ¿Cuanto tiempo transcurre, en promedio,hasta que el sistema llega a un estado absorbente?En el Ejemplo 1: ¿Cuanto tiempo, en promedio, pasa elsistema en cada uno de los estados transitorios?En el Ejemplo 2: ¿Como se comporta el sistema cuandon→∞?En el Ejemplo 2: ¿Cuanto tiempo, en promedio, pasa elsistema en cada uno de los estados?

Estas y otras cuestiones seran analizadas en las proximasclases.

Procesos aleatorios Ejemplos Cadenas de Markov

3) La ruina del apostador: Consideremos el conjuntoE = {0,1,2, . . . ,G}, con G fijo, donde cada estado representael posible capital de un apostador que juega en un casino.Supongamos que la probabilidad de ganar en una apuesta esp y que la probabilidad de perder es q = 1− p; suponemos queen cada apuesta el jugador gana o pierde una unidad dedinero. La variable Xn registra el capital del apostador al tiempon. El proceso se define como sigue:

Si en el tiempo n el capital es un numero del conjunto{1,2,3, . . . ,G − 1}, entonces en el tiempo n + 1 el capitaldel apostador aumenta una unidad con probabilidad p odisminuye una unidad con probabilidad q.El apostador deja de apostar cuando alcanza la gananciaG o cuando su capital es 0. Estos estados pueden versecomo estados absorbentes.

Procesos aleatorios Ejemplos Cadenas de Markov

Ejemplo de calculo de las probabilidades de absorcion:Denotamos: wj = probabilidad de que el jugador llegue a ganarG (antes de perder todo) si comienza con una ganancia inicialj .Las cantidades w0,w1,w2, . . . ,wG satisfacen el siguientesistema de ecuaciones lineales:

wj = pwj+1 + qwj−1, para j = 1,2, . . . ,G − 1.w0 = 0.wG = 1.

Resolviendo ese sistema de ecuaciones y usando lascondiciones de contorno se obtiene:Caso 1: Si p = q = 1

2 , entonces: wj =jG , para cada

j = 1,2, . . . ,G − 1.Caso 2: Si p 6= q, entonces: wj =

(q/p)j−1(q/p)G−1 , para cada

j = 1,2, . . . ,G − 1.

Procesos aleatorios Ejemplos Cadenas de Markov

4) Paseo aleatorio en Z: El espacio de estados es Z y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema avanza unaunidad con probabilidad 1

2 o retrocede una unidad conprobabilidad 1

2

5) Paseo aleatorio en Z2: El espacio de estados es Z2 y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante o hacia atras o hacia arriba o haciaabajo con igual probabilidad (1

4 ).

6) Paseo aleatorio en Z3: El espacio de estados es Z3 y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante o hacia atras o hacia la izquierdao hacia la derecha o hacia arriba o hacia abajo con igualprobabilidad (1

6 ).

Procesos aleatorios Ejemplos Cadenas de Markov

Realizaciones del paseo aleatorio en Z.

Procesos aleatorios Ejemplos Cadenas de Markov

Realizacion del paseo aleatorio en Z2.

Procesos aleatorios Ejemplos Cadenas de Markov

Realizaciones del paseo aleatorio en Z3.

Procesos aleatorios Ejemplos Cadenas de Markov

7) Competencia de dos especies por un territorio:Consideremos un cuadrado con L× L casilleros. Cada casilleropuede estar ocupado por una especie vegetal (en tal caso lopintamos de negro) o por otra (en tal caso lo pintamos deblanco). En cada tiempo el estado del sistema quedacaracterizado especificando cuales sitios son de un color ycuales de otro; ası que |E | = 2L2

. La dinamica del proceso sedefine como sigue: Dado el estado al tiempo n, se elige uncasillero al azar y luego se elige al azar uno de los casillerosvecinos a ese; se pinta entonces el casillero elegidoinicialmente con el color del casillero vecino. Eso defineeventualmente un nuevo estado al tiempo n + 1.

Se observa que hay dos estados absorbentes (todo blanco otodo negro), e interesa saber cual es la probabilidad de queuna especie domine a la otra a partir de una configuracioninicial.

Procesos aleatorios Ejemplos Cadenas de Markov

8) Proceso de Galton-Watson: Consideremos individuos quetienen un numero aleatorio de hijos. En cada generacion cadaindividuo tiene hijos independientemente de los otrosindividuos y con la misma distribucion de probabilidad.Comenzando con un individuo, Z0 = 1, el proceso Zn cuentacuantos descendientes hay en la generacion n. Obviamente 0es un estado absorbente. Interesa estudiar paraque condiciones el proceso se extingue con probabilidad 1 ypara que condiciones sobrevive indefinidamente con algunaprobabilidad positiva.

Procesos aleatorios Ejemplos Cadenas de Markov

9) Modelo de Ehrenfest de difusion de gases: ConsideremosN bolillas colocadas en una caja con dos compartimentos, A yB. Xn cuenta la cantidad de bolillas que hay en elcompartimento A al tiempo n. La dinamica del proceso sedefine como sigue: Dado el estado del proceso al tiempo n, seelige una bolilla al azar y se la cambia de compartimento. Demanera que Xn+1 aumentara o disminuira en una unidad.En este modelo interesa saber cual es el comportamientoasintotico cuando n→∞.

Procesos aleatorios Ejemplos Cadenas de Markov

Condicion de Markov

¿Que tienen en comun todos estos procesos que acabamos dedescribir? Todos ellos cumplen la siguiente condicion:

Condicion de Markov

P(Xn+1 = j | Xn = i ,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0)= P(Xn+1 = j |Xn = i),

para todos los valores de n ≥ 0; i0, i1, . . . , in−1, i , j ∈ E.

Los procesos {Xn : n ≥ 0} que cumplen la Condicion deMarkov se llaman Cadenas de Markov

Procesos aleatorios Ejemplos Cadenas de Markov

Matriz de transicion

Si las probabilidades de transicion P(Xn+1 = j |Xn = i) nodependen de n decimos que la Cadena de Markov esHomogenea. Todos los ejemplos que vimos y los que veremosa lo largo del curso son de este tipo. En tal caso denotamos:

pij = P(Xn+1 = j |Xn = i) = P(X1 = j |X0 = i).

Matriz de transicionAgrupando las cantidades {pij} en una matriz obtenemos lamatriz de transicion de la cadena de Markov:

P =

p11 p12 ... p1rp21 p22 ... p2r. . . .. . . .

pr1 pr2 ... prr

Procesos aleatorios Ejemplos Cadenas de Markov

Nota: Hemos supuesto, para simplificar la notacion, queE = {1,2, . . . , r}.

Observaciones:

El tamano de la matriz es |E | × |E |. (En los ejemplos 4), 5)y 6) el tamano es infinito)pij ≥ 0 para cada i , j ∈ E .∑

j∈E pij = 1 para cada i ∈ E .

A una matriz que cumple con estas condiciones se le llamamatriz estocastica.

Procesos aleatorios Ejemplos Cadenas de Markov

Estado inicial

El segundo ingrediente que necesitamos para caracterizar unacadena de Markov es el estado inicial.Supongamos que para n = 0 conocemos las probabilidades deque el proceso este en cada uno de los elementos del conjuntoE . Para simplificar suponemos como antes queE = {1,2, . . . , r}. Denotamos:

π(0)1 = P(X0 = 1)

π(0)2 = P(X0 = 2)... = ...

π(0)r = P(X0 = r)

Procesos aleatorios Ejemplos Cadenas de Markov

Estado inicial

Estado inicial

Agrupando las cantidades {π(0)i } en un vector fila obtenemos elestado inicial de la cadena de Markov:

π(0) = (π(0)1 , π

(0)2 , . . . , π

(0)r ).