Cadenas de Markov

Cadenas de Markov Rosary elyn Carmona navarroLuis Eduardo canedo torres Oscar Ivn herrera Bonilla William rentera INTRODUCCIONUn proceso o sucesin de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algn elemento que depende del azar se denomina proceso aleatorio o proceso estocstico. Por ejemplo, la sucesin podra ser las condiciones del tiempo en Paran en una serie de das consecutivos: el tiempo cambia da a da de una manera que en apariencia es algo aleatoria. O bien, la sucesin podra consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad.Objetivosanalizar la evolucin de un sistema a travs de periodos sucesivos, y sus probabilidades de cambio .los procesos de Markov pueden ayudar a hacer predicciones para el futuro, basndose en datos actuales, datos pasados y probables condiciones futurasEn modelos financieros para optimizacin de acciones.Como surgi ?

El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el mtodo en 1907,permiteencontrarlaprobabilidaddequeunsistemaseencuentreenunestadoenparticularenun momento dado. Algo ms importante an, es que permite encontrar el promedio a la larga o lasprobabilidadesdeestadoestableparacadaestado.Conestainformacinsepuedepredecirel comportamiento del sistema a travs del tiempo. Importancia se usa para dar a entender que un proceso de Mrkov tiene un espacio de estados discreto (infinito onumerable). Usualmente una cadena de Mrkov sera definida para un conjunto discreto de tiempos (es decir, una cadena de Mrkov de tiempo discreto),aunque algunos autores usan la misma terminologa donde "tiempo" puede tomar valores continuosDefinicin de Cadena de MarkovUn proceso estocsticoCon un nmero finito de estados (M)Con probabilidades de transicin estacionariasQue tiene la propiedad markoviana

Campos de aplicacin Las MLN (por su siglas en ingls Markov Logic Networks) tienen muchas aplicaciones en el mundo real, destacando su uso en negocios, poltica, finanzas, deportes, salud, gentica, fsica y economa.Qu es un proceso estocstico?Es cualquier proceso en el que se involucren probabilidades es un proceso estocstico.Es un conjunto o sucesin de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. En donde:

El ndice t representa un tiempo y X(t) el estado del proceso estocstico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el ndice: {X1, X2, ...}Qu es una cadena de markov finita ?consiste en una serie de estados, en los cuales la probabilidad de que un evento ocurra depende del estado inmediatamente anterior.Es una cadena de Markov para la que existe slo un nmero finito k de estados posibles s1,...,sk y en cualquier instante de tiempo la cadena est en uno de estos k estados.

supuestosEl modelo esta correctamente especificado.Debe ser lineal en los parmetros.El valor de la media condicional es cero.Hayhomocedasticidad.No existe correlacin entre las perturbaciones.La covarianza entreyes cero.El nmero de observaciones es mayor que el de parmetros.Existe variabilidad entre los.No hay multicolinealidad perfecta.Lasson no estocsticas, es decir, son fijas en muestras repetidas.

ELEMENTOS DE UNA CADENA DE MARKOV

Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)Ciclo de markov (paso) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes)Probabilidades de transicin entre estados, en un ciclo (matriz P)Distribucin inicial del sistema entre los M estados posibles

Estimacin de los parmetros de una cadena de MarkovA partir de una realizacin de la cadena de Markov, se pueden estimar las probabilidades de transicin mediante las siguientes proporciones observadas:

Esto presenta limitaciones dependiendo de cmo haya evolucionado la realizacin observada. Adems, no permite estimar las probabilidades iniciales.Por estos motivos es conveniente disponer de varias realizaciones de la cadena de Markov.Cadenas de Markov ocultas

En lugar de observar los estados de la cadena de Markov, observamos otros elementos, bajo ciertas probabilidades:Elementos de una cadena de Markov oculta.

Espacio de estados:Matriz de transicin:

Distribucin inicial:

Alfabeto de smbolos observables:Probabilidades de emisin:

tipos de cadenas CADENAS DE MARKOV ABSORVENTES Son cadenas en donde todos los estados transitorios son absorbentes.CADENAS ERGODICAS Cadena que est formada por un conjunto ergdico se llama cadena ergdica. Se distinguen dos tipos de cadenas ergdicas: a) Cadena ergdica cclica: en ella slo se puede entrar en un estado a intervalos peridicos fijos. b) Cadena ergdica regular: cadena ergdica nocclica.EJEMPLO

S1S2S11/21/2S21/21/2 Est claro que el sistema completo nunca estar completamente "atrapado" en un estado, as que la cadena es regular.

S1

S2

S3

S1

03/41/4S2

1/201/2S3

1/43/40 Siempre es posible moverse de un estado a cualquier otro, en cualquier paso siendo los movimientos nocclicos. As la cadena y la matriz son regulares.S1

S2

S3

S1

1/41/4S2

01/31/3S3

01/41/4

Despus de n pasos la cadena entrar (con probabilidad 1 cuando n tiende a ) en S2 o en S3. Una vez situada en uno de estos estados nunca podr pasar a S1. Por lo tanto S1 es un estado transitorio y as la cadena es no regular y por lo tanto noergdica, aunque el conjunto [ S2, S3 ] sea un conjunto ergdico.S1

S2

S3

S1

001S2

100S3

010

La cadena se mueve con perodo 3 a travs de los conjunto cclicos [ S1 ] [ S2 ] y [ S3 ]. Es por lo tanto una cadena cclica ergdica y no una cadena regular.Propiedad de Markov:Dada una secuencia de variables aleatorias X1 , X 2 , X 3 ,...... , tales que el valor de X n es el estado del proceso en el tiempo n. Si la distribucin de probabilidad condicional X n +1 en estados pasados es una funcin de X n por s sola, entonces:

Donde xi es el estado del proceso en el instante i. Esta identidad es la denominada propiedad de Markov: El estado en t + 1 solo depende del estado en t y no de la evolucin anterior del sistema. .

P(X n + 1 = xn + 1 /X n = xn , X n 1 = xn 1,....X 2 = x2 , X 1 = x1 ) =P(X n + 1 = xn + 1 /X n = xn )

PROPIEDAD MARKOVIANAUn proceso estocstico tiene la propiedad markoviana si las probabilidades de transicin en un paso slo dependen del estado del sistema en el perodo anterior (memoria limitada)

PROPIEDAD MARKOVIANA

P(n) es la matriz de transicin en n pasos, de orden (M+1)x(M+1)PROPIEDAD MARKOVIANA

PROPIEDAD MARKOVIANA

Tipos de modelos de Markov:Procesos de Markov (Modelos semi-markovianos): Las probabilidades de transicin entre estados pueden variar a medida que transcurren ms ciclosEjemplo: para modelizar la esperanza de vida, el riesgo de muerte aumenta con la edadCadenas de Markov: Las probabilidades de transicin se suponen constantes a lo largo del tiempo

LAS CADENAS DE MARKOV SON UN CASO PARTICULAR DE MODELOS DE MARKOVPROPIEDAD MARKOVIANAEjemplos:Comportamiento (sube/baja) del precio de las acciones hoy depende de lo ocurrido ayer

Problema de la ruina de un jugador de casino

Eleccin de marca: Con qu lnea area volar a Madrid?

Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo (mismo conjunto homogneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50% respectivamente

EJEMPLO 1: EL REPARTO DEL MERCADO A LARGO PLAZO EN UN OLIGOPOLIOMatriz de transicin en un paso (ciclo)

Ciclo: MesLas filas suman 1Cmo se repartirn el mercado dentro de 1 mes, 6 meses, 1 ao?, A largo plazo?Este es un ejemplo de cadena de Markov irreductible y ergdica. Todos los estados son recurrentes y estn comunicados entre s, formando una sola clase.Hay solucin de estado estable (reparto del mercado a largo plazo, independiente de la situacin inicial)

EJEMPLO 1: EL REPARTO DEL MERCADO A LARGO PLAZO EN UN OLIGOPOLIOReparto del mercado despus de n ciclos = P0*Pn 1 mes.....P1= [0.3350 0.2540 0.4110] 2 meses ....p2 =[ 0.3595 0.2911 0.3494]6 meses ...... p6 =[ 0.4030 0.3543 0.2427]1 ao ....... p12 = [ 0.4150 0.3704 0.2146]2 aos ...... p24 =[ 0.4165 0.3722 0.2113]3 aos ....... p36 =[ 0.4165 0.3722 0.21131]Solucin de estado estableMatriz estado inicial Consideremos un sistema de n estados posibles, de modo que cada ensayo tiene n resultado posibles. En cualquier etapa en el futuro no podemos decir en qu estado se encontrar el sistema pero podramos estar en posicin de dar las probabilidades de que se encuentre en cada uno de los estados 1, 2, .,n. En general, si p1 , p2 , ....., pn son las probabilidades de que el sistema se encuentre en los estados 1, 2, .., n, respectivamente, entonces la matriz fila 1xn( p1, p2 ....pn ) se conoce como matriz de estado inicial o vector de estado inicial del sistema. Obviamente que la suma de esa fila es 1. Denotaremos a la matriz de estado inicial con Ao y a la matriz de estado despus de k ensayos o etapas por Ak

Matriz de estado en n pasosLa matriz de probabilidades de transicin de n pasos se puede obtener calculando la ensima potencia dela matriz de transicin de un paso:

por ejemplo, si queremos calcular la matriz de transicin de cuatro pasos:

Ejemplo en n pasos

Ejemplo

Matriz de transicin en k pasosEs la matriz que representa la probabilidad de una poblacin de moverse de un estado a otro. Cumple con las siguientes condiciones:La matriz de transicin debe ser cuadrada.La suma de las probabilidades por fila debe ser igual a 1.

Matriz regular Una matriz es regular si en sus consignas no presenta ningn estado 0 y 1.Matriz estacionariaUna matriz de transicin P se dice que es regular si para algn entero positivo k, la matriz Pk no tiene elementos iguales a cero. Si P es una matriz de transicin regular, entonces sin importar la matriz de estado inicial, las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema

EstadosUn estado es transitorio : estados que tienen una probabilidad > 0 de no volver nunca al estado (se visitan un nmero finito de veces).Estados recurrentes: estados que tienen una probabilidad > 0 de volver al estado (se visitan un nmero infinito de veces).

Un estado es absorbente :si despus de haber entrado a un estado nunca saldr de l..

Clasificacin

Cadenas recurrentes y transitoriasProposicin: Sea X una CM irreducible. Entonces, o bien todos sus estados son recurrentes (y decimos que X es recurrente), o bien todos sus estados son transitorios (y decimos que X es transitoria).Ejemplo: Estado de cuentas con un to rico (fortunes with the rich uncle). Probabilidad p de ganar 1 y 1p de perder 1 . Cuando me arruino, mi to me presta dinero para la prxima tirada:Cadenas recurrentes y transitorias01p21p3ppp1p1p1p1ppn+11ppp1p1pnPeriodicidadSea jS tal que jj>0. Sea

Si k>1, entonces diremos que j es peridico de periodo k. El estado j ser peridico de periodo k>1 sii existen caminos que llevan desde j hasta j pero todos tienen longitud mk, con m>0PeriodicidadEjemplo: En la siguiente CM todos los estados son peridicos de periodo k=2:ijlmEjemplo: En la siguiente CM todos los estados son peridicos de periodo k=3:213546Subconjuntos cerradosSea CS, con C. Diremos que C es cerrado sii iC jC, j no es alcanzable desde i, o lo que es lo mismo, ij=0. En particular, si C={i}, entonces i es absorbente. S siempre es cerrado.Un subconjunto cerrado CS se dice que es irreducible sii no contiene ningn subconjunto propio cerradoMATRIZ DE TRANSICIN EN UN SOLO PASO

Dada una cadena de Markov con k estados posibles s1, ... , sk y probabili- dades de transicin estacionarias.

La matriz de transicin P de cualquier cadena de Markov finita conprobabilidades de transicin estacionarias es una matriz estocstica.

propiedades1- la suma de las probabilidades de los estados debe ser igual a 1.2- la matriz de transicin debe ser cuadrada.3- las probabilidades de transicin deben estar entre 0 y 1

ejemploSupongamos que el clima de una determinada regin slo puede ser soleado (s1) o nublado (s2) y que las condiciones del clima en maanas sucesivas forman una cadena de Markov con probabilidades de transicin estacionarias. La matriz de transicin est dada por:

Si un da concreto est nublado, cul es la probabilidad de que est nublado el da siguiente?

p22 = 0.4

MATRIZ DE TRANSICIN EN VARIOS PASOS

Dada una cadena de Markov con k posibles estados s1,. .. , sk y matriz de transicin Pij, Si notamos p(2) = P (Xn+2 = sj |Xn = si) .

Ejemplo En el ejemplo del clima con matriz de transicin

Si un mircoles est nublado, cul es la probabilidad de que el viernes siguiente haga sol?

Calculamos la matriz de transicin en dos pasos:

Distribucin en estado estacionarioProbabilidades de transicin en n pasos: La probabilidad de transicin en 1 paso:

se generaliza en N pasos a:

Ejemplo paso a paso de anlisis de una cadena.Consumidores de caf en el rea de Pontevedra usan tres marcas A, B, C. En marzo de 1995 se hizo una encuesta en la que se entrevist a las 8450 personas que compran caf y los resultados fueron:

Preguntas a) Si las compras se hacen mensualmente, cul ser la distribucin del mercado de caf en Pontevedra en el mes de junio?b) A la larga, cmo se distribuirn los clientes de caf?c) En junio, cual es la proporcin de clientes leales a sus marcas de caf?

Solucin a)Con las frecuencias anteriores calculamos las probabilidades de transicin, conservando el mismo orden que la tabla (A,B,C) es:

b) A la larga se trata de la situacin estable:

c) En Marzo la proporcin de clientes de A es: 2028/8450 = 0.24; para B es 3718/8450 = 0.44 y para C es 2704/8450 = 0.32. En el mes de junio la proporcin es:

Hoja1ABCA0.80.10.1P=B0.150.820.03C0.130.120.75

Hoja2

Hoja3