CADENAS DE MARKOV Juan Carlos Aldana Bernal

Objetivo

Entender los procesos estocsticos en donde los

resultados de una etapa dependen solamente de los

resultados de la etapa anterior

Procesos estocsticos

Tambin llamado proceso

aleatorio, sucede cuando

los resultados de una

etapa de un proceso o

sucesin de eventos que

se desarrollan en el

tiempo, contienen algn

elemento que depende

del azar.

Definicin de Cadenas de Markov

Etapa 1 NA

Etapa 2 Depende

de la etapa 1

Etapa n Depende

de la etapa n-1

Una cadena de Markov es

una sucesin de ensayos

similares u observaciones,

en la cual cada ensayo

tiene el mismo nmero

finito de resultados

posibles y en donde la

probabilidad de cada

resultado para un ensayo

dado, depende slo del

resultado del ensayo

inmediatamente

precedente y no de

cualquier resultado previo

Antecedentes

Reciben su nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922), quien las desarroll.

Son cadenas que tienen memoria, recuerdan el ltimo evento y eso condiciona las posibilidades de los eventos futuros.

Las probabilidades de transicin permanecen constantes.

Este tipo de proceso presenta una forma de dependencia simple, pero muy til en muchos modelos: Una mquina que est funcionando bien en un perodo siga

funcionando as en el siguiente perodo.

Describir la probabilidad que un cliente que compra la marca A en un perodo compre la marca B en el siguiente.

Si un grupo de personas estn saludables en un ao la probabilidad que sigan as en el siguiente ao.

Ejemplo Cadena de Markov

La sucesin del poder en un pas en el cual slo existen dos partidos polticos, el A y B, se puede presentar como: A-B-A-A-B-B

Si el partido A esta en el poder y existe una probabilidad de de que el partido A siga en el poder y que lo haga B.

Si el partido B est en el poder y existe una probabilidad de 1/3 de que el partido A gan la eleccin y 2/3 que lo haga B.

La sucesin de elecciones forman una cadena de Markov, dado que las probabilidades de los dos resultados de cada eleccin estn determinadas por el resultado de la eleccin precedente.

Se puede representar como:

A B 3/4

1/3

1/4 2/3

A

B

A B

1/4 3/4

1/3 2/3

Anlisis de Cuota de mercado

Se utiliza para analizar el comportamiento de los clientes

respecto a las diferentes opciones de compra en los

supermercados.

Ensayos del proceso

Son los perodos semanales o eventos de compra del cliente

Estado del Sistema

La opcin o tienda seleccionada en cada compra

Estado 1: Compra en xito

Estado 2: compra en Carrefour

Probabilidades de transicin

Indican la probabilidad que un cliente realiza una transicin de un estado en un perodo, a cada estado en el perodo siguiente

Probabilidades de transicin

Las probabilidades de transicin son las mismas para

cualquier cliente y no cambian con el tiempo.

P: Probabilidad de realizar una transicin del estado i en un perodo dado al estado j en el siguiente perodo

Matriz de probabilidades de transicin

P =

P11 P12

P21 P22

La suma de probabilidades de una fila es 1 Probabilidad de estado: : probabilidad que el sistema este en el estado i en el perodo n Si 1(0) = 1 y 2(0) = 0, representa que al inicio el cliente compr en la tienda

1

[1(0) 2(0)] = [ 1 0]

Probabilidad de estado

El vector de probabilidades de estado en el perodo n (n) = [1(n) 2(n)]

Las probabilidades de estado en el perodo n+1 es igual al producto de las probabilidades de estado del perodo n por la matriz de probabilidades de transicin (n+1) = (n)P

Entonces

(1) = (0)P [1(1) 2(1)] = [1(0) 2(0)]

Cuando se hace un gran nmero de transiciones, las probabilidades de que el sistema este en un estado en particular es independiente de su estado inicial, se conocen como probabilidades de estado estacionario o cuotas de mercado

P11 P12

P21 P22

Ejemplo Cuota de mercado (1)

En un mercado cerrado slo existe la opcin de comprar

en el xito o en Carrefour, con los siguientes estados:

Estado 1: el cliente compra en el xito

Estado 2: el cliente compra el Carrefour

Las probabilidades de transicin estn dadas de la

siguiente forma:

Perodo de

compras

semana actual

Perodo de compras semana

siguiente

Exito Carrefour

Exito 0,9 0,1

Carrefour 0,2 0,8

Ejemplo Cuota de mercado (2)

La matriz de probabilidades es:

P =

P11 P12

P21 P22

0,9 0,1

0,2 0,8 =

Semana 2

Semana 1

Semana 0

Cliente compra en el

xito

Compra en el Exito

Compra en el Exito

Compra en Carrefour

Compra en Carrefour

Compra en el Exito

Compra en Carrefour

0,9

0,1

0,9

0,2

0,1

0,8

Probabilidades

luego de dos

semanas

(0,9*0,9) = 0,81

(0,9*0,1) = 0,09

(0,1*0,2) = 0,02

(0,1*0,8) = 0,08

(1) = (0)P

[1(1) 2(1)] = [1(0) 2(0)] = [0,9 0,1]

[1(2) 2(2)] = [0,9 0,1] = [0,83 0,17]

Probabilidades de estado durante perodos futuros

comenzando con un cliente que compra en el xito

Ejemplo Cuota de mercado (2)

0,9 0,1

0,2 0,8

0,9 0,1

0,2 0,8

Prob

estado

Perodo (n)

0 1 2 3 4 5 6 7 8 9 10

1(n) 1 0,9 0,83 0,78 0,74 0,72 0,70 0,69 0,68 0,68 0,67

2(n) 0 0,1 0,17 0,21 0,25 0,27 0,29 0,30 0,31 0,32 0,32

Probabilidades de estado durante perodos futuros

comenzando con un cliente que compra en Carrefour

Ejemplo Cuota de mercado (2)

Prob

estado

Perodo (n)

0 1 2 3 4 5 6 7 8 9 10

1(n) 0 0,2 0,34 0,43 0,50 0,55 0,58 0,61 0,62 0,64 0,64

2(n) 1 0,8 0,66 0,56 0,49 0,44 0,41 0,38 0,37 0,36 0,35

Con n suficientemente grande la diferencia entre (n+1) y (n) es insignificante y se esta en estado estacionario 1(n+1) = 1(n) = 1.

Entonces: [1 2] = [1 2] = [1 2]

1 = 0,9 1 + 0,22 (1) 2 = 0,1 1 + 0,82 (2)

P11 P12

P21 P22

0,9 0,1

0,2 0,8

Ejemplo Cuota de mercado (3)

Si tambin se conoce que 1 + 2 = 1 (3)

Y reemplazando en (1) se obtiene:

1 = 0,9 1 + 0,2(1 1)

Entonces 1 = 2/3 y reemplazando en (3) 2 = 1/3

Si se tiene un mercado de 1000 clientes, identifica que a

la larga con probabilidades de estado estacionario de 1 = 2/3 y 2 = 1/3, 667 clientes (1000*2/3) sern del xito y el resto (333) sern de Carrefour.

Ejercicio Cuota de mercado

Los patrones de compra de dos marcas de pasta dental pueden expresarse como un proceso de Markov con las probabilidades de transicin presentadas en la tabla.

Qu marca parece tener mayor lealtad de los clientes, explique?

Cules son las cuotas de mercado proyectadas de cada marca, si se inicia con Special B (1,0)?

Se plantea una campaa de publicidad para MDA, a fin de atraer clientes de SpecialD. La gerencia cree que la nueva campaa incrementar la probabilidad a 0,2 de que un cliente cambie de SpecialD a MDA. Cul es el efecto proyectado de la campaa publicitaria en las cuotas de mercado?

A

DE Special D MDA

Special B 0,9 0,1

MDA 0,05 0,95

Anlisis de cuentas por cobrar

Las cadenas de Markov tienen tambin aplicacin en las

provisiones de cuotas de dudoso recaudo de las

empresas.

Se establecen los perodos de cobro de acuerdo a las

polticas de las empresas, ej:

CXC de 0-30 das de edad

CxC de 30-90 das de edad

Se identifican los estados, ej:

Estado 1: Categora de CXC pagadas

Estado 2: Categora de CXC incobrable

Estado 3: Categora de CXC de 0-30 das de edad

Estado 4: Categora de CxC de 30-90 das de edad

Probabilidades en CXC

Pij: probabilidad que un peso que esta en el estado i en

una semana cambie al estado j en la siguiente

Con esto y en base a datos histricos se construye la

matriz de probabilidades de transicin:

P =

P11 P12 P13 P14

P21 P22 P23 P24

P31 P32 P33 P34

P41 P42 P43 P44

Estado absorbente: cuando un peso hace transicin al estado 1 o al estado 2, la probabilidad de hacer transicin

a cualquier otro estado es cero.

Cada unidad siempre termina en un estado absorbente

Matriz fundamental

Se divide la matriz de probabilidades de transicin en

cuatro partes

P =

P11 P12 P13 P14

P21 P22 P23 P24

P31 P32 P33 P34

P41 P42 P43 P44

=

1,0 0 0 0

0 1,0 0 0

R

Q

La matriz fundamental N se calcula como:

N = ( )1 En donde I es la matriz identidad

Si A = y 1 = A11 A12

A21 A22

A22/d -A12/d

-A21/d A11/d

Donde d = A11*A22 A21*A12

Resultados de cobros de dudoso recaudo

NR = NR11 NR12

NR21 NR22

La primera fila establece la probabilidad que una unidad en el estado

3 (cxc de 0-30 das) termine en los estados absorbentes 1 NR11 (sea

pagado) 2 NR12 (deuda incobrable).

La fila dos establece lo mismo pero para el estado 4 (cxc de 30-90

das)

Ejemplo: Anlisis de cuentas por cobrar

Una empresa clasifica sus cuentas por cobrar de la siguiente manera de : CXC de 0-30 das de edad

CxC de 30-90 das de edad

CxC de +90 das incobrable

El saldo de la cuenta de un cliente a 30 de septiembre es el siguiente:

Se identifican los estados, ej: Estado 1: Categoria de CXC pagadas

Estado 2: Categoria de CXC incobrable

Estado 3: Categora de CXC de 0-30 das de edad

Estado 4: Categora de CxC de 30-90 das de edad

Fecha de compra Cantidad cobrada

15 de agosto $25

18 de septiembre $10

28 de septiembre $50

Ejemplo: Probabilidades en CXC

Pij: probabilidad que un peso que esta en el estado i en

una semana cambie al estado j en la siguiente

De acuerdo con los datos recolectados por la empresa se

construye la matriz de probabilidades de transicin:

P =

P11 P12 P13 P14

P21 P22 P23 P24

P31 P32 P33 P34

P41 P42 P43 P44

Si se traslada a los primeros dos estados, no se puede salir de ellos y son estados terminales.

=

1 0 0 0

0 1 0 0

0,4 0 0,3 0,3

0,4 0,2 0,3 0,1

Ejemplo: Matriz fundamental

Se divide la matriz de probabilidades de transicin en

cuatro partes

P =

1 0 0 0

0 1 0 0

0,4 0 0,3 0,3

0,4 0,2 0,3 0,1

=

1 0 0 0

0 1 0 0

R

Q

La matriz fundamental N se calcula como:

N = ( )1

Con I =

I Q =

1 0

0 1

0,3 0,3

0,3 0,1

1 0

0 1

_ = 0,7 -0,3

-0,3 0,9

Ejemplo: Resultados de cobros de

dudoso recaudo

N = ( )1

NR =

1,67 0,56

0,56 1,30

La primera fila establece la probabilidad que una unidad

en el estado 3 (cxc de 0-30 das) termine en los estados

absorbentes 1 es 0,89 (sea pagado) 2 es 0,11 (deuda

incobrable).

La fila dos establece para el estado 4 (cxc de 30-90 das)

la probabilidad que termine en los estados absorbentes 1

es 0,74 (sea pagado) 2 es 0,26 (deuda incobrable).

=

1,67 0,56

0,56 1,30

0,4 0

0,4 0,2 =

0,89 0,11

0,74 0,26

Ejemplo: Resultados de cobros de

dudoso recaudo (2) Si B es un vector que establece B [b1 b2]

Dados por b1: deuda de 0-30 das, y b2 deuda de 31-90

das

Y el saldo de estas cuentas a 31 de diciembre es de b1

=1000 y b2 = 2000.

Se busca determinar de los 3000 cuantos ser cobrado y

cuanto se perder

BNP = [1000 2000]

BNR = [2370 630]

Lo cual quiere decir que $2370 se recuperarn y $630 no y habr de

provisionarlos.

0,89 0,11

0,74 0,26

Bibliografia

Anderson, Mtodos cuantitativos para negocios,

Ed CengageLearning.

Heizer Jay, Direccin de la produccin y de

operaciones, Ed Pearson.

Ejercicio La gerencia de una empresa cree que la probabilidad de un cliente que

compra su marca Red Pop o a la competencia ms importante de la empresa, Super Cola, est basada en la compra ms reciente del cliente. Suponga que las siguientes probabilidades de transicin son adecuadas:

Muestre el diagrama de rbol de los perodos para un cliente que por ltima vez compr Red Pop. Cul es la probabilidad que este cliente compre Red Pop por segunda vez?

Cul es la cuota de mercado de largo plazo para cada uno de estos productos?

Se plantea una campaa de publicidad para Red Pop, a fin de atraer clientes de Super Cola. La gerencia cree que la nueva campaa incrementar la probabilidad a 0,15 de que un cliente cambie de Super Cola a Red Pop. Cul es el efecto proyectado de la campaa publicitaria en las cuotas de mercado?

A

DE Red Pop Super Cola

Red Pop 0,9 0,1

Super Cola 0,1 0,9

Ejercicio: Probabilidades en CXC

Tome la informacin del ejemplo presentado de

Probabilidades en CxC, pero con las siguientes

probabilidades de transicin:

P = P11 P12 P13 P14

P21 P22 P23 P24

P31 P32 P33 P34

P41 P42 P43 P44

Si la empresa tiene $400 en la categora de 0-30 das y $5000 en la categora de 31-90 das, cul es la estimacin

de deudas incobrables que la empresa experimentar?

=

1 0 0 0

0 1 0 0

0,5 0 0,25 0,25

0,5 0,2 0,05 0,25

Ejercicio 2: Probabilidades en CXC

Dada la siguiente matriz de transicin con los estados 1 y

2 como estados absorbentes, cul es la probabilidad que

las unidades que estn en los estados 3 y 4 terminen en

los estados absorbentes:

P =

P11 P12 P13 P14

P21 P22 P23 P24

P31 P32 P33 P34

P41 P42 P43 P44

=

1 0 0 0

0 1 0 0

0,2 0,1 0,4 0,3

0,2 0,2 0,1 0,5

Lecturas

Agent-Based and Individual-Based Modeling, A prectical

introduction. Steven Railsback and Volker Grimn. Se

encuentran en la fotocopiadora de Edificio de Aulas de

Ingeniera, como documentos del profesor Astaiza.

Conforme una pareja con la cual realizar la presentacin

de un capitulo de este libro.