UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA ldquoANTONIO JOSE DE SUCRErdquo

VICERECTORADO BARQUISIMETOINVESTIGACION Y POSTGRADO

Gonzaacutelez YoratziPerozo Jesuacutes

Docente Ing Marienny Arrieche

Barquisimeto 5 de Diciembre de 2012

PROCESOS ESTOCASTICOSMAESTRIA INGENIERIA ELECTRONICA OPCIOacuteN TELECOMUNICACIONES

Cadenas de Markov

Las cadenas de Markov son un tipo especial de procesos estocaacutesticos que poseen la siguiente propiedad

Propiedad de Markov Conocido el estado del proceso en un momento dado (Xn) su comportamiento futuro (Xn+1) no depende del pasado (Xn-1) es decir dado el presente (Xn = a) el futuro (Xn+1 = c) es independiente del pasado (Xn-1= b)

Matemaacuteticamente tenemos

Es decir el resultado en cada etapa soacutelo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos por lo cual decimos que estas cadenas tienen memoria recuerdan el uacuteltimo evento y eso condiciona las posibilidades de los eventos futuros

Estas cadenas poseen los siguientes elementos

1 Un conjunto finito de M estados exhaustivos y mutuamente excluyentes (ejemplo estados de la enfermedad enfermo curado)

2 Ciclo de Markov (paso) periodo de tiempo que sirve de base para examinar las transiciones entre estados (horas un diacutea 2 meses)

3 Probabilidades de transicioacuten entre estados en un ciclo (matriz P)4 Distribucioacuten inicial del sistema entre los M estados posibles

Ya que son procesos estocaacutesticos y dependen del tiempo y del espacio muestral donde se desarrolla tenemos

Cadenas de Markov de Tiempo Discreto (CMTD) es un proceso estocaacutestico en tiempo discreto con espacio de estados discreto

Cadenas de Markov de Tiempo Continuo (CMTD) un proceso estocaacutestico en tiempo continuacuteo con espacio de estados discreto

CMTD

Un proceso estocaacutestico Xn n = 0 1 2hellip es una Cadena de Markov en Tiempo Discreto (CMTD) si para cada n y xj j=0hellipn+1 se verifica

La probabilidad de transicioacuten en un paso del estado i al estado j en el instante n+1 como

La CMTD se denomina homogeacutenea si pij(n) no depende de n es decir

En tales casos se denota pij en lugar de pij(n)

La matriz formada por las probabilidades de transicioacuten en un paso se denomina matriz de transicioacuten o matriz de probabilidades de transicioacuten y toma la forma

P es una matriz cuadrada no negativa cuyas filas suman la unidad es decir 0 le pij le 1 y Σj pij = 1 para cada i 1049317 S Por lo tanto P es una matriz estocaacutestica

Graacuteficamente una CMTD con espacio de estados finito se puede representar mediante un diagrama de transicioacuten es decir mediante un grafo dirigido finito donde cada nodo representa un estado de la cadena los arcos representan las posibles transiciones entre estados y sobre los arcos se indican las probabilidades de transicioacuten entre los estados representados por los nodos unidos por cada arco

CMTC

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt =0 con conjunto de estados numerable SCZ+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo stgt= 0 y para todo i j tales que Xk E Z+ se cumple que

El proceso estocaacutestico Xttgt =0 es una Cadena de Markov homogeacutenea Si

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica

1 Ti ~ exp (Vi) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Cuando abandona el estado i si pij = P (transitar a j el proceso estaacute en i) entonces verifica que

sumj ne i

Pij=1

Ecuaciones de Chapman-Kolmogorov

Es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas en un proceso estocaacutestico

En tiempo discreto tenemos

Si denotamos con P(n) la matriz de transicioacuten en n pasos lo que nos estaacuten diciendo las ecuaciones de Chapman-Kolmogorov es que

P(n+m)=Pn Pm

Por lo tantoP2=P1 P1=PP

P3=P2 P1=PPPhellip

Una vez conocidas las probabilidades de transicioacuten en n pasos calculemos la distribucioacuten marginal del paso n-eacutesimo

Finalmente la distribucioacuten de probabilidad en n pasos

Entonces πn=π0 Pn

Ecuacioacuten de Chapman-Kolmogorov en tiempo continuo Para todos i j isin S y para cualquier s t ge 0

Supongamos que V tltinfin para cada i isin S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j isin S Teniendo

La paradoja de Borel-Kolmogorov

Esta paradoja es una ambiguumledad que puede aparecer en el caacutelculo de una funcioacuten de probabilidad condicional Esta resulta cuando la fdp condicional de una variable aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero

Esto da como resultado que existan 2 soluciones distintas a un problema sin embargo la veracidad de la solucioacuten escogida dependeraacute de la interpretacioacuten que se le de al suceso originario cuya probabilidad es cero

Ejemplo Condicionando a un valor particular

Sean X1 y X2 variables aleatorias iid y que la fdp de cada una de ellas es la siguiente

f1(x) = eminus x para x gt 0 y 0 en otro caso

Entonces la fdp conjunta de X1 y X2 es

f1(x1x2) = eminus(x 1+ x2) para x1gt 0 y x2gt 0 y 0 en otro caso

sea la variable aleatoria Z definida por la relacioacuten

Z = X 2minus1

X 1

Se desea buscar la distribucioacuten condicional de X1 dado que Z=0

Se obtiene que

g(x1|A) = x1eminus x1 para x1 gt 0 (1)y tambieacuten que

g(x1|A) = f1(x1) = eminus x1 para todo x1gt0 (2)

La paradoja aparece por que Pr(A) = 0 Si se considera el suceso A como un punto en el espacio muestral de la variable aleatoria Z entonces la ecuacioacuten (1) es correcta Si se considera A como un punto en el espacio muestral de X2 entonces la ecuacioacuten (2) es la correcta

Esta paradoja subraya el hecho de que no es posible definir racionalmente una distribucioacuten condicional para un uacutenico suceso que tiene probabilidad cero Por tanto una distribucioacuten condicional puede tener sentido uacutenicamente en el contexto de una familia de distribuciones condicionales definidas en forma consistente

Clasificacioacuten de los estados en cadenas de Markov

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

Cadenas de Markov

Las cadenas de Markov son un tipo especial de procesos estocaacutesticos que poseen la siguiente propiedad

Propiedad de Markov Conocido el estado del proceso en un momento dado (Xn) su comportamiento futuro (Xn+1) no depende del pasado (Xn-1) es decir dado el presente (Xn = a) el futuro (Xn+1 = c) es independiente del pasado (Xn-1= b)

Matemaacuteticamente tenemos

Es decir el resultado en cada etapa soacutelo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos por lo cual decimos que estas cadenas tienen memoria recuerdan el uacuteltimo evento y eso condiciona las posibilidades de los eventos futuros

Estas cadenas poseen los siguientes elementos

1 Un conjunto finito de M estados exhaustivos y mutuamente excluyentes (ejemplo estados de la enfermedad enfermo curado)

2 Ciclo de Markov (paso) periodo de tiempo que sirve de base para examinar las transiciones entre estados (horas un diacutea 2 meses)

3 Probabilidades de transicioacuten entre estados en un ciclo (matriz P)4 Distribucioacuten inicial del sistema entre los M estados posibles

Ya que son procesos estocaacutesticos y dependen del tiempo y del espacio muestral donde se desarrolla tenemos

Cadenas de Markov de Tiempo Discreto (CMTD) es un proceso estocaacutestico en tiempo discreto con espacio de estados discreto

Cadenas de Markov de Tiempo Continuo (CMTD) un proceso estocaacutestico en tiempo continuacuteo con espacio de estados discreto

CMTD

Un proceso estocaacutestico Xn n = 0 1 2hellip es una Cadena de Markov en Tiempo Discreto (CMTD) si para cada n y xj j=0hellipn+1 se verifica

La probabilidad de transicioacuten en un paso del estado i al estado j en el instante n+1 como

La CMTD se denomina homogeacutenea si pij(n) no depende de n es decir

En tales casos se denota pij en lugar de pij(n)

La matriz formada por las probabilidades de transicioacuten en un paso se denomina matriz de transicioacuten o matriz de probabilidades de transicioacuten y toma la forma

P es una matriz cuadrada no negativa cuyas filas suman la unidad es decir 0 le pij le 1 y Σj pij = 1 para cada i 1049317 S Por lo tanto P es una matriz estocaacutestica

Graacuteficamente una CMTD con espacio de estados finito se puede representar mediante un diagrama de transicioacuten es decir mediante un grafo dirigido finito donde cada nodo representa un estado de la cadena los arcos representan las posibles transiciones entre estados y sobre los arcos se indican las probabilidades de transicioacuten entre los estados representados por los nodos unidos por cada arco

CMTC

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt =0 con conjunto de estados numerable SCZ+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo stgt= 0 y para todo i j tales que Xk E Z+ se cumple que

El proceso estocaacutestico Xttgt =0 es una Cadena de Markov homogeacutenea Si

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica

1 Ti ~ exp (Vi) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Cuando abandona el estado i si pij = P (transitar a j el proceso estaacute en i) entonces verifica que

sumj ne i

Pij=1

Ecuaciones de Chapman-Kolmogorov

Es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas en un proceso estocaacutestico

En tiempo discreto tenemos

Si denotamos con P(n) la matriz de transicioacuten en n pasos lo que nos estaacuten diciendo las ecuaciones de Chapman-Kolmogorov es que

P(n+m)=Pn Pm

Por lo tantoP2=P1 P1=PP

P3=P2 P1=PPPhellip

Una vez conocidas las probabilidades de transicioacuten en n pasos calculemos la distribucioacuten marginal del paso n-eacutesimo

Finalmente la distribucioacuten de probabilidad en n pasos

Entonces πn=π0 Pn

Ecuacioacuten de Chapman-Kolmogorov en tiempo continuo Para todos i j isin S y para cualquier s t ge 0

Supongamos que V tltinfin para cada i isin S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j isin S Teniendo

La paradoja de Borel-Kolmogorov

Esta paradoja es una ambiguumledad que puede aparecer en el caacutelculo de una funcioacuten de probabilidad condicional Esta resulta cuando la fdp condicional de una variable aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero

Esto da como resultado que existan 2 soluciones distintas a un problema sin embargo la veracidad de la solucioacuten escogida dependeraacute de la interpretacioacuten que se le de al suceso originario cuya probabilidad es cero

Ejemplo Condicionando a un valor particular

Sean X1 y X2 variables aleatorias iid y que la fdp de cada una de ellas es la siguiente

f1(x) = eminus x para x gt 0 y 0 en otro caso

Entonces la fdp conjunta de X1 y X2 es

f1(x1x2) = eminus(x 1+ x2) para x1gt 0 y x2gt 0 y 0 en otro caso

sea la variable aleatoria Z definida por la relacioacuten

Z = X 2minus1

X 1

Se desea buscar la distribucioacuten condicional de X1 dado que Z=0

Se obtiene que

g(x1|A) = x1eminus x1 para x1 gt 0 (1)y tambieacuten que

g(x1|A) = f1(x1) = eminus x1 para todo x1gt0 (2)

La paradoja aparece por que Pr(A) = 0 Si se considera el suceso A como un punto en el espacio muestral de la variable aleatoria Z entonces la ecuacioacuten (1) es correcta Si se considera A como un punto en el espacio muestral de X2 entonces la ecuacioacuten (2) es la correcta

Esta paradoja subraya el hecho de que no es posible definir racionalmente una distribucioacuten condicional para un uacutenico suceso que tiene probabilidad cero Por tanto una distribucioacuten condicional puede tener sentido uacutenicamente en el contexto de una familia de distribuciones condicionales definidas en forma consistente

Clasificacioacuten de los estados en cadenas de Markov

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

CMTD

Un proceso estocaacutestico Xn n = 0 1 2hellip es una Cadena de Markov en Tiempo Discreto (CMTD) si para cada n y xj j=0hellipn+1 se verifica

La probabilidad de transicioacuten en un paso del estado i al estado j en el instante n+1 como

La CMTD se denomina homogeacutenea si pij(n) no depende de n es decir

En tales casos se denota pij en lugar de pij(n)

La matriz formada por las probabilidades de transicioacuten en un paso se denomina matriz de transicioacuten o matriz de probabilidades de transicioacuten y toma la forma

P es una matriz cuadrada no negativa cuyas filas suman la unidad es decir 0 le pij le 1 y Σj pij = 1 para cada i 1049317 S Por lo tanto P es una matriz estocaacutestica

Graacuteficamente una CMTD con espacio de estados finito se puede representar mediante un diagrama de transicioacuten es decir mediante un grafo dirigido finito donde cada nodo representa un estado de la cadena los arcos representan las posibles transiciones entre estados y sobre los arcos se indican las probabilidades de transicioacuten entre los estados representados por los nodos unidos por cada arco

CMTC

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt =0 con conjunto de estados numerable SCZ+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo stgt= 0 y para todo i j tales que Xk E Z+ se cumple que

El proceso estocaacutestico Xttgt =0 es una Cadena de Markov homogeacutenea Si

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica

1 Ti ~ exp (Vi) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Cuando abandona el estado i si pij = P (transitar a j el proceso estaacute en i) entonces verifica que

sumj ne i

Pij=1

Ecuaciones de Chapman-Kolmogorov

Es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas en un proceso estocaacutestico

En tiempo discreto tenemos

Si denotamos con P(n) la matriz de transicioacuten en n pasos lo que nos estaacuten diciendo las ecuaciones de Chapman-Kolmogorov es que

P(n+m)=Pn Pm

Por lo tantoP2=P1 P1=PP

P3=P2 P1=PPPhellip

Una vez conocidas las probabilidades de transicioacuten en n pasos calculemos la distribucioacuten marginal del paso n-eacutesimo

Finalmente la distribucioacuten de probabilidad en n pasos

Entonces πn=π0 Pn

Ecuacioacuten de Chapman-Kolmogorov en tiempo continuo Para todos i j isin S y para cualquier s t ge 0

Supongamos que V tltinfin para cada i isin S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j isin S Teniendo

La paradoja de Borel-Kolmogorov

Esta paradoja es una ambiguumledad que puede aparecer en el caacutelculo de una funcioacuten de probabilidad condicional Esta resulta cuando la fdp condicional de una variable aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero

Esto da como resultado que existan 2 soluciones distintas a un problema sin embargo la veracidad de la solucioacuten escogida dependeraacute de la interpretacioacuten que se le de al suceso originario cuya probabilidad es cero

Ejemplo Condicionando a un valor particular

Sean X1 y X2 variables aleatorias iid y que la fdp de cada una de ellas es la siguiente

f1(x) = eminus x para x gt 0 y 0 en otro caso

Entonces la fdp conjunta de X1 y X2 es

f1(x1x2) = eminus(x 1+ x2) para x1gt 0 y x2gt 0 y 0 en otro caso

sea la variable aleatoria Z definida por la relacioacuten

Z = X 2minus1

X 1

Se desea buscar la distribucioacuten condicional de X1 dado que Z=0

Se obtiene que

g(x1|A) = x1eminus x1 para x1 gt 0 (1)y tambieacuten que

g(x1|A) = f1(x1) = eminus x1 para todo x1gt0 (2)

La paradoja aparece por que Pr(A) = 0 Si se considera el suceso A como un punto en el espacio muestral de la variable aleatoria Z entonces la ecuacioacuten (1) es correcta Si se considera A como un punto en el espacio muestral de X2 entonces la ecuacioacuten (2) es la correcta

Esta paradoja subraya el hecho de que no es posible definir racionalmente una distribucioacuten condicional para un uacutenico suceso que tiene probabilidad cero Por tanto una distribucioacuten condicional puede tener sentido uacutenicamente en el contexto de una familia de distribuciones condicionales definidas en forma consistente

Clasificacioacuten de los estados en cadenas de Markov

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

CMTC

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt =0 con conjunto de estados numerable SCZ+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo stgt= 0 y para todo i j tales que Xk E Z+ se cumple que

El proceso estocaacutestico Xttgt =0 es una Cadena de Markov homogeacutenea Si

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica

1 Ti ~ exp (Vi) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Cuando abandona el estado i si pij = P (transitar a j el proceso estaacute en i) entonces verifica que

sumj ne i

Pij=1

Ecuaciones de Chapman-Kolmogorov

Es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas en un proceso estocaacutestico

En tiempo discreto tenemos

Si denotamos con P(n) la matriz de transicioacuten en n pasos lo que nos estaacuten diciendo las ecuaciones de Chapman-Kolmogorov es que

P(n+m)=Pn Pm

Por lo tantoP2=P1 P1=PP

P3=P2 P1=PPPhellip

Una vez conocidas las probabilidades de transicioacuten en n pasos calculemos la distribucioacuten marginal del paso n-eacutesimo

Finalmente la distribucioacuten de probabilidad en n pasos

Entonces πn=π0 Pn

Ecuacioacuten de Chapman-Kolmogorov en tiempo continuo Para todos i j isin S y para cualquier s t ge 0

Supongamos que V tltinfin para cada i isin S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j isin S Teniendo

La paradoja de Borel-Kolmogorov

Esta paradoja es una ambiguumledad que puede aparecer en el caacutelculo de una funcioacuten de probabilidad condicional Esta resulta cuando la fdp condicional de una variable aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero

Esto da como resultado que existan 2 soluciones distintas a un problema sin embargo la veracidad de la solucioacuten escogida dependeraacute de la interpretacioacuten que se le de al suceso originario cuya probabilidad es cero

Ejemplo Condicionando a un valor particular

Sean X1 y X2 variables aleatorias iid y que la fdp de cada una de ellas es la siguiente

f1(x) = eminus x para x gt 0 y 0 en otro caso

Entonces la fdp conjunta de X1 y X2 es

f1(x1x2) = eminus(x 1+ x2) para x1gt 0 y x2gt 0 y 0 en otro caso

sea la variable aleatoria Z definida por la relacioacuten

Z = X 2minus1

X 1

Se desea buscar la distribucioacuten condicional de X1 dado que Z=0

Se obtiene que

g(x1|A) = x1eminus x1 para x1 gt 0 (1)y tambieacuten que

g(x1|A) = f1(x1) = eminus x1 para todo x1gt0 (2)

La paradoja aparece por que Pr(A) = 0 Si se considera el suceso A como un punto en el espacio muestral de la variable aleatoria Z entonces la ecuacioacuten (1) es correcta Si se considera A como un punto en el espacio muestral de X2 entonces la ecuacioacuten (2) es la correcta

Esta paradoja subraya el hecho de que no es posible definir racionalmente una distribucioacuten condicional para un uacutenico suceso que tiene probabilidad cero Por tanto una distribucioacuten condicional puede tener sentido uacutenicamente en el contexto de una familia de distribuciones condicionales definidas en forma consistente

Clasificacioacuten de los estados en cadenas de Markov

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

Es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas en un proceso estocaacutestico

En tiempo discreto tenemos

Si denotamos con P(n) la matriz de transicioacuten en n pasos lo que nos estaacuten diciendo las ecuaciones de Chapman-Kolmogorov es que

P(n+m)=Pn Pm

Por lo tantoP2=P1 P1=PP

P3=P2 P1=PPPhellip

Una vez conocidas las probabilidades de transicioacuten en n pasos calculemos la distribucioacuten marginal del paso n-eacutesimo

Finalmente la distribucioacuten de probabilidad en n pasos

Entonces πn=π0 Pn

Ecuacioacuten de Chapman-Kolmogorov en tiempo continuo Para todos i j isin S y para cualquier s t ge 0

Supongamos que V tltinfin para cada i isin S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j isin S Teniendo

La paradoja de Borel-Kolmogorov

Esta paradoja es una ambiguumledad que puede aparecer en el caacutelculo de una funcioacuten de probabilidad condicional Esta resulta cuando la fdp condicional de una variable aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero

Esto da como resultado que existan 2 soluciones distintas a un problema sin embargo la veracidad de la solucioacuten escogida dependeraacute de la interpretacioacuten que se le de al suceso originario cuya probabilidad es cero

Ejemplo Condicionando a un valor particular

Sean X1 y X2 variables aleatorias iid y que la fdp de cada una de ellas es la siguiente

f1(x) = eminus x para x gt 0 y 0 en otro caso

Entonces la fdp conjunta de X1 y X2 es

f1(x1x2) = eminus(x 1+ x2) para x1gt 0 y x2gt 0 y 0 en otro caso

sea la variable aleatoria Z definida por la relacioacuten

Z = X 2minus1

X 1

Se desea buscar la distribucioacuten condicional de X1 dado que Z=0

Se obtiene que

g(x1|A) = x1eminus x1 para x1 gt 0 (1)y tambieacuten que

g(x1|A) = f1(x1) = eminus x1 para todo x1gt0 (2)

La paradoja aparece por que Pr(A) = 0 Si se considera el suceso A como un punto en el espacio muestral de la variable aleatoria Z entonces la ecuacioacuten (1) es correcta Si se considera A como un punto en el espacio muestral de X2 entonces la ecuacioacuten (2) es la correcta

Esta paradoja subraya el hecho de que no es posible definir racionalmente una distribucioacuten condicional para un uacutenico suceso que tiene probabilidad cero Por tanto una distribucioacuten condicional puede tener sentido uacutenicamente en el contexto de una familia de distribuciones condicionales definidas en forma consistente

Clasificacioacuten de los estados en cadenas de Markov

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

Supongamos que V tltinfin para cada i isin S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j isin S Teniendo

La paradoja de Borel-Kolmogorov

Esta paradoja es una ambiguumledad que puede aparecer en el caacutelculo de una funcioacuten de probabilidad condicional Esta resulta cuando la fdp condicional de una variable aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero

Esto da como resultado que existan 2 soluciones distintas a un problema sin embargo la veracidad de la solucioacuten escogida dependeraacute de la interpretacioacuten que se le de al suceso originario cuya probabilidad es cero

Ejemplo Condicionando a un valor particular

Sean X1 y X2 variables aleatorias iid y que la fdp de cada una de ellas es la siguiente

f1(x) = eminus x para x gt 0 y 0 en otro caso

Entonces la fdp conjunta de X1 y X2 es

f1(x1x2) = eminus(x 1+ x2) para x1gt 0 y x2gt 0 y 0 en otro caso

sea la variable aleatoria Z definida por la relacioacuten

Z = X 2minus1

X 1

Se desea buscar la distribucioacuten condicional de X1 dado que Z=0

Se obtiene que

g(x1|A) = x1eminus x1 para x1 gt 0 (1)y tambieacuten que

g(x1|A) = f1(x1) = eminus x1 para todo x1gt0 (2)

La paradoja aparece por que Pr(A) = 0 Si se considera el suceso A como un punto en el espacio muestral de la variable aleatoria Z entonces la ecuacioacuten (1) es correcta Si se considera A como un punto en el espacio muestral de X2 entonces la ecuacioacuten (2) es la correcta

Esta paradoja subraya el hecho de que no es posible definir racionalmente una distribucioacuten condicional para un uacutenico suceso que tiene probabilidad cero Por tanto una distribucioacuten condicional puede tener sentido uacutenicamente en el contexto de una familia de distribuciones condicionales definidas en forma consistente

Clasificacioacuten de los estados en cadenas de Markov

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

Esta paradoja es una ambiguumledad que puede aparecer en el caacutelculo de una funcioacuten de probabilidad condicional Esta resulta cuando la fdp condicional de una variable aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero

Esto da como resultado que existan 2 soluciones distintas a un problema sin embargo la veracidad de la solucioacuten escogida dependeraacute de la interpretacioacuten que se le de al suceso originario cuya probabilidad es cero

Ejemplo Condicionando a un valor particular

Sean X1 y X2 variables aleatorias iid y que la fdp de cada una de ellas es la siguiente

f1(x) = eminus x para x gt 0 y 0 en otro caso

Entonces la fdp conjunta de X1 y X2 es

f1(x1x2) = eminus(x 1+ x2) para x1gt 0 y x2gt 0 y 0 en otro caso

sea la variable aleatoria Z definida por la relacioacuten

Z = X 2minus1

X 1

Se desea buscar la distribucioacuten condicional de X1 dado que Z=0

Se obtiene que

g(x1|A) = x1eminus x1 para x1 gt 0 (1)y tambieacuten que

g(x1|A) = f1(x1) = eminus x1 para todo x1gt0 (2)

La paradoja aparece por que Pr(A) = 0 Si se considera el suceso A como un punto en el espacio muestral de la variable aleatoria Z entonces la ecuacioacuten (1) es correcta Si se considera A como un punto en el espacio muestral de X2 entonces la ecuacioacuten (2) es la correcta

Esta paradoja subraya el hecho de que no es posible definir racionalmente una distribucioacuten condicional para un uacutenico suceso que tiene probabilidad cero Por tanto una distribucioacuten condicional puede tener sentido uacutenicamente en el contexto de una familia de distribuciones condicionales definidas en forma consistente

Clasificacioacuten de los estados en cadenas de Markov

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

En una cadena homogeacutenea con m estados E1E2 Em y matriz de transicioacuten T = [pij ] (1 le i j le m) el valor de pij es la probabilidad de que haya una transicioacuten entre Ei y Ej en un momento dado Seguacuten lo anterior se pueden clasificar los estados de una cadena

1) Estado Perioacutedico

La probabilidad de que se regrese al estado Ei en el paso n es Piin Sea t un nuacutemero

entero mayor que 1 Se define

El maacuteximo comuacuten divisor de (mcd) del conjunto de los enteros n para los que Piin gt 0

Entonces el estado Ei es perioacutedico si d(i) gt 0 y aperioacutedico si d(i) = 1

2) Estado Recurrente

Denominamos como f jn la probabilidad de que la primera visita al estado Ej ocurra

en la etapa n La probabilidad de regresar en alguacuten paso al estado Ej es

Si fj = 1 entonces seguro que se regresa a Ej y se denomina a Ej estado recurrenteLos estados pueden ser a la vez recurrentes y perioacutedicos

3) Estado Transitorio

En un estado recurrente la probabilidad de que se regrese por primera vez a ese estado en alguacuten paso es 1 pero para otros estados sucede que

Lo que significa es que no se regresa al estado Ej de modo seguro Un estado de este tipo se denomina transitorio

4) Estado Ergoacutedico

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

Un estado bastante importante el cual cumple con ser recurrente no nulo y aperioacutedico Los estados ergoacutedicos son importantes en la clasificacioacuten de cadenas y para probar la existencia de distribuciones de probabilidad liacutemite

5) Estado Absorbente

Un estado es absorbente cuando una vez que se entra en eacutel no se puede salir del mismoUn estado Ei es absorbente si

Pii = 1

Pij = 0 (i ne j j = 1 m)

en la i-eacutesima fila de T

Clasificacioacuten de las cadenas

Cadenas irreducibles

Una cadena irreducible es aquella en la que todos los estados son alcanzables desde cualquier otro estado de la cadena en un nuacutemero finito de pasos Eso implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es Pij

n gt 0 para alguacuten nuacutemero entero n

Una propiedad muy importante de las cadenas irreducibles es que todos sus estados son del mismo tipo esto es o bien todos son transitorios o bien todos son recurrentes (nulos o no nulos) y todos tienen el mismo periodo Esto significa que la clasificacioacuten de todos los estados de una cadena se puede deducir a partir de la clasificacioacuten conocida de uno de los estados

Tambieacuten es obvio que todos los estados de una cadena finita irreducible no pueden ser transitorios ya que eso significariacutea que el regreso a alguno de los estados no seriacutea seguro aunque todos los estados fueran accesibles desde cualquiera de ellos en un nuacutemero finito de pasos

Cadenas ergoacutedicas

Se teniacutea que todos los estados en una cadena irreducible pertenecen a la misma clase Si todos los estados son ergoacutedicos esto es recurrentes no nulos y aperioacutedicos entonces se define la cadena como ergoacutedica

Para cadenas ergoacutedicas se obtiene siempre que la distribucioacuten invariante es el reciacuteproco del vector de tiempos medios de recurrencia

Cadenas Infinitas

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

Consideramos que la cadena no es finita y que el proceso continuacutea de manera indefinida Se entiende por visita a un estado j como la etapa o momento en el que la cadena se encuentra en el estado j y se denota por Nj el nuacutemero de visitas que se hacen al estado j en el proceso

Los posibles valores que puede tomar Nj son 0 1 2 3

Asiacute se tienen dos casos

1) La probabilidad de ir de i a j una vez y de ir a j (mminus 1) veces

Donde

2) La probabilidad de no volver nunca a j

Dado que se parte ya de una visita al estado j

Cadenas perioacutedicas

Si un estado j es perioacutedico con periodo δ y otro estado i comunica con eacutel entonces el estado i tambieacuten es perioacutedico con el mismo periodo De este modo el periodo es una caracteriacutestica comuacuten del conjunto irreducible y cerrado y se puede hablar del periodo de una subcadena irreducible

Cadenas de Markov de paraacutemetros continuos

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S

Para las cadenas de Markov con paraacutemetro de tiempo discreto la matriz de transicioacuten en n etapas puede ser expresada en teacuterminos de la matriz de transicioacuten en una etapa P En el caso continuo el papel homoacutelogo a la matriz de transicioacuten P lo juega considerando unidades infinitesimales de tiempo entre transiciones dt una matriz Q llamada de tasas de transicioacuten to generador infinitesimal de la cadena

El proceso estocaacutestico Xttgt= 0 con conjunto de estados numerable S C Z+ es una Cadena de Markov con paraacutemetro de tiempo continuo si para todo s t gt= 0 y para todo i j tales que Xk E Z+ se cumple que

P (Xt+s = jXs = i Xk = xk 0 =lt k lt s)

= P (Xt+s = jXs = i)

Caracterizacioacuten de una Cadena de Markov con paraacutemetro continuo

Toda Cadena de Markov con paraacutemetro continuo cada vez que entra en un estado i E S verifica que

1 τ i exp ( v i ) esto es la distribucioacuten del tiempo que permanece antes de transitar a otro estado es exponencial

2 Ademaacutes cuando deja el estado i si pij = P (transitar a j el proceso esta en i) entonces

verifica que sumj ne i

Pij

Ecuaciones Diferenciales de Kolmogorov

Supongamos que v i lt infin para cada i E S entonces las probabilidades de transicioacuten Pij(t) son diferenciables para todo t gt= 0 y todos i j E S