Sobre los procesos lineales de nacimiento y muerteen un entorno aleatorio.

J.  Math.  Biol.  69 (2014) 73– 90https://hal.archives-ouvertes.fr/hal-01266287

Nicolas Bacaer

Instituto de Investigación para el Desarrollo, Bondy, Francia nicolas.bacaer@ird.fr

Abdelkarim Ed– Darraz

Universidad Cadi Ayyad, Departamento de Matemáticas, Marrakech, Marruecos

resumen

Estudiamos la probabilidad de extinción para procesos lineales de nacimiento y muerte para uno o más tiposen un entorno que evoluciona a lo largo de una cadena de Markov. La probabilidad de extinción es casiseguro 1 si y solo si la reproducibilidad neta R0 es menor o igual a 1, el punto clave es identificar ladefinición apropiada de R0 tal que este resultado sea cierto.

1. Introducción

Un artículo reciente de Bacaër y Ait Dads (2012) estudia la probabilidad de extinción ωpara un procesolineal de nacimiento y muerte con varios tipos en un entorno periódico. En este caso ω = 1 si un número,llamado reproducibilidad neta y anotado R0 siguiente (Dublín y Lotka, 1925), es menor o igual a 1, mientrasque ω < 1 si R01. El énfasis está en el parámetro umbralR0está motivado por aplicaciones en epidemiología.La prueba utiliza la técnica estándar basada en la ecuación diferencial parcial lineal de primer ordensatisfecha por una función generadora (Kendall, 1948). Para modelos de un solo tipo con una tasa denatalidad a(t) y una mortalidad b(t) T -periódico, tenemos R0 = (∫

T

0 a(t) dt)/(∫T

0 b(t) dt). El mismoR0

también sirve como umbral para modelos de población periódicos sin estocasticidad demográfica (Bacaër yGuernaoui, 2006, Sec. 5).

El objetivo aquí es estudiar los procesos lineales de nacimiento y muerte de varios tipos en un entornoaleatorio. Tratemos de resumir la literatura sobre este tema. Para modelos de población de tiempo discreto enun entorno aleatorio pero sin estocasticidad demográfica, (Lewontin y Cohen, 1969) han señalado que laexpectativa de la población puede aumentar sin cesar incluso si la extinción ocurre casi con certeza; vertambién (Haccou et al., 2005). Athreya y Karlin (1971) estudiaron los procesos de ramificación en tiempodiscreto en un entorno aleatorio, tanto en el caso de un solo tipo como en el de varios tipos. Cogburn yTorrez (1981) estudiaron los procesos lineales de nacimiento y muerte para un solo tipo en un entornoaleatorio. Para el caso particular de ak la tasa de natalidad y bk mortalidad ambiental k. si uk la proporciónpromedio de tiempo que pasa en el medio ambiente k. El corolario 3.2 sugiere queω = 1 si y solo si

Su prueba se basa en los resultados debidos a (Kaplan, 1973). Más recientemente, Britton y Lindholm (2009)han estudiado el mismo proceso de tipo único en el caso particular de dos entornos. Ellos sugirieron queω = 1 si y solo si R⋆ ≤ 1donde R⋆ = m1m2, mk = ∫

∞0 qk e

−qkτe(ak−bk)τ dτ y qk es la velocidad a la que elmedio ambiente abandona el estado k. También mostraron queR⋆ tenía la misma posición con respecto a 1que el radio espectral de la "matriz de la próxima generación"

∑k

(ak − bk)uk ≤ 0 . (1)

radio espectral que llamaron " R0". (Gray et al., 2012) estudiaron un modelo de población en tiempocontinuo y entorno aleatorio pero sin estocasticidad demográfica. Se dieron cuenta de que la posición de

relativo a 1 sirve como un umbral para la extinción pero llamado este número T0, reservando la notación " R0Para el radio espectral de (2). Tenga en cuenta que el umbral dado por (3) es el mismo que (1). Bacaër yKhaladi (2012) han demostrado que (3) es el radio espectral de un operador de "próxima generación" endimensión infinita y sugirieron mantener la notaciónR0por ese número (Hernández-Suárez et al., 2012) y(Artalejo et al., 2012) también han abordado cuestiones relacionadas conR0. Como se verá a continuación,aparte del problema de las notaciones, (3) yR⋆ (o el radio espectral de (2)) puede no tener la misma posicióncon respecto a 1.

En la Sección 2, se presentan dos pruebas alternativas del resultado de Cogburn y Torrez (1981) paramodelos de un solo tipo. La primera prueba utiliza una fórmula de Kendall (1948) para la probabilidad deextinción en un entorno variable. La segunda prueba reduce el problema en tiempo continuo al marco detiempo discreto de Athreya y Karlin (1971). También discutimos en detalle un ejemplo simple con solo dosentornos, que con suerte aclarará los problemas relacionados con la definición deR0mencionadoanteriormente. La Sección 3 estudia la probabilidad de extinción para poblaciones de varios tipos en unmarco de tiempo continuo. El problema se reduce nuevamente al caso de tiempo discreto de Athreya yKarlin (1971). Esto solo parece posible para un número finito de entornos. Puede ser que el enfoque quesigue a Kendall (1948) también se pueda generalizar al caso de varios tipos utilizando los resultados de(Chueshov, 2002) o (Benaïm y Schreiber, 2009), posiblemente sin la restricción de un número finito.ambientes. También presentamos simulaciones numéricas. La conclusión sugiere otras posibilidades degeneralización.

2. El modelo de tipo único

2.1 La probabilidad de extinción

Dejar ser un proceso lineal de nacimiento y muerte a un solo tipo en un entorno variable. si a(t) la tasa denatalidad y b(t) mortalidad en el tiempo t. Supongamos que a(t) = aθ(t) y b(t) = bθ(t)donde θ(t) es unproceso estocástico con valores en {1, 2, … ,K}representando diferentes ambientes. Supongamos queak > 0 y bk > 0 por todo k. Supongamos que los cambios entre los entornos siguen una cadena de Markovhomogénea en tiempo continuo. Parak ≠ ℓtampoco Qk,ℓ ≥ 0 la velocidad a la que cambia el entorno ℓ para k. siQ la matriz correspondiente con Qℓ,ℓ = −qℓ y qℓ = ∑k≠ℓ Qk,ℓ. Supongamos que la matrizQEsirreducible. Esto implica que qk > 0 por todo k. Por lo tanto, existe una única distribución de probabilidadestacionaria y estrictamente positiva. u tal que Qu = 0, ∑k uk = 1 y uk > 0 por todo k(Pardoux, 2008, p.147). siR0dado por la fórmula (3). siω La probabilidad de extinción a partir de un individuo en el momento 0en el ambiente k0. La siguiente proposición, aunque es un caso especial de los resultados de Cogburn yTorrez (1981), se demostrará de una manera ligeramente más simple de dos maneras diferentes.

Proposición 1. SiR0 ≤ 1, entonces ω = 1casi seguro siR0 > 1, entonces ω < 1 casi seguro

Demostración. Sabemos por (Kendall, 1948, ecuación (18)) que

si la integral en el denominador es finita o infinita. El teorema ergódico (Pardoux, 2008, p. 150) muestra que

( )( )−1

,a1 00 a2

b1 + q1 −q2

−q1 b2 + q2(2)

∑k ak uk

∑k bk uk(3)

ω = 1 −1

1 + ∫ ∞0 b(s) exp[∫ s

0 (b(v) − a(v)) dv] ds, (4)

lims→+∞

1

s∫

s

0(b(v) − a(v)) dv = ∑

k

(bk − ak)uk

casi seguro siR0 < 1, entonces ∑k(bk − ak)uk > 0y la integral con el denominador de (4) diverge.Entoncesω = 1. siR0 > 1, entonces ∑k(bk − ak)uk < 0y la integral con el denominador de (4) converge.Entonces ω < 1.

No consideramos el caso crítico R0 = 1. Sin embargo, aquí hay una segunda prueba de la Proposición 1,que también cubre el caso crítico.

Demostración. El tiempo continuo del proceso ambiental en K los estados pueden verse como una cadenade Markov de tiempo discreto en el espacio de estados X = {1, 2, … ,K} ×R+, cada paso de tiempocorrespondiente al tiempo entre dos cambios en el entorno. En lugar de decir, por ejemplo, que el medioambiente está en el estadok para t unidades de tiempo entonces en el estado k′ para t′ unidades de tiempo(con k′ ≠ k), decimos que el estado (k, t) ∈ X es seguido por el estado (k′, t′) ∈ X . La probabilidad de queel medio ambientek ya sea seguido por el medio ambiente k′ es

Πk′,k = {

el entorno k′ dura entre t′ y t′ + dt′ unidades de tiempo (dt′ infinitamente pequeño) con probabilidad qk′ e−q

k′t′dt′. Entonces la probabilidad de que el medio ambientek durante t las unidades de tiempo deben ser

rastreadas por el medio ambiente k′ durante entre t′ y t′ + dt′ las unidades de tiempo son

P(k,t)→(k′,t′) dt′ = Πk′,k qk′ e−qk′t′

dt′ .

Nota que

∫∞

0∑k′

P(k,t)→(k′,t′)dt′ = 1 .

Más generalmente, para z ∈ {1, 2, …}, la probabilidad de transición a z los pasos están dados por

P(z)

(k,t)→(k′,t′)dt′ = (Πz)k′,k qk′ e−qk′t′

dt′ ,

donde Πz es la ze poder de la matriz Π = (Πk′,k). comoQu = 0 es equivalente a ∑k≠k′ Qk′,kuk = qk′uk′ portodo k′, podemos verificar que

verifica

∑k

∫∞

0wk,t dt = 1 et ∑

k

∫∞

0wk,t P(k,t)→(k′,t′) dt = wk′,t′

por todo (k′, t′) ∈ X . Entonces(wk,t) es una distribución de probabilidad estacionaria y la cadena de Markoven Xes positivo recurrente (Meyn y Tweedie, 1993). Athreya y Karlin (1971) mencionan en una observaciónque sigue su teorema 4 que sus resultados siguen siendo válidos no solo para cadenas de Markovirreductibles recurrentes positivas en un espacio de estado contable sino también para un procesoestacionario ergódico en un espacio de estado general (no contable) comoX .

Entre los cambios, hay un proceso lineal de nacimiento y muerte en un entorno constante. En un ambientek durante t unidades de tiempo, o ϕk,t(x) La función generadora de la población al final del intervalo detiempo, comenzando desde un individuo al comienzo de este intervalo de tiempo:

Qk′,k

qksi k′ ≠ k,

0 si k′ = k.

wk,t =qkuk

∑ℓ qℓuℓqk e

−qkt (5)

ϕk,t(x) =bk(1 − x)et(ak−bk) + akx − bk

ak(1 − x)et(ak−bk) + akx − bk

si ak ≠ bk mientras que

ϕk,t(x) =x + (1 − x)akt

1 + (1 − x)akt

si ak = bk(Hillion, 1986, p. 118). La expectativa de población al final del intervalo de tiempo es igual aϕ′k,t(1) = e(ak−bk)t. La probabilidad de que la población se extinga al final del intervalo de tiempo es

ϕk,t(0) =1 − e(ak−bk)t

1 − e(ak−bk)t ak/bk

si ak ≠ bk, mientras que ϕk,t(0) = ak t/(1 + ak t) si ak = bk. siak < bk, entonces 1 − ϕk,t(0) ∼ (1 − ak/bk) e(ak−bk)t cuando t → +∞. siak = bk, entonces 1 − ϕk,t(0) ∼ 1/(ak t) cuando t → +∞. Entonces podemos verificar fácilmente que

debido a la decadencia exponencial de wk,t en comparación con t. Con (Athreya y Karlin, 1971), concluimosqueω = 1 si y solo si

E(logϕ′(1)) = ∑k

∫∞

0

wk,t logϕ′k,t(1) dt ≤ 0.

como ∫ ∞0 t e−qkt dt = 1/(qk)2, obtenemos

E(logϕ′(1)) = ∑k

∫∞

0

qkuk

∑ℓ qℓuℓqk e

−qkt[(ak − bk)t] dt =∑k(ak − bk)uk

∑ℓ qℓuℓ.

Entonces ω = 1 si y solo si R0 ≤ 1.

2.2 Un ejemplo y algunas observaciones

Como en el ejemplo de Britton y Lindholm (2009, sección 3), suponga que hay dos entornos: a1 = 2,7 y b1 = 2 por una parte, a2 = 0,8 y b2 = 2de otra parte. Supongamos que la matrizQ si

Q = ( )

con q1 = q2 = 1. Entoncesu1 = q2/(q1 + q2) = 0,5, u2 = q1/(q1 + q2) = 0,5 y R0 = 0,875 < 1. Entoncesω = 1. Las simulaciones numéricas tienden a confirmar esta conclusión (Figura 1a).

E(| log(1 − ϕ(0))|) = ∑k

∫∞

0

wk,t| log(1 − ϕk,t(0))| dt < +∞ ,

E([logϕ′(1)]+) = ∑k

∫∞

0

wk,t[logϕ′k,t(1)]+ dt < +∞ ,

−q1 q2

q1 −q2

Figura 1. izquierda (Figura 1a): 100 simulaciones de la población en función del tiempo t en elcaso de que a1 = 2,7, comenzando por un individuo en el entorno 1; Todas las simulacionesconducen a la extinción. derecha (Figura 1b): a partir de un individuo en el entorno 1 pero cona1 = 5,4, simulamos 1000 historias para el medio ambiente y calculamos la probabilidad deextinción ωpor la fórmula (4); la figura muestra un histograma de los valores tomados por ω (0 ≤ ω ≤ 1).

Como otro ejemplo, considere los mismos valores de parámetro, excepto que a1 se duplica: a1 = 5,4. Eneste caso tenemosR0 = 1,55 > 1. La figura 1b muestra un histograma de la probabilidad de extinción.ωdejar a una persona en el medio ambiente 1. La probabilidad promedio de extinción es aproximadamente0,61 (ella lo haría 0,85a partir del medio ambiente 2). El histograma se obtuvo al acercarse a la cadena deMarkov en tiempo continuo que rige el medio ambiente para0 < t < 100 por una cadena de Markov entiempo discreto con un paso de tiempo ε = 0,00005. La computadora elige aleatoriamente 1000realizaciones de esta cadena de Markov, formando 1000 historias ambientales. Fórmula (4) para ωentoncesse estima numéricamente. Visto queb1 = b2, a2 ≤ a1 y a1 ≥ b1, podemos ver fácilmente con (4) queω ≥ b1/a1, este límite inferior corresponde a la probabilidad de extinción si el entorno es siempre 1. Con losvalores numéricos anteriores, obtenemos ω ≥ 2/5,4 ≃ 0,37, de acuerdo con la Figura 1b.

Subcriticidad del modelo discretizado. Para trazar la Figura 1, discretizamos el proceso en tiempocontinuo usando un paso de tiempoε > 0. Para simplificar, suponga como en el ejemplo que solo hayK = 2ambientes. La matriz de transición estocástica columnar de la cadena de Markov en tiempo discreto es

P = ( ).1 − q1ε q2ε

q1ε 1 − q2ε

Su distribución estacionaria ϖ es tal que Pϖ = ϖ con ∑ϖk = 1. Obtenemosϖ1 = q2/(q1 + q2) yϖ2 = q1/(q1 + q2), que son independientes de ε y coinciden con distribuciones estacionarias u1 y u2delproceso continuo de tiempo. Si el entorno es de tipok (k = 1 o 2), asumimos que durante un paso de tiempocada individuo tiene una probabilidad akε dar a luz y una probabilidad bkεpara morir Entonces cadaindividuo lleva a 0 individuo en el siguiente paso de tiempo con una probabilidad(1 − akε)bkε [sinnacimiento, una muerte], a 1 individuo con probabilidad (1 − akε)(1 − bkε) + akεbkε [o sin nacimiento nimuerte, o un nacimiento y una muerte], y 2 individuos con probabilidad akε(1 − bkε)[un nacimiento, nomuerte]. El promedio de esta distribución es 1 + akε − bkε. Entonces, según la teoría de los procesos deramificación en tiempo discreto en un entorno aleatorio (Athreya y Karlin, 1971), el proceso es subcrítico yconduce a la extinción casi con certeza si y solo si el parámetro umbral

T (ε) = ∑k

ϖk log(1 + (ak − bk)ε)

es negativo o cero Recordemos queϖk = uk. Cuandoε → 0, vemos que T (ε) ∼ ε∑k uk(ak − bk). Estaexpresión tiene el mismo signo queR0 − 1.

Otra forma de utilizar los resultados de tiempo discreto de Athreya y Karlin. Otra forma de ver esteejemplo con solo dos entornos es considerarlo como un proceso de ramificación en una secuencia de"entornos" independientes e idénticamente distribuidos. De hecho, el conjunto de entornos1 → 2se repite demanera idéntica, el tiempo pasado en cada entorno es aleatorio. La probabilidad de que el medio ambientek (k = 1 o 2) dura entre tk y tk + dtk las unidades de tiempo son qk e−qktk dtk; Estas probabilidades sonindependientes. El nuevo espacio de "ambientes" es por lo tanto {(t1, t2) ∈ (R+)2}. Crecimiento promediodurante una secuencia1 → 2 sabiendo que cada ambiente dura tk las unidades de tiempo son M = e(a1−b1)t1e(a2−b2)t2 . La teoría de los procesos de ramificación en entornos independientes eidénticamente distribuidos (Athreya y Karlin, 1971) muestra queω = 1 si y solo si

E(logM) = ∫∞

0

∫∞

0

q1 e−q1t1q2 e

−q2t2 log(e(a1−b1)t1e(a2−b2)t2)dt1 dt2 ≤ 0.

Pero vemos que

Entonces

E(logM) =(a1 − b1)q2 + (a2 − b2)q1

q1q2.

El signo de esta cantidad es el mismo que el de R0 − 1. Extinción casi segura si y solo siR0 ≤ 1.

Otra forma de calcular la probabilidad de extinción. sipk,n(t) la probabilidad de que la población estéen el medio ambiente k a tiempo t con nlos individuos. El proceso se considera como una cadena de Markovhomogénea en tiempo continuo a lo largo de todo {1, 2, … ,K} × N. Como en la ecuación (2) de (Yechiali,1973), obtenemos

Consideremos la cadena de Markov en tiempo discreto inducido, obtenida considerando solo los saltos delproceso en tiempo continuo. Una vez en el estado(k,n)hay una probabilidad akn/(akn + bkn + qk) saltar alestado (k,n + 1), una probabilidad bkn/(akn + bkn + qk) saltar al estado (k,n − 1) y una probabilidad

E(logM) = ∫∞

0∫

∞

0q1 e

−q1t1q2 e−q2t2[(a1 − b1)t1 + (a2 − b2)t2]dt1 dt2

= ∫∞

0q1 e

−q1t1(a1 − b1)t1 dt1 + ∫∞

0q2 e

−q2t2(a2 − b2)t2 dt2.

dpk,n

dt= − (ak + bk)n pk,n + bk(n + 1)pk,n+1 + ak(n − 1)pk,n−1

+∑ℓ≠k

(Qk,ℓpℓ,n − Qℓ,kpk,n) . (6)

Qℓ,k/(akn + bkn + qk) saltar al estado (ℓ,n) por todo ℓ ≠ k. Ordenar los estados(k,n) por lo tanto: (1, 0), … , (K, 0), (1, 1), … , (K, 1)etc. siπk,n(j) la probabilidad de estar en el estado (k,n) después jsaltos.siπ(j) = (πk,n(j)) El vector formado de estas probabilidades, con los índices (k,n)ordenado como arriba.dejarδk,ℓ = 1 si k = ℓ y δk,ℓ = 0 si k ≠ ℓ: es el símbolo de Kronecker. Por todon (con n ≥ 0 o n ≥ 1) y todo1 ≤ k, ℓ ≤ Kpreguntemos

L(n)k,ℓ =

(n − 1)aℓ δk,ℓ

(n − 1)(aℓ + bℓ) + qℓ, M

(n)k,ℓ =

Qk,ℓ(1 − δk,ℓ)

n(aℓ + bℓ) + qℓ,

N(n)k,ℓ =

(n + 1)bℓ δk,ℓ

(n + 1)(aℓ + bℓ) + qℓ.

Entonces

πk,n(j + 1) = L(n)k,kπk,n−1(j) +∑

ℓ≠k

M(n)k,ℓ πℓ,n(j) + N

(n)k,k πk,n+1(j) .

Entonces π(j + 1) = Hπ(j), donde la matriz H tiene estructura de bloque triangular

H = ,

como en la ecuación (1.1) de (Gaver et al., 1984). Tenga en cuenta de pasada que L(1) = 0. Por todoj ≥ 0, setiene π(j) = H jπ(0). Todos los estados (k,n) con n = 0Es absorbente. Entonces la probabilidad deextinciónΩk,n a partir de n personas en el medio ambiente k es la solución más pequeña del sistema

Ω = ΩH, Ωk,0 = 1 ∀k,

donde Ω es el vector de línea (Ωk,n)con índices ordenados como antes (Bouleau, 1988, p. 76). Másexplícitamente, tenemos

Ωk,n =Ωk,n−1nbk

n(ak + bk) + qk+∑

ℓ≠k

Ωℓ,nQℓ,k

n(ak + bk) + qk+

Ωk,n+1nak

n(ak + bk) + qk,

que es equivalente a la ecuación (4.1) de Cogburn y Torrez (1981). Ω puede calcularse numéricamentetruncando las matrices a un orden suficientemente grande y tomando el límite cuando i → +∞ de Ω(i) con Ω(i+1) = Ω(i)H y Ω(0)

k,n = δn,0 por todo k y todo n. Para ejemplos numéricos, hemos truncado a n = 500 eiterado i = 20 000. Con a1 = 2,7 obtenemos Ω1,1 ≃ Ω2,1 ≃ 1,0. Cona1 = 5,4 obtenemos Ω1,1 ≃ 0,61 y Ω2,1 ≃ 0,84, muy de acuerdo con la probabilidad promedio de extinción calculada previamente.

2.3 Vínculo con las expectativas de la población.

si p(t,n) la probabilidad de que la población sea grande n a tiempo t. El umbral paraω es lo mismo para elaumento o disminución de las expectativas de la población E(t) = ∑n≥1 n p(t,n)para una historia ambientalelegida al azar. En efecto, dE/dt = (a(t) − b(t))E(t). Está claro que1t log E(t) → (a1 − b1)u1 + (a2 − b2)u2 casi seguro cuando t → +∞. Este límite tiene el mismo signo queR0 − 1.

Otra forma de ver esto es considerar el conjunto de entornos 1 → 2 → 1 → 2 ⋯. siτ (k)n la duración

aleatoria que pasa en el medio ambiente k (k = 1 o 2) el ne veces (n ≥ 1). En otras palabras, el entorno es el

⎛⎜⎝M (0) N (0) 0 ⋯

L(1) M (1) N (1) ⋱

0 L(2) M (2) ⋱

⋮ ⋱ ⋱ ⋱

⎞⎟⎠

primero en el estado 1 duranteτ (1)1 unidades de tiempo y luego en el entorno 2 para τ (2)

1 unidades de tiempo yluego en el estado 1 para τ (1)

2 unidades de tiempo, etc. despuésN períodos 1 → 2, la expectativa de poblacióngenerada por un individuo es

MN = exp(N

∑n=1

(a1 − b1)τ (1)n + (a2 − b2)τ (2)

n ).

Entonces

El límite tiene el mismo signo que R0 − 1 ya que u1 = q2/(q1 + q2) y u2 = q1/(q1 + q2). EntoncesMN

tiende a 0 si R0 < 1 y hacia +∞ si R0 > 1.

Sin embargo, tenga en cuenta que estas observaciones no están directamente vinculadas a la propuesta 1porque proporciona información sobre las expectativas de la población y no sobre la probabilidad de que estapoblación desaparezca. En realidad, para procesos de ramificación de tiempo discreto en un entornoaleatorio, la población puede muy bien ser subcrítica y tender a la extinción casi con certeza, incluso si laexpectativa de la población tiende al infinito (Haccou et al. ., 2005, p. 51).

2.4 Otras observaciones

Otro parámetro vinculado al crecimiento de una esperanza. (Gray et al., 2012) han demostrado que laposición de (3) con respecto a 1 sirve como umbral entre la extinción y la persistencia para un modeloepidémico de tipo SIS compuesto de ecuaciones diferenciales en un entorno aleatorio, c ' es decir sinestocasticidad demográfica. Este numeroR0 es llamado T0 por (Gray et al., 2012) y ~

R0por Britton yLindholm (2009). Estas dos referencias usan la notación "R0Para un número diferente, a saber, el radioespectral de (2) en el caso de dos entornos; vamos a llamarlo R∗para evitar confusiones En el caso demodelos de tiempo discreto, Bacaër y Khaladi (2012) lo llamaronR∗. Como se explica a continuación, laposición deR∗con respecto a 1 decide si cierta expectativa aumenta o disminuye. Así es comoR∗se obtieneen general; para un cálculo informal en el caso particular donde K = 2, ver sección 3 de (Gray et al., 2012).Considere nuevamente el tiempo continuo de la cadena de Markov en el set {1, 2, … ,K} × Ngobernadopor (6). si Ek(t) = ∑n≥1 n pk,n(t)esperanza. Entonces podemos ver fácilmente que

dEk

dt= (ak − bk)Ek +∑

ℓ≠k

(Qk,ℓEℓ − Qℓ,kEk) .

si A = diag(a1, … , aK), B = diag(b1, … , bK) y E(t) = (E1(t), … ,EK(t)). EntoncesdE/dt = (A − B + Q)E. Usando resultados estándar (Diekmann et al., 2013), vemos que el vector deexpectativas E(t) tiende al infinito si y solo si el radio espectral R∗ de A(B − Q)−1 es estrictamente mayorque 1. Para el ejemplo numérico anterior con a1 = 2,7, obtenemos

R∗ = ρ(A(B − Q)−1) = ρ ≃ 1,057 > 1.

Recordemos que R0 = 0,875 < 1 y que ω = 1en este caso. Entonces la posición deR∗ en comparación con 1decide el crecimiento de la expectativa E(t) pero no da el umbral correcto para la extinción.

Otro parámetro más. Como ya se señaló anteriormente, la secuencia de entornos es periódica cuandosolo hay dos entornos posibles:1 → 2 → 1 → 2 ⋯. La expectativa de la población generada por unindividuo. t unidades de tiempo después de que el entorno ha cambiado al estado k es e(ak−bk)t. el entornok

logMN

N= (a1 − b1)

∑Nn=1 τ

(1)n

N+ (a2 − b2)

∑Nn=1 τ

(2)n

N

⟶N→+∞

a1 − b1

q1+

a2 − b2

q2=

(a1 − b1)q2 + (a2 − b2)q1

q1q2.

⎛⎝

a1(b2+q2)b1b2+q1b2+q2b1

a1q2

b1b2+q1b2+q2b1

a2q1

b1b2+q1b2+q2b1

a2(b1+q1)b1b2+q1b2+q2b1

⎞⎠

dura entre t y t + dt unidades de tiempo con probabilidad qk e−qktdt. Entonces la esperanza de la población,mk, generado por un individuo en el entorno k (k = 1 o 2) es

mk = ∫∞

0qk e

−qkte(ak−bk)tdt =qk

bk + qk − ak=

1

1 − ak−bkqk

siempre y cuando bk + qk > ak, que resulta ser el caso en el ejemplo donde a1 = 2,7 : b1 + q1 − a1 = 0,3 y b2 + q2 − a2 = 2,2. Tenga en cuenta que mk es infinito cuando bk + qk ≤ ak. dejarR⋆ = m1m2 (no debeconfundirse con R∗de la observación anterior). EntoncesR⋆ = 1/0,66 ≃ 1,52 > 1. Britton y Lindholm(2009, Sección 3) sugirieron queR⋆ > 1 era equivalente a ω < 1. Pero aqui tenemos R⋆ > 1 mientras queω = 1. Entonces vemos que la posición deR⋆en comparación con 1 no da el umbral correcto para laextinción. CuandoK = 2, §5.1 de Britton y Lindholm (2009) muestra (con nuestras anotaciones) que R⋆ > 1si y solo si R∗ > 1.

3. Modelos con varios tipos.

Para procesos lineales de nacimiento y muerte de varios tipos en un entorno variable en el tiempo, es decirp(t,n1, … ,nm) la probabilidad de tener ni tipo de personas i (1 ≤ i ≤ m) a tiempo t. La funcióngeneradora

g(t,x1, … ,xm) = ∑n1,…,nm≥0

p(t,n1, … ,nm) xn1

1 …xnmm

verifica la ecuación

(Bacaër y Ait Dads, 2012). La matriz de nacimiento A(t) = (Ai,j(t))1≤i,j≤mtiene coeficientes positivos ocero. La matriz de mortalidad B(t) = (Bi,j(t)) está en la forma

Bi,j(t) = −bi,j(t) ∀i ≠ j, Bj,j(t) = bj,j(t) +∑i≠j

bi,j(t) ∀j,

con bi,j(t) ≥ 0 por todo i y j y todo t. Supongamos que las matrices(A(t),B(t)) pertenecer a una lista finitade entornos ((A(k),B(k)))1≤k≤K, es decir A(t) = A(θ(t)) y B(t) = B(θ(t)) con θ(t) un proceso estocásticocon valores en {1, 2, … ,K}. Se supone nuevamente que los cambios entre entornos siguen una cadena deMarkov homogénea en tiempo continuo. Parak ≠ ℓtampoco Qk,ℓ la velocidad a la que el entorno puedecambiar ℓ para k. siQ la matriz de transición correspondiente con Qℓ,ℓ = −qℓ y qℓ = ∑k≠ℓ Qk,ℓ.Supongamos que la matrizQEs irreducible. Por lo tanto, hay una única distribución estacionaria. u tal que Qu = 0 y ∑k uk = 1. Finalmente asumimos que b(k)

j,j > 0 por todo k y j. Esta hipótesis implica que elmayor exponente de Lyapunov del sistema diferencial aleatoriodZ/dt = −B(t)Z(t) Es estrictamentenegativo.

A tiempo t = 0, supongamos que hay νi tipo de personas i, con νi ∈ N. Supongamos además que hayi talque νi > 0. Entonces

g(0,x1, … ,xm) = xν1

1 ⋯xνmm .

El objetivo es calcular la probabilidad de extinción. ω, que es el límite cuando t → +∞ de p(t, 0, … , 0)esdecir desde g(t, 0, … , 0). Es una variable aleatoria que depende de la historia ambiental.

Como Bacaër y Ait Dads (2012) explican, por ejemplo, ωse puede calcular utilizando las características de(7). Por todo τ ≥ 0tampoco Y (τ) la solución de sistema única

∂g

∂t= ∑

i,j

[Ai,j(t)xj − Bi,j(t)](xi − 1)∂g

∂xj(7)

con la condición inicial Y (τ)j (−τ) = 1 por todo j. Entonces

ω = (ω1)ν1 ⋯ (ωm)νm et ωj = 1 − limτ→+∞

Y(τ)j (0) .

La pregunta es si ω = 1 o ω < 1. El resultado depende de la estabilidad del sistema de ecuacionesdiferenciales aleatorias (Arnold, 1998, Sección 2.2)

cual es la ecuación satisfecha por el vector de las expectativas de las poblaciones a lo largo del tiempo t. Estaestabilidad depende del signo de λ1(A,B), El mayor expositor de Lyapunov de (9). Siguiendo a Bacaër yKhaladi (2012), la estabilidad puede formularse alternativamente en términos de reproducibilidad neta R0,que es la única solución

λ1(A/R0,B) = 0.

Una forma de estudiar la probabilidad de extinción. ωsería adaptar el método utilizado por Bacaër y AitDads (2012) para entornos periódicos al caso de entornos aleatorios, aprovechando el hecho de que elsistema (8) es cooperativo y sub-homogéneo como en los trabajos de (Chueshov, 2002) o (Benaïm ySchreiber, 2009). Esto llevaría a dificultades técnicas como el vínculo entre λ1(A,B)y el mayor exponentede Lyapunov de linealización casi nula de (8), que es el asistente de (9); ver (Arnold y Wihstutz, 1986) o(Barreira y Valls, 2008). Prueba de la persistencia de (8) cuandoR0 > 1También puede ser difícil. Para evitarestas dificultades, utilizaremos la misma idea que en la segunda prueba de la proposición 1: para un númerofinito de entornos de Markovian, el problema en tiempo continuo puede reducirse a un proceso deramificación con varios tipos en tiempo discreto en Un entorno aleatorio. Los resultados de Athreya y Karlin(1971) se pueden aplicar.

Proposición 2. Suponga que la matriz C(k) := A(k) − B(k) ser irreducible para todo k. Supongamosademás que para todo k, existe (i, j) tal que A(k)

i,j > 0. siR0≤ 1, entonces ω = 1casi seguro si R0> 1,entonces ω < 1 casi seguro

Demostración. dejart0 = 0. Sean(tn)n≥1 con 0 < t1 < t2 < ⋯los tiempos que cambian los entornos. Portodon ≥ 0tampoco kn (1 ≤ kn ≤ K) el entorno en el intervalo de tiempo (tn, tn+1). En el ambientek, untipo individual h inicialmente genera una población t unidades de tiempo posteriores cuya funcióngeneradora ϕ(k,h)(t,x1, … ,xm) verifica

para t > 0 y (x1, … ,xm) ∈ (0, 1)m mientras que ϕ(k,h)(0,x1, … ,xm) = xh. dejar

Entonces M (k,h)i (t) es la expectativa del tipo de población i. A partir de (10) o refiriéndose a (Athreya y Ney,

1972), vemos (ver apéndice) que

por todo t > 0 mientras que M (k)(0) = I(la matriz de identidad). En consecuencia,

dY(τ)j

ds(s) = ∑

i

[Ai,j(−s)(1 − Y(τ)j (s)) − Bi,j(−s)]Y (τ)

i (s) (8)

dX

dt= (A(t) − B(t))X(t), (9)

∂ϕ(k,h)

∂t= ∑

i,j

[A(k)i,j xj − B

(k)i,j ](xi − 1)

∂ϕ(k,h)

∂xj(10)

M(k,h)i (t) =

∂ϕ(k,h)

∂xi(t, 1, … , 1), M (k)(t) =(M (k,h)

i (t))i,h

. (11)

dM (k)

dt(t) = C(k)M (k)(t) (12)

Mn:= M (kn)(tn+1 − tn) = exp[C(kn)(tn+1 − tn)] .

Tenga en cuenta con (9) y (12) que

λ1(A,B) = limn→+∞

1

tnlog ∥Mn−1Mn−2⋯M0∥

casi seguro Según Athreya y Karlin (1971, Teorema 12), el signo de este límite decide si es casi seguro quehaya extinción o no. Pero primero tenemos que verificar las tres hipótesis de este teorema. Lairreductibilidad deC(kn) implica que todos los coeficientes de Mn son estrictamente positivos (Berman yPlemmons, 1994, Teorema 6.3.12): se cumple la primera hipótesis. Preguntemos ahora

Podemos mostrar que todos los coeficientes de la matriz S(kn,h)(tn+1 − tn)también son estrictamentepositivos (ver apéndice): esta es la segunda hipótesis. Finalmente también tenemos

−∑k

∫∞

0

wk,t log[m

∑h=1

(1 − ϕ(k,h)(t, 0, … , 0))]dt < +∞ ,

donde wk,t está dado por (5), debido a la disminución exponencial de wk,t cuando t → +∞ y desde 1 − ϕ(k,h)(t, 0, … , 0) no puede acercarse a 0 más rápido que e−ct por un c > 0 [esto c está dada por lavelocidad a la que la solución de (8) puede acercarse a 0 en un entorno kquien es subcrítico]. Entonces, latercera condición también se cumple.

si R0 ≤ 1, entonces λ1(A,B) ≤ 0. Concluimos con (Athreya y Karlin, 1971, Teorema 12 (i)) cuandoλ1(A,B) < 0 o con (Kaplan, 1974, Teorema 2) cuando λ1(A,B) = 0 que ω = 1 casi seguro

si R0 > 1, entonces λ1(A,B) > 0. Concluimos con (Athreya y Karlin, 1971, Teorema 12 (ii)) queω < 1.

Ejemplo. Considere a Bacaër y Ait Dads (2012) un modelo de epidemia de SEIR linealizado, es decir, unproceso de nacimiento y muerte de dos tipos, pero suponga que el entorno varía aleatoriamente entre dosestados. Supongamos que la matriz de transición es constante:

Q = ( )

con q1 > 0 y q2 > 0. La distribución estacionaria es tal queu1 = q2/(q1 + q2) y u2 = q1/(q1 + q2).Supongamos que

A(t) = ( ), B(t) = ( ),

donde la tasa de contacto efectiva β(t) es igual a β1 > 0 o para β2 > 0 dependiendo del ambiente, α > 0 esla tasa a la que las personas infectadas pero aún no infecciosas se vuelven infecciosas, μ > 0 es la mortalidady γ > 0es la tasa de curación Reproducibilidad neta R0 es el único número positivo como el mayorexponente de Lyapunov del sistema dX/dt = (A(t)/R0 − B(t))X(t) es igual a 0. Tenga en cuenta que siβ(t) era constante e igual a su tiempo promedio u1β1 + u2β2tendríamos R0 = (u1β1 + u2β2)α/((α + μ)(γ + μ)). Fórmulas analíticas aproximadas paraR0 en un entorno aleatoriose pueden deducir fórmulas para el mayor exponente de Lyapunov de los sistemas bidimensionales dados por(Arnold y Kloeden, 1989).

La probabilidad de que el proceso se apague a tiempo τ > 0 a partir de (E0, I0) personas en el momento 0es (1 − Y

(τ)1 (0))E0(1 − Y

(τ)2 (0))I0con todo −τ < s < 0

S(k,h)i,j (t) =

∂2ϕ(k,h)

∂xi∂xj(t, 1, … , 1) , S(k,h)(t) =(S(k,h)

i,j (t))i,j

. (13)

−q1 q2

q1 −q2

0 β(t)0 0

α + μ 0−α γ + μ

mientras que Y (τ)1 (−τ) = 1 y Y (τ)

2 (−τ) = 1. Hay errores de signos en las ecuaciones correspondientesdadas por Bacaër y Ait Dads (2012); No obstante, las figuras 3 y 4 de esta referencia son correctas. Seanω1 yω2 La probabilidad máxima de extinción de una persona infectada pero no infecciosa o de una personainfecciosa: ωj = limτ→+∞ 1 − Y

(τ)j (0) para j = 1, 2. La Proposición 2 muestra queω1 = ω2 = 1 casi seguro

si R0 ≤ 1 y que ω1 < 1 y ω2 < 1 casi seguro si R0 > 1.

si β2 ≤ β1 entonces un teorema de comparación para el sistema (14) - (15) muestra que ω1 y ω2 sonmayores que las probabilidades correspondientes para el proceso de nacimiento y muerte donde el entorno essiempre 1. Si el último proceso es supercrítico, entonces estas probabilidades (llamémoslas ξ1 y ξ2) secalculan fácilmente ya sea determinando el estado estacionario de (14) - (15) con β(−s) Remplazado por β1,o al considerar el proceso Bienaymé-Galton-Watson con varios tipos inducidos: ξ1 = μ

α+μ+ γ+μ

β1 y

ξ2 = α+μ

α

γ+μ

β1.

tomar q1 = q2 = 1, β1 = 2, β2 = 1, α = 1, μ = 0,01 y γ = 1. Obtenemos R0 ≃ 1,45 > 1. Tenga encuenta que para el sistema de tiempo promedio, tenemosR0 ≃ 1,47. Además, obtenemos ξ1 ≃ ξ2 ≃ 0,51. LaFigura 2 muestra el histograma para la probabilidad de extinción de una persona infectada pero no infecciosaen el medio ambiente 1. Se obtuvo con 1000 simulaciones de historia ambiental. El promedio está cerca de0,69 (ella lo haría 0,66a partir del medio ambiente 2). Tomamos τ = 100 y un paso de tiempo de 0,001. Lacifra tiende a confirmar que R0 > 1 implica ω1 < 1 (y ω2 < 1) casi seguro.

Figura 2. Histograma de la probabilidad de extinción. ω1 de una persona infectada pero noinfecciosa en el medio ambiente 1.

4. Conclusión

Algunas preguntas permanecen abiertas. Uno puede preguntarse, como Britton y Lindholm (2009), quésucede si la supervivencia no se distribuye exponencialmente, es decir, para procesos Crump-Mode-Jagerscomo en el trabajo de (Ball Y Donnelly, 1995). También está claro que la mayoría de los resultados siguen

dY(τ)

1

ds(s) = −(α + μ)Y (τ)

1 (s) + αY(τ)

2 (s),

dY(τ)

2

ds(s) = β(−s)Y (τ)

1 (s) (1 − Y(τ)

2 (s)) − (γ + μ)Y (τ)2 (s),

(14)

(15)

siendo ciertos no solo para un número finito de entornos markovianos sino también para entornos ergódicosmás generales.

Para aplicaciones biológicas, sería más realista suponer que la matriz de transición tiene la forma

Q(t) = ( ),

donde por ejemplo q1(t) = k1(1 + ε1 cosωt), q2(t) = k2(1 + ε2 sinωt), k1 > 0, k2 > 0, ε1 ∈ (0, 1) y ε2 ∈ (0, 1). De esta manera, el año se divide más o menos en dos estaciones (por ejemplo, verano einvierno), una que sería favorable para el crecimiento y la otra menos favorable. Este podría ser el caso de lasenfermedades infecciosas donde la velocidad de contacto efectiva depende de la temperatura. Una matrizQ(t) como el anterior es un modelo de estacionalidad más realista que una matriz Qconstante. En el últimocaso con solo dos entornos, las dos estaciones se alternan pero las duraciones de las estaciones sonindependientes. Para ser realista, un verano particularmente corto debe ser seguido por un inviernoparticularmente largo para mantener más o menos la frecuencia anual.

apéndice

Al tomar la derivada de (10) con respecto a xI , obtenemos

donde δEs el símbolo de Kronecker. Tomandox1 = ⋯ = xm = 1, obtenemos

∂

∂t[ ∂ϕ(k,h)

∂xI(t, 1, … , 1)] = ∑

j

(A(k)I,j − B

(k)I,j)

∂ϕ(k,h)

∂xj(t, 1, … , 1).

Esto es idéntico a (12). Al tomar la derivada con respecto axJ de (16) y tomarlo de nuevo x1 = ⋯ = xm = 1, también lo entendemos

Un cálculo similar se encuentra, por ejemplo, en § V.7.3 del libro de Athreya y Ney (1972). Recuerde lasnotaciones (11) y (13) para la primera y segunda derivada. dejar

G(k,h)i,j (t) = A

(k)i,j M

(k,h)j (t) + A

(k)j,i M

(k,h)i (t) , G(k,h)(t) =(G(k,h)

i,j (t))i,j

.

Entonces (17) es idéntico a

dS(k,h)I,J

dt(t) = ∑

j

[C(k)I,jS

(k,h)j,J (t) + C

(k)J,jS

(k,h)j,I (t)] + G

(k,h)I,J (t)

−q1(t) q2(t)q1(t) −q2(t)

∂2ϕ(k,h)

∂t ∂xI=∑

i,j

[A(k)i,j δj,I(xi − 1) + (A(k)

i,j xj − B(k)i,j )δi,I]

∂ϕ(k,h)

∂xj

+ ∑i,j

(A(kn)i,j xj − B

(kn)i,j )(xi − 1)

∂2ϕ(k,h)

∂xI∂xj, (16)

∂

∂t[ ∂2ϕ(k,h)

∂xI∂xJ(t, 1, … , 1)] =A

(k)J,I

∂ϕ(k,h)

∂xI(t, 1, … , 1)

+ A(k)I,J

∂ϕ(k,h)

∂xJ(t, 1, … , 1)

+ ∑j

(A(k)I,j − B

(k)I,j)

∂2ϕ(k,h)

∂xj∂xJ(t, 1, … , 1)

+ ∑j

(A(k)J,j − B

(k)J,j)

∂2ϕ(k,h)

∂xI∂xj(t, 1, … , 1) . (17)

para t > 0. Usando la simetría de la matrizS(k,h)(t), esta ecuación está escrita

dS(k,h)

dt(t) = C(k)S(k,h)(t) + S(k,h)(t)(C(k))

∗+G(k,h)(t) ,

donde ∗denota la matriz transpuesta. peroϕ(k,h)(0,x1, … ,xm) = xh implica que S(k,h)(0)es la matriz nulaComo en el libro de Athreya y Ney (1972, fórmula (15), p. 203), obtenemos

por todo t ≥ 0. Ya queM (k,h)i (t) > 0 por todo i y todo t > 0, y dado que por hipótesis existe (i, j) tal que

A(k)i,j > 0, vemos que la matriz con coeficientes positivos o cero G(k,h)(t) tiene al menos un coeficiente

estrictamente positivo para todos t > 0. Como todos los coeficientes de la matriz.e(t−u)C(k) y su transposiciónson estrictamente positivas cuando u < t, vemos que todos los coeficientes de la matriz bajo la integral de(18) son estrictamente positivos para u < t. Entonces todos los coeficientes de la matrizS(k,h)(t) también sonestrictamente positivos para t > 0.

gracias

Agradecemos al profesor Khaladi por su aliento. También agradecemos a los profesores Ball y Bansaye yespecialmente al profesor Jagers por sus comentarios sobre ciertas partes de este trabajo.

referencias

Arnold L (1998) Random dynamical systems. Springer,  Berlin.Arnold L,  Kloeden P (1989) Lyapunov exponents and rotation number of two– dimensional systems with telegraphic noise. SIAM J Appl Math 49 : 1242– 1274Arnold L,  Wihstutz V (1986) Lyapunov exponents :  a survey. In :  Arnold L,  Wihstutz V (eds) Lyapunov exponents,  Lecture Notes in Mathematics 1186, Springer,  Berlin,  p.  1– 26Artalejo JR,  Economou A,  Lopez– Herrero MJ (2012) Stochastic epidemic models with random environment :quasi– stationarity,  extinction and final size.  J Math Biol, doi : 10.1007/s00285– 012– 0570– 5Athreya KB,  Karlin S (1971) On branching processes with random environments :  I Extinction probabilities. Ann Math Stat 42 : 1499– 1520Athreya KB,  Ney PE (1972) Branching processes. Springer,  BerlinBacaer N,  Ait Dads E (2012) On the probability of extinction in a periodic environment. J Math Biol,   doi : 10.1007/s00285– 012– 0623– 9Bacaer N,  Guernaoui S (2006) The epidemic threshold of vector– borne diseases with seasonality. J Math Biol 53 : 421– 436Bacaer N,  Khaladi M (2012) On the basic reproduction number in a random environment. J Math Biol,  doi : 10.1007/s00285– 012– 0611– 0Ball F,  Donnelly P (1995) Strong approximations for epidemic models. Stoch Proc Applic 55 : 1– 21Barreira L,  Valls C  (2008) Stability of nonautonomous differential equations. Springer,  Berlin

Benaïm M,  Schreiber SJ (2009) Persistence of structured populations in random environments.Theoret Popul Biol 76 : 19– 34Berman A,  Plemmons RJ (1994) Nonnegative matrices in the mathematical sciences. SIAM,  PhiladelphiaBouleau N (1988) Processus stochastiques et applications. Hermann,  Paris

S(k,h)(t) = ∫t

0

e(t−u)C(k)G(k,h)(u)(e(t−u)C(k))

∗du (18)

Britton T,  Lindholm M (2009) The early stage behaviour of a stochastic SIR epidemic with term– time forcing. J Appl Probab 46 : 975– 992Chueshov I (2002) Monotone random systems. Springer,  BerlinCogburn R,  Torrez WC (1981) Birth and death processes with random environments in continuous time. J Appl Probab 18 : 19– 30Diekmann O,  Heesterbeek H,  Britton T (2013)\Mathematical tools for understanding infectious disease dynamics.Princeton University Press,  PrincetonDublin LI,  Lotka AJ (1925) On the true rate of natural increase. J Am Stat Assoc 20(151) : 305– 339Gaver DP,  Jacobs PA,  Latouche G (1984) Birth– and– death models in randomly changing environments. Adv Appl Probab 16 : 715– 731Gray A,  Greenhalgh D,  Mao X,  Pan J (2012) The SIS epidemic model with Markovian switching. J Math Anal Appl 394 : 496– 516Haccou P,  Jagers P,  Vatutin VA (2005) Branching processes :  variation,  growth,  and extinction of populations. Cambridge University Press,  CambridgeHernandez– Suarez C,  Rabinovich J,  Hernandez K (2012) The long– run distribution of births across environmentsunder environmental stochasticity and its use in the calculation of unconditional life– history parameters. Theor Popul Biol 82 : 264– 274

Hillion A (1986) Les thedories mathedmatiques des populations. Presses Universitaires de France,  ParisKaplan N (1973) A continuous time Markov branching model with random environments.Adv Appl Probab 5 : 37– 54Kaplan N (1974) Some results about multidimensional branching processes with random environments. Ann Probab 2 : 441– 455Kendall DG (1948) On the generalised ′birth– and– death′ process. Ann Math Statist 19 : 1– 15Lewontin RC,  Cohen D (1969) On population growth in a randomly varying environment. Proc Natl Acad Sci USA 62 : 1056– 1060Meyn S,  Tweedie R (1993) Markov chains and stochastic stability. Springer,  BerlinPardoux E (2008) Markov processes and applications. Wiley,  ChichesterYechiali U (1973) A queuing– type birth– and– death process defined on a continuous– time Markov chain. Operations Research 21 : 604– 609