Esta desde la pagina (170)falta.

La resolucin del problema se divide en tres partes. En la primera se desarrollara la ecuacin de Euler, para una funcin de utilidad genrica en la segunda, se hallara una funcin de poltica; y finalmente, se evaluaran las condiciones de segundo orden.a) Ecuacin de Euler.En los casos en que la funcin de utilidad es compleja, no es posible obtener la funcin de poltica de una manera analtica, por lo que resulta conveniente analizar la condicin de optimizacin intertemporal. Asumiendo una funcin de utilidad general y empleando la ecuacin de Euler (15), obtenemos la siguiente condicin de equilibrio intertemporal:

El lado izquierdo representa la tasa marginal de sustitucin entre consumo presente y consumo futuro, e indica cuanto valora el consumidor en trminos relativos a una unidad de consumo de un periodo a otro. El lado derecho de la ecuacin representa la tasa de inters bruta es decir, cuanto se valora en el sistema financiero una unidad de consumo de un periodo a otro. En el equilibrio, las dos valoraciones deben ser iguales; de lo contrario, la asignacin de consumo no sera ptima. Si la tasa marginal de sustitucin fuera mayor a la tasa de inters bruta, el agente valora ms el consumo que el sistema financiero, por lo tanto resultara conveniente incrementar el consumo. Por el contrario, si la tasa marginal de sustitucin fuera inferior a la tasa de inters bruta, convendra disminuir el consumo. Cuando la asignacin de consumo es optima en cada periodo de tiempo, entonces ambas tasas deben ser iguales.

La condicin de equilibrio tambin puede ser interpretada de otra forma. Supongamos que en un periodo disminuye el consumo en una unidad, ello trae como consecuencia una disminucin de la utilidad en Esta unidad de consumo puede ser invertida en un banco, donde se puede obtener un rendimiento constante e igual a r . En el periodo siguiente se podr contar con unidades de consumo. En , el bienestar del agente se incrementara en . Si la asignacin es optima, se debe cumplir que el agente debe ser indiferente entre ambas opciones, con lo cual llegamos a la siguiente condicin:

(23)

La cual es equivalente a la ecuacin de Euler.

b) Funcin de poltica.Asumiendo una funcin de utilidad logartmica , la funcin Lagrangiana del problema es el siguiente:

(24)

La condicin de primer orden se resume del siguiente modo:

(25)

Ahora resolveremos el problema mediante induccin hacia atrs. En primer lugar, empezaremos por resolver el problema en el periodo . Para dicho periodo se cumple:

(26)

De manera intuitiva podra determinarse cules son las asignaciones de consumo y ahorro en el ltimo periodo. Qu sucedera si el nivel de ahorro fuera positivo en el periodo ?.En dicho caso nos encontraramos en una situacin suboptima, ya que en la medida en que no existe utilidad por el consumo realizado mas all del periodo , cualquier herencia dejada por el agente implicara una prdida de bienestar. En este sentido, el ahorro ptimo deber ser igual a cero. Del mismo modo, como la utilidad marginal es siempre positiva, el consumo ptimo deber ser mayor a cero en todo el horizonte temporal. A continuacin se demostraran estos resultados matemticamente. Dado que , entonces se satisface la condicin:

(27))

Reemplazando (27) en (26.b) obtenemos lo siguiente:

Como el consumo es positivo, la expresin anterior es estrictamente positiva. Por otra parte, en (26.b) se cumple la tercera condicin:

Como el primer trmino en (29) es estrictamente positivo, ello implica que el ahorro en el ltimo periodo es igual a cero. Esta igualdad equivale a la condicin de transversalidad del problema de control ptimo y del clculo de variaciones, en la medida en que determina el valor de la variable de estado en el ltimo periodo. El resultado obtenido lo reemplazamos en la ecuacin de movimiento, con lo cual obtenemos la siguiente funcin de poltica:

De igual forma, en el periodo se cumplen las condiciones:

Considerando que y despejando la ecuacin (31.a.), obtenemos lo siguiente:

(32)

Por otra parte, si consideramos que se cumple: (33)

Reemplazando (27) y (32) en (33), se llega a la siguiente relacin: (34)

Reemplazando (30) y (34) en la ecuacin de movimiento, se obtiene finalmente la funcin de poltica para el periodo :

(35)

Para el periodo se cumplirn las condiciones:

Las condiciones de (36) junto con la funcin de poltica (35) determinan la funcin de poltica:

(37)

En general, para el periodo , la funcin de poltica tomara la siguiente forma: (38)

Esta funcin de poltica indica que el consumo es igual a una fraccin, cambiante en el tiempo, del nivel de ahorro.

c) Condicin de suficiencia.Con el fin de asegurar que las condiciones de Kuhn Tucker efectivamente maximicen la funcin objetivo, se evaluara la condicin de suficiencia. En primer lugar, la funcin de retorno debe ser cncava, lo cual se satisface:

(39)En segundo lugar, la ecuacin de movimiento es lineal y se clasifica como funcin convexa: (40)

Por lo tanto, la funcin de poltica obtenida a travs de las condiciones de Kuhn-Tucker, permite obtener las secuencias de las variables de control y estado que maximizan la funcin objetivo.Ejemplo 2.-Modelo de crecimiento neoclsico.Suponga una economa en la cual se produce un solo bien de acuerdo con la funcin de produccin Cada periodo, la produccin se destina solamente a dos fines: consumo o inversin en capital para el periodo siguiente .Dicho proceso de asignacin puede representarse a travs de la siguiente ecuacin de movimiento: (41)

Por otra parte, el objetivo de la sociedad es maximizar su bienestar intertemporal empleando el factor de descuento :

(42)

De esta manera, el problema que enfrenta el planificador social se resume del siguiente modo:

Al igual que el primer ejemplo, la resolucin del problema se divide en tres partes. En la primera se establece la condicin de primer orden del problema, para funciones generales y En la segunda, se halla la funcin de poltica ptima. Finalmente, en la tercera seccin, se evala la condicin de segundo orden.

a) Ecuacin de Euler.Como se menciono anteriormente, en algunos casos, en lugar de hallar las trayectorias de las variable de control y estado resulta conveniente analizarla condicin de optimizacin. Asumiendo funciones genricas para el nivel de utilidad y la produccin , podemos plantear la ecuacin de Euler para analizar la condicin de equilibrio intertemporal. Considerando la ecuacin de movimiento , la ecuacin de Euler establece lo siguiente:

(44)

La interpretacin de la ecuacin de Euler es muy similar a la del ejemplo anterior. En el contexto macroeconmico, el uso alternativo de una unidad de consumo ya no consiste en realizar un depsito en un banco, sino en la inversin en capital. De esta forma, la ecuacin de Euler establece que la tasa marginal de sustitucin entre consumo presente y consumo futuro debe ser igual a la productividad marginal del capital. Si la tasa marginal de sustitucin fuera mayor a la productividad marginal, entonces, la sociedad como un todo valora ms el consumo presente que la inversin en capital; por lo tanto, la decisin ptima seria aumentar el consumo y disminuir la inversin en capital. Por el contrario, si la tasa marginal de sustitucin fuera inferior a la productividad marginal, convendra disminuir el consumo e incrementar la inversin en capital. De esta forma, en el equilibrio, las secuencias ptimas de consumo y capital deben cumplir con una relacin de igualdad entre la tasa marginal de sustitucin y la productividad marginal.b) Funcin de poltica.Para obtener la funcin de poltica asumiremos una funcin de utilidad logartmica , as mismo se asumir la funcin de produccin .Como la utilidad marginal es siempre positiva, entonces nunca se desperdiciaran unidades de consumo y la restriccin (41) siempre se cumplir con igualdad. De este modo, para simplificar el problema, reemplazaremos la restriccin (41) en la funcin objetivo (42), con lo cual obtendramos siguiente funcin Lagrangiana:

Este problema presenta una ligera variacin con respecto a la anterior.Con el fin de hacer mas simples los clculos operativos,se ha eliminado la variable del problema y se ha considerado como nica variable de eleccin a .En este sentido, la condicin de primer orden es la siguiente:

Para resolver el problema mediante el mtodo de induccin hacia atrs, debemos empezar por la condicin de primer orden en el periodo :

Al igual que en el ejemplo anterior, intuitivamente resulta razonable plantear que el de capital sea igual a cero .En caso contrario, se estaran desperdiciando recursos y la sociedad alcanzara un nivel de bienestar suboptimo. A continuacin demostraremos este resultado matemticamente. La derivada del Lagrangiano con respecto a es igual a:

La expresin (48)es estrictamente positiva, ya que por la restriccin (41) el denominador equivale al consumo. Ello implica que se debe cumplir la condicin:

Lo cual significa que necesariamente . Siguiendo con el procedimiento, en el periodo , se cumplen las condiciones:

Para resolver las condiciones partimos de la condicin , con lo cual se cumple:

La condicin (51) constituye la funcin de poltica que determina el de capital optimo para el periodo , en funcin del capital en . En , las condiciones de primer orden estn dadas por:

Partiendo de la condicin , se cumple que:

Reemplazando (51) en (53) se obtiene la funcin de poltica para el periodo :

En general, la funcin de poltica para el periodo , viene dada por :

De manera similar al ejemplo anterior, el capital de un periodo constituye una fraccin variante en el tiempo de la produccin agregada en la economa.c) Condicin de suficiencia.En la medida en que la funcin de utilidad es estrictamente cncava: (56)

Y la ecuacin de la transicin es convexa: (57)

Las condiciones de Kuhn-Tucker constituyen una condicin necesaria y suficiente para la maximizacin de la funcin objetivo. En este sentido, la secuencia de consumo y capital generada a partir de la funcin de poltica(55)es optima.2. Programacin dinmica con horizonte temporal finitoLa resolucin del problema (1) a travs de las condiciones Kuhn-Tucker, si bien es correcta, no es la manera ms eficiente de enfrentar el problema .Tal como se ha podido apreciar, la resolucin de las condiciones de primer orden de Kuhn-Tucker involucra clculos engorrosos para despejar las variables de control y de estado optimas. Con la finalidad de resolver aqullos problemas con una estructura similar a (1),Bellman desarrollo el mtodo de programacin dinmica. Esta tcnica aprovecha la naturaleza recursiva del problema para resumir el planteamiento en una relacin denominada ecuacin de Bellman. El mtodo se sustenta en el principio de optimalidad, el cual ser explicado a continuacin.2.1 El principio de OptimalidadEl problema de programacin dinmica (1) cumple con dos propiedades fundamentales, que permiten la resolucin de una forma recursiva:a) Propiedad de separabilidada: Para todo t, las funciones de retorno y transformacin,y ,dependen de t y de los valores contemporneos de las variables de control y estado ,pero no de sus valores pasados o futuros.b) Propiedad de aditividad: El funcional objetivo es la suma de las funciones de retorno en los periodos.Sobre la base de estos dos principios se establece el principio de optimalidad: Principio de optimalidaLa secuencia de variables de control es una solucin optima al problema (1) si y solo si , resuelve el siguiente problema :

(58)

Ntese que en el problema (58), sin prdida de generalidad, se ha supuesto que las trayectorias de las variables de control y estado son estrictamente positivas y que la ecuacin de movimiento se satisface con una relacin de igualdad.En trminos intuitivos, el principio de optimalidad establece que la variable de control optima posee la propiedad de que en cualquier periodo t, el conjunto de decisiones restantes debe ser optima con respecto al valor actual de la variable de estado ,el cual se encuentra determinado en funcin del valor inicial y las decisiones pasadas de la variable de control .L a esencia del principio de optimalidad puede resumirse en el siguiente esquema:

C

B

A

La secuencia de variables de control perteneciente al conjunto ser optima si y solo si dicha secuencia es optima por tramos. Es decir ,el conjunto ser ptimos si todos los subconjuntos(tales como, Y tambin son ptimos.DemostracinEl principio de optimalidad puede ser demostrado formalmente a partir de una contradiccin. Supongamos que la secuencia ,, ,, es optima y resuelve el problema (1). Ahora, consideremos que la secuencia ,, ,, no cumple con la condicin (58).Definamos la secuencia ,, ,, , como la solucin al problema (58).Si as fuera, la secuencia ,, ,,, ,, generara un mayor valor del funcional objetivo que el conjunto de variables de control ,, , , ,,. Este resultado contradice la hiptesis inicial, la cual establece que la ltima secuencia de variables constituye la solucin al problema (1).2.2 La ecuacin de BellmanEl problema (58) puede ser planteado en trminos de una relacin recursiva denominada ecuacin de Bellman: (59)

En la ecuacin (59), la maximizacin se realiza exclusivamente con respecto a la variable de control, y la variable de estado se mantiene constante con el fin de obtener la funcin de poltica. En la ecuacin de Bellman, representa la funcin de valor para el problema(58)en el periodo . Si reemplazamos la restriccin en la funcin objetivo, la condicin de primer orden del problema sera la siguiente: (60)

La condicin (60) junto con la ecuacin de transicin representan un sistema de dos ecuaciones con tres incgnitas (. A partir de dicho sistema es posible obtener la funcin de poltica que relaciones la variable de control con la de estado:2.3 La ecuacin de Benveniste y ScheinkmanPara caracterizar completamente las condiciones de primer orden del problema (1), tambin es necesaria la ecuacin de Benveniste y Scheinkman, que constituye una aplicacin del teorema de la envolvente. Para obtener esta ecuacin reemplazamos la funcin de poltica en la ecuacin de transicin, con lo cual obtenemos .Posteriormente se reemplaza la funcin de poltica y la ecuacin de transicin en la ecuacin de Bellman maximizada, con lo cual se obtiene la siguiente relacin:

En (61), la variacin de afecta directamente a la funcin de valor a travs de la misma variable e indirectamente, a travs de la ecuacin de movimiento y la funcin de poltica.El teorema de la envolvente establece que cuando la funcin de valor se encuentra maximizada, solamente se consideran los efectos directos. En este sentido, a partir del teorema de la envolvente, se cumple lo siguiente:ecuacin 62A la relacin (62) se le denomina la ecuacin de Benveniste y Scheinkman.2.4 La ecuacin de EulerA partir de la condicin de primer orden de la ecuacin de Bellman y la ecuacin de Benveniste y Scheinkman, es posible obtener la ecuacin de Euler derivada en la seccin anterior. El primer paso para obtener la ecuacin de Euler consiste en despejar la derivada de la funcin de valor en (60) y adelantarla un periodo:ecuacin 63El segundo paso consiste en adelantar la ecuacin de Benveniste-Scheinkman un periodo, y reemplazar la relacin obtenida en (63):ecuacin 64Reemplazando (64) en la ecuacin de primer orden en la ecuacin de Bellman (64) obtenemos:ecuacin (65)que no es otra cosa que la ecuacin de Euler derivada en (15).De igual forma, asumiendo una ecuacin de transicin que depende solamente de la variable de control, obtenemos una versin simplificada de la ecuacin de Euler:ecuacin 66Tal como se ha analizado anteriormente, la ecuacin de Euler garantiza que la eleccin de la variable de control optima sea tal que la funcin de retorno tome el valor mximo posible, considerando los efectos en los siguientes periodos.A continuacin se desarrollaran los mismos ejemplos vistos en la primera seccin, empleando la tcnica de la programacin dinmica. Como los conceptos de la ecuacin de Euler y la condicin de suficiencia son iguales a los analizados anteriormente, en los ejemplos solamente se incluir la derivacin de la funcin de poltica y la funcin de valor.Ejemplo 1.- Asignacin de consumo y ahorroEn trminos de la ecuacin de Bellman (59), el problema que enfrenta el consumidor para elegir entre consumo y ahorro se resume del siguiente modo:ecuacin 67Para hallar la funcin de poltica es necesario resolver el problema empezando por el ltimo periodo. Como la funcin de utilidad intertemporal no considera beneficio alguno por el consumo generado mas all del periodo T (no hay bienestar por dejar herencias), la funcin de valor es igual a cero. As el problema en el ltimo periodo se resume del siguiente modo:ecuacin 68El resultado de este problema es la funcin de poltica en el periodo T:IGUALDAD 69y la funcin de valor:ECUACION 70En el periodo T-1, la ecuacin de Bellman respectiva es la siguiente:ecuacin 71La condicin de primer orden de (71) da como resultado la funcin de poltica en el periodo T:ecuacin 72Al reemplazar la funcin de poltica en la ecuacin de Bellman, se obtiene la funcin de valor:ecuacin 73Para el periodo T-2, la ecuacin de Bellman est dada por:ecuacin 74la cual da como resultado la funcin de poltica:ecuacin 75Y la funcin de valor:ecuacin 76En general, para el periodo t, la funcin de poltica y la funcin de valor tomaran la siguiente forma:ecuacin 77ecuacin 78Como se puede apreciar, la funcin de poltica obtenida a travs de la tcnica de programacin dinmica es la misma obtenida a travs de las condiciones de Kuhn-Tucker.Ejemplo 2.-Modelo de crecimiento neoclsicoLa ecuacin de Bellman para el problema de crecimiento econmico ptimo est definida del siguiente modo:ecuacin 79Este problema difiere ligeramente del anterior, en la medida en que la funcin de retorno incorpora la ecuacin de movimiento. Sin embargo, esta caracterstica no altera los resultados de la ecuacin de Bellman. En este problema, como el capital en el periodo T+1 no genera bienestar a la sociedad, se cumple que . Al igual que en el ejemplo anterior, para obtener la funcin de poltica es necesario resolver la ecuacin de Bellman empezando desde el periodo T hasta el periodo inicial. Para t=T, la ecuacin de Bellman es la siguiente:ecuacin 80Como el stock de capital optimo en el periodo T+1 es igual a cero, la funcin de valor seria la siguiente:ecuacin 81Para el periodo T-1, la ecuacin de Bellman sera la siguiente:ecuacin 82A partir de la condicin de primer orden se obtiene la funcin de poltica respectiva:ecuacin 83Reemplazando la funcin de poltica (83) en la ecuacin de Bellman, se obtiene la funcin de valor:ecuacin 84Para el periodo T-2, la ecuacin de Bellman correspondiente seria:ecuacin 85La condicin de primer orden de (85) est dada por:ecuacin 86Reemplazando la funcin de poltica (83) en (86), se obtiene la funcin de poltica para el periodo respectivo:ecuacin 87Por otra parte, para el periodo T-2, la funcin de valor es la siguiente:ecuacin 88En general para el periodo t, la funcin de poltica y la funcin de valor sern:ecuacin 89ecuacin 903. Programacin dinmica con horizonte temporal infinitoAl igual que en el control optimo, existen problemas de optimizacin dinmica donde el horizonte temporal relevante es infinito. El problema general de programacin dinmica en dichos casos es el siguiente:ecuacin 91El problema (91), al igual que (1), se resuelve mediante la ecuacin de Bellman y al ecuacin de Benveniste y Scheinkman. Sin embargo, como la funcin de retorno usualmente se encuentra multiplicada por un factor de descuento del siguiente modo:+ecuacin 92resulta conveniente modificar la ecuacin de Bellman con el fin de eliminar la variable temporal (t) que aparece en el factor de descuento, para as obtener una expresin ms simple de la funcin de valor. Para ello definiremos la funcin de valor corriente (), que no es otra cosa que la funcin de valor () multiplicada por la inversa del factor de descuento:ecuacin 93Mientras que la funcin de valor ( ) se encuentra medido en trminos del bienestar percibido en el periodo inicial (t=0), la funcin de valor corriente () se encuentra expresada en unidades de bienestar percibido en el periodo t. De esta manera, empleando el concepto de la funcin de valor corriente, la ecuacin de Bellman (59) para la funcin de retorno descontada (92) es la siguiente:ecuacin 94Tal como se puede apreciar en (94), el tiempo no aparece explcitamente en la ecuacin, lo cual facilita en cierta medida la resolucin del problema.Adicionalmente a la ecuacin de Bellman, es necesario emplear una metodologa complementaria para poder hallarla funcin de poltica del problema. En esta seccin veremos dos de las metodologas ms conocidas para hallar la funcin de poltica y la funcin de valor: la metodologa de las aproximaciones sucesivas y la metodologa de adivinar y verificar. Asimismo, se desarrollaran los dos ejemplos visto en la seccin anterior, pero incorporando un horizonte temporal infinito.3.1 Mtodos de las aproximaciones sucesivasEste mtodo consiste en construir una secuencia convergente de funciones de valor con sus respectivas funciones de poltica. Esta secuencia se obtiene iterando la ecuacin de Bellman(59)ecuacin 95Se parte de una condicin inicial , y a partir de (95) calculamos la siguiente funcin de valor corriente . Posteriormente, reemplazamos en la ecuacin de Bellman para obtener . El procedimiento se realiza iterativamente hasta que se obtenga una funcin de valor corriente convergente. En trminos prcticos, el mtodo de las aproximaciones sucesivas consiste en resolver la ecuacin de Bellman de la misma forma que en el caso del horizonte temporal finito, pero adems a la funcin de valor y la funcin de poltica resultante se les debe tomar el lmite cuando .Ejemplo 1.- Asignacin de consumo y ahorro El problema de asignacin de consumo y ahorro cuando el horizonte temporal es infinito es el siguiente:ecuacin 96Mediante el mtodo de las aproximaciones sucesivas, la solucin a (96) se obtiene tomando el lmite a (77) cuando , con lo cual se obtiene la funcin de poltica convergente:ecuacin 97La funcin de poltica (97) indica que el consumo ptimo en un horizonte temporal infinito constituye una fraccin constante de los ahorros. Por otro lado, teniendo en cuenta la igualdad:ecuacion 98La funcin de valor convergente para un horizonte temporal infinito es la siguiente:ecuacion99Considerando la definicin (93), la funcin de valor corriente para el horizonte temporal infinito seria:ecuacin 100la cual no incorpora de manera explcita el tiempo.Ejemplo 2.- Modelo de crecimiento neoclsicoEl problema de crecimiento ptimo para un horizonte temporal infinito sera el siguiente:ecuacion101La solucin a (101) se obtiene tomando limite a (89) cuando , con lo cual la funcin de poltica converge a la expresin:ecuacin (102)La funcin de poltica (102) indica que el stock de capital en un periodo es una fraccin constante de la produccin () en el periodo anterior. Del mismo modo, al tomar el lmite a (90) obtenemos la funcin de valor para el horizonte temporal infinito:ecuacin 103Sobre la base de la definicin (93), la funcin de valor corriente sera la siguiente:ecuacin 1043.2 Mtodo de adivinar y verificarEste mtodo consiste en adivinar la funcin de valor o la funcin de poltica y posteriormente verificar la adivinanza, a travs de la ecuacin de Bellman y la ecuacin de Benveniste y Scheinkman. La eficiencia de este mtodo para resolver (91) depender de: (a) la existencia de una solucin nica al problema, y (b) la suerte en realizar la adivinanza. Este mtodo se utiliza usualmente para formas funcionales especificas, tales como preferencias cuadrticas y restricciones lineales o preferencias logartmicas y restricciones con funciones Coob-Douglas.El ejemplo de asignacin de consumo y ahorro se resolver adivinando la funcin de poltica, mientras que el modelo neoclsico de crecimiento se resolver adivinando la funcin de valor.Ejemplo 1.- Asignacin de consumo y ahorro Resolveremos el problema de asignacin de consumo y ahorro con horizonte temporal infinito, suponiendo que la funcin de poltica toma la siguiente forma:ecuacin 105donde x constituye una constante por determinar. Para hallar el valor de x, reemplazamos (105) en la ecuacin de Euler (22), asumiendo una funcin de retorno logartmica , con lo cual obtenemos:ecuacin 106Reemplazando la ecuacin de transicin (19) en (106), obtenemos la expresin:ecuacin 107Con lo cual obtendramos la solucin:ecuacin 108y la funcin de poltica:ecuacin 109Esta funcin coincide exactamente con la solucin hallada en (97). Para hallar la funcin de valor para el periodo t, es necesario realizar un artificio. Empleando la definicin de la funcin de valor (61), realizamos reemplazos sucesivos de la funcin de valor hasta derivar la siguiente expresin:ecuacin 110 donde constituye la funcin de poltica. Para el presente problema es necesario evaluar la siguiente funcin de valor:ecuacin 111Reemplazando la funcin de poltica (109) en la ecuacin de transicin (19), obtenemos una funcin que relaciona el consumo en cada periodo con el ahorro en el periodo t:ecuacin 112Reemplazando (112) en (111), finalmente obtenemos la funcin de valor:ecuacin 113La funcin de valor (113) converge a la siguiente expresin:ecuacin 114Mientras que la funcin de valor corriente seria igual a:ecuacin 115Tanto (114) como (115) coinciden con la solucin obtenida a travs del mtodo de las aproximaciones sucesivas.Ejemplo 2.- Modelo de crecimiento neoclsicoPara resolver este ejemplo supondremos que la funcin de valor corriente toma la siguiente forma:ecuacin 116donde son constantes por determinarse. Considerando la funcin de valor (116), la ecuacin de Bellman expresada en trminos de la funcin de valor corriente sera la siguiente:ecuacin 117La condicin de primer orden de la ecuacin de Bellman es la siguiente:ecuacin 118a partir de la cual se deriva la funcin de poltica:ecuacin 119Reemplazando la funcin (119) en la ecuacin de Bellman obtenemos:ecuacin 120como resultado de la ecuacin (120) se obtienen los parmetros :ecuacin 121Sobre la base de (116), (119) y (121), la funcin de poltica y la funcin de valor corriente del problema serian las siguientes:ecuacin 122ecuacin 123Nuevamente, la solucin coincide con la respuesta obtenida a travs del mtodo de las aproximaciones sucesivas.3.3 Condicin de TransversalidadDe igual forma que en el control optimo, en el problema de programacin dinmica con horizonte temporal infinito es necesario imponer una condicin de transversalidad para obtener la secuencia ptima de las variables. Esta condicin de tranversalidad se deriva de las condiciones de Kuhn-Tucker desarrolladas en la seccin 1.1 del presente capitulo. A continuacin aplicaremos este concepto a los dos ejemplos vistos hasta el momento.Ejemplo 1.- Asignacin de consumo y ahorro Tomando el lmite cuando a la ecuacin de tranversalidad (29), obtenemos lo siguiente:ecuacin 124Como son siempre distintos de cero, (124) se simplifica del siguiente modo:ecuacin 125sta constituye la condicin de transversalidad del problema de programacin dinmica cuando el horizonte temporal es infinito. En trminos intuitivos, la condicin (125) asegura una trayectoria convergente de la variable de estado, que en este caso est definida como el stock de ahorros. De no cumplirse la condicin de transversalidad habra la posibilidad de que exista una secuencia de stock de ahorros que sea explosiva, la cual solamente podra obtenerse con bajos niveles de consumo en el largo plazo.Ejemplo 2.- Modelo de crecimiento neoclsicoTomando el lmite cuando a la condicin de transversalidad (49), obtenemos:ecuacin 126Como el consumo, definido como (), es estrictamente positivo,(126)se simplifica a:ecuacin 127Que constituye la condicin de transversalidad para el modelo de crecimiento neoclsico con horizonte temporal infinito. Al igual que en el caso anterior, esta condicin asegura que la variable de estado (el stock de capital) presente una secuencia de valores convergentes.4. Programacin dinmica con incertidumbreEn esta seccin desarrollaremos un caso especial de optimizacin dinmica, en el cual se incorpora un entorno estocstico. En todos los tipos de problemas vistos hasta el momento, tanto de clculo de variaciones como de control ptimo y programacin dinmica, se ha supuesto que las variables son deterministicas, es decir, que los valores futuros de las variables de control y estado en el futuro pueden ser conocidos de antemano por el agente. En el caso de la programacin dinmica con incertidumbre no ocurre lo mismo. A pesar de que el agente optimizador debe elegir una secuencia de variables futuras, enfrenta problema que stas presentan aleatoriedad, es decir, su valor no puede ser conocido con anticipacin. De esta forma, el agente busca optimizar el valor esperado de la funcin objetivo:ecuacin 128En el problema (128) cabe destacar dos aspectos. En primer lugar, la incertidumbre en el problema es introducida a travs de la variable aleatoria , que aparece en la ecuacin de transicin. E l valor que toma dicha variable es conocida en el periodo t+1, una vez que la variable de control ha sido elegida en el periodo t. Tambin se asume que constituye una secuencia de variables aleatorias independientes e idnticamente distribuidas (con una funcin de distribucin conocida). En segundo lugar, al trmino ) se le denomina esperanza matemtica condicional a la informacin en el periodo t. En (128), la optimizacin se realiza con la esperanza matemtica condicional al periodo inicial (t=0).En trminos prcticos, la esperanza matemtica indica el valor promedio de una variable aleatoria. De este modo, el problema que enfrenta el agente consiste en maximizar el valor promedio de su funcin objetivo intertemporal.La solucin a (128) ser una funcin que determine la variable de control ptima para un valor dado de la variable de estado: . Esta funcin es similar a la funcin de poltica definida en las secciones anteriores y se le denomina plan contingente. La funcin tiene esta denominacin porque la eleccin de la variable de control ptima depender del valor que tome la variable de estado, la cual es desconocida a priori debido a la existencia de la variable aleatoria .El mtodo para resolver un problema de programacin dinmica con incertidumbre no difiere en gran medida de la metodologa vista hasta el momento. Es necesario emplear los conceptos de la ecuacin de Bellman, la ecuacin de Benveniste-Scheinkman y la ecuacin de Euler, pero incorporando el concepto de la esperanza matemtica.4.1 La ecuacin de BellmanLa ecuacin de Bellman incorporando un horizonte temporal infinito y un entorno estocstico es la siguiente:ecuacin 129La condicin de primer orden del problema viene dada por:ecuacin 130La condicin (130) es similar a la ecuacin de primer orden derivada en (60), no obstante incorpora la funcin de valor corriente () y la esperanza matemtica . En este caso, la condicin de primer orden permite obtener un plan contingente que maximice el valor esperado de la funcin objetivo.4.2 La ecuacin de Benveniste-ScheinkmanAl reemplazar el plan contingente en la ecuacin de Bellman, obtenemos la siguiente funcin de valor corriente:ecuacin 131Aplicando el teorema de la envolvente a (131), obtenemos la ecuacin de Benveniste y Scheinkman para el problema (128):ecuacin 1324.3 La ecuacin de Euler estocsticaDebido a la existencia de la esperanza matemtica, no es posible simplificar fcilmente (131) y (132) para hallar una expresin general de la ecuacin de Euler. Para ello sera necesario tener un conocimiento previo de las formas funcionales de la funcin de retorno, la ecuacin de movimiento y la funcin de distribucin. En lugar de ello, derivaremos la ecuacin de Euler para el caso especial en el cual la ecuacin de transicin depende exclusivamente de la variable de control. En dicho caso (132) se simplificara a:ecuacin 133De este modo, la ecuacin de Euler estocstica sera la siguiente:ecuacion 134Ejemplo 1.-Seleccin de portafolioEn este ejemplo introduciremos algunas modificaciones al problema de asignacin de consumo y ahorro que hemos visto hasta el momento. Hasta ahora, el consumidor enfrentaba el problema de seleccionar la trayectoria del consumo que maximice su utilidad intertemporal. En este ejemplo incorporaremos un nuevo tipo de decisin. Adems de decidir cunto destinar a consumo y ahorro, el agente deber tomar una decisin de portafolio. Es decir, deber elegir entre asignar sus ahorros a un instrumento libre de riesgo (como un bono del gobierno) que brinda un retorno constante (r), o invertir en un instrumento riesgoso (como es el caso de las acciones) que presenta una rentabilidad () variable en el tiempo e incierta. Asumiremos que el retorno es una variable independiente e idnticamente distribuida. En este caso, las variables de control serian el consumo y la participacin de los ahorros que destina a cada instrumento. Impondremos la restriccin de que la suma de las participaciones es igual a uno. En este sentido, la fraccin de los ahorros destinada al instrumento libre de riesgo ser () y la destinada en el instrumento riesgoso ser (). De este modo, el problema que debe resolver el consumidor ser el siguiente:ecuacin 135.En el problema asumiremos que la funcin de retorno es logartmica . Para resolver (135), en primer lugar, debemos plantear la ecuacin de Bellman estocstica:ecuacin 136En este caso emplearemos el mtodo ms simple, el de adivinar y verificar. Dado que la funcin objetivo es la misma que en los casos anteriores, supondremos que la funcin de valor corriente toma la siguiente forma:ecuacin 137Tomando en cuenta (137), desarrollamos las condiciones de primer orden de la ecuacin de Bellman:ecuacin 138Simplificando (138) obtenemos el plan contingente de consumo ():ecuacin 139A l reemplazar el plan contingente (139) en la ecuacin de Bellman (136), obtenemos la igualdad:ecuacin 140Despejando (140) podemos obtener la solucin para los parmetros :ecuacin 141Finalmente, hallamos los planes contingentes para el consumo, la decisin de portafolio y la funcin de valor corriente:ecuacin 142ecuacin 143ecuacin 144En (143), la decisin de portafolio () se encuentra definida implcitamente. Bajo el supuesto de que la rentabilidad del activo riesgoso es una variable aleatoria independiente e idnticamente distribuida, la participacin de los ahorros destinada al activo libre de riesgo ser una constante a lo largo del tiempo.L a principal conclusin del problema de seleccin de portafolio consiste en que la decisin de portafolio (eleccin de ) y la decisin de consumo y ahorro (eleccin de ) se realizan de manera separada. Ello puede apreciarse en la ecuacin (143), donde las variables w se define implcitamente independientemente del nivel de ahorros. De esta forma, para cualquier nivel de riqueza inicial (). La estrategia de portafolio ptima para unas preferencias logartmicas siempre ser la misma.Ejemplo 2.- Modelo de crecimiento neoclsico estocsticoEn este ejemplo desarrollaremos el modelo de crecimiento neoclsico en un entorno de incertidumbre. Asumiremos que la variable estocstica afecta la funcin de produccin de la siguiente forma:ecuacin 145La variable aleatoria puede ser interpretada como shocks que afectan la oferta agregada de la economa, como desastres naturales o shocks de tecnologa. Por otra parte, supondremos que presenta una distribucin normal con media cero () y varianza constante ().Asumiendo una funcin de utilidad logartmica, la ecuacin de Bellman correspondiente a este problema sera la siguiente:ecuacin 146Para resolver el problema recursivo (146) emplearemos el mtodo de adivinar y verificar. De este modo, supondremos que la funcin de valor corriente representa la siguiente forma:ecuacin 147La condicin de primer orden de la ecuacin de Bellman es la siguiente:ecuacin 148a partir de la cual se deriva la funcin de poltica: ecuacin 149Reemplazando la funcin de poltica (149) en la ecuacin de Bellman, obtenemos la siguiente igualdad:ecuacin 150Con lo cual obtenemos las soluciones para los parmetros ecuacin 151Empleando (151), hallamos el plan contingente ptimo y la funcin de valor corriente:ecuacin 152ecuacin 153Tal como se puede apreciar, la funcin de valor corriente hallada en (153) es consistente con la adivinada en (147); por lo tanto, el plan contingente (152) determina la secuencia de variables de control y estado que maximiza el valor esperado de la utilidad intertemporal.