control Óptimo y optimización dinámica -...
TRANSCRIPT
Problemas de Control ÓptimoProblemas de Control ÓptimoProceso de solución consiste en encontrar los perfilesperfiles de la variable de control vs tiempo de modo que se optimice un índice particular de medida de desempeño del sistema
( ) )(,0
TSdtxkLMaximizar T
+= ∫ θθ
( )θ,xfdtdx
=Sujeto a:
Métodos de Solución Convencionales• El Principio del Máximo• Programación Dinámica• Cálculo de Variación
0)0( xx =
La reina Dido planteó el problema problema isoperimétricoisoperimétrico: Encuentre el área mayor que puede ser cubierta con un cordel de longitud fija(L)
∫=X
o
dxxyA )(
∫=T
o
dttxAMaximize )(1
( ) ( )∫ ∫∫
+=+== dx
dxdydxdydsL
X
0
222 1
Problemas HistóricosProblemas Históricos
dtuLT
∫ +=0
21
txxy
→→ 1
udtdx =1 0)0(1 =x
22 1 udt
dx += 0)0(2 =x LTx =)(2
0)(1 =Tx
Problemas Problemas IsoperimétricoIsoperimétrico
∫=T
o
dttxAMaximize )(1
udtdx
=1 0)0(1 =x
22 1 udtdx
+= 0)0(2 =x LTx =)(2
0)(1 =Tx
Ingeniería Química: Problema de Ingeniería Química: Problema de Destilado MáximoDestilado Máximo
dtR
VdtdtdDL
RMaximizar T
t
T
t∫∫ +
==00 1
∫
∫
+
+=
T
t
T
tD
D
dtR
V
dtR
Vxx
0
0
)1(
*
1
1
FBoxR
Vdtdx
t
t ==+
−= 10
1
1
)1(201
)1(22 )(1 F
t
Dt
t
t xxx
xxR
Vdt
dx=
−+
=
Sujeto a:Sujeto a:
Pureza Pureza promediopromedio
El Principio del MáximoEl Principio del MáximoLa función objetivo se reformula en la forma lineal de forma lineal de MayerMayerRequiere la incorporación de ecuaciones diferenciales ordinarias adicionales (ecuaciones adjuntasecuaciones adjuntas) que representan la dinámica de las variables adjuntas (también agregadas al problema)Se define una función HamiltonianaHamiltoniana (invariante en el tiempo)El perfil óptimo se obtiene derivando la función Hamiltoniana con respecto a la variable de controlvariable de controlEl sistema resultante es un problema de valores en la problema de valores en la fronterafrontera
( ) dtxkLMaximizar T
θθ
,0∫=
∑=
==n
iii
T ffH1µµ
0)0( xxfdtdx
==
cTxf
fdtd n
j i
jjx
T =∂∂
−=−= ∑=
)(1
µµµµ
∑=
==n
iii
T TxcTxcJMaximizar
1)()(
θ
0)0( xxfdtdx
==
0)0( xxfdtdx
==
El Principio del MáximoEl Principio del Máximo
HamiltonianoHamiltoniano
Ecuaciones y Ecuaciones y Variables AdjuntasVariables Adjuntas
Forma LinealForma Lineal
Problema de Destilado Problema de Destilado Máximo: Principio del Máximo: Principio del MáximoMáximo
FBoxR
Vdtdx
t
t ==+
−= 10
1
1
)1(201
)1(22 )(1 F
t
Dt
t
t xxx
xxR
Vdt
dx=
−+
=
Sujeto a:Sujeto a:
Función objetivo es Función objetivo es rere--escrita en forma escrita en forma LagrangianaLagrangiana
( )[ ]dtxxR
VLR
MaximizarDD
t
T
t
)1(*
01
1−−
+= ∫ λ
Problema de Destilado Problema de Destilado Máximo: Principio del Máximo: Principio del MáximoMáximo
FBoxR
Vdtdx
t
t ==+
−= 10
1
1
)1(201
)1(22 )(1 F
t
Dt
t
t xxx
xxR
Vdt
dx=
−+
=
Sujeto a:Sujeto a:
Para obtener forma Para obtener forma lineal de lineal de MayerMayer
( )[ ]∫ −−+
=t
DDt
t dtxxR
Vx0
)1(*3 1
1λ
T
t
xR
Maximize3
( )[ ])1(*3
11 DD
t
t xxR
Vdt
dx−−
+= λ
Problema de Destilado Problema de Destilado Máximo: Principio del Máximo: Principio del MáximoMáximo
HamiltonianoHamiltoniano ( )( ) ( )[ ])1(*3
1
)1(221 1
111 DDt
ttt
Dtt
ttt xx
RV
xRxxV
RVH −−
++
+−
++
−= λµµµ
Ecuaciones y Ecuaciones y Variables AdjuntasVariables Adjuntas
( )( )( ) 0,
11
21
)1(22
1
=+
−= T
tt
Dtt
t
xRxxV
dtd
µµµ
( ) ( ) 0,11
12
2
)1(3
1
2
)1(
22
=
∂∂
+−
+
∂∂
−−= T
t
D
tt
tt
t
D
tt
xx
RV
xRxxV
dtd
µλµµµ
1,0 33
== Tt
dtd
µµ
0=∂∂
tRH
( ) ( )1
1
1
2)1(
)1(*1)1(21
2
−
−
∂∂
+−−−−
=
t
t
t
D
DDtDtt
t
t
xRx
xxxxx
Rµ
λ
λµµ
Perfil óptimoPerfil óptimo
Programación DinámicaProgramación Dinámica
Condición de Condición de OptimalidadOptimalidad: Aplicación del Principio de Optimalidad de Bellman da como resultado una ecuación diferencial parcial conocida como Ecuación Hamilton-Jacobi-Bellman (HJB)
∂∂
++∂∂
= ∑i
it
it
ttt dt
dxxLxk
tLMaximize
),(0 θθ
∂∂
++∂∂
= ∑i
iit
ttt
fxLxk
tLMaximize
),(0 θθ
[ ]fLkLMaximize
xtt
++=θ
0
Problema de Destilado Problema de Destilado Máximo: Programación Máximo: Programación DinámicaDinámicaEcuación HJBEcuación HJB
Perfil óptimoPerfil óptimo
( )[ ]
−+∂
∂+
+
−∂∂
+−−+
+∂∂
= 1
)1(2
21)1(* )(
111
10
t
Dt
ttttDD
tt xxx
RV
xL
RV
xLxx
RV
RMaximize
tL
λ
∂∂
∂∂−
∂∂
+
+
+
−
−∂∂+
∂∂−−−=
t
D
ttt
D
ttt
Dt
ttDD R
xxx
LRx
RV
RV
xxx
xL
xLxx
)1(
12
)1(
21
)1(2
21)1(* 1
1)1()(10 λλ
( )1
1
1
2)1(
)1(*11
)1(2
2
−
∂
∂
−∂∂
+−−∂∂
−
−∂
∂
=
t
t
t
D
DDtt
Dt
tt
xx
L
Rx
xxxL
xxx
xL
R
λ
λ
Mismo perfil que en el principio Mismo perfil que en el principio del máximo si las del máximo si las variables variables adjuntasadjuntas son iguales a las son iguales a las derivadas de la función objetivo derivadas de la función objetivo (L) con respecto(L) con respecto a las variables a las variables de estado (x)de estado (x)
Problemas Estocásticos Problemas Estocásticos de Control Óptimode Control Óptimo
No es posible despreciar incertidumbres en algunas aplicaciones prácticas de problemas de control óptimo:
En parámetros del modeloEn condiciones iniciales
El problema estocástico de control óptimo resultante puede ser analizado utilizando “Teoría de Opción Teoría de Opción RealReal”:
Caracterizando incertidumbres dependientes del tiempo como Procesos de ItoUsando el Lema de Lema de ItoItoUsando las condiciones de optimalidad de Programación Programación Dinámica EstocásticaDinámica Estocástica
Las variables estocásticas cambian con el tiempo en una forma inciertaEl denominado proceso proceso WienerWiener se utiliza como base para modelar una amplia gama de procesos estocásticos más complicados. Posee 3 propiedades:
Satisface la propiedad de MarkovMarkovPresenta incrementos independientesSus cambios en el tiempo se distribuyen normalmente
Un proceso de proceso de ItoIto representa el incremento de una variable estocástica en el tiempo de acuerdo con:
( ) ( )dztxbdttxadx ,, +=
a y b son funciones conocidas y dz es el incremento de un proceso Wiener. Note que E[dz]=0 y E[dz2]=dt
Procesos de Procesos de ItoIto
Procesos de Procesos de ItoIto
Movimiento Browniano
Movimiento Geométrico Browniano
“Mean reverting process”
dzdtdx σα += ( ) dzdtxxdx avg ση +−=
dzxdtxdx σα +=
Algunos parámetros ingenieriles pueden representarse como procesos de Ito:
LemaLema de Itode ItoTeorema FundamentalTeorema Fundamental del Cálculo EstocásticoPermite derivar e integrar funciones de variables estocásticas que se comportan como procesos de Ito
( ) ( )dztxbdttxadx ,, +=
( ) ( ) dzxFtxbdt
xFtxb
xFtxa
tFdF
∂∂
+
∂∂
+∂∂
+∂∂
= ),(,21, 2
22
( )22
2
21 dx
xFdx
xFdt
tFdF
∂∂
+∂∂
+∂∂
=
No se desprecian algunas contribuciones de segundo orden dado que E[dz2]=dt
Programación Dinámica EstocásticaProgramación Dinámica EstocásticaSe ha desarrollado una extension a las condiciones de optimalidad de programación dinámica para el caso estocástico:
( ) dtxkLMaximize
ttT
tθ
θ,0∫=
Sujeto a:Sujeto a:
Condiciones de Condiciones de OptimalidadOptimalidad:
( ) dzdtxfdx ittiit σθ += ,
+= )(1),(0 dLE
dtxk
Maximizett
t
θθ
∑∑∑≠
∂∂∂
+∂∂
+
∂∂
++∂∂
=ji
jt
it
jii
it
i
itii
tt
t xxL
xLtxf
xLtxk
tLMaximize 2
2
22
)(2),(),(0 σσ
σθ
Procesos de Procesos de ItoIto
Principio del Máximo para Problemas Principio del Máximo para Problemas EstocásticosEstocásticos
Con base en las condiciones de Con base en las condiciones de optimalidadoptimalidad para programación para programación dinámica, se pudieron derivar las expresiones correspondientes adinámica, se pudieron derivar las expresiones correspondientes al l método del principio del máximométodo del principio del máximo
Las variables adjuntasLas variables adjuntas ((µµ) en el principio del máximo son equivalentes ) en el principio del máximo son equivalentes a lasa las derivadas parciales de la función objetivo con respecto a las derivadas parciales de la función objetivo con respecto a las variables de estado variables de estado ((LLxx) de programación dinámica) de programación dinámica
El principal resultado del análisis es la derivación de las El principal resultado del análisis es la derivación de las ecuaciones ecuaciones adjuntasadjuntas
Las derivadas de segundo ordenLas derivadas de segundo orden de la función objetivo con especto de la función objetivo con especto a las variables de estado a las variables de estado ((LLxxxx) en programación dinámica ) en programación dinámica estocástica tiene que ser también incluidas y se incorporan en lestocástica tiene que ser también incluidas y se incorporan en la a formulación a través de las formulación a través de las variables adjuntas variables adjuntas adicionales,, ωω
fH µ= ωσµ2
2+= fH
0)0( xxfdtdx == 0)0( xxdzdtfdx =+= σ
cTfdtd
x =−= )(µµµ
DeterminDeterminísticoístico EstocásticoEstocástico
Principio del Máximo para Problemas Principio del Máximo para Problemas EstocásticosEstocásticos
Se utiliza representación escalar aunque el análisis es válido para el caso vectorial
( ) cTfdtd
xx =−−= )(21 2 µωσµµ
( ) 0)(212 2 =−−−= Tff
dtd
xxxxx ωωσµωω
Versión Estocástica del Problema Versión Estocástica del Problema de Destilado Máximode Destilado Máximo
dtR
VdtdtdDL
RMaximize T
t
T
t∫∫ +
== 00 1
*
0
0
)1(
1
1DT
t
T
tD
Dave xdt
RV
dtR
Vxx =
+
+=
∫
∫ FBoxR
Vdtdx
t
t ==+
−= 10
1
1
Sujeto a:
)1(2022
21
)1(22 )(
1 Ftt
Dt
tt xxdzxdt
xxx
RVdx =+
−+
= σ
Proceso Proceso ItoItoRestricción externa usada Restricción externa usada como criterio de como criterio de
convergenciaconvergencia
2.75
2.8
2.85
2.9
2.95
3
3.05
3.1
3.15
3.2
0 1 2 3
T im e (H rs)
Relative Volatility
R igorousS im ulation
P ath 1
P ath 2
P ath 3
Volatilidad Relativa como un Volatilidad Relativa como un Proceso de Proceso de ItoIto
Ocasiona un comportamiento incierto en las Ocasiona un comportamiento incierto en las variables de estadovariables de estado
Principio del MáximoPrincipio del Máximo
( )( )( ) ( )
ωσµµµ 22
21
2
)1(
21
)1(22
1
1
1t
tt
t
D
tt
Dt xxR
xxV
xR
xxVdtd
−+
∂∂
−−
+
−−=
( )( )
( )( )
( )( )21
)1(2221
22
)1(2
1
2
)1(
111
12
tt
Dt
tt
t
D
tt
t
D
xR
xxVxR
x
xV
xRxxV
dtd
+
−−−
+∂
∂
++
∂∂
−−= ωµωσµω
ω
( ) ( )1
)1(
)1(
22222
1
)1(
)1(21−
∂∂
+
∂∂
+
∂∂
−−=
µ
ωσ
σ
µ
µ
t
D
tt
tt
t
D
Dttt
Rx
VRx
Rx
Rx
xxxR
Ecuaciones Ecuaciones AdjuntasAdjuntas
Perfil Perfil óptimoóptimo
Perfil Óptimo de la Razón de ReflujoPerfil Óptimo de la Razón de Reflujo
Se requieren valores de reflujo más grandes debido a la disminución en el valor de la volatilidad relativa con el tiempoLa desviación respecto al caso determinístico también cambia con el tiempo debido al efecto de las incertidumbres
DeterminDeterminísticoístico
Nuevamente el Problema Nuevamente el Problema IsoperimétricoIsoperimétricoConsidere ahora la versión estocásticaversión estocástica del problema isoperimétrico
)(3 Txu
Maximize
0)0(
)(0)0(1
0)(0)0(
313
2222
111
==
==+=
===
xxdtdx
LTxxudt
dx
Txxudtdx 0)(0)0( 111 ==+= Txxdzdtudx σ
5.0=σ
16=L
Movimiento BrownianoMovimiento Browniano
EstocásticoEstocástico
Suposición meramente Suposición meramente académicaacadémica
Soluciones al Problema Soluciones al Problema IsoperimétricoIsoperimétrico
01
01
221
3
22
11
=+
+
===+−=
µµ
ωµµ
µ
uu
cct
BibliografíaBibliografía1. Teor1. Teoríía de optimizacia de optimizacióón (n (determindeterminíísticastica) y ) y
Aplicaciones en IngenierAplicaciones en Ingenieríía Qua Quíímicamicaa) Practical Methods of Optimization; R. Fletcher, 2nd. Ed., Wia) Practical Methods of Optimization; R. Fletcher, 2nd. Ed., Wileyleyb) Optimization of Chemical Processes; Edgar, b) Optimization of Chemical Processes; Edgar, HimmelblauHimmelblau and Larson, and Larson,
2nd. Ed., McGraw2nd. Ed., McGraw--HillHillc) Nonlinear Programming, Theory and Algorithms; c) Nonlinear Programming, Theory and Algorithms; BazaraaBazaraa, , SheraliSherali and and
ShettyShetty, Wiley, Wileyd) Systematic Methods for Chemical Process Design; d) Systematic Methods for Chemical Process Design; BieglerBiegler, Grossmann , Grossmann
and Westerberg, Prentice Halland Westerberg, Prentice Halle) Linear Programming; e) Linear Programming; ChvatalChvatal VasekVasek, Ed. W. H. Freeman and Co., Ed. W. H. Freeman and Co.
2. Programaci2. Programacióón n MultiObjetivoMultiObjetivoa) a) Introduction to Applied Optimization, Introduction to Applied Optimization, DiwekarDiwekar, , KluwerKluwer Academic Academic
PublishersPublishers
BibliografíaBibliografía3. Programaci3. Programacióón Estocn Estocáásticastica
a) Stochastic Programming, a) Stochastic Programming, KallKall and Wallace, Wileyand Wallace, Wiley
4. Control 4. Control óóptimoptimoa) Batch Distillation, Simulation, Optimal Design and Control; a) Batch Distillation, Simulation, Optimal Design and Control; DiwekarDiwekar, Ed. , Ed.
Taylor and FrancisTaylor and Francisb) Optimal Control Theory; b) Optimal Control Theory; SethiSethi and Thompson, and Thompson, KluwerKluwer Academic Academic
PublishersPublishersc) Investment Under Uncertainty; c) Investment Under Uncertainty; DixitDixit and and PindyckPindyck, Princeton University , Princeton University
PressPress