1. Clculo de Variaciones
Formulacin del problema (PCV): Dados los momentos t0 < t1 en R, la funcin de
clase C2, F: R3R, y los estados a y b en R; se quiere hallar una funcin de clase C2,
t1
t0
Nociones preliminares:
En el conjunto de las funciones reales de clase C2 definidas en [t0 , t1] , se definen las
operaciones de adicin y de multiplicacin por escalares as:
1) Si x y , entonces x + y : [t0, t1] R, se define por (x + y) (t):= x(t) + y(t).
2) Si x R, entonces x : [t0, t1] R, se define por ( x)(t):= x(t).
Se comprueba fcilmente que , provisto de estas dos operaciones, es un espacio
vectorial real. Ahora bien, en dicho espacio vectorial se define una norma as:
x := max {|x(t)|: t[t0, t1]}.
Ejemplos: Si t0 = 1 y t1 = 5, entonces para x(t) = t2, ser x = max {t2 : t [1, 5]} = 25;
y si y(t) = 1 + t t2/4, se tendr y = max {1 + t t2/4 : t [1, 5]} = 2.
Dada una norma en un espacio vectorial, ella induce una mtrica en l, i. e., una funcin
de distancia entre elementos del espacio, como se indica a continuacin. Si x y y son
elementos de , entonces la distancia entre ellos ser d (x, y):= x - y .
As, para las funciones del ejemplo sera d(x, y) = max{t2 (1 + t t2/4): t[1, 5]} =
25.
Teniendo ya una mtrica el espacio vectorial, en l puede definirse la bola abierta de
centro x y de radio r como B(x, r):= {z : d(x, z) < r}.
2
En el contexto de optimizacin, se distingue entre mximo global y mximo local.
El primero es el que lleva a su mximo valor posible a la integral de la funcin objetivo;
el segundo es uno tal que en alguna bola abierta centrada en l, ningn otro elemento
lleva a la integral de la funcin objetivo a un valor mayor que el que alcanza con el
mximo local. As, x* de es un mximo global del PCV si y de ,
t1
t1
t0
t0
t1
t0
t0
que F ( x(t ), x& (t ), t )dt F ( y (t ), y& (t ), t )dt si es que y(t0) = a = x(t0) y(t1) = b = x(t1).
Ecuacin de Euler como condicin necesaria de primer orden:
Teorema: Una funcin x de es un mximo local del PCV slo si satisface a la
d
Fx& ( x(t ), x& (t ), t )
siguiente ecuacin diferencial, llamada de Euler: 0 = Fx ( x(t ), x& (t ), t ) dt
F
F
dF
en [t0, t1]. En esta ecuacin Fx :=
, Fx& :=
y
es la derivada total de F:
x
x&
dt
Fx ( x(t ), x& (t ), t ) x& + Fx& ( x(t ), x& (t ), t ) &x& + Ft ( x, x& , t ) .
Ejemplo:
b
a
b
x&
(1 + x& 2 )
Entonces, la ecuacin de Euler es: 0 = ( 1 + x& (t ) 2 )-3/2 &x& , i. e., 0 = &x& , ya que el otro factor
es distinto de 0. Las soluciones de esa ecuacin diferencial son todas las que se obtienen
dando valores arbitrarios a los parmetros h y k en x(t) = h + kt. Entre ellas, las
condiciones extremas exigen que = h + a k = h + kb, de donde slo queda que k =
( - )/(b - a) h = - a ( - )/(b - a). Luego, si el problema tuviera solucin, ella
habra de ser la funcin x (t) = - a ( - )/(b - a) + (( - )/(b - a)) t.
2
Otro ejemplo: Se pide max (12tx x& 2 )dt sujeto a: x(0) = 2 x(2) = 12.
0
d
(2 x& ) = -12t + 2 &x& , i. e., &x& = 6t.
dt
Entonces, integrando, se obtienen todas las extremales (as se llaman las soluciones de
la ecuacin de Euler). Ellas son dadas por x(t) = t3 + ht + k. Las condiciones extremas
exigen que 2 = k 12 = 8 + 2h +k, de donde, h = 1 k = 2, por lo que la nica
candidata a solucin es la funcin x (t) = t3 + t +2.
La ecuacin de Euler es: -2 x& = h , de donde x(t) = -ht/2 + k, que con las condiciones
extremas da: 1 = x(0) = k 2 = x(1) = -h/2 + k. De esto resulta que h = -2 k = 1, por lo
que la nica posible solucin es x(t) = t + 1.
2) En la funcin F no aparece x& :
Como Fx& = 0, se obtiene que 0 = Fx , que es una ecuacin algebraica que no depende de
constantes arbitrarias, por lo que difcilmente se satisfarn las condiciones extremas.
Ejemplo:
1
t , t .
3) En la funcin F no aparece t :
d
Como F no depende de t,
F = Fx x& + Fx& &x& , y, como segn la ecuacin de Euler,
dt
d
d
d
d
Fx =
Fx& , se obtiene
F = ( Fx& ) x& + Fx& &x& =
( Fx& x& ) , de lo cual se sigue que ha de
dt
dt
dt
dt
ser constante la expresin F - Fx& x& .
1
Entonces, (2 3x x& 2 ) - (-6x x& ) x& = h, de donde xx& 2 = H (cte.). As, pues, x& =
donde
x dx =
H
, de
x
3
( H t + K ) , que con las
2
4
condiciones extremas dan: K = 0 H = 4/9. Por lo tanto, la nica posible solucin sera
la funcin x(t) = t2/3.
Condicin de Legendre como condicin necesaria de 2 orden para optimacin:
Teorema: Una funcin x* de es un mximo local del PCV slo si Fx&&x ( x * (t ), t ) 0, t
de [t0, t1]. Adems, una funcin x* de es un mnimo local del PCV slo si
Fx&&x ( x * (t ), t ) 0, t de [t0, t1].
1
Ejemplo: Dado el problema de opt ( x 2 + x& 2 + 2 xet )dt sujeto a: x(0) = 0 x(1) = , la
0
ecuacin de Euler es 0 = (2x + 2e ) d(2 x& )/dt , que equivale a: &x& x = et , cuya
t
solucin general es x(t) = A et + B e-t + et . Las condiciones extremas dan como nica
2
e
t
posible solucin a la funcin x(t) =
(e t et ) + et . Como Fx&x& = 2, slo se
2(1 + e)
2
cumple la condicin de Legendre necesaria para un mnimo local. As, no hay solucin
para el problema si se trata de maximizar, pero quiz s la haya para el problema de
minimizar.
t
Condiciones de transversalidad
El PCV planteado es uno de momentos inicial y final dados as como de estados inicial
y final tambin dados. Adems de ste, hay otros tipos de problemas, a saber:
a) problema de estado final libre pero estado inicial y momentos inicial y final dados;
b) problema de estado y momento finales libres pero estado y momento iniciales dados;
c) problema de momento final libre pero estado final y momento y estado iniciales
dados;
d) problema de estado y momentos iniciales parcialmente determinados por cierta
ecuacin dada: 0 = g(t, x), con estado y momento iniciales dados.
En todos estos casos siguen vigentes las condiciones necesarias dadas por la ecuacin
de Euler y la condicin de Legendre, pero aparece una nueva condicin necesaria, a
saber, la llamada condicin de transversalidad que se abreviar por .
Para enunciarla, se requiere definir el vector de ortogonalidad : v := (F - x&Fx& , Fx& ) .
Ahora bien, el enunciado general de la condicin es el siguiente.
En el punto terminal (t1*, x(t1*)) de una curva ptima, x*(), el vector de ortogonalidad,
v , ha de ser perpendicular (u ortogonal) a cualquier direccin admisible1 desde el
punto terminal.
Veamos qu se sigue de esto en cada uno de los casos antes mencionados.
Caso (a): Como la nica direccin admisible es la vertical, el v ha de ser horizontal, por
lo cual su segundo componente ha de ser nulo, i. e., es: 0 = Fx& ( x * (t1 ), x& * (t1 ), t1 ) .
Se llama direccin admisible desde el punto terminal a cualquier recta tangente a una curva que parta
desde dicho punto terminal y satisfaga las condiciones finales dadas durante un lapso positivo.
5
Caso (b): Como toda direccin desde el punto terminal (t1, x*(t1)) es direccin admisible
puesto que son libres el momento y el estado finales, entonces el v ha de ser el vector
nulo. i. e., es:
0 = F ( x * (t1 ), x& * (t1 ), t1 ) - x& (t1 ) Fx& ( x * (t1 ), x& * (t1 ), t1 ) 0 = Fx& ( x * (t1 ), x& * (t1 ), t1 ) .
Ha de notarse que esto equivale a:
F ( x * (t1 ), x& * (t1 ), t1 ) = 0 0 = Fx& ( x * (t1 ), x& * (t1 ), t1 ) .
Caso (c): como en este caso la nica direccin admisible desde un punto terminal es la
horizontal, el v ha de ser vertical, por lo cual su primer componente habr de anularse
en el punto terminal, i. e., es: 0 = F ( x * (t1 ), x& * (t1 ), t1 ) - x& (t1 ) Fx& ( x * (t1 ), x& * (t1 ), t1 ) .
Caso (d): Como en este caso la nica direccin admisible desde el punto terminal es la
de la recta tangente en dicho punto a la grfica de la funcin 0 = g (t, x), se deduce que
el vector v habr de ser paralelo al gradiente de la funcin g en el punto terminal, i. e.,
es: grad g (t1 , x*(t1)) // (F - x&Fx& , Fx& ) en (t1 , x*(t1)) 2.
Ha de notarse que incluso en el PCV se cumple el enunciado general de la condicin de
, pues, no habiendo ninguna direccin admisible en el punto terminal, el vector de
ortogonalidad en dicho punto es absolutamente libre de tomar cualesquiera valores, ya
que no est obligado a ser perpendicular a ninguna direccin en particular.
Ejemplos
2
1) Se pide optimizar (tx& + x& 2 )dt sujeto a: x (0) = 0. Entonces, la ecuacin de Euler
0
d
(t + 2 x& ) , de donde se sigue que ha de ser constante la expresin t + 2 x& .
dt
Esta ecuacin se resuelve fcilmente dando como solucin general x (t) = -t2/4 +
kt/2 + h. La condicin inicial da por resultado que 0 = h. As, slo quedan como
posibles soluciones las funciones de la forma x (t) = -t2/4 + kt/2. Veamos lo
referente a la condicin de Legendre: como Fx&x& (en t = 2) = 2 0, se ve que slo
es: 0 =
puede haber mnimos locales. Finalmente, la condicin de exige que 0 = Fx& (en t
= 2) = (t + 2 x& ) |t = 2 = 2 + 2(-1 + k/2) = k, por lo que la nica posible solucin es
x*(t) = -t2/4.
1
d
(2 x& ) 0 = x &x& , de donde se sigue que las
dt
extremales del problema son dadas por x(t) = Aet + Be-t, que con la condicin inicial
da 0 = A + B, por lo que las extremales se reducen a x(t) = A(et - e-t).
Adems, ya que x(1) 1, ha de ser A(e - e-1) 1, de lo que se sigue que A > 0.
La ecuacin de Euler es: 0 = 2 x
g g
, )
t x
6
implicara que 0 = Fx& |t = 1 = 2x& (1) = 2 A (e - 1/e), que es imposible ya que A ha de
ser positivo como se estableci cinco lneas ms arriba.
De todo esto concluimos que x(1) = 1, i. e., A = e /(e2-1), y que la nica posible
e
(e t e t ) .
solucin es x* (t) = 2
e 1
t1
d
(2 x& ) = 10t 2 &x& por lo que las extremales son
dt
5
dadas por x& = 5t 2 / 2 + h x(t ) = t 3 + ht + k . Con la condicin inicial se obtiene
6
5
que las extremales se reducen a x (t) = t 3 + ht + 1 .
6
La condicin de Legendre: Fx&x& = 2 0, por lo que slo puede haber mnimos
locales.
La condicin de : 0 = ( F x&Fx& ) |pto. term. 0 = Fx& |pto. term.. As, se obtiene que
5 2
5 3
5 2
2( t1 + h ) = 0 0 = ( x& 2 + 10tx 2 x& 2 ) = 10t1 ( t1 + ht1 + 1) ( t1 + h) 2 .
2
6
2
Finalmente, de estas dos ltimas condiciones se obtiene que t1 = (3/5)1/3 h =
5 3 2/3
( ) , por lo que la nica posible solucin es x (t) = (5/6) t3 (5/2)(3/5)2/3t + 1,
2 5
con t1 = (3/5)1/3.
La ecuacin de Euler: 0 = 10t
t1
La ecuacin de Euler: 0 = 1 -
d
(6 x& ) = 1 - 6 &x& , por lo que las extremales son dadas
dt
1
t2
por x& = t + h x(t ) = + ht + k . Ahora, con la condicin inicial sale que k = 0.
6
12
La condicin de Legendre: Fx&x& = 6 0 , por lo que slo puede haber mnimo local.
2
t1
+ ht1 .
12
La condicin de : 0 = ( F x&Fx& ) |pto. term.= ( x 3 x& 2 ) |pto.term.= 5 3 (t1/6 + h)2. De
La condicin terminal: 5 = x (t1) =
La ecuacin de Euler: 0 =
d
x&
(
) , de donde resulta:
dt 1 + x& 2
x&
1 + x& 2
constante, por lo
7
que queda x& = h, es decir, x = h t + k, y con la condicin inicial se obtiene k = 1.
1
La condicin de Legendre: Fx&x& =
> 0, por lo que slo puede haber
(1 + x& 2 )3 / 2
(i)
mnimos locales. De la condicin terminal se obtiene h t1 + 1 = 3 t1.
La condicin de : v (pto. term.) // grad (pto. term.), donde (t , x) := - 3 t + x.
1
F x&Fx&
) |pto. term. , i. e., h = x& (t1 ) =
(ii)
Esto es: - 3 = (
Fx&
3
lo que con (i) da que t1 = 3/10.
Entonces, la nica posible solucin es la funcin x (t) = 1 t /3 con t1 = 3/10.
Condiciones suficientes para ptimos del PCV
Han de considerarse algunas variantes del problema tpico del Clculo de Variaciones.
La diferencia entre ellas consiste en la condicin final solamente. As, los problemas
que han de ocuparnos ahora son:
t1
PCV1: max
F ( x, x&, t )dt
t0
t1
PCV2: max
F ( x, x&, t )dt
t0
t1
PCV3: max
F ( x, x&, t )dt
t0
Fxx Fxx& 2 0
variables es positivo-definida, ya que
=
, matriz todos cuyos
Fx&x Fx&x& 0 2
autovalores son positivos. As, la posible solucin hallada mediante la ecuacin de
Euler, la condicin de y la condicin inicial, a saber x*(t) = (1 + e2)-1 (et + e2-t), es un
mnimo global.
8
Extensiones del Clculo de Variaciones:
1) Funcional objetivo ms general:
t1
en donde son datos los momentos t0 y t1 as como las funciones F(, , ) y S() .
Teorema: Una funcin x() es un mximo local del problema PCV slo si satisface la
d
ecuacin de Euler: 0 = Fx Fx& , la condicin de Legendre: Fx&x& 0 , la condicin
dt
inicial y la nueva condicin de : 0 = ( Fx& + S ( x(t )) )|pto. term..
Demostracin:
d
Como
S ( x(t )) = S ( x(t )) x& (t ) , se tiene que
dt
t1
t0
t1
una funcin equivale (en trminos de soluciones) a maximizar dicha funcin sumada
con una constante cualquiera, el problema puede formularse como el de
t1
d
d
( Fx& + S ( x)) = Fx Fx& .
dt
dt
9
Como la funcin S(s) = x2 es convexa y la F es ( x, x& )-convexa, se satisfacen las
condiciones suficientes para que la funcin x (t) = e-t sea un mnimo global.
2) Espacio de estados multidimensional:
Ahora la variable x es vectorial de dimensin n, i. e., que x Rn.
t1
El problema: max
t0
Ejemplo: Se pide min ( x&1 + x&22 + 2 x1 )dt sujeto a: x (0) = (1, 0) x (1) = (3/2, 1).
2
0 0 0 2
la suficiencia pudiendo afirmarse que la funcin antes hallada s es un mnimo global.
3) Derivadas de orden superior en la funcional objetivo:
t1
F ( x, x&, &x&,..., x
(n)
, t )dt sujeto a:
t0
x(t0 ) = a x& (t0 ) = a1 ... x ( n 1) (t0 ) = a n 1 x(t1 ) = b x& (t1 ) = b1 ... x ( n 1) (t1 ) = b n 1
n
d
d2
n d
La ecuacin de Euler-Poisson es: 0 = Fx Fx& + 2 F&x& ... + (1)
F (n) .
dt
dt
dt n x
10
1
Ejemplo: Se quiere min &x&2 dt sujeto a: x(0) = 0 = x(1) x& (0) = a x& (1) = b .
0
d
d2
d2
Fx& + 2 F&x& = 0 0 + 2 (2 &x&) = 2 x(4).
dt
dt
dt
3
2
De esto se sigue que x(t) = h t /6 + k t /2 + l t + m.
Las condiciones extremas dan: m = 0 l = a h = 6 (a + b) k = -2 (b + 2a), luego x(t)
= (a + b) t3 (b + 2a) t2 + at es la nica posible solucin. Adems se verifica fcilmente
que se cumplen las condiciones de Legendre y la de concavidad.
La ecuacin de Euler-Poisson es: 0 = Fx
Interpretacin econmica:
Se considera un modelo de gestin de reservas. En un momento dado, t0 , la empresa
posee una cantidad dada, x0 , de reservas de cierto producto. Por almacenamiento se
pagan S/. c diariamente por unidad del producto.
En cada momento t de un lapso dado, [t0 , t1], la tasa de venta es de q(t) unidades diarias
del producto. Esto genera un beneficio de S/. (q (t)) por da, siendo () una funcin
dada. Se quiere hallar la manera de ir vendiendo a fin de maximizar las ganancias en el
horizonte temporal dado. Esto es:
t1
Esto equivale a hallar una x* () que maximice ( ( x& (t )) cx(t ))dt sujeto a:
t0
x(t 0 ) = x0 x(t1 ) 0 .
Se asume que () es estrictamente cncava y que despus del momento t1 el producto
es nulo.
d
d
d
Entonces, la ecuacin de Euler es: 0 = Fx Fx& = -c +
(q ) , i. e. , c =
(q ) =
dt
dt
dt
d
( o q)(t ). Como c es constante, se sigue que ct + h = (q(t)).
dt
Puesto que () < 0, ()-1, por lo cual ()-1(ct + h) = q(t) = - x& (t ) , de donde x (t) = k
t1
t0
t0
q , entonces (q) =
1
2 q
() 1 ( z ) =
1
, luego
4z 2
t0
1
1 1
dt =
con lo que
2
4(ct + h)
4c ct + h
t0
t
1
() (ct + h)dt =
t0
1
1
1
1
1
1
(
) 0 = x(t1 ) = x0 + (
) de donde sale el
4c ct + h ct0 + h
4c ct1 + h ct0 + h
valor de h . Como Fx&x& = ( x& ) < 0, puede haber mximo local. F es ( x, x& )-cncava, as
que s hay mximo global.
x(t ) = x0 +
11
El modelo de crecimiento de Ramsey
Siendo k el capital per cpita; c, el consumo per cpita; u(), la funcin de utilidad del
consumo, y [0, T] el horizonte temporal, se quiere hallar la senda temporal del capital
per cpita que maximice la utilidad acumulada durante el lapso de 0 a T, sujetndose a
la ley dinmica : f (k) = c + k& + k, siendo los valores inicial y final de k : k0 y kT .
Se asume que las funciones u() y f () son estrictamente cncavas y crecientes.
El problema puede ponerse en el marco del Clculo de Variaciones expresando c en
T
d
d
d
La ecuacin de Euler: 0 = Fk Fk& = u(c)( f (k ) ) + u(c) , y como
u (c) =
dt
dt
dt
u(c)
u() c& , se obtiene: c& =
( f (k ) ) . Esta ecuacin y la que se obtiene de la ley
u(c)
dinmica: k& = f (k ) k c , forman un sistema de dos ecuaciones diferenciales no
lineales.
Se obtiene un equilibrio, (k*, c*), del sistema imponiendo las condiciones de nulidad de
las velocidades de cambio k& y c& . As, k* = (f)-1() y c* = f (k*) - k*.
Puede comprobarse que, debido a las asunciones hechas, este equilibrio es uno del tipo
de ensilladura. En efecto, la matriz jacobiana del sistema evaluada en el equilibrio es:
1
f (k *)
. Ya que su traza es J*11 = 0 y su determinante J*21 < 0 , se
J* = u(c*)
f (k *) 0
u (c*)
deduce que los autovalores de J* son de signos opuestos, por lo que el equilibrio
correspondiente ha de ser una ensilladura.
y tal
M tal que ( x, x& , t ), M > G ( x, x& , t ) . En tal caso, la integral impropia s que converge,
pues
t
t
t
G( x, x&, t )e dt G( x, x&, t ) e dt M e dt =
0
[e ]
t 0
12
Ejemplo
En el modelo de crecimiento de Ramsey con horizonte temporal infinito:
2.Control ptimo
Formulacin de Bolza
t1
Formulacin de Mayer
PCOM : max S (x (t1)) sujeto a x& = f ( x, u , t ) x(t0 ) = a u (t ) t t .
Resulta evidente que es esta formulacin un caso particular de la de Bolza y que
corresponde al caso en que en sta se da la funcin nula en el papel de la F.
Que la de Bolza sea representable como la de Mayer es algo que se muestra a
continuacin.
13
Defnanse las variables x1 y x2 as: x1 := x x&2 := F(x1 , u, t) con x2(t0) = 0. Entonces, el
t1
t1
t0
t0
x&1 = f ( x1 , u , t )
, donde S(x1 , x2) := x2.
x&2 = F ( x1 , u , t )
Formulacin de Lagrange
t1
1
d
S
(
x
(
t
))
dt
=
t dt
t S ( x) x&dt , se obtiene como funcional
0
0
t1
Condiciones necesarias para que una u*(), con su respuesta x*(), den un mximo
local del problema PCOL
1) Ha de haber una funcin *(), llamada covariable de estado, tal que t, sea
& * (t ) = H ( x*, u*, t ) * (t ) = 0 x& * (t ) = f ( x*, u*, t ) x * (t ) = a , en donde
x
1
0=
H = 1 2u , por lo que u*(t) =
.
u
2(1 t )
14
Entonces, la ley dinmica es: x& = 1
1
con x(0) = 1, de donde sale:
4(1 t ) 2
1
1
dt = t
+ k , que con x (0) = 1, da k = 5/4.
2
4(1 t )
4(1 t )
1
5
As, x *(t) = t
+ . Si hay solucin, ella estara dada por u*() y x*() .
4(1 t ) 4
x * (t ) = t
Ejemplos
5
2) Se pide min
xdt sujeto a:
15
como ya se tiene que *(t) = t 1 0, se sigue que u*(t) = -1, t de [0, 1].
Finalmente, de la primera ecuacin cannica con su condicin inicial se sigue
que x*(t) = 1 t , t de [0, 1].
1
e 2 t et
.
e2 + 1
Finalmente, resulta que la nica candidata a control ptimo es la funcin
2e 2 t
u*(t) = 2
e .
e +1
x * (t ) = (e 2 + 1) 1 (et + e) * (t ) = 2
16
del principio de Pontriaguin. Fuera de ese intervalo el valor de u*(t) tiene que
ser 0 2. Esto se ilustra en la siguiente grfica.
t [0, 1 ]
1
En suma, u*(t) = ( * (t ) 3), si t [ 1 , 2 ] .
2
t [ 2 ,2]
0,
Interpretacin econmica
t1
F ( x, u, t )dt
t0
se define la funcin valor, V*, como aquella que a cada estado y momento inicial
posibles, (z, t), asigna el valor mximo que puede alcanzarse con el subproblema que se
inicia en t desde el estado z, esto es,
V*: R[t0 , t1] R,
t1
(z, t) max
F ( x, u, )dt sujeto a
t
x& = f ( x, u , ) x(t ) = z .
17
As, V* (a, t0) dar el mximo valor alcanzable en el problema original.
Ejemplo: En max ( x + u )dt sujeto a: x& = 1 u 2 x(0) = 1 , se ve que F y f son (x, u)0
cncavas y como f(x, u, t) no es (x, u)-lineal, debe tenerse que *() sea innegativa para
que se cumplan las condiciones suficientes de Mangasarian.
Como H = x + u + ()(1 u2), la segunda ecuacin cannica es & = H x = 1 con (1)
18
1
1
=
, que sale del principio del
2 * (t ) 2(1 t )
mximo: 0 = Hu.
5
0 0
f ( x, u , t ) = x + u es (x, u)-cncava, pues es lineal, por lo que su hessiana
es
0 0
negativo-semidefinida.
2 1
La funcin F ( x, u , t ) tiene hessiana en (x, u):
, que es negativo-semidefinida,
1 2
pues sus menores principales valen -2 y 3. Como f ( x, u , t ) es ( x, u ) -lineal, no hay nada
que exigir a la funcin *(). Luego, se cumplen las condiciones suficientes de
Mangasarian, por lo que el control u*() que salga con x*() y *() ser ptimo (Ver el
ejem. 1 de la pag. 14).
1
sabe que puede adoptarse la formulacin de Lagrange, puesto que por ser S(x) = x2, se
1
d
d
S ( x(t )) = S ( x(t )) x& (t ) = 2 x(t )( x(t ) + u (t )) . Adems, ya que S ( x(t ))dt =
tiene que
dt
dt
0
2
S(x(1)) S(x(0)) = x(1) 1, y que la constante 1 en la funcional objetivo, como
sumando sustraendo no afecta a los ptimos del problema; resulta equivalente pedir:
1
max (u 2 + 2 x( x + u ))dt sujeto a: x& = x + u x(0) = 1 . Ahora resulta que F es (x, u)0
4 2
convexa, pues su hessiana
tiene menores principales 4 y 4; adems, f , por ser
2
2
lineal en (x, u), es convexa. Igual que antes, la condicin: si f no es lineal en (x, u),
entonces *() 0 se cumple trivialmente ya que f s es lineal. Valen, pues, las
condiciones suficientes de Mangasarian, por lo que la funcin u*(t) =
2e 2 t
e , del
e2 + 1
19
1
1
, que es x- cncava (pues es x- lineal), por lo que se
4
1
cumplen las condiciones suficientes de Arrow, y as, el control u* (t) =
ya
2(1 t )
hallado en la pgina 18, es ptimo.
A t
e .
2
x(t ) = Bet
A t
e , cuya solucin general es:
2
A t
e .
4
A
.
4e
4e 2
1
B=
.
2
1 e
1 e2
et e 2 t
4e 2 t
2e 2 t
Luego, x*(t) =
*
(
t
)
=
u
*
(
t
)
=
.
1 e2
1 e2
1 e2
Se ve fcilmente que se cumplen las condiciones de suficiencia de Mangasarian,
por lo que u*() es el control ptimo (a pesar de que *(t) < 0, t !).
De aqu se deduce que A =
20
A t
e .
4
La condicin de : 0 = (1) (x(1) - 3) = (A/e) (Be A/4e -3).
Si A = 0, entonces de la condicin inicial para x se sigue que B = 1, con lo que
Be 3 < 0 que contradira la restriccin x(1) 3 .
Por lo tanto, A tiene que ser diferente de 0, por lo que Be A /4e = 3, que con
1 = B A/4, da A = 4e (3 - e)/(e2 - 1) B = (3 e - 1)/(e2 - 1).
x(t ) = Bet
por determinarse.
La hamiltoniana es: H = t 2 + u 2 + ( )(u ) .
La segunda ecuacin cannica es: & = H x = 0 , de donde (t) = A.
Como H es estrictamente convexa en u, el principio del mximo implica que
0 = Hu = 2u + , de donde u(t) = -A/2.
De la primera ecuacin cannica x& = u = -A/2 con su condicin inicial se obtiene
que x (t) = -At/2 + 4.
La condicin de : 0 = H ( x(t1 ), u (t1 ), (t1 ), t1 ) = t12 + (-A/2)2 + (A) (-A/2), luego,
t12= A2/4.
21
La condicin terminal es: 5 = x (t1) = -At1/2 + 4.
De estas dos ltimas ecuaciones salen t1 = 1 A = -2. Por lo tanto, la nica
candidata que queda a ser control ptimo es u*(t) = 1 en el intervalo [0, 1].
- t
tiene que H = Ge + f.
Defnase la variable :=e t.
Entonces resulta ser H = G e- t + e- tf = e- t(G + f) =: e- t H, donde se
define H := G + f. Esta funcin H se llama hamiltoniana de valor corriente.
Las ecuaciones cannicas pueden expresarse en trminos de esta nueva
hamiltoniana como sigue. La primera: x& = f = H = H ; y la segunda, & = -Hx
+ , pues e- t ( & - ) = & e- t - e- t = & = -Hx = - e- t Hx.
Principio del mximo: t, u*(t) ha de ser mximo global de H (x*(t), , *(t), t).
Pero H (x*(t), u, *(t), t) H (x*(t), u, *(t), t) ssi H (x*(t), u, *(t), t)
H (x*(t), u, *(t), t), de donde se sigue que el principio del mximo en trminos
de la hamiltoniana de valor corriente es as:
t, u*(t) ha de ser mximo global de H (x*(t), , *(t), t).
En suma, las condiciones necesarias para ser control ptimo, en trminos de la
hamiltoniana de valor corriente son: x& = H & = -Hx + el principio del
mximo como se lo enuncia en el prrafo anterior.
2
x& = 2 x 3u x(0) = 5 .
22
solucin permitir luego hallar y u. Esta ltima ser el control ptimo pues se
cumplen las condiciones de suficiencia de Mangasarian.
Caso de horizonte temporal infinito
eT
, que en cualquier caso resulta ser negativo, pues
11 + u (T )
23
Control ptimo con restricciones
T
F ( x, u , u , t )dt sujeto a:
1
x& = x 4(u + v) x (u + v) = 1
x ( 0) = 1 .
0 = L u = - 4u - 4 + & = Lx = 4 x + +
,
0 = Lv = 4v 4 + x& = L = x 4(u + v)
F ( x, u, t )dt
sujeto a: x& = f ( x, u , t )
0
T
24
T
F ( x, u, t )dt sujeto a:
0
x& = f ( x, u , t )
con y(0) = 0 y(T) = K.
y& = G ( x, u , t )
Ejemplo: Hallar la curva desde (0, a) hasta (1, b) de longitud dada l, que maximice
el rea encerrada por ella y por el eje de abscisas.
1
xdt sujeto a: l =
0
1 + u 2 dt x& = u x(0) = a
x(1) = b .
t
1 + u 2 dt . Ahora, el problema es el de
0
1
max
x& = u
y& = 1 + u 2
con
x(0) = a
x(1) = b
y ( 0) = 0
y (1) = l
&1 = H x = 1
&2 = H y = 0
x& = u
y el
y& = 1 + u 2
Bu
2u
1 + u2
tA
. Ahora,
1+ u
B (t A) 2
como x& * (t ) = u * (t ) , de las condiciones extremas salen los valores de las constantes
2
que da u*(t) =
B y C, pues x*(t) = u * ( )d + C .
0
F ( x, u, t )dt sujeto a:
0
x& = f ( x, u , t )
25
1
26
En la segunda etapa, las rutas ms cortas desde B, C y D hasta H son,
respectivamente, BGH(4), CEH(7) y DGH(7).
En la primera etapa, las tres posibles rutas ptimas son ABGH(11), ACEH(15) y
ADGH(12). Luego, la ruta ptima es ABGH de longitud 11.
Propiedad de causalidad en la PD
Para dos etapas cualesquiera, j y k, ocurre que si j < k, entonces x(k) slo depende de
x(j) y de los controles u(j), u(j + 1), , u(k - 1)
Esto es claro, pues si en j el estado es x(j) y se aplica el control u(j), la ley dinmica
determina el estado x(j+1) = f (x(j), u(j), j); si en j+1 se aplica u(j+1), de nuevo, la
ley dinmica determina el estado x(j+2) = f (x(j+1), u(j+1), j+1), y as sucesivamente
hasta que x(k) resulte determinado por x(k-1) y u(k-1) segn f (, , k-1).
Entonces, cada (u(k))0N -1 determina la sucesin de estados ocupados por el sistema
en las diversas etapas: (x(k))0N . Estas dos sucesiones hacen que la funcional objetivo
alcance un valor denotado por J[x(0), (u(k))0N -1 ]. El problema de la PD consiste en
hallar el mximo valor posible, J*(a), usando como instrumento de maximizacin
todas las posibles sucesiones (u(k))0N -1 .
Teorema de Bellman:
Con el algoritmo JN(z) := S(z), , Jk(z) := max u k ( F ( z , u , k ) + J k +1 ( f ( z , u , k ))) , ,
hasta llegar a J0(z), se obtendr el valor mximo buscado J*(a) como J0(a).
Adems, la sucesin (u*(0), , u*(N-1)) es la que permite alcanzar J0(a) si, y slo
si, para todo k se cumple que
Jk(x(k)) = max u k ( F ( x(k ), u , k ) + J k +1 ( f ( x(k ), u , k ))) =
F ( x(k ), u * (k ), k ) + J k +1 ( f ( x(k ), u * (k ), k )) ;
es decir, que (u * (k ))0N 1 es el control ptimo.
La ecuacin de arriba se conoce como la ecuacin de Bellman.
27
Ntese aqu que F( x(0), u (0),0 ) = (u(0) - 2)2, F( x(1), u (1),1 ) = (u(1) - 4)2,
S(x(2)) = x(2), x(1) = f(x(0), u(0), 0) = 3x(0) + u(0) y, finalmente, que
x(2) = f(x(1), u(1), 1) = x(1) + 2u(1).
El algoritmo del teorema de Bellman se construye como sigue.
1) J2 (z) = S(z) = z.
2) J1 (z) = minu ((u-4)2 + J2 (f(z, u, 1))) = minu ((u-4)2 + J2 (z + 2 u))) = minu ((u-4)2
+ (z + 2u)) y como (u-4)2 + z + 2u es u- convexa estrictamente, el mnimo global se
obtiene haciendo 0 = 2(u - 4) + 2, i.e., u* = 3, siendo el valor mnimo
correspondiente J1 (z) = (3-4)2 + (z + 23) = 7 + z.
3) J0 (z) = minu ((u-2)2 + J1 (f(z, u, 0))) = minu ((u-2)2 + J1 (3z + u)) = minu ((u-2)2 +
3z + u + 7) y como (u-2)2 + 3z + u + 7 es estrictamente u- cncava, el mnimo
global se obtiene haciendo 0 = 2 (u - 2) + 1. i.e., u* = 3/2, y el valor mnimo es
J0 (z) = (3/2 - 2)2 + 3z + 3/2 + 7 = 3z + 35/4.
As, pues, el mnimo valor de la funcional del problema planteado, J*(1), se obtiene
como igual a J0 (1) = 47/4.
Este valor se alcanza con la sucesin de controles ptimos: u*(0) = 3/2 y u*(1) = 3,
siendo la correspondiente respuesta del sistema: x*(0) = 1, x*(1) = f (x*(0), u*(0), 0)
= 3 x*(0) + u*(0) = 31 + 3/2 = 9/2 y, finalmente, x*(2) = f (x*(1), u*(1), 1) =
x* (1) + 2 u*(1) = 9/2 + 23 = 21/2.
Ejercicio: Se pide minu (x(0) u(0) + x(1) u(1) + x(2)2) sujeto a: x (k+1) = x(k)u(k) +
u(k)2 x (0) = 2 k = {1, -1, 0}.
Ejemplo: Se quiere repartir una cantidad C de cierto recurso entre N actividades. Si
a la actividad k se asigna una cantidad u, se genera un beneficio de u . Hallar el
reparto ptimo.
Si el estado en la etapa k se define como la cantidad que queda luego de haber
repartido a las actividades anteriores 0, , k-1; entonces puede plantearse el
problema como el de
N 1
maxu
k, k = [0, x(k )] .
z.
28
0=
1 1
( u + z u) = (
u
2 u
1
) , por lo que u* = z /2 [0, z].
z u
2z .
V3 ( z ) = ( z 5) 2 .
V2 ( z ) = min u (u 2 + ( z 4) 2 + V3 ( z + 3u )) . Como esta funcin es u-convexa, el
mnimo global sale de: 0 = 2u + 2 ( z + 3u 5)3 , i.e., u* = 1.48 0.3 z.
As, V2 ( z ) = 1.1 z2 9z + 18.47.
Similarmente, V1 ( z ) = min u (u 2 + ( z 2) 2 + V2 ( z + 2u )) =
min u (u 2 + ( z 2) 2 + (1.1( z + 2u ) 2 9( z + 2u ) + 18.47)) . El mnimo global es
u* = 1.63 0.4 z, por lo que V1 ( z ) = 1.2 z 2 3.63 z + 4.42 .
Finalmente, V0 (0) = min u (u 2 + V1 (u )) = min u (u 2 + (1.2u 2 3.63u + 4.42)) .
El mnimo global es u*(0) = 0.65 y V0 (0) = 2.73. Adems, se obtiene que x*(0) =
0, u*(0) = 0.65, x*(1) = 0.65, u*(1) = 1.37, x*(2) = 3.39, u*(2) = 0.46 y x*(3) =
4.77.
29
Programacin Dinmica con horizonte temporal infinito
El problema es el de maximizar J (x0 , (uk )k =0 ) := limN
N 1
k =0
F ( xk , uk ) sujeto a:
k =0
arriba. En tal caso, si se designa por Jk(z) al valor mximo del subproblema
correspondiente que empieza desde el estado z en la etapa k, y por Vk (z) := -k Jk (z),
el algoritmo de Bellman era: VN (z) = 0, z; y luego Vk (z) =
max u ( F ( z , u ) + Vk +1 ( f ( z , u )) ).
Ha de notarse aqu que Jk(z) es el valor mximo del subproblema antedicho
expresado en unidades de valor de la etapa inicial 0, mientras que Vk (z) es el
correspondiente valor pero expresado en unidades de valor de la etapa k.
Como se comprueba fcilmente, resulta que V0 (z) = J0 (z).
Ahora bien, para poder generalizar ms fcilmente en el caso de horizonte temporal
infinito, conviene cambiar un poquito la notacin definiendo las funciones
Vk* := VN-k k. As, se obtienen consecutivamente del algoritmo de Bellman las
funciones V*0 , V*1 , , V*N , siendo esta ltima el valor mximo buscado de la
funcional objetivo, es decir, J0 (z).
Como puede intuirse, cuando el horizonte temporal es infinito, que el problema
empiece en la etapa 0 en cualquier otra etapa, k, poco importa siempre que el
estado inicial sea el mismo, ya que en cualquiera de estos casos hay el mismo
horizonte temporal: desde 0 hasta en el primer caso, y desde k hasta en el
segundo.
Luego, J0 (z) = Jk (z) y la ecuacin de Bellman es:
V*(z) = maxu ( F ( z , u ) + V * ( f ( z , u )) ).
Esta ecuacin sugiere definir un operador funcional como sigue.
Cualquiera que sea la funcin W: RR, se define el resultado de operarla por T
como la funcin T(W): RR, que a cada z de R, le asigna por imagen
T(W)(z) := maxu ( F ( z , u ) + W ( f ( z , u )) ).
Conviene, adems definir las iteraciones del operador T mediante: T0(W):= W,
T1(W):= T(W), T2(W):= T(T(W)), , Tk+1(W):= Tk(W), etc.
30
Entonces, se demuestran los dos siguientes lemas que han de permitir resolver el
problema por aproximaciones sucesivas cuando no con toda exactitud.
Lema 1: Cualesquiera sean las funciones W y W, si W W, (i.e. z, W(z)W(z)),
entonces k, Tk(W)(z) Tk+1(W)(z), es decir, que las iteraciones del operador
preservan el eventual orden de las funciones.
Esto se expresa como que el operador T es montono.
Lema 2: Si se define la funcin constante e: RR por e(z) := 1 z, entonces r de
R y para toda funcin W, se tiene que k, Tk(W+re)(x) = Tk(W)(x) + k r.
Esta propiedad suele referirse diciendo que el operador T descuenta.
Finalmente, se obtienen dos fundamentales teoremas para el problema planteado.
Teorema 1: Cualquiera sea la funcin W, el limk Tk(W)(z) = J (z), z .
Teorema 2: La funcin de valor mximo, J, es el nico punto fijo del operador T, es
decir, que J = T(J), esto es, que J(z) = maxu ( F ( z , u ) + J ( f ( z , u )) ), z .
Segn el primer teorema, puede iniciarse un proceso iterativo desde cualquier
funcin a la que repetidamente se le aplicar el operador T, de modo que cada vez se
obtendr una funcin ms y ms aproximada a la solucin buscada, esto es, la
funcin J.
Segn el segundo teorema, la solucin es nica y por satisfacer a la ecuacin de
Bellman, podr ser posible en ciertos casos conjeturar la forma de ella, con lo que, al
imponer la satisfaccin de dicha ecuacin, se podr determinar con toda precisin
cul es la funcin solucin. Esto se ilustra con el siguiente ejemplo.
t estando dado el valor inicial k0 , as como las constantes positivas menores que
1, y . Se busca la funcin de valor mximo, J (k), para cualquier estado inicial k.
Aplicando el proceso iterativo del teorema 1, se puede partir de una funcin
cualquiera, por ejemplo, la funcin nula V0(k) = 0, k. A sta se la aplicar el
operador T obtenindose la funcin
V1 (k) = max{ ln c + V0 (k c) : 0 c k } = max{ ln c : 0 c k } = ln k , ya
que el nico mximo global del lado derecho es k.
A continuacin, volviendo a aplicar el operador a la funcin V1 se obtendr la
funcin V2(k) = max{ ln c + V1 (k c) : 0 c k } =
max{ ln c + ln(k c) : 0 c k } = (1+) ln k (1+) ln (1+) + ln
, ya que el nico mximo global del lado derecho es c = k/(1+) que [0, k].
Observando las formas de estas dos funciones obtenidas, V0 y V1, puede notarse que
ellas coinciden en ser una constante por ln k ms otra constante. Lo nico diferente
entre ellas son los valores de las constantes. Luego, es razonable conjeturar que la
31
forma definitiva de la funcin J buscada es tambin as, es decir, que J(k) = A ln k +
B, donde A y B son constantes por determinar.
Como la funcin J ha de satisfacer la ecuacin de Bellman, de esto han de seguirse
los valores de A y B: A ln k + B = max {ln c + (A ln (k-c) + B) : 0 c k }.
Resolviendo este pequeo problema de maximizacin, resulta que el nico mximo
global es c = (1+A)-1 k, con lo cual el lado derecho es igual a:
(+A) ln k + B + A ln (A) (1+A) ln (1+A).
Igualando ambos miembros, el derecho y el izquierdo, salen los valores de las
constantes: A = /(1-) y B=/(1- ).
As, la funcin de valor mximo ser: J(k) =
ln k +
ln( ) + ln(1 ) .
1
1