MATEMATICAS

II

Notas del curso

David GonzalezSanchez
Maestra en Economa
Primavera 2011
CIDE


Indice
1. Introduccion
a las ecuaciones diferenciales ordinarias
1.1. Un teorema de existencia y unicidad . . . . . . . . . . . . . .
1.2. Ecuaciones diferenciales lineales con coeficientes constantes
1.3. Ecuaciones diferenciales no lineales . . . . . . . . . . . . . .
1.4. Sistemas de ecuaciones diferenciales ordinarias . . . . . . .
1.5. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

6
7
12
18
22
22

2. Optimizacion
dinamica en tiempo discreto
2.1. Planteamiento de problemas dinamicos en tiempo discreto . . . . . .
2.2. El metodo de los multiplicadores de Lagrange . . . . . . . . . . . . .
dinamica. El Principio de optimalidad y la ecuacion

2.3. Programacion
de Bellman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4. Problemas con horizonte infinito . . . . . . . . . . . . . . . . . . . . .
2.5. El modelo de Brock y Mirman . . . . . . . . . . . . . . . . . . . . . .
2.6. Ecuaciones de Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26
26
27

3. Optimizacion
dinamica en tiempo continuo
del PCO en tiempo continuo .
3.1. Formulacion
de HamiltonJacobiBellman .
3.2. La ecuacion
3.3. Principio del maximo de Pontryagin . . . .
de Euler .
3.4. Calculo de variaciones. Ecuacion
3.5. Algunas extensiones del PMP . . . . . . . .
3.6. Ejercicios . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.

53
53
54
57
60
64
69

4. Apendice: Espacios metricos y correspondencias

4.1. Espacios metricos completos . . . . . . . . . . . . . . . . . . . . . . .
4.2. Correspondencias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

77
77
79
80

Referencias

81

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

28
32
38
41
43

Notacion

El producto cartesiano de dos conjuntos se denota por

A B = {( a, b) | a A, b B} .
En general, si A1 , A2 , . . . , An son conjuntos no vacos
n

A1 A2 . . . A n =

Ai = {(a1, a2, . . . , an ) | ai Ai ,

i = 1, 2, . . . , n} ,

i =1

cuando A1 = A2 = . . . = An = A se usa la notacion

An = {( a1 , a2 , . . . , an ) | ai A, i = 1, 2, . . . , n} .
El complemento de B con respecto a A es el conjunto
A \ B = {x A | x
/ B} ,
A B. Si el conjunto A
se lee A menos B y tambien se usa la notacion
se hace referencia al complemento de B y en lugar de
se sobrentiende, solo
c
A \ B se escribe B . En este caso al conjunto A se le llama conjunto universo
o universal.1
R denota a los Numeros

Reales.
Rn+ := { x = ( x1 , . . . , xn ) | xi 0, para i = 1, . . . , n}.
Rn++ := { x = ( x1 , . . . , xn ) | xi > 0, para i = 1, . . . , n}.
N = {1, 2, 3, . . .} es el conjunto de Numeros

Naturales.
Si A es una matriz, entonces A0 denota la transpuesta de A.
Los vectores son escritos como matrices columna:
x = ( x1 , . . . , x n ) 0 .
Si x, y son vectores, x y significa que
xi yi para todo i.
El producto escalar de vectores x, y es denotado por h x, yi, por x y o x 0 y.

ejemplo, si se esta trabajando con los numeros

reales, a los elementos del conjunto Qc se
les conoce como numeros

irracionales.
1 Por


Dado un vector x = ( x1 , . . . , xn )0 y un numero
real p 1, se denota la norma
4.7 y el Ejercicio 4.5) mediante
p del vector x (vease la Definicion
n

| xi | p

kxk p =

!1/p
.

i =1

La norma euclidiana (cuando p = 2) se denota, simplemente, por k x k.

f : Rn R y un vector x = ( x1 , . . . , xn )0 , las derivadas
Dada una funcion
parciales son denotadas por:
Dxi f = Di f = f /xi .
Dx f = D f (vector fila) denota al gradiente de f , y H f a la matriz de segundas
derivadas parciales (la matriz Hessiana), es decir,
D f = ( D1 f , . . . , Dn f ),
H f = ( f ij ).
vectorial, D f = ( f i /x j ) denota a la matriz
Si f : Rn Rk es una funcion
Jacobiana.
Si x : R Rn posee derivadas de orden 1, 2, . . . , k, e stas se denotan mediante


dxn
dx1
( t ), . . . ,
(t)
x (t) =
dt
dt

0

0
d2 x1
d2 x n
x (t) =
( t ), . . . , 2 ( t )
dt2
dt
#0
"
kx
kx
d
d
n
1
x (k) ( t ) =
(t), . . . , k (t) , k 3.
k
dt
dt


cuyas componentes son (Riemann) integrables,

Si : R Rn es una funcion
se define
Z

Z
Z
t

t0

(s) ds =

t0

1 (s) ds, . . . ,

t0

Smbolos y abreviaturas

n (s) ds

E
P
:=

ED
EDs
EDH
GAE
HJB
i.i.d.
l.i.
PCO
PCOs
PD
PMP
VA
VAs

operador de esperanza
medida de probabilidad

igualdad por definicion

para todo

fin de una demostracion

fin de un ejemplo u observacion

diferencial
ecuacion
ecuaciones diferenciales
diferencial homogenea
ecuacion

globalmente asintoticamente
estable
HamiltonJacobiBellman
(variables aleatorias) independientes e identicamente distribuidas
(vectores) linealmente independientes

problema de control optimo

problemas de control optimo

dinamica
programacion
Principio del maximo de Pontryagin
variable aleatoria
variables aleatorias

1.

Introduccion
a las ecuaciones diferenciales ordinarias

cuya incognita

se conoce como ecuacion

Una ecuacion
es una funcion
funcional.
Por ejemplo, en la ecuacion
de Bellman
V (k ) = max {ln(c) + V (k c)},
0 c k

(1.1)

V que cumpla (1.1). Es

donde , (0, 1), se tiene que encontrar una funcion

inmediato probar que la funcion



1

V (k) =
ln(k ) +
ln() ,
ln(1 ) +
(1.2)
1
1
1
funcional (1.1), vease el Ejercicio 1.1. La ecuacion
de Bellman
satisface la ecuacion
2.4.
sera estudiada en la Seccion
funcional que involucra a las derivadas de la incognita

Una ecuacion
se llama
para las EDs
ecuacion
diferencial (ED). Se puede hacer una primera clasificacion

de acuerdo con el numero

de variables de la incognita.
En una ecuacion
diferencial

de varias
parcial, o ecuacion
en derivadas parciales, la incognita
es una funcion
de una sola

variables. En una ecuacion

diferencial ordinaria se busca una funcion
variable.
La siguiente ED, conocida como ecuacion
de HamiltonJacobiBellman (HJB),
0 = max{ g( x, u) + D V (, x ) + Dx V (, x ) f ( x, u)}
u

en derivadas parciales. En esta ecuacion

las funes un ejemplo de una ecuacion

V que deciones f y g son conocidas, mientras que la incognita

es una funcion
de HJB esta asociada a cierto problema de
pende de dos variables. La ecuacion
dinamica, vease la Seccion
3.2.
optimizacion

En este curso se estudian ecuaciones diferenciales ordinarias. La unica

ecuacion
en derivadas parciales de la que se hablara es la de HJB.

derivable, donde I es un intervalo

Si y : I Rn (la incognita)
es una funcion

de numeros
reales, la forma general de una ecuacion
diferencial ordinaria es
G (t, y(t), y (t), . . . , y(k) (t)) = 0.
anterior se puede reescribir en su
En la mayoria de las aplicaciones, la ecuacion
forma normal
y(k) (t) = G (t, y(t), y (t), . . . , y(k1) (t))
(1.3)

Al numero
k se le conoce como orden de la ED, es decir, k es la derivada mas

alta que aparece en la ecuacion.

6

 1.1 se demuestra un teorema de existencia y unicidad (Teorema

En la Seccion
1.5). Este teorema es cierto para EDs de la forma
x (t) = F (t, x (t)),

(1.4)

dada.
donde x : I Rn , I R es un intervalo, y F : I Rn Rn es una funcion
la ecuacion
(1.4) tambien se escribe como x = F (t, x ).
Para simplificar la notacion,
Observacion
1.1. Cuando n > 1 se dice que (1.4) es un sistema de ecuaciones
F, cualquier ED de la forma
diferenciales. Por la naturaleza vectorial de la fucion
(1.3) se puede expresar en la forma (1.4). Es decir, una ED de orden k es equivalente
a un sistema de EDs de orden 1. Vease el Ejercicio 1.2.

En las Secciones 1.2 y 1.3 se estudian EDs de la forma (1.3). En particualr, en la

1.2 se trabaja con EDs que tienen cierta estructura lineal, para este tipo
Seccion
de ecuaciones se pueden encontrar soluciones explcitas. En contraste, cuando tal
para algunas EDs. En la
estructura lineal no se tiene, existen metodos de solucion
1.3 se resuelven algunas las EDs no lineales mas comunes. En la Seccion

Seccion
1.4 se estudian sistemas de ecuaciones diferenciales, es decir, EDs de la forma (1.4).
Los temas abordados en este captulo pueden consultarse, por ejemplo, en
Brock y Malliaris [3], Coddington [6], Hartman [11], Lomel y Rumbos [14], Sanchez
[17], Simonovits [20] y Sydster et al. [23].

1.1.

Un teorema de existencia y unicidad

diferencial (1.4) con

Ejemplo 1.2 (Una ED sin solucion). Considerese la ecuacion
de Dirichlet
F (t, x ) = h(t), donde h es la funcion

1 si t Q
h(t) =
0 si t Qc .
En efecto, si existe una solucion
x, por el Teorema
Esta ED no tiene solucion.
fundamental del calculo
x ( t ) x ( t0 ) =

Z t
t0

h(s) ds,

de Dirichlet no es Riemann integrable.

sin embargo, la funcion
Ejemplo 1.3 (Condiciones iniciales). Considerese la ED


x2 ( t ) + 1
x (t) =
.
x1 ( t ) + 1

(1.5)

x (t) = [ x1 (t), x2 (t)]0 , donde

En el Ejercicio 1.3 se pide probar que la funcion
x1 (t) = c1 et + c2 et 1,
t

x2 ( t ) = c1 e c2 e
7

1,

(1.6)
(1.7)

 de la ED (1.5) para cualesquiera c1 , c2 R. Es decir, la ED (1.5) tiene una

es solucion
infinidad de soluciones. Sin embargo, cuando se impone una condicion
inicial, por
0
es unica.

ejemplo x (0) = [4, 8] , entonces la solucion

A partir del Ejemplo 1.2 se puede conjeturar que la funcion F debe ser continua
Esta conjetura es cierta, vease el Teorema 1.4, abajo.
para que exista una solucion.

como se vera en
Sin embargo, esta hipotesis
no garantiza la unicidad de la solucion,
cuando se impone una condicion
inicial.
el siguiente ejemplo, aun
Ejemplo 1.4 (Multiples

soluciones). Las funciones g(t) = t3 , h(t) 0 son soluciones

de la ED
x (t) = 3x2/3 (t), x (0) = 0.
(1.8)

El dominio de las funciones g y h es todo el conjunto de numeros

reales. Es im2/3
F (t, x ) = x
portante observar que la funcion
es continua en R.

Teorema 1.5 (Existencia y unicidad). Sean I R un intervalo y B Rn un conjunto

convexo, ambos abiertos y no vacos. Sea la ecuacion diferencial
x (t) = F (t, x (t)),

x ( t0 ) = x0 ,

(1.9)

donde x : I Rn es la incognita, F : I B Rn es una funcion dada y (t0 , x0 ) I B.

Supongase que F es de clase C 1 en I B. Entonces la ecuacion diferencial (1.9) tiene una
unica

solucion (local) definida en algun

intervalo que contiene a t0 .

Demostracion. Sean a, b numeros

positivos tales que el conjunto compacto
:= {(t, x ) Rn+1 | |t t0 | a, k x x0 k1 b}
esta contenido en I B. Puesto que F es de clase C 1 en I B, y por lo tanto en ,
entonces existen M, K R tales que

k F (t, x )k1 M (t, x ) ,

(1.10)

k Dx Fi (t, x )k1 K (t, x ) .

(1.11)

y para cada i = 1, . . . , n

Sean (t, x ), (t, y) dos elementos del conjunto . Por el Teorema del valor medio
(vease Sundaram [22, Teorema 1.74, p. 63]), para cada i = 1, . . . , n, existe 0 < i < 1
tal que
Fi (t, x ) Fi (t, y) = h Dx F (t, i x + (1 i )y), x yi .
(1.12)

Entonces
n

k F (t, x ) F (t, y)k1 =

| Fi (t, x) Fi (t, y)|

i =1
n

| h Dx Fi (t, i x + (1 i )y), x yi |

[por (1.12)]

i =1
n

k Dx Fi (t, i x + (1 i )y)k2 k x yk2

i =1
n

k Dx Fi (t, i x + (1 i )y)k1 k x yk1

i =1
n

K k x y k1

[por (1.11)]

i =1

= nK k x yk1 .

(1.13)

Escojase
r > 0 tal que
ra

(1.14a)

rM b

(1.14b)

rnK < 1 ,

(1.14c)

y defnase el siguiente subconjunto de

r := {(t, x ) | |t t0 | r, k x x0 k1 b}.
Sea Gr el conjunto de todas las funciones continuas en el intervalo [t0 r, t0 + r ] y
cuyas graficas estan contenidas en r , es decir,

Gr := { : [t0 r, t0 + r ] Rn | es continua, k(t) x0 k1 b t}.

El conjunto Gr con la metrica
d(, ) := sup{k(t) (t)k1 | t [t0 r, t0 + r ]}

(1.15)

4.1 y el Ejercicio 4.4).

forman un espacio metrico completo (vease la Seccion
T : Gr Gr , mediante
Defnase la transformacion
T [](t) := x0 +

Z t
t0

F (s, (s)) ds.

(1.16)

es
Es importante verificar que T [] Gr . Claramente T [] es continua (mas aun,

diferenciable) y

k T [](t) x0 k1

Z t




= F (s, (s)) ds

t
1 
Z t0


 k F (s, (s))k1 ds
t0

[Ejercicio 1.7]

M|t t0 | [por (1.10)]

Mr
b [por (1.14b)].
T es una contraccion.
En efecto, observese que
La transformacion
Z t




k T [](t) T [](t)k1 = [ F (s, (s)) F (s, (s))] ds

t
1
Z t0


 k F (s, (s)) F (s, (s))k1 ds [Ejercicio 1.7]
Zt0t



 nK k(s) (s)k1 ds [por (1.13)]
t0

nKr sup{k(s) (s)k1 | s [t0 r, t0 + r ]}

= nKr d(, ).

(1.17)

Luego
d( T [] T []) = sup{k T [](t) T [](t)k1 | t [t0 r, t0 + r ]}

rnK d(, ) [por (1.17)].

(1.14c), 0 < rnK < 1, T es una contraccion.

Por la condicion

Gr tal
Por el Teorema de Banach (Teorema 4.6), existe una unica
funcion
que = T [ ], es decir,
( t ) = x0 +

Z t
t0

F (s, (s)) ds.

(1.18)

Derivando con respecto a t, ambos lados de (1.18), y usando el Teorema fundamental del calculo
(t) = F (t, (t)),

de la ED (1.9)
ademas, (t0 ) = x0 . Esto demuestra que es la unica
solucion
definida en el intervalo [t0 r, t0 + r ].
anterior se ha usado un argumento de punto fijo, es decir,
En la demostracion
encontrada es un unto fijo del operador (1.16). Una prueba distinta
la solucion
puede consultarse en Brock y Malliaris [3, Lema 3.1, pp. 810].
10

 del Teorema 1.5 debe notarse lo siguiente.

Observacion
1.6. De la demostracion
es solucion
de (1.9) si y solo
si es el unico

(a) Una funcion

punto fijo del
operador T (dado por (1.16)).
del Teorema de Banach (Teorema 4.6) es constructiva, es decir,
(b) La demostracion
(4.4). Por lo
se demuestra que el punto fijo buscado es el lmite de la sucesion
puede encontrarse usando el metodo de aproximaciones
tanto, la solucion

sucesivas o metodo de Picard (vease la nota historica

en Hartman [11, p. 23]).
de funciones
Este metodo consiste en construir la sucesion
0 (t) x0 ,
k (t) = x0 +

Z t
t0

F (s, k1 (s)) ds,

k 1,

converge a con la metrica (1.15). La convergencia es uniforme

esta sucesion
puntual) en el intervalo [t0 r, t0 + r ].
(no solo

diferencial
Ejemplo 1.7. Considerese la ecuacion
x = tx,

x (0) = 1.

(1.19)

se encuantran las aproximaciones sucesivas de la Observacion

A continuacion
esta dada por la condicion
inicial
1.6(b). La primera aproximacion
0 (t) 1.
Para n = 1 se tiene
1 (t) = 1 +

= 1+

Z t
0

Z t

= 1+

0
t2

s0 (s) ds
s ds

Si n = 2, entonces
2 (t) = 1 +

Z t

s1 (s) ds

Z t 
s2
= 1+
s 1+
ds
2
0
t2
t4
= 1+ +
.
2
24
0

Continuando con este proceso se puede conjeturar que

 2
 2
 k
t
1 t2
1 t2
k (t) = 1 +
+
+...+
.
2
2! 2
k! 2
11

 en serie de Taylor de la funcion

exponencial se observa
Recordando la expansion
que
2
lm k (t) = et /2 .
k

(t) := e
La funcion

t2 /2

(1.16)
es un punto fijo de la transformacion
T [](t) = 1 +

= 1+

Z t
0

Z t

s(s) ds
ses

0
t2 /2

= 1 + (e

2 /2

ds

1)

= ( t ).
Por lo tanto (t) = et

2 /2

satisface la ED (1.19).

de la ED (1.9) existe de manera

En el Teorema 1.5 se afirma que la solucion
se afirma que esta definida en algun
intervalo que coniene a
local, es decir, solo
t0 . Sin embargo, cuando F es lineal se puede saber cual es el intervalo maximo

de existencia. Ademas, bajo esta estructura lineal, se requieren hipotesis

menos
Lo anterior
restrictivas para garantizar la existencia y la unicidad de la solucion.
es similar
se establece de forma precisa en el siguiente teorema, su demostracion
a la del Teorema 1.5 y puede consultarse en Sanchez [17, pp. 135136].
Teorema 1.8. Sea I R un intervalo abierto y no vaco. Sea la ecuacion diferencial lineal
x (t) = A(t) x (t) + B(t),

x ( t0 ) = x0

(1.20)

donde x : I Rn es la incognita, A : I Rnn , B : I Rn y (t0 , x0 ) I Rn .

Supongase que A, B son continuas en I. Entonces la ecuacion diferencial (1.20) tiene una
unica

solucion definida en el intervalo I.

1.2.

Ecuaciones diferenciales lineales con coeficientes constantes

se trabaja con ecuaciones diferenciales lineales, es decir, ecuaEn esta seccion

ciones de la forma
y(k) + ak1 (t)y(k1) + . . . + a1 (t)y + a0 (t)y = b(t),

(1.21)

donde y : I R es la incognita
y las funciones b, a j : I R (j = 1, . . . , k) estan
dadas. Ademas, se imponen condiciones iniciales
y(t0 ) = y0 , y (t0 ) = y1 , . . . , y(k1) (t0 ) = yk1 .

12

(1.22)

Observacion
1.9. La mayora de las aplicaciones en economa involucran EDs de
el estudio se
orden uno o dos y las funciones a j son constantes. Por esta razon,
concentra en EDs del tipo
y + a1 y + a0 y = b(t),

y(t0 ) = y0 , y (t0 ) = y1 .

(1.23)

se pueden
Sin embargo, con los cambios apropiados, los resultados de esta seccion
generalizar a EDs de orden mayor que dos y con coeficientes constantes.
La ED lineal de primer orden con coeficientes variables se analiza en el Ejercicio
1.14.

La ED lineal homogenea
Teorema 1.10. Las soluciones de la ecuacion
diferencial homogenea (EDH)
y + a1 y + a0 y = 0

(1.24)

forman un espacio vectorial de dimension dos.

Demostracion. Observese que en la ED (1.24) no se han impuesto condiciones iniciales. Es inmediato verificar que las soluciones de la ED (1.24) forman un espacio
vectorial, vease el Ejercicio 1.11. Enseguida se demostrara que este espacio vecto dos.
rial tiene dimension
la ED (1.24) es equivalente al sistema
x1 = y, x2 = y,
Mediante la sustitucion

 


x 1
0
1
x1
=
,
(1.25)
x 2
a0 a1
x2

vease el Ejercicio 1.2. Sean t0 R y {e1 , e2 } la base canonica

de R2 . Entonces,
inicial
por el Teorema 1.8, la ED (1.25) y por lo tanto (1.24) con la condicion
2

1 : R R . Asimismo, si se impone la
x (t0 ) = e1 posee una unica
solucion
inicial x (t0 ) = e2 , existe una unica

condicion
2 : R R2 que resuelve (1.25).
Estas soluciones satisfacen lo siguiente.
(1) Las funciones 1 , 2 son l.i. En efecto, si
c1 1 (t) + c2 2 (t) = 0,

t R,

entonces para t = t0 se tiene que c1 e1 + c2 e2 = 0, de donde c1 = c2 = 0.

de (1.25) se puede escribir como una combinacion
lineal
(2) Cualquier solucion
2
de (1.25) y sea x0 := (t0 ) =
de 1 y 2 . Sea : R R una solucion
0
lineal
[1 (t0 ), 2 (t0 )] . Entonces la combinacion
(t) := 1 (t0 )1 (t) + 2 (t0 )2 (t)
de (1.25), ademas (t0 ) = x0 . Por la unicidad de la solucion,
(t) =
es solucion
(t) para todo t R.
13

 deseada.
De (1) y (2) se tiene la conclusion
Lema 1.11. Sea C. Entonces

d t
dt e

= et .

Demostracion. La igualdad es cierta si es un numero

real. Cuando = a + ib
d at ibt
d t
e
=
[e e ]
dt
dt
d
d
= e at [cos(bt) + i sen(bt)] + eibt e at
dt
dt
at
ibt at
= e [b sen(bt) + ib cos(bt)] + e ae

= ibe at eibt + aeibt e at

= et .

Teorema 1.12. Sea un numero

complejo. La funcion (t) = et es solucion de la ED

(1.24) si y solo si es una raz de la ecuacion
caracterstica
2 + a1 + a0 = 0.
Demostracion. Al sustituir en la EDH (1.24) se tiene
d2 t
d
e + a1 et + a0 et
2
dt
dt
2 t
= e + a1 et + a0 et

+ a1 + a0 =

= et [2 + a1 + a0 ].
de (1.24) si y solo
si 2 + a1 + a0 = 0, ya que
Entonces (t) = et es solucion
et 6= 0 para todo t C.

caracHay tres casos para los numeros

(complejos) que satisfacen la ecuacion
2
terstica + a1 + a0 = 0. El mas sencillo es cuando hay dos races reales distintas.

El segundo ocurre si las races son reales repetidas. El ultimo

se presenta cuando
las dos races son complejas, en este caso tienen que ser conjugadas ya que los
se presentan soluciones l.i. de
coeficientes son reales. En la siguiente proposicion
(1.24), para cada uno de los tres casos.
Proposicion
1.13. Sean 1 , 2 las races de la ecuacion 2 + a1 + a0 = 0. Los siguientes
conjuntos forman una base para las soluciones de (1.24).
(a) Si 1 , 2 R son distintas,

{ e 1 t , e 2 t } .

(b) Si := 1 = 2 R,

{et , tet }.
14

(c) Si a + ib := 1 = 2 C,

{e at cos(bt), e at sen(bt)}.
Demostracion. En cada caso hay que verificar que las funciones dadas satisfacen la
ED (1.24) y ademas que son l.i.
(a) Si 1 , 2 R son distintas, las funciones e1 t , e2 t son soluciones de (1.24), por

el Teorema 1.12. Para ver la independencia lineal, considerese la combinacion

lineal
c1 e1 t + c2 e2 t = 0, t R.
(1.26)
Entonces, al derivar con respecto a t la igualdad anterior
c1 1 e1 t + c2 2 e2 t = 0,

t R.

(1.27)

Evaluando (1.26) y (1.27) en t = 0, se obtiene el sistema de ecuaciones

c1 + c2 = 0
1 c1 + 2 c2 = 0,
de donde c1 = c2 = 0.

de (1.24).
(b) Supongase
que := 1 = 2 R. Por el Teorema 1.12, et es solucion

prueba
En este caso la unica
raz es igual a a1 /2, una simple sustitucion
t
de (1.24). En el Ejercicio 1.12 se pide demostrar
que te tambien es solucion
que et y tet son l.i.
(c) Sea a + ib := 1 = 2 C. Por el Teorema 1.12, e(a+ib)t y e(aib)t son soluciones
lineal de estas funciones tambien
de (1.24) y por lo tanto cualquier combinacion
Observese que
es solucion.
1 (a+ib)t 1 (aib)t
e
+ e
2
2
1
1
e at sen(bt) =
e(a+ib)t e(aib)t .
2i
2i
e at cos(bt) =

Entonces e at cos(bt) y e at sen(bt) son soluciones de (1.24) y, por el Ejercicio 1.13,

son l.i.

La ED lineal no homogenea

15

En el siguiente teorema se caracterizan todas las soluciones de la ED no homogenea

y + a1 y + a0 y = b(t),
(1.28)
e stas estan relacionadas con las soluciones de la ED homogenea asociada
y + a1 y + a0 y = 0.
Teorema 1.14. La solucion general de la ecuacion (1.28) esta dada por
y(t) = c1 1 (t) + c2 2 (t) + y p (t),

(1.29)

donde 1 , 2 son soluciones l.i. de la EDH asociada e y p es cualquier solucion de la ED no

homogenea (1.28).
Demostracion. Si 1 , 2 son soluciones l.i. de la EDH asociada
y + a1 y + a0 y = 0,
de la ED no homogenea (1.28). Es claro que la funcion

y y p cualquier solucion
c1 1 (t) + c2 2 (t) + y p (t)
de la ED (1.28).
es solucion
de (1.28), es decir,
Recprocamente, si y es cualquier solucion
y + a1 y + a0 y = b(t),

y tambien y p es solucion
y p + a1 y p + a0 y p = b(t),
entonces

(y y p ) + a1 (y y p ) + a0 (y y p ) = b(t) b(t).
de la EDH asociada y, por el
La igualdad anterior prueba que y y p es solucion
lineal de 1 y 2 . Luego
Teorema 1.10, es combinacion
y y p = c1 1 + c2 2 ,
(1.29).
de donde se tiene la relacion
En virtud del teorema anterior, para resolver la ED no homogenea (1.28) se tiene
particular. Dependiendo de la forma funcional de b(t) se
que buscar una solucion
y p (t) de acuerdo con la siguiente tabla. Esta forma de buscar
propone una solucion
soluciones particulares se conoce como metodo de coeficientes indeterminados.
16

Tabla 1: Algunas soluciones particulares comunes

b(t)
bk

tk

y p (t)

b
+ . . . + b1 t + b0
b1 eb2 t
b1 sen(b2 t)
b1 cos(b2 t)

B
Bk + . . . + B1 t + B0
B1 eb2 t
B1 sen(b2 t) + B2 cos(b2 t)
B1 sen(b2 t) + B2 cos(b2 t)
tk

diferencial
Ejemplo 1.15 (Sydster et al. [23]). Considerese la siguiente ecuacion
y 4y + 4y = 2 cos(2t).
1.13, las funciones e2t y te2t son soluciones l.i. de EDH asociada.
Por la Proposicion
particular (de la ED no homogenea) es de
De acuerdo con la Tabla 1, una solucion
la forma
y p (t) = B1 sen(2t) + B2 cos(2t).
en la ED dada se encuentra que B1 = 1/4 y B2 = 0.
Al sustituir esta expresion
general esta dada por
Finalmente, por el Teorema 1.14, la solucion
1
sen(2t).
4
Si se imponen condiciones iniciales, se pueden determinar las constantes c1 y c2 .
y(t) = c1 e2t + c2 te2t

Estabilidad

de la ED no homogenea
Se ha visto como
encontrar la solucion
y + a1 y + a0 y = b(t),

y(t0 ) = y0 , y (t0 ) = y1 ,

depende de las condiciones iniciales. Se dice que la ED

esta solucion
y + a1 y + a0 y = b(t)
es globalmente asintoticamente

estable (GAE) si
lm [c1 1 (t) + c2 2 (t)] = 0

c1 , c2 R,

donde 1 y 2 son soluciones l.i. de la EDH asociada. En otras palabras, la ED es

de la EDH asociada no depende de las condiciones iniciales
GAE si la solucion
cuando t .
Teorema 1.16. La ED (1.28) es GAE si y solo si las races, 1 , 2 , de la ecuacion caracterstica son tales que Re(1 ) < 0 y Re(2 ) < 0.
1.13.
Demostracion. Se sigue de la Proposicion
17

1.3.

Ecuaciones diferenciales no lineales

se estudian las tecnicas para resolver algunas de las EDs (no

En esta seccion
lineales) de primer orden mas comunes.
Ecuaciones con variables separables
F en (1.9) es de la forma F (t, x ) = f (t) g( x ), se dice que (1.9) es
Si la funcion
una ecuacion
con variables separables o ecuacion
separable (comparese con el
g no se anula, entonces
Ejercicio 1.9). Si, ademas, f y g son integrables y la funcion
Z t
x ( ) d

g( x ( ))

t0

Z t
t0

f ( ) d

mediante un cambio de variable (vease Bartle y Sherbert [1, Teorema 7.3.8, p. 279])
se obtiene
Z t
Z x (t)
dx
=
f ( ) d.
t0
x ( t0 ) g ( x )

inicial x (0) = 3.
Ejemplo 1.17. Resolver la ED (1 + et ) x x = et con la condicion
Solucion.
Esta ED es separable y puede reescribirse como
Z x (t)

x dx =

Z t
0

e
, d.
1 + e

Luego
1 2
[ x (t) 3] = ln(1 + et ) ln(2),
2
de donde x (t) =

2 ln(1 + et ) + 3 ln 4.

Ecuaciones exactas
Sean M, N : I B R, donde I, B son intervalos abiertos y no vacos. Una ED
de primer orden escrita en la forma
M(t, x ) + N (t, x ) x = 0

(1.30)

F : I B R de clase C 2 tal que

es exacta en I B si existe una funcion
F
(t, x ) = M(t, x ),
t

F
(t, x ) = N (t, x ),
x

(1.30) es equivalente a
En tal caso, la ecuacion
F
F
(t, x ) + (t, x ) x = 0.
t
x
18

(t, x ) I B.

(1.31)

Teorema 1.18. Sean : I B derivable y F : I B R que verifica (1.31). La funcion

es solucion de (1.30) si y solo si satisface la relacion
F (t, (t)) = c

(1.32)

donde c R es una constante.

es una solucion
de (1.30) si y solo
si
Demostracion. La funcion
F
F
(t, (t)) + (t, (t)) (t) = 0,
t
x
es decir,

d
F (t, (t)) = 0,
dt
si F (t, (t)) = c, para alguna constante c R.
si y solo

El teorema anterior afirma que si la ED (1.30) es exacta, entonces su solucion

esta dada (de manera implcita) por (1.32), la constante c se determina al imponer
inicial. El problema consiste en (i) determinar bajo que condiciones
una condicion
(1.30) es exacta y (ii) encontrar
(impuestas sobre las funciones M y N) la ecuacion
F. En la demostracion
del Teorema 1.20, abajo, se construye la funcion

la funcion
F.
Lema 1.19. Sea f : I B R una funcion de clase C 1 . Entonces

Z t
t0

f (, x ) d =

Z t
f
t0

(, x ) d.

Demostracion. Ver Rudin [16, Teorema 9.42, pp. 236237].

Teorema 1.20. Sean M, N : I B R dos funciones de clase C 1 . La ecuacion (1.30) es
exacta si y solo si
M
N
(t, x ) =
(t, x ), (t, x ) I B.
(1.33)
x
t
F de clase C 2 que stisface
Demostracion. Si la ED (1.30) es exacta, existe una funcion
(1.31), luego
M
2 F
(t, x ) =
(t, x )
x
xt
2 F
=
(t, x )
tx
N
=
(t, x )
t
para todo (t, x ) I B.
19


Ahora supongase
que se satisface (1.33). Defnase F : I B R
F (t, x ) :=

Z t
t0

M(, x ) d +

Z x
x0

N (t0 , s) ds,

(1.34)

donde (t0 , x0 ) un punto arbitrario de I B. Entonces

F
(t, x ) = M(t, x ),
t

mas aun,

F
(t, x ) =
x
x

Z t
t0

M (, x ) d + N (t0 , x )

Z t
M

(, x ) d + N (t0 , x ) Lema 1.19

x
N
(, x ) d + N (t0 , x ) por (1.33)
=
t0 t
= N (t, x ).
t0
Z t

(1.30) es exacta.
Por lo tanto la ecuacion
Los resultados sobre EDs exactas se pueden resumir en la siguiente obser
vacion.
Observacion
1.21. Una ED en la forma (1.30) es exacta si satisface (1.33). Si se
inicial x (t0 ) = x0 , entonces la definicion
(1.34) de F implica
impone la condicion
, que satisface la condicion
inicial
que F (t0 , x0 ) = 0. De esta manera, la solucion
(t0 ) = x0 , esta dada implcitamente por F (t, (t)) = 0.

Ejemplo 1.22. Resolver la ED x = (3t2 2tx )/(t2 2x ).

Solucion.
La ED puede escribirse como 2tx 3t2 + (t2 2x ) x = 0, la cual es exacta
ya que

(2tx 3t2 ) = (t2 2x ) = 2t.

x
t
De acuerdo con (1.34)
0 =

Z t
t0
2

(2x 3 ) d +

= t x

Z x

(t20 2s) ds

x0
3
t0 ) + t20 x x2 (t20 x0
(t30 + t20 x0 x02 ).

t (t20 x
3
2

= t2 x t x

x02 )

esta dada implcitamente por

La solucion
t2 x t3 x2 = c,
donde c = t30 + t20 x0 x02 .

20


Observacion
1.23. Otra forma de resolver una ED exacta se ilustra a continuacion.
F tal que F/t = M, entonces
Puesto que se esta buscando una funcion
F (t, x ) =

M(t, x ) dt + g( x )

ademas F/x = N, luego

M (t, x ) dt +

dg
( x ) = N (t, x )
dx

g.
de donde se puede encontrar a la funcion

1.23. En efecto,
La ED del Ejemplo 1.22 puede resolverse usando la Observacion
F (t, x ) =

(2tx 3t2 ) dt + g( x )

= t2 x t3 + g ( x )
luego
t2 +

dg
( x ) = t2 2x
dx

de donde
g( x ) =

(t2 2x t2 )dx

= x2 .

De este modo se tiene que F (t, x ) = t2 x t3 x2 , puesto que no hay una condicion
depende de una constante c, es decir,
inicial la solucion
t2 x t3 x2 = c.
La ecuacion
de Bernoulli
Una ecuacion
de Bernoulli es una ED de la forma
x + a(t) x = b(t) xr ,

r R.

Cuando r = 0 se tiene una ED lineal de primer orden, vease Ejercicio 1.14. Si r = 1,

y = x1r convierte la ED
entonces la ED es separable. En otro caso, la sustitucion
de Bernoulli en
y + (1 r ) a(t)y = (1 r )b(t),
la cual puede resolverse usando el Ejercicio 1.14.
La ecuacion
de Riccati
21

 intervalo de numeros

Sean p, q, r funciones continuas en algun

reales. Una ED
escrita en la forma
x = p(t) + q(t) x + r (t) x2 , k R.
se conoce como ecuacion
de Riccati. En general, este tipo de EDs no se pueden
particular ,
resolver explcitamente. Sin embargo, cuando se conoce una solucion
se puede usar el cambio de variable
x = +

1
y

de Riccati en una ED lineal en la incognita

para transformar la ecuacion

y.

1.4.

Sistemas de ecuaciones diferenciales ordinarias

1.5.

Ejercicios

V, dada por (1.2), satisface la ecuacion

funcional (1.1).
1.1 Probar que la funcion
. . . , x k = y ( k 1)
x1 = y, x2 = y,
1.2 Considerese la ED (1.3), hacer la sustitucion
de la forma (1.4). Demostrar que cada solucion
de
para obtener una ecuacion
para (1.4) y viceversa. Por esta razon
se dice que (1.3)
(1.3) induce una solucion
y (1.4) son equivalentes. Expresar el sistema de EDs
y1 = 6y1 7y 2
3
y2 = y 1 + y2 ,
4
en la forma (1.4).
(1.5). Determinar
1.3 Verificar que las funciones (1.6) y (1.7) satisfacen la ecuacion
inicial x (0) = [4, 8]0 .
las constantes c1 , c2 para que se cumpla la condicion
del Ejemplo 1.4. Sea c R+ y defnase c : R R
1.4 Demostrar la afirmacion
mediante

0
si t (, c]
c (t) =
3
(t c) si t (c, ).
de la ED (1.8). Entonces (1.8) tiene una infinidad de
Probar que c es solucion
soluciones.
es solucion
de la ecuacion
diferencial correspondi1.5 Determinar si la funcion
ente. La constante c R es arbitraria.
(a) (t) = ln(c + et ),
(b) t = (t)ec(t)+1 ,

x = et x ,
x =

x
,
t(ln tln x )

22

x (t + x ) = x,

(c) t = ln(c),

(d) t( + 1) = 2e t ,

(t+1)( x +1)
.
tx

x =

1.6 Mostrar que las funciones (t) = ct c2 (c R), (t) = t2 /4, son soluciones
de la ED x 2 = t x x.
integrable, donde I R es un intervalo. Cada
1.7 Sea f : I Rn una funcion
componente f i (i = 1, . . . , n) satisface la desigualdad

| f i | f i | f i |,

y puesto que la integral es monotona,

se cumple

Z t
t0

Es decir,

| f i (s)| ds

Z t
t0

f i (s) ds

Z t
t0

| f i (s)| ds,

Z t
 Z t




f
(
s
)
ds
| f i (s)| ds,
 t i

t
0

t > t0 .

t > t0 .

(1.35)

Que ocurre si t < t0 ? Usar la desigualdad (1.35) para demostrar que

Z t

Z t






 k f (s)k ds .
f
(
s
)
ds
1




t0

t0

1.8 Encontrar las primeras cuatro aproximaciones sucesivas k (k = 0, . . . , 3) para

de cada ED.
la solucion
(a) x = 3x + 1,
(b) y = y2 ,

x (0) = 2,

y(0) = 1,

(c) y = y2 t,

y(1) = 1,

(d) x 1 = x2 , x 2 = x1 ,
(e) x = t x,

x (0) = [0, 1]0 ,

x (0) = 1, x (0) = 0.

en cada caso?
Se puede conjeturar la solucion

F en (1.9) solo
depende de t, es decir,
1.9 Supongase
que la funcion
x = f (t).

Si f es integrable, probar que la funcion

(t) :=

Z t
t0

f (s) ds + c,

satisface la ED anterior para cualquier constante c R. Cual debe ser el valor

de la constante si x (t0 ) = x0 ?
23

 de las siguientes EDs

1.10 Con base en el ejercicio anterior, encontrar la solucion
(a) x = 3t + 1,
(b) y =

x (0) = 2,

1
,
t (1 t )

(c) y = t2 et ,

y(1) = 1,

(d) x =

ct+d
,
(t a)(tb)

(e) x =

1e t
.
1+e t

a, b, c, d R,

1.11 Demostrar que las soluciones de la ED (1.24) forman un espacio vectorial sobre
R. Es cierto sobre C?
Sugerencia: Vease Pontriaguin [15, Seccion 1.5].

1.12 Probar que et y tet son l.i.

1.13 Probar que e at cos(bt) y e at sen(bt) son l.i.
1.14 En este ejercicio se considera la ED lineal de primer orden con coeficientes
variables
x + a(t) x = b(t), x (t0 ) = x0 ,
intervalo I R. Sea A : I R una funcion

donde a, b son continuas en algun

derivable tal que A = a.
(a) Demostrar que
d
[ x ( t ) e A(t) ] = b ( t ) e A(t) .
dt
de la ED puede es(b) Usar el inciso anterior para probar que la solucion
cribirse como


Z t
A(t)
A ( t0 )
A(s)
x (t) = e
x ( t0 ) e
+
b(s)e
ds .
t0

e A(t) se le conoce como factor integrante. Notese

A la funcion
que A(t) es

unica,
salvo una constante aditiva.
(c) Identificar el factor integrante de la siguiente ED x + 2tx = x. Encontrar su
si x (0) = 2.
solucion
(d) Resolver la ED x x tan(t) = esen(t) si t (0, /2).
t2 x + 2tx = 1 en el intervalo (0, ).
1.15 Considerar la ecuacion
tiende a cero cuando t .
(a) Demostrar que toda solucion
24

 que satisface (2) = 2(1)

(b) Encontrar la solucion
1.16 Sea u : R R una de clase C 2 .
de utilidad, explicar por que se pide que u > 0 y u < 0.
(a) Si u es una funcion
de tipo CARA (constant absolute risk aver(b) Se dice que u es una funcion
sion) si
u (c)

= k,
u (c)
donde k es una constante positiva. Encontrar la forma general de las funciones u de tipo CARA y dar condiciones sobre los parametros para que u
satisfaga las propiedades impuestas en (a).
(c) Se dice que u es de tipo HARA (hyperbolic absolute risk aversion) si

u (c)
1
= 1
u (c)
c

donde , son constantes. Encontrar la forma general de las funciones u

de tipo HARA y dar condiciones sobre los parametros para que u satisfaga
las propiedades impuestas en (a).
Sugerencia: Considerar dos casos = 1 y 6= 1.

(d) Se dice que u es de tipo CRRA (constant relative risk aversion) si

cu (c)
= ,
u (c)

donde es una constante positiva. Encontrar la forma general de las funciones u de tipo CRRA y dar condiciones sobre los parametros para que u
satisfaga las propiedades impuestas en (a).
Sugerencia: Considerar dos casos = 1 y 6= 1.

25

2.

Optimizacion
dinamica en tiempo discreto

2.1.

Planteamiento de problemas dinamicos en tiempo discreto

Las componentes de un problema de control optimo

(PCO) en tiempo discreto y

con horizonte finito se especifican a continuacion.

(a) Un sistema dinamico, con espacio de estados X Rn y controles admisibles
U Rm , que satisface el sistema de ecuaciones en diferencias
xt+1 = f (t, xt , ut ) para t = 0, 1, . . . , T 1,

(2.1)

con estado inicial x0 .

(b) Una funcion
objetivo, que depende de la estrategia := {u0 , u1 , . . . , ut1 } y
del estado inicial x0 = x (mismos que determinan la trayectoria de estados de
acuerdo con (2.1)),
T 1

v(, x ) :=

R(t, xt , ut ) + S(xT ),

(2.2)

t =0

donde las funciones R y S toman valores reales. Cada termino R(t, xt , ut ) puede
o recompensa (si el
interpretarse como el costo (en el caso de minimizacion)
por etapa. La catidad S( x T ) es conocida como
problema es de maximizacion)
valor de salvamento.
es optimizar (ya sea maximizar o minimizar) la funcion

El problema en cuestion
inicial x0 = x, mas
objetivo (2.2) sujeto al sistema dinamico (2.1) y la condicion
especficamente:


T 1
opt
v(, x ) = R(t, xt , ut ) + S( x T )
{ut }tT=01

t =0

s. a : xt+1 = f (t, xt , ut )
u0 , . . . , u T 1 U,
x0 dado.

t = 0, 1, . . . , T 1,

Si el PCO tiene horizonte infinito, el sistema dinamico adopta la forma

xt+1 = f (t, xt , ut ) para todo t = 0, 1, 2, . . . ,
objetivo es
y la funcion

R(t, xt , ut ).

t =0

26

(2.3)

 de salvamento. El proEn este caso, a diferencia de (2.2), no se tiene una funcion

blema puede sintetizarse como



opt
v(, x ) = R(t, xt , ut )
{ut }
t =0

t =0

S. a : xt+1 = f (t, xt , ut )
ut U
x0 dado.

t = 0, 1, 2, . . . ,
t = 0, 1, 2, . . . ,

En las Secciones 2.2 y 2.3 se estudian problemas con horizonte finito, mientras
2.3 esta dedicada a aquellos con horizonte infinito.
que la Seccion

2.2.

El metodo de los multiplicadores de Lagrange

(si el problema
Considerese el PCO (2.3) en el caso especfico de maximizacion
el Teorema 2.1 sigue siendo valido con los cambios adecuaes de minimizacion,
dos). Para usar el metodo de los multiplicadores de Lagrange conviene escribir
explictamente cada una de las T restricciones

max

{ut }tT=01

s. a :

T 1

v(, x0 ) = R(t, xt , ut ) + S( x T )

t =0

f (0, x0 , u0 ) x1 = 0
f (1, x1 , u1 ) x2 = 0
..
.

(2.4)

f ( T 1, x T 1 , u T 1 ) x T = 0.
Ahora defnase el Lagrangiano o funcion
Lagragiana
L (, x , ) :=

T 1

T 1

R(t, xt , ut ) + S( x T ) +

t =0

t [ f (t, xt , ut ) xt+1 ]

t =0

donde, = {u0 , u1 , . . . , u T 1 }, x = { x1 , x2 , . . . , x T }, = {0 , 1 , . . . , T 1 } y x0
dado. Suponiendo que las funciones R, S y f son continuamente diferenciables y
los conjuntos X, U son abiertos, las condiciones (necesarias) de Lagrange para una

estrategia optima
son
L
ut
L
0=
xt
L
0=
x T
L
0=
t
0=

R
f
+ t
ut
ut
R
f
=
t 1 + t
xt
xt
dS
=
T 1
dx T

= f (t, xt , ut ) xt+1
27

para t = 0, 1, . . . , T 1

(2.5)

para t = 1, 2, . . . , T 1

(2.6)
(2.7)

para t = 0, 1, . . . , T 1,

(2.8)

la existencia de los multiplicadores en el sistema de ecuaciones esta garantizada por

el Teorema de Lagrange, bajo la hipotesis

adicional de que la matriz jacobiana de
las restricciones sea de rango completo.
Teorema 2.1 (Principio del maximo de Pontryagin). Supongase que se cumplen las
hipotesis del Teorema de Lagrange para el problema (2.3) y sea {u0 , u1 , . . . , uT 1 } un
control o ptimo junto con { x0 , x1 , . . . , x T } la trayectoria de estados correspondiente con
estado inicial x0 = x0 . Entonces existen vectores adjuntos {0 , 1 , . . . , T 1 }, tales
que el Hamiltoniano
H (t, x, u, ) := R(t, x, u) + f (t, x, u),
satisface la ecuacion
adjunta
t1 =

H
(t, xt , ut , t )
x

para t = 1, 2, . . . , T 1,

(2.9)

con la condicion
terminal

dS
( x ),
dx T
ademas, la condicion de maximizacion
del Hamiltoniano
T 1 =

H
(t, xt , ut , t ) = 0
u

para t = 0, 1, . . . , T 1,

(2.10)

(2.11)

y
xt+1 = f (t, xt , ut )

para t = 0, 1, . . . , T 1

(2.12)

con el estado inicial x0 dado.

del HamilDemostracion. Las condiciones (2.9) y (2.10) se siguen de la definicion
toniano y de las condiciones de Lagrange (2.6) y (2.7). Asimismo, las ecuaciones
(2.11) y (2.12) son equivalentes a (2.5) y (2.8).
estatica
Observacion
2.2 (Condiciones suficientes). De los resultados de optimizacion
se sigue que si (, x , ) satisfacen las condiciones (2.9)(2.12) y el Hamiltoniano
concava

es una funcion
con respecto a ( x, u), entonces (, x , ) es optimo
para
el problema (2.4).

2.3.

Programacion
dinamica. El Principio de optimalidad y la ecuacion
de Bellman

se presenta otra tecnica para resolver un PCO se conoce como

En esta seccion
programacion
dinamica y esta basada en el Principio de optimalidad de Bellman.

28

 2.2, solo
se estudia el problema de maximizacion
(el otro
Al igual que en la Seccion
caso es totalmente analogo)


T 1
max
v(, x0 ) = R(t, xt , ut ) + S( x T )
{ut }tT=01

t =0

s. a : xt+1 = f (t, xt , ut )
u0 , . . . , u T 1 U,
x0 dado.

t = 0, 1, . . . , T 1,

(2.13)

Proposicion
2.3 (Principio de optimalidad de Bellman). Sea = {u0 , u1 , . . . , uT 1 }
una estrategia o ptima para el problema (2.13) y { x0 , x1 , . . . , x T } la trayectoria de estados
correspondiente, en particular, x0 = x0 . Entonces, para cualquier tiempo s {0, 1, . . . , T
1}, la estrategia truncada
s = {us , . . . , uT 1 }
es o ptima para el subproblema

max

{ut }tT=s1

v(, xs )

T 1

= R(t, xt , ut ) + S( x T )

t=s

s. a : xt+1 = f (t, xt , ut )
us , . . . , u T 1 U,
xs dado.

t = s, . . . , T 1,

(2.14)

Demostracion. Supongamos que la estrategia s no es optima

para el problema
(2.14), entonces existen otros controles, digamos
a = { as , . . . , aT 1 },
que resuelven (2.14), es decir,
v(s , xs ) < v( a , xs ).
Construimos ahora la estrategia
0 = {u0 , . . . , us1 , as , . . . , aT 1 }
y notemos que {u0 , . . . , us1 } lleva el sistema del estado inicial x0 al estado xs , por

lo que 0 es un control optimo

de (2.13), i.e.
v( , x ) < v( 0 , x )

lo cual es una contradiccion.

Las ecuaciones (2.15) y (2.16), del siguiente teorema, se conocen como algorit de salvamento S solo
se
mo de programacion
dinamica; si no hay una funcion
tiene (2.16), que tambien es llamada ecuacion
de Bellman.
29

Teorema 2.4. Sean JT , JT 1 , . . . , J0 las funciones sobre X, definidas como

JT ( x T ) = S ( x T )

(2.15)

Js ( xs ) = max { R(s, xs , us ) + Js+1 [ f (s, xs , us )]}.

(2.16)

y para s = T 1, T 2, . . . , 0,
us

Si para cada s = 0, 1, . . . , T 1, existe una funcion us : X U que alcanza el maximo

en el lado derecho de (2.26) para todo x X, entonces la estrategia
= {u0 , u1 , . . . , uT 1 }
es o ptima y la funcion
de valor
(
V ( x, s) := max {v(, xs ) | xs = x } = max

{ut }tT=s1

T 1

t=s



R(t, xt , ut ) + S( x T )  xs = x

coincide con Js , i.e.

V ( x, s) = Js ( x )

0 s T, x X.

consta de tres pasos.

Demostracion. La demostracion
enPaso 1. Si cada uno de los problemas en la siguiente igualdad tiene solucion,
tonces
max

y A, z B

{ g(y) + h(y, z)} = max { g(y) + max {h(y, z)}}.

z B

y A

En efecto, notemos que

max

y A, z B

{ g(y) + h(y, z)} g(y) + h(y, z) y A, z B

en particular,
max

y A, z B

{ g(y) + h(y, z)} g(y) + max {h(y, z)} y A

z B

de donde
max

y A, z B

{ g(y) + h(y, z)} max { g(y) + max {h(y, z)}}.

z B

y A

(2.17)

Por otro lado

g(y) + h(y, z) g(y) + max {h(y, z)}

y A, z B

z B

max { g(y) + max {h(y, z)}} y A, z B,

z B

y A

luego,
max

y A, z B

{ g(y) + h(y, z)} max { g(y) + max {h(y, z)}}.

y A

z B

La igualdad requerida se sigue de las desigualdades (2.17) y (2.18).

30

(2.18)

Paso 2. Para cualesquiera j, r {0, 1, . . . , T 1} con j < r, se verifica que xr de

pende unicamente
del estado x j y de los controles ut para j t r 1.
(2.1)
Este hecho se sigue de la ecuacion
xr =
=:
=
=:
..
.

f (r 1, xr1 , ur1 )
g1 ( x r 1 , u r 1 )
g1 [ f (r 2, xr2 , ur2 ), ur1 ]
g2 ( x r 2 , u r 2 , u r 1 )

= : gr j ( x j , u j , . . . , u r 2 , u r 1 ) .
de valor V ( x, 0) se puede escribir como
Paso 3. Usando los Pasos 1 y 2, la funcion


T 1
V ( x, 0) = max
R(t, xt , ut ) + S( x T )
{ut }tT=01

t =0

n
= max R(0, x0 , u0 ) + max R(1, x1 , u1 ) + . . . +
u1

u0

max{ R( T 1, x T 1 , u T 1 ) + S( x T )}
u T 1

)
,

sujeto a la dinamica
xt+1 = f (t, xt , ut ) para todo t = 0, 1, . . . , T 1,
y estado inicial x0 .
Definimos
JT ( x T ) = S ( x T ) ,
JT 1 ( x T 1 ) = max { R( T 1, x T 1 , u T 1 ) + JT ( x T )}
u T 1

x T = f ( T 1x T 1 , u T 1 ), y as sucesivamente, hasta
con la condicion
J1 ( x1 ) = max { R(1, x1 , u1 ) + J2 ( x2 )}
u1

donde x2 = f (1, x1 , u1 ), finalmente,

J0 ( x0 ) = max { R(0, x0 , u0 ) + J1 ( x1 )}
u0

con x1 = f (0, x0 , u0 ).
Las igualdades
V ( x, s) = Js ( x )

0 s T, x X,

son consecuencia del Principio de optimalidad de Bellman.

31

Observacion
2.5. Al resolver un PCO usando el Principio del maximo de Pontryagin (Teorema 2.1) se obtienen estrategias de lazo abierto (openloop), es decir, los

controles dependen unicamente

del parametro temporal
u t = ( t ),
dinamica (Teorema 2.4) se encuentran estratemientras que al usar programacion
gias de retroalimentacion
(feedback), tambien llamadas estrategias de lazo cerrado (closed loop) o estrategias markovianas y son de la forma
ut = (t, xt ),
no depende del tiempo t (unicamente

si ademas la funcion
del estado), se dice
que la estrategia es estacionaria.

2.4.

Problemas con horizonte infinito

se considera una clase particular de problemas con horizonte inEn esta seccion
de refinito, llamados problemas estacionarios con descuento ya que la funcion
compensa por etapa es de la forma
R(t, x, u) = t r ( x, u).
dependen del estado x y del control u, pero no dependen
Las funciones r y f solo
del tiempo t, por lo cual se dice que el PCO es estacionario. El problema que se
quiere estudiar es de la forma



max
v(, x0 ) = r ( xt , ut )
{ut }
t =0

t =0

s. a : xt+1 = f ( xt , ut )
ut ( xt ) U
x0 dado,

t = 0, 1, 2, . . . ,
t = 0, 1, 2, . . . ,

donde
(a) X Rm es el espacio de estados,
(b) U Rn es el espacio de controles,

(c) el numero
real 0 < < 1 es un factor de descuento,
(d) r : X U R es la funcion
de recompensa por etapa,
(e) f : X U X es la funcion
de transicion,
y
32

(2.19)

(f) : X  U es una correspondencia tal que ( x ) 6= para todo x X.

El punto x0 se conoce como estado inicial.
= {ut }
Una sucesion
t=0 U es una poltica, desde el estado inicial x0 , si
u t ( x t ),
donde { xt }
t=0 es tal que xt+1 = f ( xt , ut ) para todo t = 0, 1, . . .. Es importante notar

que a cada poltica = {ut }

trayectoria de estados
t=0 le corresponde una unica

{ xt }t=0 . Al conjunto de todas las polticas desde x0 lo denotamos por ( x0 ). Puesto

que ( x ) 6= para todo x X, tenemos que el conjunto de polticas ( x0 ) es no
vaco para cualquier estado inicial x0 .
Hipotesis

2.6. Para cada poltica ( x0 ), existe el

T

t r ( x t , u t ),
T
lm

(2.20)

t =0

y puede ser o .

Dado un numero
real h, se denotan su parte positiva y su parte negativa,
mediante
h+ := max{0, h}, h := max{0, h},
respectivamente. De este modo, h = h+ h . Sea ( x0 ) una poltica arbitraria.
Si
T

lm

t r+ (xt , ut ) < ,

T t =0

lm

t r (xt , ut ) < ,

T t =0

o ambos, entonces existe el lmite en (2.20) (aunque puede ser o ).

En virtud de la Hipotesis
2.6, tiene sentido definir la funcion

v(, x0 ) :=

t r ( xt , ut )

t =0

para cada poltica . Asimismo, definimos la funcion

de valor
V ( x0 ) := sup{v(, x0 ) | ( x0 )}.

(2.21)

El supremo en (2.21) siempre existe (aunque puede ser o ). El problema es

encontrar condiciones para que exista una poltica ( x0 ) que alcance dicho
supremo, es decir,
sup{v(, x0 ) | ( x0 )} =

t r(xt , ut ),

t =0

equivalentemente, V ( x0 ) =

v( , x

0 ).

33

 de valor V satisface las siguientes propiedades.

Observacion
2.7. La funcion
(a) Si |V ( x0 )| < , entonces
v(, x0 ) V ( x0 )

( x0 ),

(2.22)

y para cada > 0, existe ( x0 ) tal que

x0 ).
V ( x0 ) < v(,

(2.23)

de polticas, n ( x0 ) (n =
(b) Si V ( x0 ) = , entonces existe una sucesion
1, 2 . . .), tal que
lm v(n , x0 ) = .
n

(c) Si V ( x0 ) = , entonces
v(, x0 ) =

( x0 ).

La ecuacion
de Bellman
Sea ( x0 ) una poltica arbitraria. Observese que
v(, x0 ) = r ( x0 , u0 ) + v(, x1 ),

(2.24)

donde v(, x1 ) := r ( x1 , u1 ) + ( x2 , u2 ) + 2 r ( x3 , u3 ) + . . ..
que hay entre la siguiente ecuacion

Los Teoremas 2.7 y 2.8 muestran la relacion

funcional, conocida como ecuacion
de Bellman,
W ( x ) = sup {r ( x, y) + W [ f ( x, y)]}

x X,

(2.25)

y( x )

de valor V.
y la funcion
Teorema 2.8 (Bellman). La funcion de valor satisface la ecuacion de Bellman.

Demostracion. Sean x0 X y ( x0 ) arbitrarios. Supongase

que V ( x0 ) es finito.
De (2.22) y (2.24) se tiene
V ( x0 ) r ( x0 , u0 ) v(, x1 )

( x1 ), u0 ( x0 ).

Entonces
V ( x0 ) r ( x0 , x1 ) + V ( x1 )

u0 ( x0 ).

(2.26)

De (2.23) y (2.24) se sigue que para todo > 0 existe u 0 ( x0 ) tal que
V ( x0 ) < r ( x0 , u 0 ) + V ( x1 ).
34

(2.27)

 de Bellman, es decir, se
Por (2.26) y (2.27) se concluye que V satisface la ecuacion
cumple la igualdad
V ( x ) = sup {r ( x, y) + V [ f ( x, y)]}

x X.

y( x )

2.7(b)(c), se prueba que V

Si V ( x0 ) es igual a o , usando la Observacion
de Bellman.
satisface la ecuacion
Teorema 2.9 (Bellman). Sea W : X R una funcion acotada. Si W es una solucion de
la ecuacion de Bellman, entonces W = V.
acotada que satisface (2.25) y x0 X arbitrario.
Demostracion. Sean W una funcion
Hay que demostrar que
W ( x0 ) = sup{v(, x0 ) | ( x0 )}.
Es decir, W ( x0 ) debe satisfacer las siguientes dos condiciones
v(, x0 ) W ( x0 )

( x0 ),

(2.28)

y para cada > 0 existe una poltica ( x0 ) tal que

x0 ).
W ( x0 ) < v(,

(2.29)

Notese
que
W ( x0 ) r ( x0 , u0 ) + W [ f ( x0 , u0 )]

u0 ( x0 ).

para todo ut ( xt ) (t = 0, 1, . . . , T), se cumple

Mas aun,
T

W ( x0 )

t r(xt , ut ) + T+1W [ f (xT , uT )],

t =0

de donde se tiene (2.28).

Por otro lado, para > 0 arbitrario se tienen las siguientes desigualdades
W ( x0 ) /2 < r ( x0 , u 0 ) + W [ f ( x0 , u 0 )]
W ( x1 ) /2

u 0 ( x0 )
para algun

u 1 ( x1 )
< r ( x1 , u 1 ) + W [ f ( x1 , u 1 )] para algun
..
.

W ( x t ) /2t+1 < r ( x t , u t ) + W [ f ( x t , u t )]

u t ( x t ).
para algun

define una poltica {u t } desde el estado inicial x0 y la corresEsta construccion

pondiente trayectoria de estados { x t }. Para cualquier numero

natural T
W ( x0 )

T
T
t
(
/2
)
<
t r(xt , u t ) + T+1W [ f (x T , u T )].
2 t
=0
t =0

Al hacer T , se tiene (2.29).

35

(2.30)

 del teorema anterior se tiene lo

Observacion
2.10. A partir de la demostracion

W : X R satisface la ecuacion
de Bellsiguiente. Supongase
que una funcion
man y es no acotada. Sin embargo, dada una poltica arbitraria ( x0 ), la
correspondiente trayectoria de estados { xt } satisface
lm t W ( xt ) 0.

(2.31)

de Bellman y cumple (2.31)

Es inmediato demostrar que si W satisface la ecuacion
si W es una solucion
de la ecuacion
de
con igualdad, entonces W = V. Mas aun,
Bellman y satisface (2.31), entonces
W (x) V (x)

x X.

Proposicion
2.11. Sea {ut } una solucion del problema (2.19) y { xt } la correspondiente
trayectoria de estados. Entonces la funcion de valor V satisface
V ( xt ) = r ( xt , ut ) + V [ f ( xt , ut )]

t = 0, 1, . . . .

(2.32)

del problema (2.19), entonces

Demostracion. Si {ut } es una solucion
v( , x0 ) v(, x0 )

( x0 ),

(2.33)

en particular, para cualquier estrategia de la forma = (u0 , u 1 , u 2 , . . .). Luego, por

(2.24),
x1 ),
r ( x0 , u0 ) + v( , x1 ) r ( x0 , u0 ) + v(,
donde ( x1 ) es cualquier estrategia desde x1 , i.e.,
x1 )
v( , x1 ) v(,

( x1 ),

2.3). Ademas, V ( x0 ) =
por lo tanto V ( x1 ) = v( , x1 ) (comparese con la Proposicion
r ( x0 , u0 ) + v( , x1 ) por lo que
V ( x0 ) = r ( x0 , u0 ) + V [ f ( x0 , u0 )].

(2.34)

Si ahora se sustituyen estrategias de la forma = (u0 , u1 , u 2 , u 3 , . . .) en (2.33) y

se usa (2.34), se encuentra que
V ( x1 ) = r ( x1 , u1 ) + V [ f ( x1 , u1 )].
Continuando con este proceso se prueba (2.32).
Proposicion
2.12. Sean = {u t } ( x0 ) una estrategia y { x t } la correspondiente
trayectoria de estados, tales que satisfacen (2.32). Supongase que
lm t V ( x t ) 0,

donde V es la funcion de valor. Entonces resuelve el problema (2.19).

36

Demostracion. Si {u t } y { x t } satisfacen (2.32), entonces

T

V ( x0 ) =

t r(xt , u t ) + T+1 V (x T+1 ).

t =0

x0 ). Esto prueba que la estrategia es

Al hacer T se obtiene V ( x0 ) v(,

optima.
Existencia de soluciones
Hipotesis

2.13. La funcion de recompensa por etapa r y la funcion de transicion f son

continuas y acotadas.
Hipotesis

2.14. La correspondencia toma valores compactos, es decir, ( x ) es un conjunto compacto para todo x X. Ademas, es continua.
En el siguiente lema, C ( X ) denota al conjunto de funciones continuas y aco
contadas en X. En particular, cualquier numero
a R representa una funcion
stante a( x ) = a para todo x X.
Lema 2.15 (Condiciones de Blackwell). Sea L : C ( X ) C ( X ) un operador con las
siguientes propiedades:
(a) Si h, g C ( X ) son tales que h g, entonces L[h] L[ g].
(b) Existe un numero

real 0 < < 1 tal que

L[h + a] L[h] + a

h C ( X ), a R.

Entonces L es una contraccion.

Demostracion. A partir de la desigualdad h g + kh gk se tiene
L [ h ] L [ g ] + k h g k.
De manera analoga, L[ g] L[h] + kh gk. Entonces

| L[h] L[ g]| + kh gk,

de donde se concluye que L es una contraccion.

continua y acotada, es
El siguiente operador, definido para cualquier funcion
fundamental para resolver el problema (2.19). Para cada h C ( X ), se define
L[h] ( x ) := sup {r ( x, y) + h[ f ( x, y)]},

(2.35)

y( x )

de transicion.
Es inmediato verificar que L cumple las Condidonde f es la funcion
ciones de Blackwell.
37

Teorema 2.16. Bajo las Hipotesis 2.13 y 2.14, existe una solucion para el problema (2.19).
Demostracion. Por el Teorema de Berge (Teorema 4.15), L[h] C ( X ) para cada h
C ( X ). Entonces, por el Lema 2.15 y el Teorema de Banach, el operador L : C ( X )

C ( X ) tiene un unico
punto fijo. Finalmente, por el Teorema 2.9, el unico
punto
de valor. Una poltica optima

fijo de L tiene que ser la funcion

puede encontrarse
usando (2.32).
de valor
Observacion
2.17. Como consecuencia del Teorema de Banach, la funcion
Sea V0 ( x ) 0 y
V puede aproximarse mediante la siguiente sucesion.
Vn+1 := L[Vn ]

para n = 0, 1, 2, . . . ,

(2.36)

de valor V = lmn Vn .
de este modo, la funcion

2.5.

El modelo de Brock y Mirman

se estudia el siguiente problema de crecimiento optimo,

En esta seccion
debido
a Brock y Mirman [4],



max
ln(ct )
{ct }
t =0

t =0

s. a : k t+1 = kt ct ,
ct [0, kt ] t = 0, 1, 2, . . . ,
k0 > 0 dado,

(2.37)

donde 0 < < 1. La variable de control ct representa el consumo y la variable de

estado k t representa el capital, ambas en el perodo t = 0, 1, . . ..
Proposicion
2.18. El problema de crecimiento o ptimo (2.37) satisface la Hipotesis 2.6.
Demostracion. De acuerdo con las restricciones del problema (2.37)
k t = kt1 ct1 kt1

t N.

Luego
r ( xt , ut ) = ln(ct )

= ln(kt k t+1 )
ln(kt )
= ln(k t ).

38

(2.38)

Por otro lado

ln(k t ) ln(k t1 )

2 ln(k t2 )
..
.
t ln(k0 ).

(2.39)

Entonces, por (2.38) y (2.39),

T

lm

T t =0

t r + ( xt , ut )

lm

t t+1 | ln(k0 )|

T t =0

| ln(k0 )|.
1

Por lo que existe el lmite (2.20) y puede ser .

Puesto que el modelo de Brock y Mirman no satisface la Hipotesis

2.13, no es
posible usar el Teorema 2.16 para garantizar la existencia de soluciones.
Teorema 2.19. Considerese el problema (2.19). Sea x0 X y L el operador dado por (2.35).
Supongase que existe una funcion V : X R tal que para cualquier poltica ( x0 )
y su correspondiente trayectoria de estados { xt }

(a) L[V ] V,
(b) lm t V ( xt ) 0,
t

(c) v(, x0 ) V ( x0 ).
Si la funcion W, dada por
W ( x ) := lm Lt [V ]( x ),
t

x X,

(2.40)

es solucion de la ecuacion de Bellman, entonces W = V.

(a), se tiene que Lt+1 [V ] Lt [V ] para todo t N.
Demostracion. Por la condicion
{ Lt [V ]( x )} es decreciente, por lo que el
Entonces, para cada x X, la sucesion
lmite en (2.40) existe (aunque puede ser ).
Mas aun,
W esta bien definida y W V.
por (b) se
De esta forma, la funcion
tiene
lm t W ( xt ) 0,
t

2.10,
y, en virtud de la Observacion
W V.
39

(2.41)

 Recuerdese que L cumple

Por otro lado, a partir de (c) se tiene que V V.
las Condiciones de Blackwell, en particular, L[V ] L[V ]. Por el Teorema 2.8, la
de valor satisface la ecuacion
de Bellman, i.e., L[V ] = V. Entonces V
funcion
2
L(V ), de donde, V = L[V ] L [V ], en general,
V Lt [V ]

t N.

Puesto que { Lt [V ]} es decreciente se debe cumplir la desigualdad

V W.

(2.42)

se tiene de (2.41) y (2.42).

La conclusion
Proposicion
2.20. Considerese el Modelo de Brock y Mirman. La funcion
V (k ) :=

ln(k )
1

satisface las condiciones (a)(c) del Teorema 2.19.

Demostracion. Sea = {ct } (k0 ) una poltica y {k t } la trayectoria de estados

asociada. Notese
que
L[V ](k ) =

max {ln(c) + V (k c)}




ln(k c)
= max ln(c) +
1
c[0,k ]
= V (k) + a1 ,
c[0,k ]

(2.43)
(2.44)

donde
a1 : =

ln() + ln(1 ).
1

El maximo en el lado derecho de (2.43) se alcanza cuando c = (1 )k . Puesto

que a1 < 0, se tiene (a).
(b) es una consecuencia inmediata de la desigualdad (2.39).
La condicion
Finalmente, por las desigualdades (2.38) y (2.39)
T

v(, k0 ) =

t ln(ct )
T
lm

t =0
T

lm

t t+1 ln(k0 )

T t =0

ln(k0 )
1
= V (k0 ).

Es decir, se cumple (c).

40


Para resolver el Modelo de Brock y Mirman, se tiene que encontrar la funcion
W dada por (2.40). De (2.44) se sigue que
L2 [V ](k ) = V (k) + a1 + a1 ,
en general,
Lt [V ](k) = V (k ) + a1 (1 + + . . . + t1 ).
Luego
W (k ) := lm Lt [V ](k )
t

= V (k) +
=

a1
1




ln(k) +
ln() + ln(1 ) .
1
1 1

W satisface la equacion
de Bellman. Mas aun,
por
Por el Ejercicio 1.1, la funcion
de valor asociada al Modelo de Brock y Mirman.
el Teorema 2.19, W es la funcion

Usando las Proposiciones 2.11 y 2.12 se puede calcular la poltica optima.

A partir

de (2.32), la poltica optima

{ct } y la trayectoria de estados {k t } satisfacen
V (k t ) +

a
a1
= ln(ct ) + V (kt ct ) + 1
1
1


a

= max ln(ct ) + V (k t ct ) +
,
ct
1

de donde se encuentra la estrategia markoviana ct = (1 )kt para t = 0, 1, . . ..

2.6.

Ecuaciones de Euler

{ xt }tT=1 que maximize una

En algunos modelos hay que encontrar una sucesion
objetivo de la forma
funcion
T 1

F (t, xt , xt+1 ),

x0 dado.

(2.45)

t =0

Observacion
2.21. En el problema anterior no aparece explcitamente la variable
de control, sin embargo, e ste se puede replantear de manera equivalente usando la
(2.13).
formulacion

F es diferenciable y los valores { xt }tT=0 son optimos

Si la funcion
e interiores,
entonces deben satisfacer las ecuaciones de Euler
Dxt F (t 1, xt1 , xt ) + Dxt F (t, xt , xt+1 ) = 0,
DxT F ( T 1, x T 1 , x T ) = 0.

t = 1, . . . , T 1,

(2.46)

Cuando el horizonte del problema es infinito las ecuaciones de Euler se reducen a

Dxt F (t 1, xt1 , xt ) + Dxt F (t, xt , xt+1 ) = 0,
41

t = 1, 2, . . . .

(2.47)

Teorema 2.22. Considerese el problema

(

max

{ x t +1 }
t =0 X

t =0

)


t F ( xt , xt+1 ) x0 = x dado ,

(2.48)

donde
(a) el espacio de estados X es un subconjunto abierto de Rn++ ,
(b) para cada y, la funcion F (, y) es creciente en cada una de sus primeras n variables,
(c) F (, ) es concava.

Si { xt }
t=0 (en particular, x0 = x) satisface las ecuaciones de Euler

Dxt F ( xt1 , xt ) + Dxt F ( xt , xt+1 ) = 0,

t = 1, 2, . . . ,

(2.49)

y la condicion
de tranversalidad
lm t Dxt F ( xt , xt+1 ) xt = 0,

(2.50)

entonces { xt+1 }
ptimo para el problema (2.35).
t=0 es o
en X, con x0 = x. Puesto que F es
Demostracion. Sea { xt+1 }
t=0 cualquier sucesion

concava
F ( xt , xt+1 ) F ( xt , xt+1 ) Dxt F ( xt , xt+1 ) ( xt xt ) + Dxt+1 F ( xt , xt+1 ) ( xt+1 xt+1 ).
Defnase T := tT=01 t [ F ( xt , xt+1 ) F ( xt , xt+1 )], entonces
T

T 1

t [ Dxt F ( xt , xt+1 ) ( xt xt ) + Dxt+1 F ( xt , xt+1 ) ( xt+1 xt+1 )]

t1 [ Dxt F ( xt1 , xt ) + Dxt F ( xt , xt+1 )] ( xt xt )

t =0
T 1

t =1

+ T 1 DxT F ( x T 1 , x T ) ( x T x T )
= 0 + T 1 [ DxT F ( x T , x T +1 )] ( x T x T )
=

DxT F ( x T , x T +1 ) x T
T DxT F ( x T , x T +1 ) x T
T

por (a) y (b).

de transversalidad lmT T 0, es decir,

Por la condicion

por (2.36)

DxT F ( x T , x T +1 ) x T

t F ( xt , xt+1 )

t =0

t F ( x t , x t +1 ).

t =0

42

2.7.

Ejercicios

2.1 Sea xt la riqueza de un individuo en el tiempo t. En cada etapa t, el individuo

ut de xt para consumir, dejando la proporcion
restante
decide la proporcion
1 ut para ahorrar. Suponga que la riqueza gana intereses a una tasa 1 > 0
y que la riqueza inicial x0 esta dada.

(a) Explique economicamente

la relacion
x t +1 = (1 u t ) x t ,

t = 0, 1, . . . , T 1.

(b) Suponga que el individuo desea maximizar su utilidad total dada por
tT=0 U (t, ut xt ). Escriba el correspondiente problema dinamico, con las restricciones adecuadas, e identifique las variables de estado y de control.
2.2 Suponga que se tiene una cantidad C de un recurso que se debe repartir (totalmente) entre N actividades. Si a la actividad k se le asigna una cantidad
del
uk , se obtiene un beneficio b(k, uk ). Si se quiere determinar la distribucion
como
recurso que maximiza los beneficios agregados, exprese esta situacion
un PCO.

2.3 Se dispone de una cantidad x0 de un bien. En cada uno de los T proximos

perodos (iniciando en t = 0 hasta t = T 1) se puede anadir

la cantidad
que se desee del bien, que se va acumulando. Transcurridos los T perodos, se
vendera la cantidad total del bien a un precio unitario p. Si en el perodo t se

anade
la cantidad ut , se incurre en un costo de cu2t . Suponiendo que hay un
mediante un
factor de descuento temporal 0 < < 1, describa esta situacion
PCO.
2.4 Resuelva el problema del Ejercicio 2.2, usando el Principio del maximo de

de
Pontryagin, si b(k, u) = u (el beneficio no depende de la actividad, solo
la cantidad asignada).

de mineral
2.5 El gestor de una mina debe determinar el plan optimo
de extraccion
ut , para t = 0, 1, 2, 3, 4, 5, 6. La mina debe abandonarse en t = 7. Se supone que

todo el mineral que se extrae se vende al precio p = 1. El coste de extraccion

es
u2
c(ut , xt ) = t ,
(2.51)
xt

donde xt representa la cantidad de mineral al comienzo del perodo

t.
(a) Calcule las derivadas parciales del coste en (2.51) e interprete los signos de
las mismas.

43


(b) Suponga que la tasa de interes es de 0.04. Explique por que la funcion
objetivo es de la forma


6
u2t
t
0.96 ut xt .
t =0
(c) Escriba el sistema dinamico asociado y resuelva el problema, usando el
principio del maximo de Pontryagin, si x0 = 1250.
Respuesta: (u0 , u1 , u2 , u3 , u4 , u5 , u6 , u7 ) = (262.5, 227.1, 190.1, 154, 129, 109.2, 89.1).

2.6 Sea xt el valor de los activos de un inversionista en el tiempo t, y sea ut el

consumo en el mismo perodo. Suponga que los activos en el tiempo t + 1 son
proporcionales al ahorro xt ut hecho en t,
x t +1 = a t ( x t u t ),

at > 0,

t = 0, 1, . . . , T 1.

Asuma que los activos iniciales x0 > 0 y los parametros at estan dados. Suponga que la recompensa por etapa es
R(t, x, u) = t u1 ,
donde , (0, 1). Si al final del horizonte temporal el inversionista tiene una
1
utilidad S( x T ) = T Ax T
(a) formule el correspondiente PCO,
dinamica.
(b) resuelvalo usando programacion
dinamica
2.7 Resuelva el siguiente problema usando programacion
(
)

3

2 
max (1 + xt ut )  xt+1 = xt + ut , x0 = 0 .
t =0

Encuentre ademas las funciones Js (s = 4, 3, 2, 1, 0) dadas por (2.15)(2.16).

Sugerencia: Considere S( x4 ) = 0.
Respuesta: (u0 , u1 , u2 , u3 ) = ( 23 , 1, 12 , 0).

2.8 Resuelva el problema anterior usando el principio del maximo de Pontryagin.

2.9 Encuentre las estrategias markovianas y las de lazo abierto que resuelven el
siguiente problema
(
)


T 1 

2
max ut xt + ln( x T )  xt+1 = xt (1 + ut xt ), x0 > 0, ut 0 .
3
t =0
44

Sugerencia: Observe que JT k ( x ) = ln x + kC, k = 0, 1, . . . , T, donde C es una constante.

Respuesta: ut ( xt ) =

1
2xt ,

ut = (2x0 )1 ( 32 )t .

de recompensa por etapa

2.10 En el Ejercicio 2.1 considere la funcion

U (t, ut xt ) = (1 + r )t ut xt , r > 0.
Calcule us ( x ) para s = T, T 1, T 2.
objetivo del Ejercicio 2.1 por tT=0 (1 + r )t ut xt .
2.11 Sustituya la funcion
(a) Calcule uT ( x ), uT 1 ( x ).
(b) Muestre que existen constantes Ps (que dependen de , r) tales que Js ( x ) =

Ps x para s = 0, 1, . . . , T. Encuentre J0 ( x ) y los valores optimos

de uo , . . . , u T
Sugerencia: Considere dos casos < 1 y 1.

dinamica
2.12 Resuelva el siguiente problema usando programacion
(
)

T

max (3 ut ) xt2  xt+1 = xt ut , x0 dado .
u [0,1]
t

t =0

2.13 Considere el problema

(
T 1

max
u t R

(eut ) exT

t =0

)


 xt+1 = 2xt ut , x0 dado .


(a) Calcule JT ( x ), JT 1 ( x ), JT 2 ( x ).
en diferencias para
(b) Muestre que Jt ( x ) = t ex y encuentre una ecuacion
t .
2.14 Resuelva el Ejercicio 2.10 cuando r = 0.

2.15 Considere el siguiente problema de crecimieto economico

(
)



max t ln ct  k t+1 = Akt ct , k0 dado ,
t =0

donde , (0, 1), A > 0 y ct [0, kt ] para t = 0, 1, 2, . . ..

(a) Interprete economicamente

este problema.
y encuentrela. Sugerencia: Suponga que la funcion
(b) Suponga que existe una solucion
de valor es de la forma V (k ) = E ln(k ) + F. Use la ecuacion de Bellman para encontrar las
constantes E, F.

45

 {k t } es convergente.
(c) Pruebe que la sucesion
(d) Encuentre el punto de equilibrio del capital y determine si es estable.
y encuentrela usando la ecuacion

2.16 Suponga que el siguiente PCO tiene solucion

de Bellman (2.20)
(
)



max
t (ut xt )1  xt+1 = a(1 ut )xt , x0 dado ,
u (0,1)
t

t =0

donde a es un parametro positivo, , (0, 1) y a1 < 1.

Sugerencia: Suponga que V ( x ) = kx1 , para alguna constante k.

2.17 Resuelva el siguiente problema asumiendo que tiene solucion

)
(
 



1
max t eut e xt  xt+1 = 2xt ut , x0 dado ,
2
u t R t =0
donde (0, 1).
Sugerencia: Suponga que V ( x ) = e x , para alguna constante positiva .

2.18 (CruzSuarez y MontesdeOca (2008)) Considere el problema de maximizacion

max{ f ( x, ) | x A( )},
donde A :  Rm es una correspondencia con valores convexos, Rn y
f : H R, con
H := {( x, ) | x A( ), }.

Suponga que se cumplen las siguientes hipotesis

(S1) f C 2 (int( H )), ademas, Dxx f (, ) es definida negativa para cada ,
h : Rm tal que h( ) int( A( )), y
(S2) hay una funcion
V ( ) := max{ f ( x, ) | x A( )} = f (h( ), )

(2.52)

Para cada int(), demuestre lo siguiente:

(a) Dx f (h( ), ) = 0,
(b) la matriz Dxx f (, ) es invertible,
h es diferenciable y Dh( ) = Dx f (h( ), )[ Dxx f (h( ), )]1 ,
(c) la funcion
V es diferenciable y V 0 ( ) = Dx f (h( ), ) Dh( ) + D f (h( ), ),
(d) la funcion
46

(e) de hecho, V 0 ( ) = D f (h( ), ).

para V 00 .
Concluya que V C 2 (int()) y encuentre una expresion
Sugerencia: En el inciso (c) use el Teorema de la funcion implcita.
V 00 ( ) = Dx f (h( ), ) Dh( ) + D f (h( ), ).

2.19 (CruzSuarez y MontesdeOca (2008)) Sean {Vn } las funciones definidas por

(2.36), correspondientes al problema de crecimiento economico

del Ejercicio
2.15, con A = 1.
(a) Use el problema anterior para demostrar que
Vn0 (k ) =

n 1
()t
k t
=0

n = 1, 2, . . . .

(b) Del inciso (a) concluya que

Vn (k ) = An ln k + Mn ,

k
,
A n +1

n (k ) =

n = 1, 2, . . . ,

donde An = nt=01 ()t y Mn es una constante de integracion.

(c) Use (2.36) para probar que

Mn Mn1 = ln An + An1 ln

An 1
An


,

n = 1, 2, . . . .

{ Mn } es convergente?
(d) Por que la sucesion
(e) Encuentre lmn Mn y lmn An .
de valor V (k ), as como la poltica estacionaria (k ).
(f) Determine la funcion
2.20 Considere el problema
(

max

t =0

)


t U (ct )  xt+1 = ( xt + yt ct ), x0 dado ,

(2.53)

de utilidad estrictamente concava

donde U es una funcion

y de clase C 2 , {yt }
son constantes dadas.

(a) Use las ecuaciones de Euler para deducir la siguiente relacion

U 0 ( c t 1 )
= .
U 0 (ct )

47

(b) De esta igualdad concluya que el consumo es constante si = 1, creciente

cuando > 1 y decreciente en el caso < 1.

2.21 Considere el problema de crecimiento economico

(
)



max t U (ct ) k t+1 = f (k t ) ct , k0 dado ,
t =0

de utilidad que satisface U 0 (c) > 0, U 00 (c) < 0 y

donde U es una funcion
de produccion
f satisface f 0 (k ) > 0 y
lmc0+ = ; mientras que la funcion

f 00 (k ) < 0. Demuestre que se cumple la relacion

U 0 ( c t +1 ) 0
0
f (k t+1 ) = 1.
U (ct )
dinamica estocastica) El objetivo de este ejercicio es generalizar
2.22 (Programacion
el Teorema 2.4 al caso estocastico. Suponga que el estado del sistema evoluciona de acuerdo con
xt+1 = f (t, xt , ut , t ),

t = 0, 1, . . . , T 1,

(2.54)

de variables aleatorias independientes y cada t

donde { t } es una sucesion
de probabilidad
tiene una distribucion
Pt ( | xt , ut )
objeque no depende de las perturbaciones anteriores t1 , . . . , 0 . La funcion
tivo, que depende de la poltica (markoviana) := {u0 ( x0 ), . . . , ut1 ( xt1 )} y
del estado inicial x0 = x, es de la forma
"
#
v(, x ) := E

T 1

R(t, xt , ut , t ) + S(xT )

(2.55)

t =0

El problema es encontrar una poltica que maximice (2.55) sujeto a (2.54) y

inicial x0 . Bosqueje la demostracion
del siguiente resultado:
la condicion
Teorema 2.23. Sean JT , JT 1 , . . . , J0 funciones definidas mediante
JT ( x T ) = S ( x T )

(2.56)

Js ( xs ) = max E{ R(s, xs , us , s ) + Js+1 [ f (s, xs , us , s )]},

(2.57)

y para s = T 1, T 2, . . . , 0,
us

donde la esperanza se calcula con respecto a la distribucion de probabilidad de s ,

que puede depender de xs y us . Si para cada s = 0, 1, . . . , T 1, existe una funcion
us : X U que alcanza el maximo en el lado derecho de (2.57), entonces la estrategia
= {u0 , u1 , . . . , uT 1 }
es o ptima.
48

 objetivo
Observacion
2.24. Si el problema es de horizonte infinito, con funcion

v(, x0 ) = E t r ( xt , ut ),
t =0

y ley de movimiento xt+1 = f ( xt , ut , t ), bajo ciertas hipotesis

(ver Stokey y
de Bellman
Lucas (1989) o HernandezLerma y Lasserre (1996)), la ecuacion
adopta la forma (compare con (2.25))
V ( x ) = max{r ( x, u) + EV ( f ( x, u, ))}.
u

(2.58)

V es igual al lmn Vn , donde {Vn } esta dada por V0 0 y para

La funcion
n = 1, 2, . . . ,
Vn ( x ) = max{r ( x, u) + EVn1 [ f ( x, u, )]}.
(2.59)
u

2.23 (Problemas LQ) Un problema LQ consiste de un sistema lineal con una recompensa por etapa cuadratica, tambien se conoce como problema del regulador

lineal. Suponga que el sistema dinamico evoluciona de acuerdo con la ecuacion

xt+1 = xt + ut + t ,

t = 0, 1, . . . ,

de costo esta dada por

con , R, la funcion
"
E

T 1

(qxt2 + ru2t ) + qT XT2

#
,

(2.60)

t =0

donde q, q N 0 y r > 0 son constantes dadas. Las perturbaciones { t } son

variables aleatorias i.i.d., no dependen del estado ni de la variable de control,
con media cero y varianza finita, i.e.,
E( 0 ) = 0, y 2 := E( 02 ) < .
Si se quiere minimizar el costo (2.60), demuestre que las funciones de poltica

optima
estan dadas por
s ( x ) = Gs x, con Gs := (r + Ks+1 2 )1 Ks+1
donde las constantes Ks estan dadas recursivamente por KT = q T y para s =
T 1, . . . , 0,
Ks = [1 (r + Ks+1 2 )1 Ks+1 2 ]Ks+1 2 + q.

Cual es la forma de las funciones Js ? En particular, cual es el costo optimo?

49

2.24 Resuelva el Ejercicio 2.6 pero suponiendo que los activos cambian de acuerdo

con la siguiente ecuacion

x t +1 = t ( x t u t ),

at > 0,

t = 0, 1, . . . , T 1,

donde { t } son variables aleatorias i.i.d. con valores positivos. Suponga que
1
existen constantes at tales que at
= E[ t1 ], compare con los resultados del
Ejercicio 2.6.
2.25 En el siguiente PCO estocastico, los controles ut toman valores en R y , son
constantes positivas
  T 1

ut
x T
max E (e
) e
t =0




 xt+1 = 2xt ut + t , x0 dado .


Las variables aleatorias { t } son i.i.d. y existe una constante k = E[e t ].

(a) Muestre que las funciones Jt son de la forma Jt ( x ) = t ex ,
en diferencias para t ,
(b) encuentre una ecuacion
de frontera T .
(c) determine la condicion

2.26 Resuelva el siguiente PCO estocastico. El objetivo es maximizar la funcion

"
#
E

T 1

+ ax T
2u1/2
t

t =0

con a > 0 y ut 0. El estado del sistema xt+1 toma sus valores en el con inicial x0 > 0
junto {0, xt ut } cada uno con probabilidad 1/2. La condicion
esta dada.
2.27 Considere el PCO estocastico
(
)



max E t ( xt ut )1  xt+1 = t (1 ut ) xt , k0 , 0 = s0 dados ,
t =0

de
donde , (0, 1), ut (0, 1) para t = 0, 1, 2, . . . y { t } es una sucesion
1

VAs no negativas i.i.d. tales que := E(

) < .
y escriba la correspondiente ecuacion

(a) Asuma que el problema tiene solucion

de Bellman.
de valor es de la forma V ( x ) = Fx1 . Encuentre
(b) Suponga que la funcion

la poltica markoviana optima.

Respuesta: ut =

50

1
1+[ F]1/

, donde F = [1 ( )1/ ] .

2.28 Considere el PCO estocastico

(
)



t
2
2 
max E ( xt ut ) xt+1 = ut + xt + t , k0 , 0 = s0 dados ,
t =0

de VAs no
donde (0, 1), ut R para t = 0, 1, 2, . . . y { t } es una sucesion
2
2
negativas i.i.d. tales que E( ) = 0 y E( ) = .
de valor es de la forma V ( x ) = Ax2 + B. Encuentre la
Suponga que la funcion

poltica markoviana optima

y las constantes A, B.

Respuesta:

ut

Axt
1 A

, donde A =

12 1+42
2

yB=

A2
1 .

2.29 (Brock y Mirman (1972)) Considere el siguiente problema de crecimiento economico estocastico
(
)



max E t ln ct  k t+1 = A t kt ct , k0 , 0 = s0 dados ,
{ct }

t =0

donde , (0, 1), A > 0, ct [0, kt ] para t = 0, 1, 2, . . . y {ln( t )} es una

de VAs normales i.i.d. con media cero y varianza 2 . En este modelo,
sucesion
a diferencia de los problemas anteriores, el control ct es escoge despues de que
se ha realizado el ruido t = st .
(a) Defina el estado del sistema como el par (k t , st ) donde st es el valor que
de Bellman.
toma la VA t . Escriba la correspondiente ecuacion
Sugerencia: Ver Sargent [18, Seccion 1.7, pp. 3536].

de valor es de la forma
(b) Suponga que la funcion
V (k, s) = F ln(k ) + G ln(s) + H.

Encuentre las constantes F, G, H, as como la poltica markoviana optima.

2.30 Considere el Modelo de Brock y Mirman del Ejercicio 2.15, con A = 1.
de Euler puede escribirse como
(a) Muestre que la ecuacion

z t 1
1
+
= 0 t = 1, 2 . . . ,
1 z t 1
1 zt

(2.61)

donde zt := k t+1 /kt .

(b) Demuestre que el cambio de variable zt = xt+1 /xt permite escribir (2.61)
en la forma
xt+1 (1 + ) xt + xt1 = 0
51

t = 1, 2 . . . .

(2.62)

(c) Resuelva (2.62) y pruebe que

zt =

c1 + c2 ()t+1
,
c1 + c2 ()t

(2.63)

para algunas constantes c1 , c2 R.

de transversalidad (2.50) para demostrar que c1 =
(d) Use (2.63) y la condicion
0.

(e) Encuentre la poltica markoviana optima

y demuestre que {k t } es convergente.

52

3.
3.1.

Optimizacion
dinamica en tiempo continuo
Formulacion
del PCO en tiempo continuo

Supongase
que el estado de un sistema en el instante t puede ser descrito por un
sistema de ecuaciones diferenciales de la forma
x (t) = f (t, x (t), u(t)),

para t [0, T ],

x (0) = x0 dado,

(3.1)

donde x (t) X y u(t) U (t, x (t)) representan a las variables de estado y con 2.1, se asume que X Rn y
trol, respectivamente (al igual que en la Seccion
U (t, x (t)) Rm ). Se supone tambien que f (, , ) C 1 .

El numero
real T > 0 representa el horizonte o tiempo terminal; si el horizonte
temporal es infinito, el intervalo [0, T ] es reemplazado por [0, ).
Adicionalmente, el sistema puede tener alguna restriccion
terminal, por ejemplo, x ( T ) = x T o lmt x (t) 0.
Definicion
3.1. Un par de funciones ( x (), u()) : [0, T ] Rn Rm es un par admisible si
(a) u(t) U (t, x (t)) para todo t [0, T ], u() es continua a trozos,
(b) x () es continua, diferenciable a trozos y con derivada continua (siempre que exista),
(c) x (), u() satisfacen la ecuacion diferencial (3.1) para los valores de t en los cuales u()
es continua y x () es diferenciable, y
(d) se satisface la restriccion terminal (si la hay).
La funcion x () se conoce como trayectoria de estado, mientras que u() es la trayectoria
de control o control admisible.
En estas notas, un PCO en tiempo continuo consiste en encontrar un control
admisible u() que optimice un funcional de la forma
Z T
0

g(t, x (t), u(t)) dt + S( T, x ( T )),

(3.2)

integrable tal que sus dervadas

donde g(, , ) : R Rn Rm R es una funcion
parciales con respecto a x y u son continuas, S(, ) es de clase C 1 y representa un
valor de salvamento.

53

3.2.

La ecuacion
de HamiltonJacobiBellman

se deriva (de manera heurstica) la ecuacion

de Hamilton
En esta seccion

JacobiBellman (HJB) para problemas en tiempo continuo y es analoga a la ecuacion

discde Bellman en tiempo discreto. La idea principal es hacer una aproximacion
dinamica desarrollada en la
reta del problema y usar la tecnica de programacion
2.3.
Seccion
Por simplicidad, primero se considera el caso autonomo, es decir, cuando las
funciones f y g no dependen explcitamente de t. En este caso el sistema dinamico
(3.1) se reduce a
x (t) = f ( x (t), u(t)),

para t [0, T ],

x (0) = x0 dado,

(3.3)

mientras que el funcional objetivo adquiere la forma

Z T
0

g( x (t), u(t)) dt + S( x ( T )).

(3.4)

Si se divide el horizonte temporal [0, T ] en N subintervalos de longitud igual a

T
,
N

:=
se tienen las variables discretas
xk := x (k),

k = 0, 1, . . . , N,

uk := u(k),

k = 0, 1, . . . , N.

del sistema dinamico

Con estas variables se tiene la siguiente aproximacion
x k +1 = x k + f ( x k , u k ),

k = 0, 1, . . . , N 1,

objetivo
y la funcion
N 1

g( xk , uk ) + S( x N ).

k =0

Defnanse
T





J (, x ) := max
g( x (t), u(t)) dt + S( x ( T ))  x ( ) = x ,
u()


 N 1


J (s, x ) := max g( xk , uk ) + S( x N )  xs = x .
Z

uk

k=s

Usando el algoritmo de PD se tiene, para s = N

J ( N, x ) = S( x ),
54

y para s = N 1, N 2, . . . , 0
J (s, x ) = max{ g( x, u) + J ((s + 1), x + f ( x, u))}.
u

Suponiendo que = s, la igualdad anterior se puede reescribir como

J (, x ) = max{ g( x, u) + J ( + , x + f ( x, u))}.
u

(3.5)

de Taylor2 (de primer orden) para J alrededor del punto

Considerese la expansion
(, x )
J ( + , x + f ( x, u)) = J (, x ) + D J (, x ) + Dx J (, x ) f ( x, u) + o (),
donde o () es tal que lm0
se obtiene

o ()

en (3.5)
= 0, sustituyendo esta ultima
expresion

0 = max{ g( x, u) + D Jd (, x ) + Dx Jd (, x ) f ( x, u) + o ()/}.
u

Tomando el lmite cuando 0 y suponiendo que lm0 J (, x ) = J (, x ), se

deduce la ecuacion
de HamiltonJacobiBellman
0 = max{ g( x, u) + D J (, x ) + Dx J (, x ) f ( x, u)},
u

de frontera
con la condicion
J ( T, x ) = S( x ).
Teorema 3.2. Supongase que V : [0, T ] X R satisface la ecuacion de HJB
0 = max{ g( x, u) + D V (, x ) + Dx V (, x ) f ( x, u)},
u

(3.6)

y la condicion de frontera
V ( T, x ) = S( x ).

(3.7)

Supongase tambien que u = (, x ) maximiza el lado derecho de (3.6), sea x la correspondiente trayectoria de estado, i.e.,
x (t) = f ( x (t), (t, x (t))),

t [0, T ],

x (0) = x0 .

Entonces u maximiza (3.4), sujeto a (3.3), mas aun

V (, x ) = J (, x )
2 Ver

Sundaram (1996), Teorema 1.75, p. 64.

55

, x.

(3.8)

Demostracion. Sea ( x (), u()) cualquier par admisible, entonces

0 g( x ( ), u( )) + D V (, x ( )) + Dx V (, x ( )) f ( x ( ), u( ))
d
= g( x ( ), u( )) + V (, x ( ))
d

por (3.6)
por (3.3).

Integrando ambos lados de la desigualdad anterior y usando el Teorema fundamental del calculo
0

Z T
0

g( x ( ), u( )) d + V ( T, x ( T )) V (0, x (0)).

de frontera (3.7)
Luego, por la condicion
V (0, x (0))

Z T
0

g( x ( ), u( )) d + S( x ( T )).

(3.9)

Si ahora se hace el mismo analisis para el par admisible ( x , u ) la desigualdad

anterior se convierte en la igualdad
V (0, x (0)) =

Z T
0

g( x ( ), u ( )) d + S( x ( T )).

(3.10)

De las ecuaciones (3.9) y (3.10) se concluye que u es optimo

y, ademas,
V (0, x (0)) = J (0, x (0)).
La igualdad (3.8) se demuestra repitiendo los pasos anteriores para un tiempo
inicial [0, T ] y un estado x X cualesquiera.
Corolario 3.3. Supongase que V : [0, T ] X R satisface la ecuacion de HJB
0 = max{ g(, x, u) + D V (, x ) + Dx V (, x ) f (, x, u)},
u

(3.11)

y la condicion de frontera
V ( T, x ) = S( T, x ).

(3.12)

Supongase tambien que u = (, x ) maximiza el lado derecho de (3.11), sea x la

correspondiente trayectoria de estado, i.e.,
x (t) = f (t, x (t), (t, x (t))),

t [0, T ],

x (0) = x0 .

Entonces u maximiza (3.2), sujeto a (3.1), mas aun

V (, x ) = J (, x )
Demostracion. Ejercicio 3.1.
56

, x.

(3.13)

3.3.

Principio del maximo de Pontryagin

se estudia una tecnica muy usada para resolver un PCO: el

En esta seccion
Principio del Maximo de Pontryagin3 (PMP). Considerese el PCO descrito en la
3.1
Seccion
Z T

max
g(t, x (t), u(t)) dt + S( T, x ( T ))
u

(3.14)
s. a

x (t) = f (t, x (t), u(t)),

x (0) = x0

se define el Hamiltoniano, H : R Rn Rm Rn R, mediante

H(t, x, u, ) := g(t, x, u) + h, f (t, x, u)i .

(3.15)

se asume que es un vector fila, a

Por razones de consistencia en la notacion,
diferencia del resto de vectores y funciones.
Teorema 3.4 (Principio del maximo de Pontryagin). Sea ( x (), u ()) una solucion
del PCO (3.14). Entonces existe una funcion : [0, T ] Rn continua, diferenciable a
trozos y con derivada continua que satisface la ecuacion
adjunta

(t) = Dx H(t, x (t), u (t), (t))

(3.16)

junto con la condicion

de frontera
( T ) = D x S ( x ( T ), T ),

(3.17)

y la maximizacion
del Hamiltoniano

H(t, x (t), u (t), (t)) =

max

uU (t,x (t))

{H(t, x (t), u, (t))}.

(3.18)

Las ecuaciones (3.16) y (3.18) se satisfacen para casi todo t [0, T ].

del PMP se supone que la funcion

Observacion
3.5. En la siguiente demostracion
de valor

Z T



V (, x ) := max
g(t, x (t), u(t)) dt + S( T, x ( T ))  x ( ) = x
(3.19)
u()

de HJB
es de clase C 2 . Se asume, ademas, que en el lado derecho de la ecuacion
teorema de la envolvente (ver Ejercicio 2.18). Estos supuestos
se puede usar algun
no siempre se cumplen, por ejemplo, en el Ejercicio 3.4 se pide demostrar que
de valor no es diferenciable. Una demostracion
mas general del PMP
la funcion
puede encontrarse en Fleming y Rishel (1975) [Cap. 2] o Gamkrelidze (1978).

3 El

(3.18)
nombre viene de la ecuacion

57

 de HJB
Demostracion. Por el Corolario 3.3, la ecuacion

Dt V (t, x ) = max{ g(t, x, u) + Dx V (t, x ) f (t, x, u)}

u

(3.20)

de frontera V ( T, x ) = S( T, x ) se satisfacen para el par optimo

y la condicion

( x (), u ()). Defnase

(t) := Dx V (t, x (t)),
(3.21)
de frontera (3.17) y la maximizacion
del Hamiltoentonces se cumple la condicion
niano (3.18). Derivando ambos lados de (3.20) con respecto a x y usando el Ejercicio
2.18 se obtiene que

Dt [ Dx V (t, x )] = Dx [ g(t, x, u ()) + Dx V (t, x ) f (t, x, u ())],

en particular, para x = x (t) esta igualdad se reduce a

(t) = Dx H(t, x (t), u (t), (t)).

Condiciones suficientes para la optimalidad

El PMP da condiciones necesarias para la optimalidad, sin embargo, bajo hi
potesis
de concavidad y convexidad el PMP es suficiente para encontrar controles

optimos.
Teorema 3.6 (Mangasarian). Sean ( x (), u ()), () un par admisible y una funcion
que satisfacen el PMP. Supongase que U ( x, t) es convexo para todo ( x, t), H es una funcion
concava en ( x, u) y S es concava en x. Entonces ( x (), u ()) es o ptimo para el problema
(3.14).

Demostracion. Sea ( x (), u()) cualquier par admisible, para simplificar la notacion
defnanse
:=

Z T
0

g(t, x (t), u (t)) dt + S( T, x ( T ))

H := H(t, x , u , ),
S := S( T, x ( T )),

Z T
0

g(t, x (t), u(t)) dt + S( T, x ( T )),

H := H(t, x, u, ),
S := S( T, x ( T )).

Por la concavidad de H y S

H H D x H ( x x ) + Du H ( u u )
Dx H ( x x )
= ( x x )
58

por (3.18)
por (3.16),

(3.22)

ademas,
S S Dx S ( x ( T ) x ( T )).

(3.23)

Luego,
=

Z T

(H H) +

Z T
0

Z T

Z T
0

( x x ) +

Z T
0

( x x ) + S S
( x x ) + S S

por (3.22)

D [( x x )] + Dx S ( x ( T ) x ( T ))

por (3.23)

( T )( x ( T ) x ( T )) 0 + ( T )( x ( T ) x ( T ))

por (3.17)

= 0
Definicion
3.7. Para el PCO (3.14) se define el Hamiltoniano maximizado, H : R
Rn Rn R, mediante
t, x, ) := max {H(t, x, u, )}.
H(
uU (t,x )

introducida en la demostracion
del Teorema 3.6 y suponiendo
Con la notacion
que se satisfacen las condiciones necesarias del PMP, se cumple que
t, x , ) = H(t, x , u , ) = H .
H(
concava

Si el Hamiltoniano maximizado H es una funcion

en x y se supone que
t, x, ) = Dx [H(t, x, u ( x ), )],
Dx H(

(3.24)

entonces la desigualdad (3.22) puede demostrarse de forma alternativa

t, x , ) H(
t, x, )
H H H(
t, x , ) ( x x )
Dx H(

= Dx [H(t, x , u , )] ( x x )
= ( x x )

por (3.25)
por (3.17).

Con esta ultima

desigualdad y bajo la hipotesis
hecha en (3.24) se demuestra el
siguiente teorema.
Teorema 3.8 (Arrow). Sean ( x (), u ()), () un par admisible y una funcion que satisfacen el PMP. Supongase que H y S son funciones concavas en x. Entonces ( x (), u ())
es o ptimo para el problema (3.14).
del Teorema 3.8 esta basado en (3.24), donde se
El bosquejo de la demostracion

alternativa, pero que

asume implcitamente que u es interior. Una demostracion

asume que x es interior, se puede encontrar en Grass et al. (2008) [Teorema 3.30,
p.121].
59

3.4.

Calculo de variaciones. Ecuacion

de Euler

El problema mas sencillo del calculo de variaciones es de la forma


Z t


1

max
F (t, x (t), x (t)) dt  x (t0 ) = x0 , x (t1 ) = x1 .
x ()

t0

(3.25)

donde x () : [t0 , t1 ] Rn , F : [t0 , t1 ] Rn Rn R. Por simplicidad se asume

que x, F son de clase C 2 .

Lema 3.9 (Formula

de Leibniz). Sea f : [ a, b] [c, d] R una funcion de clase C 2 .
Entonces
Z
Z b
d b
f
(t, ) dt.
f (t, ) dt =
d a
a
Demostracion. Ver Rudin (1976) [Teorema 9.42, pp. 236237].
Teorema 3.10. Si x () es solucion del problema (3.25), entonces satisface la ecuacion
de
Euler
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) = 0.
(3.26)
x
dt x
de clase C 2 tal que h(t0 ) =
Demostracion. Sea h : [t0 , t1 ] Rn cualquier funcion
h(t1 ) = 0. Defnase
x (t) := x (t) + h(t), R,
satisface que x (t0 ) = x0 y x (t1 ) = x1 , es decir, x () es admisible para
esta funcion
el problema (3.25). Defnase tambien J : R R, mediante
J () :=

Z t1
t0

F (t, x (t) + h(t), x (t) + h (t)) dt.

Dado que x () es optimo,

se verifica la desigualdad J () J (0), es decir, la funcion
J tiene un maximo (interior) en = 0 por lo que su derivada se anula en este punto.

Por la Formula
de Leibniz
dJ
() =
d

Z t1
F
t0

(t, x (t) + h(t), x (t) + h (t)) dt,

luego
dJ
(0) =
d

Z t1 
F
t0

(t, x

(t), x (t)) h(t) +


F

(t, x (t), x (t)) h (t) dt = 0.

x

Si se integra por partes el segundo termino del integrando


Z t1
Z t1 
F
d F

(t, x (t), x (t)) h (t) dt =

(t, x (t), x (t)) h(t) dt,
dt x
t0 x
t0
60

(3.27)

 h(t0 ) = h(t1 ) = 0. Volviendo a (3.27)

donde se ha usado la condicion

Z t1 
F
d
F

(t, x (t), x (t))

(t, x (t), x (t)) h(t)dt = 0,
x
dt x
t0
h es arbitraria, por el Ejercicio 3.13, se cumple que
puesto que la funcion
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) 0.
x
dt x
Teorema 3.11. Si x () satisface la ecuacion
de Euler y F es concava en ( x, x ), entonces

x () es una solucion para el problema (3.25).

Demostracion. Ejercicio 3.14.
Otras condiciones terminales
Teorema 3.12. Si x () es solucion del problema


Z t

1
F (t, x (t), x (t)) dt  x (t0 ) = x0 , x (t1 ) libre ,
max
x ()

t0

(3.28)

entonces satisface la ecuacion

de Euler
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) = 0

x
dt x
y la condicion
de transversalidad
F
(t1 , x (t1 ), x (t1 )) = 0.
x

(3.29)

Demostracion. Defnase x1 := x (t1 ), de este modo el problema (3.28) es de la forma

de
(3.25) y se puede usar el Teorema 3.10 por lo que se debe satisfacer la ecuacion
Euler.
de transversalidad (3.29) se demuestra de una forma similar a la
La condicion
del Teorema 3.10. Considerense funciones de la forma
demostracion
x (t) := x (t) + h(t),

R,

donde h es de clase C 2 y h(t0 ) = 0; de este modo x (t0 ) = x0 y x (t1 ) no esta re

stringido. Como x () es un maximo se cumple (3.27), sin embargo, la integracion
por partes da como resultado
Z t1
F
t0

F
(t, x (t), x (t)) h (t) dt =
(t1 , x (t1 ), x (t1 ))h(t1 )
x
x

Z t1 
d F

(t, x (t), x (t)) h(t) dt.

dt x
t0
61

 de Euler, se llega a
Sustituyendo en (3.27) y usando la ecuacion
F
(t1 , x (t1 ), x (t1 ))h(t1 ) = 0,
x
por ser h arbitraria se puede escoger de tal forma que h(t1 ) 6= 0 y por lo tanto
F
(t1 , x (t1 ), x (t1 )) = 0.
x

Observacion
3.13. El problema (3.28) es una caso particular de un PCO (3.14) y,
de Euler a partir del PMP (siempre que
por lo tanto, es posible deducir la ecuacion

u sea interior).
hay que hacer T = t1 , x (t) = u(t), g(t, x (t), u(t)) = F (t, x (t), x (t))
En efecto, solo
(3.16) se convierte en
y S( T, x ( T )) 0. Usando el PMP, la ecuacion

F
,
x

(3.30)

del Hamiltoniano satisface la condicion

necesaria
mientras que la maximizacion
F
+ = 0.
u

(3.31)

Al tomar la derivada con respecto a t en (3.31) y combinando con (3.30) se tiene la

de Euler.
ecuacion
en el caso escalar (cuando n = 1 en el problema (3.25)) supongase

Mas aun,
de segundo orden Duu H 0. Entonces F satisface otra
que H cumple la condicion
necesaria
condicion
Dx x F (t, x (t), x (t)) 0,
llamada condicion
de Legendre, ver Cerda Tena (2001) [Teorema 2.2, pp. 4142] o
6, pp. 4145].
Kamien y Schwartz (1991) [Seccion

Teorema 3.14. Si x () es solucion del problema


Z t


1

max
F (t, x (t), x (t)) dt  x (t0 ) = x0 , x (t1 ) a ,
x ()

t0

(3.32)

entonces satisface la ecuacion

de Euler
d F
F
(t, x (t), x (t))
(t, x (t), x (t)) = 0
x
dt x
y la condicion
de transversalidad
F
(t1 , x (t1 ), x (t1 )) 0, con igualdad si x (t1 ) > a.
x
62

(3.33)

Demostracion. Defnase x1 := x (t1 ) a, as el problema (3.32) es de la forma

de Euler se sigue del Teorema 3.10.
(3.25); la ecuacion
(3.33), considerense funciones x (t) := x (t) + h(t),
Para verificar la condicion
tales que
x (t1 ) + h(t1 ) a
(3.34)
donde h es de clase C 2 y h(t0 ) = 0; de este modo x (t0 ) = x0 y x (t1 ) a. Con la
que se uso en la demostracion
del Teorema 3.12 se tiene que
misma notacion
dJ
F
(0) =
(t1 , x (t1 ), x (t1 ))h(t1 ).
d
x

(3.35)

Puesto que x (t1 ) a, se distinguen dos casos: x (t1 ) > a y x (t1 ) = a.

de factibilidad (3.34) se cumple

Caso 1. Supongase
que x (t1 ) > a. La condicion
para cualquier valor no negativo de h(t1 ), mientras que si h(t1 ) es negati La optimalidad
vo, entonces se debe escoger || suficientemente pequeno.

de x (t1 ) implica la desigualdad J (0) J () en alguna vecindad del 0, es

decir, J tiene un maximo local en = 0, por lo que la derivada de J debe
anularse en = 0, i. e.,
F
(t1 , x (t1 ), x (t1 ))h(t1 ) = 0.
x
h puede tomar valores positivos o negativos en t1 , luego
La funcion
F
(t1 , x (t1 ), x (t1 )) = 0.
x
de factibilidad (3.34) se cumple siempre
Caso 2. Cuando x (t1 ) = a, la condicion
h es tal que h(t1 ) > 0, entonces J () J (0)
que h(t1 ) 0. Si la funcion
para todo > 0; luego
dJ
F
(0) =
(t1 , x (t1 ), x (t1 ))h(t1 ) 0,
d
x
de donde
F
(t1 , x (t1 ), x (t1 )) 0.
x
En contraparte, si h(t1 ) < 0, entonces tiene lugar la desigualdad J ()
J (0) para todo < 0; luego
dJ
F
(0) =
(t1 , x (t1 ), x (t1 ))h(t1 ) 0,
d
x
por lo que
F
(t1 , x (t1 ), x (t1 )) 0.
x
63

 de ambos casos se tiene que

Como conclusion
F
(t1 , x (t1 ), x (t1 )) 0,
x
y, ademas, la igualdad se satisface cuando x (t1 ) > a (Caso 1).
Funcional objetivo con valor de salvamento
Teorema 3.15. Si x () es solucion del problema
Z t
1
max
F (t, x (t), x (t)) dt + S(t1 , x (t1 ))
x ()

t0




 x ( t0 ) = x0 , x ( t1 ) a ,


(3.36)

entonces satisface la ecuacion

de Euler
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) = 0
x
dt x
y la condicion
de transversalidad
S
F
(t1 , x (t1 ), x (t1 )) + (t1 , x (t1 )) 0, con igualdad si x (t1 ) > a.
x
x

(3.37)

del teorema se sigue de la igualdad

Demostracion. La conclusion
S(t1 , x (t1 )) +

Z t1
t0

F = S(t0 , x (t0 )) +

Z t1 h
t0

F+

S
S i
+ x
t
x

y del Teorema 3.14.

3.5.

Algunas extensiones del PMP

Restricciones terminales multiples

Observacion
3.16. En el PCO estandar (3.14) el estado terminal x ( T ) esta libre, una
pregunta natural es que sucede con el PMP cuando x ( T ) = x1 ? Para responder
esta pregunta observese que las funciones

Z T


V (, x ) := max
g( x (t), u(t)) dt + S( x ( T ))  x ( ) = x ,
u()


Z T




V (, x ) := max
g( x (t), u(t)) dt + S( x ( T ))  x ( ) = x, x ( T ) = x T ,
u()

(ambos problemas sujetos a la dinamica (3.1)) son distintas, de hecho, V (, x )

V (, x ).
64

 del PMP la funcion

fue definida mediante
En la demostracion
(t) = Dx V (t, x (t)),

de donde se tiene la condicion

( T ) = D x S ( x ( T ), T ),
de HJB y la condicion
de frontera (3.7).
a partir de la ecuacion

(3.17) del PMP no tiene que ser

Puesto que V (, x ) 6= V (, x ), la condicion
cierta.

Observacion
3.17. Si el problema (3.36) se escribe como un PCO con x = u, en de primer orden en (3.18) se convierte en
tonces la condicion
0 = Du H(t, x (t), u (t), (t)) = Dx F (t, x (t), x (t)) + (t),

t [0, T ].

de
En particular, ( T ) = Dx F ( T, x ( T ), x ( T )), sustituyendo en la condicion
transversalidad (3.37)

( T ) +

S
( T, x ( T )) 0, con igualdad si x ( T ) > a.
x

de transversalidad se dedujo para un PCO particular, es

Aunque esta condicion
valida para problemas mas generales.

En el siguiente teorema se generaliza el PMP (Teorema 3.4), permitiendo dis (3.16) o en la Observacion

tintas condiciones terminales como en la Observacion

de los
(3.17). Supongase
que los conjuntos I, J, K son disjuntos a pares y la union
tres es igual a {1, 2, . . . , n}. Considerese el siguiente PCO
Z T

max
g(t, x (t), u(t)) dt + S( T, x ( T ))
u()

s. a

x (t) = f (t, x (t), u(t)),

xi ( T ) libre,

i I,

x j ( T ) = x jT ,

j J,

xk ( T ) ak ,

k K.

x (0) = x0 ,
(3.38)

Teorema 3.18. Sea ( x (), u ()) una solucion del PCO (3.38). Entonces existen una
constante 0 0 y una funcion : [0, T ] Rn continua, diferenciable a trozos y con
derivada continua, que satisfacen la ecuacion
adjunta

(t) = Dx H(t, x (t), u (t), 0 , (t)),

(3.39)

las condiciones de frontera

i ( T ) = 0

S
( x ( T ), T ),
xi
65

i I,

(3.40)

las condiciones terminales

x j ( T ) = x jT ,

j J,

(3.41)

las condiciones de transversalidad

0

S
( T, x ( T )) k ( T ) 0, con igualdad si xk ( T ) > ak ,
xk

kK

(3.42)

y la maximizacion
del Hamiltoniano

H(t, x (t), u (t), 0 , (t)) =

max

uU (t,x (t))

{H(t, x (t), u, 0 , (t))},

(3.43)

donde

H(t, x, u, 0 , ) := 0 g(t, x, u) + f (t, x, u).

(3.44)

Las ecuaciones (3.39) y (3.43) se satisfacen para casi todo t [0, T ], mientras que

(0 , (t)) 6= 0 t [0, T ].

(3.45)

Observacion
3.19. En el Teorema 3.18 el Hamiltoniano esta dado por (3.44), e ste
es distinto al usado en el Teorema 3.4 ya que aparece el escalar 0 . En general, el
escalar 0 es positivo por lo que el Hamiltoniano (3.44) puede dividirse por 0 y
considerar /0 en lugar de .

Aunque en una gran mayora de libros sobre control optimo

asumen que 0 =
correcta del PMP con restricciones terminales debe incluir este
1, la formulacion
escalar con la posibilidad que 0 sea igual a cero (ver Ejercicio 3.24). Sin embargo,
para el problema (3.14) se tiene
tal como se demuestra en la siguiente proposicion,
que 0 6= 0, luego, el PMP es un caso particular del Teorema 3.18, con 0 = 1.
Proposicion
3.20. Para el PCO (3.14) el escalar 0 , del Teorema 3.18, es distinto de cero.

Demostracion. Supongase
que 0 = 0, por las condiciones de frontera (3.40) se tiene
que ( T ) = 0. Luego, (0 , ( T )) = (0, 0) lo que cotradice a (3.45).
Hamiltoniano de valor corriente

En algunas aplicaciones economicas

los beneficios se consideran en valor pre trabajar con problemas de la forma
sente, por lo que es comun
Z T

rt
rT
max
e g(t, x (t), u(t)) dt + e
S( T, x ( T ))
u()

s. a

x (t) = f (t, x (t), u(t)),

x ( T ) libre.

66

x (0) = x0 ,

(3.46)

Para este tipo de problemas es conveniente definir el Hamiltoniano de valor corriente

t, x, u, p0 , p) := g(t, x, u) + p f (t, x, u),
H(
(3.47)
donde
p(t) := ert (t).

(3.48)

El nombre para H viene de la igualdad H = ert H. A partir del Teorema 3.4 se

puede demostrar el siguiente resultado.
Teorema 3.21 (PMP con Hamiltoniano de valor corriente). Sea ( x (), u ()) una
solucion del PCO (3.46). Entonces existe una funcion : [0, T ] Rn continua, diferenciable a trozos y con derivada continua que satisface la ecuacion
adjunta
t, x (t), u (t), (t))
p (t) + rp(t) = Dx H(

(3.49)

junto con la condicion

de frontera
( T ) = D x S ( x ( T ), T ),

(3.50)

y la maximizacion
del Hamiltoniano
t, x (t), u (t), (t)) =
H(

max

uU (t,x (t))

t, x (t), u, (t))}.
{H(

(3.51)

Las ecuaciones (3.49) y (3.51) se satisfacen para casi todo t [0, T ].

Demostracion. Ejercicio 3.23.

Si en el problema (3.46) se agregan restricciones terminales multiples,

es decir,
se consideran problemas de la forma
Z T

rt
rT
max
e g(t, x (t), u(t)) dt + e
S( T, x ( T ))
u()

s. a

x (t) = f (t, x (t), u(t)),

xi ( T ) libre,

i I,

x j ( T ) = x jT ,

j J,

xk ( T ) ak ,

k K,

x (0) = x0 ,
(3.52)

entonces el Teorema 3.18 puede reescribirse de la siguiente forma.

Teorema 3.22. Sea ( x (), u ()) una solucion del PCO (3.52). Entonces existen una
constante p0 0 y una funcion p : [0, T ] Rn continua, diferenciable a trozos y con
derivada continua, que satisfacen la ecuacion
adjunta
t, x (t), u (t), p0 , p(t)),
p (t) + rp(t) = Dx H(
67

(3.53)

las condiciones de frontera

p i ( T ) = p0

S
( x ( T ), T ),
xi

i I,

(3.54)

las condiciones terminales

j J,

x j ( T ) = x jT ,

(3.55)

las condiciones de transversalidad

p0

S
( T, x ( T )) pk ( T ) 0, con igualdad si xk ( T ) > ak ,
xk

kK

(3.56)

y la maximizacion
del Hamiltoniano
t, x (t), u (t), p0 , p(t)) =
H(

max

uU (t,x (t))

t, x (t), u, p0 , p(t))},
{H(

(3.57)

donde
t, x, u, p0 , p) := p0 g(t, x, u) + p f (t, x, u).
H(

(3.58)

Las ecuaciones (3.53) y (3.57) se satisfacen para casi todo t [0, T ], mientras que

( p0 , p(t)) 6= 0 t [0, T ].

(3.59)

Horizonte temporal infinito

En el siguiente PCO se asume que la integral (impropia) converge para cualquier
par admisible ( x (), u())
Z

max
g(t, x (t), u(t)) dt
u()

s. a

x (t) = f (t, x (t), u(t)),

x (0) = x0 ,

lm xi ( T ) libre,

i I,

lm x j ( T ) = x jT ,

j J,

lm xk ( T ) ak ,

k K.

T
T

(3.60)

Teorema 3.23. Sean ( x (), u ()), () un par admisible y una funcion que satisfacen
satisfacen la ecuacion
adjunta

(t) = Dx H(t, x (t), u (t), 0 , (t)),

(3.61)

y la maximizacion
del Hamiltoniano

H(t, x (t), u (t), 0 , (t)) =

max

uU (t,x (t))

68

{H(t, x (t), u, 0 , (t))},

(3.62)

donde

H(t, x, u, 0 , ) := 0 g(t, x, u) + f (t, x, u).

(3.63)

Supongase que 0 = 1, U ( x, t) es convexo para todo ( x, t), H es una funcion concava en

( x, u) y para cualquier trayectoria de estado x ()
lm ( T ) [ x ( T ) x ( T )] 0.

(3.64)

Entonces ( x (), u ()) es o ptimo para el problema (3.60).

Demostracion. Por argumentos similares a los del Teorema 3.6 se tiene la desigualdad
Z T
0

g(t, x (t), u (t)) dt

Z T
0

g(t, x (t), u(t)) dt ( T ) [ x ( T ) x ( T )],

del teorema se sigue al hacer T y usar (3.64).

la conclusion
Observacion
3.24. En el Teorema 3.23 se supone que para cualquier par admisible
( x (), u()), existe el
lm

Z T

T 0

g(t, x (t), u(t)) dt,

sin embargo, en algunas aplicaciones la integral no siempre es convergente, cuando

e ste es el caso se consideran algunos otros criterios de optimalidad. Por ejemplo,

se dice que ( x (), u ()) es optimo

bajo el criterio de optimalidad rebasante (over
taking optimal) si para cualquier par admisible ( x (), u()) existe un numero
real
Tu tal que
Z T
0

g(t, x (t), u (t))

Z T
0

g(t, x (t), u(t)) 0

para todo T Tu .

Otros criterios son catching up optimal o sporadically catching up optimal, entre

completa sobre PCOs con horizonte infinito puede verse en
otros. Una discusion
Carlson et al. (1991).

3.6.

Ejercicios

lineal y
3.1 (Problemas LQ) Resuelva el siguiente problema con ley de transicion
costo cuadratico

Z T


2
2
2
max
[q( x (t)) + r (u(t)) ]dt + Q( x (t))  x (t) = ax (t) + bu(t), x (0) = x0 ,
u()

donde r > 0, q, Q 0, a, b R.
Sugerencia: Considere la funcion de valor V (t, x ) = k (t) x2 .

69

on de la ecuacion diferencial de Riccati

Respuesta: (t, x ) = k(t) bx
r , donde k es la soluci
2
k + 2ak = b k2 q con k ( T ) = Q.
r

3.2 (Lab) Encuentre la estrategia markoviana optima

del siguiente problema

Z T


1
2
2 
max
(u(t)) dt + 2( x (t))  x (t) = x (t) + u(t), x (0) = x0 .
2
u()
0

Determine tambien el control optimo

de lazo abierto y la correspondiente
trayectoria de estado.
Respuesta: x (t) =

2x0 T 2t
e
2e T 1

t
x0
e2,
2e T 1
t

T 2 .
0
u (t) = 2e2x
T 1 e

3.3 Demuestre el Corolario 3.3.

de valor V (, x ), dada por (3.19), para el siguiente
3.4 (Lab) Encuentre la funcion
PCO

Z T


max
x (t)u(t) dt  x (0) = x0 , u(t) [1, 1] .
u()

no es diferenciable en x = 0 para < T.

Asimismo, demuestre que esta funcion
Respuesta: V (, x ) = ( T )2 /2 + ( T )| x |

3.5 Considere un mercado para un bien durable que consiste de varios consumidores por el lado de la demanda y una sola empresa por el lado de la oferta.
Sea el mercado potencial (total de posibles compradores) constante e igual a
M y denote por x (t) el porcentaje del mercado que ha comprado el producto
denote la intensidad de la publidel monopolista en el inatante t. Mas aun,
cidad hecha por la empresa al tiempo t por u(t) y asuma que los costos de
cuadratica u2 (t)/2.
publicidad estan dados por la funcion
(a) Interprete la siguiente dinamica para el estado
x (t) = u(t) M [1 x (t)].

(b) El objetivo es maximizar el numero

total de consumidores hasta el tiempo
T menos los costos totales en los que se incurre, i. e., el funcional objetivo
es
Z T
u2 ( t )
F (u()) :=
dt + x ( T ).
2
0
Muestre que u (t) = u para todo t [0, T ].
70


uMT
Respuesta: El control o ptimo u es tal que ue
= M.

3.3, se dice que esta en la

3.6 El PCO estandar (3.14), considerado en la Seccion
forma de Bolza. Considere la misma ley de movimiento pero ahora con un
funcional objetivo de la forma
S( x ( T )),
se dice que este funcional esta en la forma de Mayer. Una tercera forma para
el funcional objetivo es la de Lagrange
Z T
0

g(t, x (t), u(t)) dt.

Demuestre que las tres formulaciones son equivalentes, es decir, cada forma
del funcional objetivo puede expresarse en cualquiera de las otras dos.
Sugerencia: Ver Cerda Tena (2001) [Seccion 4.2, pp. 115118].

3.7 Resuelva el siguiente PCO, usando el PMP


Z 1


2

max
[ x (t) + u(t)]dt  x (t) = 1 u (t), x (0) = 1 .
u()

dinamica
3.8 Considere el siguiente problema de optimizacion

Z T




max
[q f (K (t)) c( I (t))]dt  K (t) = I (t) K (t), K (0) = K0 .
I ()

economica

(a) Formule una explicacion

para este PCO.
(b) Escriba las condiciones necesarias del PMP.
(c) Suponga que f (K ) = K 0.03K2 , q = 1, c( I ) = I 2 , = 0.1, K0 = 10 y

T = 10. Explique como

resolver el problema.
(d) Se verfican las condiciones suficientes de Mangasarian o Arrow?
3.9 Resuelva el siguiente PCO, usando el PMP

Z 1



max
[ x (t)]dt  x (t) = u(t), x (0) = 1 .
u(t)[1,1]

3.10 (Lab) Encuentre el control optimo

y la correspondiente trayectoria de estado
del siguiente PCO

Z 1

x2 (t) 
dt  x (t) = u(t), x (0) = 1 .
max

2
u(t)[1,1]
0
71


() del siguiente
3.11 Usando el PMP, encuentre el control optimo
y la funcion
PCO


Z 2

2

max
(2x (t) 3u(t) u (t))dt  x (t) = u(t) + x (t), x (0) = 5 .
u(t)[0,2]

3.12 Considere el PCO estandar en el caso autonomo,

i. e., se quiere maximizar (3.4)
sujeto a (3.3). Suponga que el cada conjunto U ( x (t)) es abierto. Demuestre que

conel Hamiltoniano, evaluado en las trayectorias optimas,

es una funcion
stante.
Sugerencia: Ver Kamien y Schwartz (1991) [Ejercicio II.2.8, p. 132].

continua, tal que

3.13 (Lab) Sea f : [t0 , t1 ] Rn una funcion
Z t1
t0

h f (t), g(t)i dt = 0

g : [t0 , t1 ] Rn de clase C 2 con g(t0 ) = g(t1 ) = 0.

para cualquier funcion
Demuestre que f (t) 0 en todo su dominio.
Sugerencia: El caso escalar puede verse en Sydster et al. (2008) [Teorema 8.3.2, p. 296].

3.14 (Lab) Demuestre el Teorema 3.11.

de Euler, la condicion
de transversali3.15 Suponga que x () satisface la ecuacion

dad (3.29) y F es concava.

Demuestre que estas tres condiciones son suficientes

para que x () resuelva el problema (3.28).

del modelo de Ramsey
3.16 Considere la siguiente version

Z T



rt
max
U ( f (K (t)) K (t))e dt  K (0) = K0 , K ( T ) = KT .
K ()

de utilidad y la de produccion
satisfacen las siguientes
Suponga que la funcion
condiciones
f 0 > 0, f 00 0, U 0 > 0, U 00 < 0
(3.65)

(a) Interprete economicamente

las hipotesis
dadas por (3.65).

(b) Demuestre que las trayectorias optimas

cumplen la siguiente relacion
r f 0 (K )
C
=
,
C

donde := CU 00 (C )/U 0 (C ) es la elasticidad de la utilidad marginal.

72

(c) Empricamente se ha estimado 0.6, demuestre que

C
> 0 f 0 (K ) > r
C

e interprete economicamente
la ultima
expresion.

3.17 Determine la trayectoria optima

del capital para el problema anterior si f (K ) =
1

bK y U (C ) = C
/(1 ), donde b, > 0, 6= 1 y b 6= b r.
3.18 Un monopolista enfrenta el siguiente PCO
Z T
max
[ pD ( p, p ) b( D ( p, p ))]
p()




 p (0) = p0 , p ( T ) = p T .


(a) Si p(t) representa el precio del bien producido en el tiempo t, interprete

economicamente
las funciones D (, ) y b().
de Euler asociada a este problema.
(b) Encuentre la ecuacion
de Euler si b(q) = q2 + q + y D ( p, p ) = Ap +
(c) Resuelva la ecuacion
B p + C, suponga que todos los parametros son positivos.
3.19 Una empresa tiene que entregar B unidades de un bien en la fecha T. Sea x (t)
el nivel de inventario de dicho bien en el tiempo t. Suponga que el costo por
almacenar x (t) unidades es ax (t) por unidad de tiempo. Ademas la empresa
u(t) = x (t), e stos son iguales
incurre en costos por la velocidad de produccion
2

a b(u(t)) . Las constantes a, b son numeros

positivos. El PCO de la empresa es

Z T


2
mn
[ ax (t) + bu (t)]dt  x (t) = u(t), x (0) = 0, x ( T ) = B, u(t) 0 .
u()

(a) Suponga que 0 = 1. Escriba las condiciones necesarias del PMP.

(b) Encuentre el control optimo

para el problema.
del control optimo

(c) Explique la intuicion

cuando B < aT 2 /4b.
Sugerencia: Considere dos casos (i) B aT 2 /4b, y (ii) B < aT 2 /4b.
Respuesta: (i) u (t) = a(2t T )/4b + B/T, para todo t [0, T ],

(ii) u (t) = 0 en [0, t ], u (t) = a(t t )/2b en (t , T ], donde t = T 2 bB/a.

3.20 Considere la siguiente variante del modelo de Ramsey


Z T


max
U (c(t))dt  f (k (t)) = c(t) + k (t) + k (t), k (0) = k0 , k ( T ) = k T .
c()

de utilidad y la de produccion
satisfacen las siguientes
Suponga que la funcion
condiciones
f 0 > 0, f 00 0, f (0) = 0, f 0 (0) > , U 0 > 0, U 00 < 0.
73

 de Euler.
(a) Escriba la correspondiente ecuacion
(b) En particular, si U (c) = c1 /(1 ), con positivo y distinto de 1, de
muestre que las trayectorias optimas
para el consumo y el capital estan
dadas por el sistema de ecuaciones diferenciales
k = f (k) k c
c 0
c =
( f ( k ) ).

(c) Bosqueje un diagrama de fase alrededor del punto de equilibrio4 (k , c ),

donde f 0 (k ) = y c = f (k ) k . Explique por que este equilibrio
corresponde a un punto silla.
Sugerencia: Ver Lomel y Rumbos (2003) [Seccion 11.3, pp. 327334].

de beneficios
3.21 Una fabrica de microchips desea maximizar la siguiente funcion
Z 5
0

[K (t) K2 (t) I 2 (t)/2]dt,

bruta. Dada la naturaleza de esta

donde K es el capital e I es la inversion
empresa, el capital se deprecia a una tasa muy alta del 50 % por lo que su
de evolucion
es
ecuacion
K (t) = I (t) 0.5K (t).
Inicialmente K (0) = 0 y se desea que K (5) = 10.

(a) Encuentre las trayectorias optimas

para el capital y la inversion.
(b) Resolver el problema si K (5) esta libre.
(c) Probar que el punto de equilibrio es un punto silla.
de noviazgo, Miguel y Rosita se unen en feliz matrimonio.
3.22 Despues de anos
Deciden llevar una vida poco ortodoxa en la cual planean nunca tener hijos y
vivir hasta sus bodas de oro (cuando cumplan 50 anos
de matrimonio). La
solo

de utilidad de este matrimonio esta dada por U (c) = 2 c, donde c

funcion
representa el consumo.
Asimismo, poseen una tasa de descuento temporal dada por . Sus ingresos
reales provienen de dos fuentes: el ingreso laboral w y ra(t) que corresponde a
los rendimientos reales de una cantidad a(t) de activos con una tasa de interes
r; tanto w como r se suponen constantes. Sus egresos reales son el consumo c

de activos a.
y la acumulacion
de Miguel y Rosita si a(0) = 0 y
Resolver el problema de maximizacion
a(50) = 0.
4 El

par (k , c ) no es el unico
punto de equilibrio, sin embargo, es el de mayor interes.

74

3.23 Demuestre el Teorema 3.21.

3.24 Aplique el Teorema 3.18 en el siguiente problema y demuestre que 0 = 0

Z 1


2
max
u(t) dt  x (t) = u (t), x (0) = 0, x (1) = 0, u R .
u()

3.25 Considere un consumidor que espera vivir T anos.

Sea c(t) su gasto en con para el ingreso.
sumo en el instante t y y(t) su prediccion
(a) Si r (t) denota la tasa instantanea de interes en el tiempo t, interprete

diferencial
economicamente
la siguiente ecuacion
w (t) = r (t)w(t) + y(t) c(t),

w ( 0 ) = w0 ,

(3.66)

donde w(t) representa la riqueza en el tiempo t.

(b) Suponga que este consumidor tiene un factor de descuento > 0 y una
utilidad U (c(t)) que depende del consumo en el instante t, escriba el PCO
correspondiente. Asuma que U 0 (c) > 0 y U 00 (c) < 0 para todo c. Imponga
terminal w( T ) 0, que interpretacion
economica

la restriccion
puede dar

para esta restriccion?

(c) Use el Teorema 3.18, con 0 = 1, para demostrar que la variable adjunta,
(t), es igual al valor presente de la utilidad marginal.
(d) Suponga que r (t) = r, es decir, la tasa de interes es constante y ademas
Pruebe
= r. Demuestre que el consumo es constante, digamos c (t) = c.
tambien que


Z t
c
rt

rt
rs
(3.67)
w ( t ) = e w0 +
e y(s) ds (1 e ) .
r
0
de transversalidad para probar que w ( T ) = 0.
(e) Use la condicion

(f) Con el inciso anterior y (3.67) determine c.

3.26 Para el PCO planteado en el Ejercicio 3.25 (b), suponga que
(
( c c )1
si 6= 1
(1 )
U (c) =
ln(c c) si = 1.
El escalar c puede interpretarse como un nivel mnimo de consumo para la
supervivencia.
(a) Para > 0, demuestre que la elasticidad de la utilidad marginal (ver Ejercicio 3.16 (b)) es igual a .
75

(b) Use el Teorema 3.18, con 0 = 1, para demostrar que

c (t) = c + [e t (t)]1/ .
para w (t) y verifique
(c) Suponga que r (t) = r y encuentre una expresion
que w ( T ) = 0.
(d) Determine la monotona de la trayectoria de consumo cuando > r y

< r. Interprete economicamente.

3.27 Use el Teorema 3.18, con 0 = 1, para resolver el siguiente PCO

Z 1


2

max
[2x (t) x (t)] dt  x (t) = u(t), x (0) = 0, x (1) = 0, u [1, 1] .
u()

3.28 Para el PCO del inciso anterior, demuestre que 0 > 0.

3.29 Resuelva el siguiente PCO con dos variables de estado y una de control

Z T


2

max
[ x + y u /2]  x (t) = y(t), y (t) = u(t), x (0) = y(0) = 0 .
u()

76

4.
4.1.

Apendice: Espacios metricos y correspondencias

Espacios metricos completos

Definicion
4.1. Una distancia o metrica sobre un conjunto X es una funcion d : X
X R, tal que para cualesquiera x, y, z X:
(a) d( x, y) = d(y, x ),
(b) d( x, y) 0 con igualdad si y solo si x = y,
(c) d( x, y) d( x, z) + d(z, y) (Desigualdad del triangulo).
En tal caso, se dice que la pareja ( X, d) es un espacio metrico.
Definicion
4.2. Sea ( X, d) un espacio metrico. Se dice que { xn } X es una sucesion

de Cauchy si para cualquier > 0 existe N N tal que

d( xn , xm ) <

m, n N.

(4.1)

Si para cualquier sucesion de Cauchy { xn } X, existe x X tal que

lm d( xn , x ) = 0,

(4.2)

se dice que ( X, d) es un espacio metrico completo.

de sucesion
de Cauchy se puede escribir, de manObservacion
4.3. La definicion
era equivalente, en la siguiente forma
lm d( xn , xm ) = 0.

n,m

en un espacio metrico ( X, d) satisface la condicion

(4.2), se dice
Si una sucesion
que la sucesion
converge a x. Se puede demostrar (ver Ejercicio 4.1) que cualquier
convergente es una sucesion
de Cauchy, sin embargo, el recproco es
sucesion
en espacios metricos completos.
cierto solo
Ejemplo 4.4. A partir del Axioma del supremo, se puede demostrar que (R, | |)
es un espacio metrico completo.

Definicion
4.5. Sean T : X X una funcion y x X. Se dice que x es un punto fijo
de T, si T ( x ) = x .
Teorema 4.6 (Banach). Sea ( X, d) un espacio metrico completo. Supongase que T : X
X es una contracion,
i.e.,
d( T ( x ), T (y)) d( x, y),

x, y X

donde 0 < 1. Entonces T tiene un unico

punto fijo en X.
77

(4.3)

 de
Demostracion. La unicidad se sigue de la propiedad (4.3) y de la definicion
punto fijo.

Para probar la existencia del punto fijo, escojase

un elemento cualquiera x0 X
{ xn }, mediante
y defnase la sucesion
x n +1 : = T ( x n )

para n = 0, 1, 2, . . . ,

(4.4)

es convergente y su lmite sera el punto fijo buscado.

esta sucesion
(4.4), se cumple
Si m > n, por la construccion
d ( x m , x n ) ( n + n +1 + . . . + m 1 ) d ( x 0 , x 1 ),
de Cauchy. La completial hacer m, n se demuestra que { xn } es una sucesion
digamos x . Ahora, por
tud de X garantiza la existencia del lmite de la sucesion,
la desigualdad del triangulo,
d( x , T ( x )) d( x , xn+1 ) + d( xn+1 , T ( x )),
luego, al usar (4.3), (4.4) y hacer n se tiene que d( x , T ( x )) = 0.
Definicion
4.7. Sea V un espacio vectorial sobre R. Una funcion k k : V R es una
norma si para todo u, v V, R se satisfacen los siguientes axiomas
(a) kvk = 0 si y solo si v = ~0
(b) kvk > 0 si v 6= ~0
(c) kvk = || kvk
(d) ku + vk kvk + kuk

(Desigualdad del triangulo).

Lema 4.8. Sean ( X, d) un espacio metrico y el espacio vectorial

C ( X ) := { f : X R | f es continua y acotada}.
Entonces la funcion k k : C ( X ) R, dada por

k f k := sup{| f ( x )|},
xX

es una norma en C ( X ).
Demostracion. Ejercicio 4.2.
La norma definida en el espacio vectorial C ( X ) induce una metrica, a saber,
d( f , g) := k f gk. De este modo, (C ( X ), d) es un espacio metrico.
Teorema 4.9. El espacio metrico (C ( X ), d) es completo.
Demostracion. Ejercicio 4.3.
78

4.2.

Correspondencias

se asume que X Rn , Z Rm .
En esta seccion
Definicion
4.10. Una correspondencia es una funcion que asocia a cada elemento
x X, un conjunto ( x ) Z y se denota como : X  Z. Ademas, se define la grafica
de la correspondencia como el conjunto
gr() := {( x, z) X Z | z ( x )} .
Definicion
4.11. Sea : X  Z una correspondencia tal que ( x ) 6= para todo
x X. Se dice que es hemicontinua inferior (hci) en x X si para cada z ( x )
y para cualquier { xn } tal que xn x, existe {zn } tal que zn ( xn ) (n = 1, 2, . . .) y
zn z.
Definicion
4.12. Sea : X  Z una correspondencia tal que ( x ) es compacto y no
vaco para cada x X. Se dice que es hemicontinua superior (hcs) en x X si para
cualquier { xn } tal que xn x y {zn } tal que zn ( xn ) (n = 1, 2, . . .), existe una
subsucesion convergente {znk } tal que lmk znk ( x ).
Definicion
4.13. Una correspondencia : X  Z es continua en x X si es hci y hcs
en x. Se dice que es continua en X si es continua en cada x X.
Teorema 4.14. Sea : X  Z una correspondencia tal que ( x ) 6= para todo x X.
Supongase que la grafica de es cerrada y que para cada A X acotado, su imagen
x A}
( A) := {z Z | z ( x ) para algun
es un conjunto acotado. Entonces ( x ) es compacto para todo x X, mas aun,
es hcs.
Demostracion. Ejercicio 4.8.
Teorema 4.15 (Berge). Sea f : X Z R una funcion continua. Sea : X  Z una
correspondencia continua y tal que ( x ) es compacto para todo x X. Entonces
(a) la funcion h : X R, dada por
h( x ) := max{ f ( x, z) | z ( x )},

(4.5)

es continua,
(b) para cada x X, el conjunto
G ( x ) := {z ( x ) | f ( x, z) = h( x )},
es no vaco y compacto,
(c) la correspondencia G : X  Z, definida por (4.6), es hcs.
Demostracion. Ejercicio 4.9.
79

(4.6)

4.3.

Ejercicios

convergente es una
4.1 Demostrar que, en un espacio metrico, cualquier sucesion
de Cauchy.
sucesion
4.2 Demostrar el Lema 4.7.
4.3 Demostrar el Teorema 4.8.

4.4 Sea ( X, d) un espacio metrico completo. Supongase

que Y es un subconjunto
cerrado de X. Demuestre que (Y, d) es un espacio metrico completo.
4.5 Demostrar que para cada x Rn se cumple la desigualdad k x k2 k x k1 (ver
p. 4).
Notacion,
4.6 Resolver los Ejercicios 3.11a y 3.12a de Stokey y Lucas [21, pp. 5758].
4.7 Resolver el Ejercicio 3.13b de Stokey y Lucas [21, p. 59].
4.8 Demostrar el Teorema 4.14.
4.9 Demostrar el Teorema de Berge, siguiendo los siguientes pasos. Sea x X un
elemento arbitrario.
(a) Argumentar por que G ( x ) es no vaco.
(b) Demostrar que G ( x ) es compacto.
(c) Probar que G es hcs en x.
(d) Demostrar que h es continua en x.

80

Referencias
[1] Bartle, R. G., Sherbert, D. R. (2002) Introduccion al Analisis Matematico de una
Variable, 2a ed. Limusa, Mexico.
[2] Benveniste, L., Scheinkman, J. (1979). On the differentiability of the value function in dynamic models of economics. Econometrica 47, pp. 727732.
[3] Brock, W. A., Malliaris, A. G. (1989). Differential Equations, Stability and Chaos in
Dynamic Economics. NorthHolland.
[4] Brock, W. A., Mirman, L. (1972). Optimal Economic Growth and Uncertainty:
The Discounted Case. Journal of Economic Theory 4, pp. 479513.
[5] Cerda Tena, E. (2001). Optimizacion dinamica. Prentice Hall.
[6] Coddington, E. A. (1975) Introduccion a las ecuaciones diferenciales ordinarias.
a Editorial Continental.
Compan
[7] Cruz-Suarez, H., Montes-de-Oca, R. (2008). An envelope theorem and some
applications to discounted Markov decision processes. Math. Meth. Oper. Res.
67, pp. 299321.
[8] Fleming, W. H., Rishel, R. W. (1975). Deterministic and Stochastic Optimal Control.
SpringerVerlag.
[9] Gamkrelidze, R. V. (1978). Principles of optimal control theory. Plenum.
[10] Grass, D., Caulkins, J. P., Feichtinger, G., Tragler, G., Behrens, D. A. (2008).
Optimal Control of Nonlinear Processes. With Applications in Drugs, Corruption
and Terror. SpringerVerlag.
[11] Hartman, P. (2002). Ordinary Differential Equations. 2nd ed. SIAM.
[12] HernandezLerma, O., Lasserre, J. B. (1996). DiscreteTime Markov Control Processes: Basic Optimality Criteria. SpringerVerlag.
[13] Kamien, M. I., Schwartz, N. L. (1991). Dynamic optimization: the calculus of variations and optimal control in economics and management. 2nd ed. NorthHolland.
[14] Lomel, H., Rumbos, B. (2003). Metodos dinamicos en economa. Otra busqueda

del tiempo perdido. International Thomson Editores.

[15] Pontriaguin, L. S. (1973) Ecuaciones Diferenciales Ordinarias. Aguilar.
[16] Rudin, W. (1976). Principles of Mathematical Analysis. 3a ed. McGraw-Hill.

81

[17] Sanchez, D. A. (1979) Ordinary Differential Equations and Stability Theory: An

Introduction. Dover Publications.
[18] Sargent, T. J. (1987). Dynamic Macroeconomic Theory. Harvard University Press.
[19] Seierstad, A., Sydster, K. (1987). Optimal Control Theory with Economic Applications. NorthHolland.
[20] Simonovits, A. (1999). Mathematical methods in dynamic economics. St. Martins
Press.
[21] Stokey, N. L., Lucas, R. E. Jr., with Prescott, E. C. (1989). Recursive methods in
economic dynamics. Harvard University Press.
[22] Sundaram, R. K. (1996). A First Course in Optimization Theory. Cambridge University Press.
[23] Sydster, K., Hammond, P. J., Seierstad, A., Strm, A. (2008). Further mathematics for economic analysis. 2nd ed. Prantice-Hall.

82