Apuntes

Ecuaciones Diferenciales Ordinarias

Banco Central de Reserva del Perú

Curso de Actualización de Economía
Métodos Cuantitativos

2018-2

Apuntes
Contenidos

1 Ecuaciones Separables
2 Problemas de Valor Inicial
3 Análisis cualitativo de EDOs autónomas
4 EDOs lineales
5 Sistemas de EDOs lineales
6 Análisis cualitativo de sistemas autónomos
 Apuntes
EDOs de Variables Separables
dx
Dada la EDO de orden 1: ẋ = x0 = x(1) = = f (x)g(t) (x = x(t))
dt
dx
Z Z
La solución general se obtiene mediante: = g(t)dt
f (x)
Ejemplos

1 Si x(t) representa la población en tiempo t con tasa de crecimiento a,

entonces ẋ = ax.
p dq
2 Recordemos que Ed = η = q dp donde q = f (p) entonces η = −1 es una
EDO separable.

Ejercicio
En el modelo de crecimiento logístico la población en tiempo t es una función
p(t) que satisface la EDO ³ p´
ṗ = ap 1 −
k
donde a es la tasa de crecimiento y k es la constante de saturación.

Apuntes
Problemas de Valor Inicial

Ejemplo
(
ẋ = rx EDO
Un PVI consiste en resolver
x(0) = x0 condición inicial

Definición

1 La condición inicial en general tiene la forma x(t0 ) = x0 donde t0 , x0 son

constantes.
2 La condición de transversalidad viene dada por lı́m x(t) = xss . Si xss ∈ R,
t→∞
entonces x(t) se dice estable.

Ejemplo

1 En el PVI ẋ = ax, x(0) = x0 la estabilidad depende de r .

2 En la EDO q̇ = −q/p la solución es estable.
 Apuntes
Ecuación lineal de orden 1 y coef. ctes.
Teorema
El PVI (
ẋ − ax = b
x(0) = x0

donde a 6= 0, b, x0 son constantes, tiene solución

x(t) = xss + (x0 − xss )eat

donde x0 − xss es llamado el desequilibrio inicial.

x x

xss xss

t t

Apuntes
Análisis Cualitativo de EDOs Autónomas
Una EDO autónoma es de la forma
ẋ = f (x)
(no depende de t ). Se desea analizar cualitativamente las soluciones sin
resolver la EDO. Es decir, se desea esbozar las trayectorias, por ejemplo:
x

Podemos notar soluciones particulares importantes: las que son constantes.

Definición
Una solución constante o estado estacionario de una EDO autónoma es una
solución de la forma x(t) = xss donde xss ∈ R es constante.
 Apuntes
Proposición
En una EDO autónoma, una solución es constante si y solo si f (xss ) = 0.

Considere la EDO ẋ = f (x) = x − x2 con f dado en la siguiente gráfica:

x
ẋ

x
t

En general
si f 0 (xss ) > 0 entonces xss es un equilibrio inestable.
si f 0 (xss ) < 0 entonces xss es un equilibrio estable.

Apuntes
Ejemplo
[Modelo de crecimiento de Solow] Si el stock de capital en tiempo t se
representa por k(t), el modelo de crecimiento de Solow se representa por

k̇ = sφ(k) − mk

donde
s ∈]0, 1[ es la tasa de inversión,
m ∈]0, 1[ es la tasa de crecimiento de la población,
φ satisface las condiciones de Inada:
1 φ(0) = 0
2 φ0 > 0
3 φ00 < 0
4 lı́m φ0 (k) = ∞
k→0
5 lı́m φ0 (k) = 0
k→∞
 Apuntes
EDOs lineales homogéneas (coef. ctes.)
Definición
Una EDO lineal homogénea de coef. ctes. tiene la forma

an x(n) + an−1 x(n−1) + · · · + a1 x(1) + a0 x(0) = 0

donde ai ∈ R, an 6= 0, x(n) es la n-ésima derivada y x(0) = x.

El polinomio característico de esta ecuación es

p(r) = an r n + an−1 r n−1 + · · · + a1 r 1 + a0

Teorema
La solución general de la EDO lineal homogénea de coef. ctes. se puede
expresar como
x = c 1 x1 + c2 x2 + · · · + cn xn
donde los ck son ctes. arbitrarias y los xk se calcular a partir de las raíces de
p(r).

Apuntes
rk t
Caso I: rk es raíz de p(r) −→ xk = e
Caso II: rk es raíz doble de p(r) −→ xi = erk t y xk+1 = terk t
Caso III: rk = a + ib es raíz de p(r) −→ xk = eat cos(bt) y xk+1 = eat sen(bt)

Ejemplos

1 ẍ + 3ẋ + 2x = 0 3 ẍ + x = 0
2 ẍ + 2ẋ + x = 0 4 x(4) + x(2) = 0

Ejercicio
Determine las soluciones de las siguientes EDOs en función de la constante a.
1 ẍ − (2a + 1)ẋ + a(a + 1)x = 0
ẋ − ax
2 ẍ − aẋ = , donde 0 < a < 1.
a
 Apuntes
EDOs lineales no homogéneas (coef. ctes.)

Definición
Dada la EDO no homogénea

an x(n) + an−1 x(n−1) + · · · + a1 x(1) + a0 x(0) = b(t)

donde an 6= 0, la solución complementaria xc es la solución de la EDO

homogénea y una solución particular de la EDO se denota por xp .

Teorema (Principio de Superposición)

La solución general de la EDO no homogénea se puede expresar por

x(t) = xc (t) + xp (t)

Apuntes
Método de coeficientes indeterminados

La forma de xp (t) se puede estimar en base a la forma de xc (t) y b(t).

b(t) (conocido) xp (t) (desconocido)

b cte A cte
pol. grado n pol. grado n
Beat Aeat
B1 cos(bt) + B2 sen(bt) A1 cos(bt) + A2 sen(bt)
B1 eat cos(bt) + B2 eat sen(bt) A1 eat cos(bt) + A2 eat sen(bt)

donde se debe multiplicar por t s para evitar parentesco con xc t .

Ejemplos

... ...
1 x − ẋ = 2e2t 3 x − ẋ = 2e2t + et
...
2 x − ẋ = et 4 x(4) + x(2) = 6t
 Apuntes
Sistemas de EDOs lineales
Consideremos el sistema
( ·˙¸ ·
ẋ = a11 x + a12 y
¸· ¸
x a11 a12 x
↔ =
ẏ = a21 x + a22 y y a21 a22 y

o (en corto) Ẋ = AX .
Definición

1 det(A) = a11 a22 − a12 a21 y tr(A) = a11 + a22

2 det(A − r Id) = p(r) = r 2 − tr(a)r + det(A)
3 Las raíces de p(r) son los valores propios de A.
4 Un vector propio ~vi asociado a ri es cualquier vector no nulo que cumple

A~vi = ri~vi ↔ (A − ri Id)~vi =~0

5 Si det(A) < 0 entonces el vector propio asociado al valor propio negativo

genera una recta llamada senda de ensilladura.

Teorema Apuntes
Cuando r1 6= r2 son reales, la solución general del sistema es
· ¸
x
= C1 er1 t~v1 + C2 er2 t~v2
y

Ejemplo
Resuelva el sistema (
ẋ = x + 3y
ẏ = 3x + y
 Apuntes
Clasificación de Singularidades
Recordemos que si A es matriz 2 × 2 entonces su polinomio característico es
p(r) = r 2 − tr(A)r + det(A). Sea di(A) = tr(A)2 − 4 det(A).

det(A)

estable centro inestable

di(A) = 0

espiral espiral

di(A) < 0

di(A) > 0
nodo nodo
tr(A)

punto de silla

http://mathlets.org/mathlets/linear-phase-portraits-matrix-entry/

Clasificación de diagramas de fase en el plano (Tr A, det A)

Apuntes

det A
∆=0 ∆=0: det A= 14 (Tr A)2

espiral estable espiral inestable

centro

nodo estable nodo inestable Tr A

silla
 Apuntes
Análisis Cualitativo de Sistemas Autónomos

Dado el sistema autónomo (no lineal)

ẋ = f (x, y)
ẏ = g(x, y)

deseamos analizar el comportamiento cualitativo de las soluciones. Para ello

hacemos lo siguiente:
1 Calcular las singularidades y determinar el tipo.
2 Separar el plano en regiones determinadas por las curvas de nivel f = 0 y
g = 0.
3 Con la información obtenida generar el diagrama de fase.

Definición Apuntes
1 Una singularidad o estado estacionario del sistema autónomo es un punto
(xss , yss ) ∈ R2 tal que f (xss , yss ) = 0 y g(xss , yss ) = 0.
2 La linealización del sistema autónomo en (xss , yss ) es el sistema lineal
·˙¸ · ¸· ¸
x fx (xss , yss ) fy (xss , yss ) x
=
y gx (xss , yss ) gy (xss , yss ) y

3 El tipo de la singularidad viene dado por la clasificación en el plano

(tr A, det A).

Sea el sistema no lineal ẋ = f (x, y), ẏ = g(x, y).

Graficamos las curvas de nivel f (x, y) = 0 y g(x, y) = 0.
Observe que las intersecciones de estas curvas son los puntos singulares.
Identificamos las regiones f > 0, f < 0, g > 0, g < 0.
Si ẋ1 = f (x, y) > 0 entonces la componente x de las órbitas del sistema es
creciente.
Repita este análisis para cada región del plano.
Deduzca, con el análisis anterior, el comportamiento de cada singularidad.
 Apuntes

Ejemplo
Analice cualitativamente el sistema no lineal

ẋ = 4x − x2 − 2y
ẏ = 1 − x

(xss , yss ) = (1, 3/2)

· ¸ · ¸
f x fy 4 − 2x −2
=
gx gy −1 0
La senda de ensilladura tiene pendiente positiva.
https://bluffton.edu/homepages/facstaff/nesterd/java/slopefields.html

Apuntes

Ejercicio
[Final 2017] Supongamos que el capital k es una función del tiempo t y
satisface la EDO no lineal: k̇ = skα − mk, donde s, α, m son constantes entre 0
y 1. Adicionalmente se conoce la condición inicial k(0) = k0 donde k0 es una
constante positiva.
1 Mediante el cambio de variable x = k1−α muestre que la EDO no lineal en
k se puede transformar en una EDO lineal en x de coeficientes constantes.
2 Resuelva el problema de valor inicial para k.
3 ¿Es la solución estable?
 Apuntes

Cálculo de Variaciones

Banco Central de Reserva del Perú

Curso de Actualización de Economía
Métodos Cuantitativos

2018-2

Apuntes
Contenidos

1 Optimización Estática
2 Cálculo de Variaciones
3 Condición Necesaria de Optimalidad
4 Condiciones Suficientes
 Apuntes
Optimización Estática
(
máx f (x)
Problema
s.a x0 ≤ x ≤ x1 ≡ x ∈ [x0 , x1 ] = Ω

f (x∗ )

x0 x ∗ x0 x00 x1 x

Ejemplo
Calcular el máximo de la función f : R → R definida por f (x) = 4x − x2 .

Definición Apuntes
1 f : Ω → R es la función objetivo (funcional).
2 Ω = conjunto admisible (restricción).
3 x∗ = (punto) máximo (óptimo) global y cumple: f (x∗ ) ≥ f (x) para todo
x ∈ Ω.
4 f (x∗ ) = valor máximo (óptimo) global.
5 x0 = (punto) máximo (óptimo) local y cumple: existe δ > 0 tal que
f (x0 ) ≥ f (x) para todo x tal que d(x, x0 ) < δ.
6 x es un pto. crítico cuando f 0 (x) = 0 o f 0 (x) no existe.

Teorema

1 Si x∗ es óptimo local, entonces x∗ es un pto. crítico (cond. de 1er orden).

2 Si x∗ es pto. crítico y f 00 (x∗ ) < 0 (concavidad), entonces x∗ es un máximo
local (cond. de 2do orden).
3 Si x∗ es pto. crítico y f 00 (x) < 0 para todo x ∈ Ω, entonces x∗ es un
máximo global.
 Apuntes
Introducción a la Optimización Dinámica

Definición

1 Sean x0 , x1 ∈ R fijos.

Ω ={x : [t0 , t1 ] → R : x tiene derivadas de orden 1 y 2

y x(t0 ) = x0 , x(t1 ) = x1 }

2 Dados x, y ∈ Ω se define d(x, y) = máx |x(t) − y(t)|.

t∈[t0 ,t1 ]
3 Una funcional es una función J : Ω → R.

Ejemplo

1 Si [t0 , t1 ] = [0, 1], entonces d(t 2 , 1 − t) = 1.

R t1
2 Si J(x) = t0 x(t) dt , entonces J(t 2 ) = 1/3.
3 Si J(x) = x(t1 ) − x(t0 ), entonces J(1 − t) = −1.

Apuntes
Cálculo de Variaciones

Dada una funcional J : Ω → R en el espacio de funciones Ω, se desea resolver el

siguiente
t1
 Z
máx J(x) = F(x, ẋ, t) dt

Problema t0
s.a x(t0 ) = x0 , x(t1 ) = x1



El óptimo es una una función x∗ : [t0 , t1 ] → R.

Ejemplo
La función q : [0, 1] → R representa las unidades producidas y vendidas en el
tiempo t ∈ [0, 1]. Entonces, q̇ es la tasa de variación de la producción. Se sabe
q2 q2
que el ingreso viene dado por I = q − 2 y los costos por C = 2q̇2 + 2 . Determine
la producción que maximize el valor presente de los beneficios asumiendo una
tasa de descuento de 0,5 y que la producción al final del año es 1/2.
 Apuntes
Ejemplo
Un problema de extracción óptima de recursos naturales viene dado por
 Z T
máx V (x) = (ln ẋ)e−at dt
0
s.a x(0) = 0, x(T ) = A


donde:
x : [0, T ] → R, T > 0 es una cte. que representa el tiempo máximo de
extracción. Se asume que todo lo que se extrae se vende inmediatamente.
x(t) = ventas acumuladas del recurso en tiempo [0, t] (stock).
A = cantidad total del recurso que se desea extraer.
ẋ(t) = tasa de variación de las ventas la cual es igual al flujo de extracción
del recurso.
ln ẋ = beneficio por vender x(t) unidades el recurso.
a = tasa de descuento.

Apuntes
Condición Necesaria de Optimalidad

Dado el problema
t1
 Z
máx J(x) = F(x, ẋ, t) dt

t0
s.a

x(t0 ) = x0 , x(t1 ) = x1

tenemos las siguientes definiciones.

Definición

1 x : [t0 , t1 ] → R es una función admisible si x(t0 ) = x0 y x(t1 ) = x1 , o

equivalentemente x ∈ Ω.
2 Dado x∗ ∈ Ω, decimos que x∗ es un máximo global de J si J(x∗ ) ≥ J(x)
para todo x ∈ Ω.
3 Dado x∗ ∈ Ω, decimos que x∗ es un máximo local de J si existe un δ > 0
tal que J(x∗ ) ≥ J(x) para todo x ∈ Ω que cumple d(x, x∗ ) < δ.
 Apuntes
Ecuación de Euler
Teorema (Condición de 1er orden)
Si x∗ es un máximo local de J , entonces x∗ cumple
d d
µ ¶
Fx (x , ẋ , t) − Fẋ (x∗ , ẋ∗ , t) = 0
∗ ∗
Fx = Fẋ .
dt dt

Idea de la prueba: Si x∗ es un máximo local, se define una variación del

máximo mediante z = x∗ + ²η, donde ² ∈ R y η(t0 ) = 0 = η(t1 ). De esta forma

z∈Ω y lı́m z = x∗
²→0
R t1
Como J(²) = t0 F(x + ²η, ẋ∗ + ²η̇, t) dt define una función J : R → R, se cumple

∂F
¯ Z t1 µ
d d
¶
η
¯
0= J(²)¯
¯ = − Fẋ dt
d² ²=0 t0 ∂x dt

d
por la fórmula de Leibniz e integración por partes. Así Fx = dt Fẋ .

Corolario Apuntes
Para calcular el óptimo x∗ se debe resolver

(Fẋẋ )ẍ + (Fẋx )ẋ + (Fẋt − Fx ) = 0

La prueba es una aplicación de la regla de la cadena a la ecuación de Euler.

Ejemplo

 Z 1
máx V (q) = (q − q2 − 2q̇2 )e−0,5t dt
0
s.a q(0) = 0, q(1) = 1/2


Ejemplo

 Z T
máx V (x) = (ln ẋ)e−at dt
0
s.a x(0) = 0, x(T ) = A

 Apuntes
Condiciones Suficientes
Definición
La concavidad (o convexidad) de F para cada t depende de la matriz Hessiana
· ¸
Fxx Fxẋ
HF =
Fẋx Fẋẋ

Si los valores propios de HF son menores o igual a cero en todo su dominio, F

es cóncava. Si los valores propios de HF son mayores o igual a cero en todo su
dominio, F es convexa.

Ejemplos
Determine si las siguientes funciones son cóncavas, convexas o ninguna de las
anteriores.

1 f (x, y) = x2 + y 2 4 f (x, y) = −x2 − y 2

2 f (x, y) = x2 − y 2 5 f (x, y) = −x4 − y 4
3 f (x, y) = xy 6 f (x, y) = x3 + y 3

Apuntes

Teorema (Condición de 2do orden)

Si F(x, ẋ, t) es cóncava (convexa) para cada t ∈ [t0 , t1 ] (como función de dos
variables: x y ẋ) y x∗ verifica la ecuación de Euler, entonces x∗ es el máximo
(mínimo) global del problema de optimización.

Ejemplo
Aplique la condición de segundo orden a los dos ejemplos anteriores.

Ejercicio
Calcule el valor óptimo de los ejemplos anteriores. Se necesitará integración
por partes: Z Z
u dv = uv − vdu
 Apuntes
Ejercicio
[Final 2017] La función x(t) tiene segunda derivada continua y a > 0 es una
constante. En el siguiente problema la funcional J(x) depende de x y de su
segunda derivada:
Z a
máx J(x) = x ẍ dt
0
s.a. x(0) = 0, x(a) = 2

1 Usando integración por partes, muestre que la funcional J(x) puede

transformarse en una funcional que depende solo de ẋ dentro de la
integral y por lo tanto define un problema de cálculo de variaciones.
2 Use la ecuación de Euler para calcular el candidato a óptimo x∗ .
3 Verifique la condición de suficiencia.
4 Determine el valor de J(x∗ ).

Apuntes

Control Óptimo

Banco Central de Reserva del Perú

Curso de Actualización de Economía
Métodos Cuantitativos

2018-2
 Apuntes
Contenidos

1 Introducción
2 El Principio del Máximo
3 Condiciones Suficientes de Mangasarian
4 Hamiltoniano de Valor Presente
5 Horizonte Temporal Infinito

Apuntes
Introducción

Problema a resolver:
x(t) = variable de estado (stock de capital per cápita, tasa de producción).
x(t0 ) = x0 (estado inicial del sistema)
u(t) = variable de control (consumo per cápita, fracción de la producción
destinada a la re-inversión).
Para cada t se cumple u(t) ∈ Ω(t) (restricción de las variables de control).
ẋ = f (x, u, t) es la ecuación de estado.

 Z t1
máx J(u) = F(x, u, t) dt





 u t0

ẋ = f (x, u, t)
s.a x(t0 ) = x0





u(t) ∈ Ω(t)


 Apuntes
Ejemplo
 Z 1
máx J(u) = (x + u) dt


 u 0

s.a ẋ = 1 − u2

x(0) = 1


Ejemplo
 Z 5
máx J(u) = (ux − u2 − x2 ) dt



u 1

 s.a ẋ = x + u

x(1) = 2


Definición
El Hamiltoniano se define como H(x, u, λ, t) = F(x, u, t) + λ(t)f (x, u, t).

Apuntes
Principio del Máximo de Pontryagin

Teorema (Condición de 1er Orden)

Si u∗ es la trayectoria óptima de control y x∗ es la trayectoria óptima de
estado, ambas definidas en [t0 , t1 ], entonces existe λ∗ definida en [t0 , t1 ] tal
que:
∂H ∗ ∗ ∗
1 λ̇∗ (t) = − (x , u , λ , t) con λ(t1 ) = 0.
∂x
2 H(x∗ , u∗ , λ∗ , t) ≥ H(x∗ , u, λ∗ , t) para todo u(t) ∈ Ω(t), es decir:

∂H ∂2 H
=0 y ≤0
∂u ∂u2
3 ẋ∗ = f (x∗ , u∗ , t) con x∗ (t0 ) = x0 .

Ejemplos
Aplicar el principio del máximo a los ejemplos anteriores.
 Apuntes
Condiciones Suficientes de Mangasarian

Teorema (Condiciones de 2do Orden)

Sean u∗ , x∗ , λ∗ las funciones que se obtienen del principio del máximo. Si se
cumplen las siguientes condiciones:
1 F y f son cóncavas (convexas) en u y x para todo t ∈ [t0 , t1 ],
2 λ∗ (t) ≥ 0 si f es no lineal;
entonces u∗ es el control óptimo del problema.

Ejemplos
Aplique las condiciones de Mangasarian a los ejemplos anteriores.

Apuntes
Hamiltoniano de Valor Presente

Cuando se consider el factor de descuento e−δt se obtiene el problema

 Z t1
máx J(u) = G(x, u, t)e−δt dt





 u t0

ẋ = f (x, u, t)
s.a x(t0 ) = x0





u(t) ∈ Ω(t)



Aplicaremos el principio del máximo para obtener condiciones necesarias de

optimalidad en este caso en particular.
Definición
Si m = λeδt , entonces se define el hamiltoniano de valor presente como

H = Heδt = G + λeδt f = G + mf
 Apuntes
Principio del Máximo

Teorema (Condición de 1er Orden)

El principio del máximo en el caso del hamiltoniano de valor presente se
traduce a:
∂H
1 ṁ = − + δm, donde m(T ) = 0
∂x
2 máx H
u(t)∈Ω(t)
3 ẋ = f (x, u, t), donde x(0) = x0

Para la prueba se usa la definición de m y H para la primera condición. Las

otras dos condiciones se deducen trivialmente.

Apuntes
Horizonte Temporal Infinito

Para resolver el siguiente problema

 Z ∞
máx J(u) = F(x, u, t) dt





 u 0

ẋ = f (x, u, t)
s.a x(t0 ) = x0





u(t) ∈ Ω(t)



Se aplica el principio del máximo tomando en cuenta que la condición λ(T ) = 0

se traduce a
lı́m λ(t) = 0
t→∞

o equivalentemente
lı́m e−δt m(t) = 0
t→∞

en el caso de valor presente.

 Apuntes
Modelo Neoclásico de Crecimiento
 Z ∞
máx W (c) = e−δt U(c) dt




 c 0
k̇ = f (k) − (λ + µ)k − c


s.a k(0) = k0





0 ≤ c ≤ f (k)



c = c(t) = consumo per cápita (var. control)

k = k(t) = capital per cápita (var. estado)
k0 = capital inicial
y = f (k) = producción por trabajador
f (0) = 0, lı́mk→∞ f (k) = ymax , f 0 (k) > 0, f 00 (k) < 0
λ = tasa de crecimiento del trabajo
µ = tasa de depreciación del capital
0 ≤ c ≤ f (k) significa que los agentes no pueden acceder a un nivel de
consumo superior al que se genera.
δ = tasa de descuento.

Apuntes

La función U representa la utilidad en función del consumo y satisface las

siguientes propiedades:
U(0) = 0
U 0 (c) > 0, a mayor consumo, mayor utilidad.
U 00 (x) < 0, a medida que se consume más, un incremento en el consumo
genera un menor incremento en la utilidad.
lı́m U 0 (c) = ∞ y lı́m U 0 (c) = 0.
c→0 c→∞

Proposición
Recordemos que una función g : A → R se puede invertir localmente en x0 ∈ A
siempre y cuando g 0 (x0 ) 6= 0.
 Apuntes
c

c̄

k̄ k

Apuntes

Ejercicio
[Final 2017] Se plantea el siguiente problema de control óptimo:
Z ∞
máx J(u) = e−0,5t ln(ux) dt
1
s.a ẋ = 2x − u + 1, x(1) = 1

1 Verifique que se cumplen las condiciones de suficiencia.

2 Determine el sistema no lineal del principio del máximo aplicado al
hamiltoniano de valor presente.
3 Calcule el estado estacionario (mss , xss ) del sistema no lineal. Calcule su
linearización y justifique porqué se obtiene un punto de silla.
 Apuntes

Programación Dinámica

Banco Central de Reserva del Perú

Curso de Actualización de Economía
Métodos Cuantitativos

2018-2

Apuntes
Contenidos

1 Introducción
2 Principio de Optimalidad de Bellman
3 Descuento
 Apuntes
Introducción
Se considera:
N periodos de tiempo, cada periodo se denota por k ∈ {0, 1, 2, ..., N − 1}.
x(k) = estado del sistema en el periodo k.
x(0) = x0 (estado inicial del sistema).
Cada x(k) depende de la variable de control u(k).
El sistema evoluciona de acuerdo al siguiente diagrama:
u(0) u(1) u(2) ··· u(N − 1)

x(0) x(1) x(2) x(3) x(N − 1) x(N)

x(k + 1) = fk (x(k), u(k)) para todo k ∈ {0, 1, 2, ..., N − 1}.

u(k) ∈ Ω(k) (conjunto de controles admisibles).
à !
N−1
X
Función objetivo = J(u) = Fk (x(k), u(k)) + S[x(N)]
k=0
Un control óptimo u es un control admisible que maximiza J(u) donde
u = (u(0), u(1), u(2), ..., u(N − 1))

Se busca entonces resolver el siguiente problema de optimización: Apuntes

 ¡PN−1 ¢
máx J(u) = k=0
Fk (x(k), u(k)) + S[x(N)]
u




x(k + 1) = fk (x(k), u(k))



s.a x(0) = x0

u(k) ∈ Ω(k)



El control óptimo se denota por u∗ y la trayectoria de estado óptima por x∗ .

Definición

J ∗ (x0 ) = valor óptimo de la función objetivo.

J0∗ (x(0)) = J ∗ (x0 )
JN∗ (x(N)) = S[x(N)]
La función de valor se define por

Jk∗ (x(k)) = máx ∗

© ¡ ¢ª
Fk (x(k), u(k)) + Jk+1 fk (x(k), u(k))
u(k)∈Ω(k)

de forma inductiva (de N a 0).

Estas son llamadas las ecuaciones de Bellman.
 Apuntes
Principio de Optimalidad de Bellman

Proposición
Si u∗ maximiza las ecuaciones de Bellman, entonces

u∗ = (u∗ (0), u∗ (1), u∗ (2), ..., u∗ (N − 1))

es el control óptimo del problema dado.

Para calcular el control óptimo se procede a resolver el problema “de atrás

hacia adelante” truncando el problema paso a paso. Esta es la idea detrás del
Principio de Optimalidad de Bellman, el cual enunciamos a continuación.

Apuntes

Teorema (Principio de Optimalidad)

Si u∗ = (u∗ (0), u∗ (1), u∗ (2), ..., u∗ (N − 1)) es el control óptimo del problema y
x∗ = (x∗ (0), x∗ (1), x∗ (2), ..., x∗ (N)) es la correspondiente trayectoria de estado
óptima, se considera el siguiente problema:

 N−1
X


 máx J= Fk (x(k), u(k)) + S[x(N)]
N−1
{u(k)}k=j



 k=j
x(k + 1) = fk (x(k), u(k)) (j ≤ k ≤ N − 1)

∗
s.a x(j) = x (j)





u(k) ∈ Ω(k)

 (j ≤ k ≤ N − 1)

Entonces (u∗ (j), u∗ (j + 1), u∗ (j + 2), ..., u∗ (N − 1)) el control óptimo del
subproblema.
 Apuntes
Ejemplo


 mı́n J = [u(0) − 2]2 + [u(1) − 4]2 + x(2)


u(0),u(1)



 x(0) = 1
s.a x(1) = 3x(0) + u(0)

x(2) = x(1) + 2u(1)





u(k) ∈ Ω(k) = R

 (0 ≤ k ≤ 2)

Ejemplo

 mı́n J = x(0)u(0) + x(1)u(1) + x(2)2
u(0),u(1)




x(0) = 2




s.a x(k + 1) = x(k)u(k) + u(k)2 , k = 0, 1
u(k) ∈ Ω(k) = {−1, 0, 1}

k = 0, 1


Apuntes
Descuento
Dado β ∈]0, 1[, se desea resolver el siguiente problema:

N−1
βk Fk (x(k), u(k)) + βN S[x(N)]
 X
máx J=


 N−1
{u(k)}k=0

k=0


x(k + 1) = fk (x(k), u(k)) (0 ≤ k ≤ N − 1)

s.a x(0) = x0





u(k) ∈ Ω(k)

 (0 ≤ k ≤ N − 1)

Corolario
Las ecuaciones de Bellman se pueden expresar como

VN∗ (x(N)) = S[x(N)]

y para cada k ∈ {0, 1, 2, ..., N − 1}

Vk∗ (x(k)) = máx ∗

Fk (x(k), u(k)) + βVk+1
© ª
(fk (x(k), u(k)))
u(k)∈Ω(k)
 Apuntes

Ejemplo
 P2
mı́n{u(k)}2
 J= k=0
0,9k [u(k)2 + (x(k) − 2k)2 ] + 0,93 (x(3) − 5)2

 k=0

 x(k + 1) = x(k) + (k + 1)u(k) (0 ≤ k ≤ 2)


s.a x(0) = 0

u(k) ∈ R (0 ≤ k ≤ 2)



Apuntes
Ejercicio
[Final 2017] Una compañía extrae minerales de un yacimiento durante un total
de tiempo asignado por el gobierno dividido en N periodos. En el periodo k la
producción (igual a la extracción) y la cantidad de reservas restantes en
toneladas del mineral en el yacimiento se denotan por u(k) y x(k)
respectivamente. El costo de extracción es c(k) = 2u(k)2 /x(k) y el precio de
mercado se establece en p unidades monetarias por tonelada del mineral. La
variable de control es la producción y la variable de estado es la cantidad de
reservas restantes. Las reservas restantes en el siguiente periodo son iguales a
la diferencia entre las reservas y la producción en el periodo actual. Se sabe
que el yacimiento cuenta con unas reservas totales de 1000 toneladas de
mineral antes de que la compañía empiece el proceso de extracción.
1 Plantee el problema de control óptimo en tiempo discreto que permite
calcular la producción óptima que maximiza la utilidad total de la
compañía durante la totalidad de tiempo asignado por el gobierno.
2 En el caso N = 2, calcule las trayectorias de control y de estado óptimos.