EEL 6000 - Mtodos Numricos de

Otimizao

Teoria de Otimizao
com Restries
Prof.: Erlon Cristian Finardi, D. Eng.
erlon@labplan.ufsc.br

Laboratrio de Planejamento de Sistemas de Energia Eltrica

Centro Tecnolgico Departamento de Engenharia Eltrica
Tel. +55 (48) 331.9731/9933 Fax +55 (48) 331.7538
Homepage: htto://www.labplan.ufsc.br
 Algumas Convenes...
Todo trabalho referente ao n : espao com n
variveis x = (x1, x2, ... , xn)

Todos os vetores so assumidos serem

colunas
' denota transposto, i.e., x' um vetor linha

x'y o produto interno i=1,n (xiyi) dos vetores x e y

CESEE Mtodos Matemticos Aplicados Engenharia 2

Convexidade de Conjuntos
Formados por Regies
Viveis
 Regio Vivel: Restries
Lineares
Ri { x| x1 x2 4; x1 x2 6; x1 e x2 0}

Funes lineares so convexas Hessiana SPD

Portanto, regio vivel formada por um conjunto de
funes lineares de desigualdade e/ou igualdade um
conjunto convexo CESEE Mtodos Matemticos Aplicados Engenharia 4
 Regio Vivel: Restries No
Lineares de Igualdade
Ri { x|h( x) x12 x2 1 0}
5

4.5
Conjunto dado por
4 todos os pontos tal
3.5 que h(x)=0
3
x2 2.5

2
xb Note que a linha que
1.5
xa une os dois pontos xa
1
e xb esto fora do
0.5
conjunto
0
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

x1
Portanto, regio vivel formada por UMA
restrio no-linear de igualdade no um
conjunto convexo CESEE Mtodos Matemticos Aplicados Engenharia 5
 Regio Vivel: Restries No
Lineares de Igualdade
Ri {x|h1(x) x12 x2 1 0; h2 (x) 0,5x12 x2 2 0}
5

4.5 h1(x) Conjunto dado

4 pelos dois pontos xa
3.5 e xb que a linha que
Note
x2
3
une os dois pontos xa
2.5
e xb esto fora do
2
conjunto
1.5
Portanto, a regio
1
xa xb vivel no um
0.5
h2(x) conjunto convexo
0
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

x1
E se, Ri { x |h1 ( x) x12 x2 1 0; h2 ( x) 0,5 x12 x2 1 0}
o que se pode dizer sobre a convexidade de
CESEE Mtodos Matemticos Aplicados Engenharia 6
 Regio Vivel: Restries No
Lineares de Desigualdade
Ri { x |g( x) x12 x2 1 0}
5 Conjunto dado por
4.5
todos os pontos tal
4
que g(x) 0
3.5 Regio Vivel
3
Note que a linha que
x2 2.5 une os dois pontos xa
2 e xb esto dentro do
1.5 conjunto
1 xa xb Hessiana de -g(x)
0.5
Definida Positiva
0
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

x1
Portanto, regio vivel formada por restries
no-lineares de igualdade um conjunto
convexo se as todas as funes gi(x) de gi(x) 0
CESEE Mtodos Matemticos Aplicados Engenharia 7
 Regio Vivel: Restries No
Lineares de Desigualdade
Ri { x|g1 ( x) x12 x2 1 0}
5 Conjunto dado por
4.5
todos os pontos tal
4
que g(x) 0
3.5

3
Note que a linha que
x2 xb une os dois pontos xa
2.5
x a
2 e xb passa por fora
1.5 do conjunto vivel
1 Hessiana de g(x)
0.5 Regio Vivel Definida Negativa
0
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

x1
Portanto, regio vivel no um conjunto
convexo pois gi(x) (escrita do tipo 0) uma
funo cncava
CESEE Mtodos Matemticos Aplicados Engenharia 8
 Regio Vivel: Restries No
Lineares de Desigualdade
{g1(x) x12 x2 1 0; g2 (x) 0,5x12 x2 2 0} { g1 ( x) x12 x2 1 0; g2 ( x) 0,5 x12 x2 2 0}
5 5

4.5 g1(x) 4.5 g1(x)

4 4

3.5 3.5

3
Regio Vivel 3
Regio Vivel
x2 2.5
x2
2.5

2 2

1.5 1.5

1 1

0.5
g2(x)
0.5
g2(x) 0
0 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

x1 x1
Conjunto Convexo Conjunto No-
Convexo
CESEE Mtodos Matemticos Aplicados Engenharia 9
 Convexidade de Problemas
Restritos
Conseqncias do Teorema 1
Dado o problema min f(x), s.a. gi(x) 0,
i=1,...,m, se f e gi so convexas, o problema
de programao convexa, pois
Ri { x |gi ( x) 0}
um conjunto convexo
Se no problema acima existirem restries
lineares de igualdade a convexidade
mantida
Por sua vez, a presena de restries no
lineares de igualdade eliminam, em geral,
convexidade do problema
CESEE Mtodos Matemticos Aplicados Engenharia 10
 Conceitos Bsicos de
Problemas Otimizao com
Restries
 Formulao Geral
minn f ( x)
x

ci ( x) 0, i
sujeito a:
ci ( x) 0, i I
f e ci so funes suaves definidas em um subconjunto
que pertence ao n
f a funo objetivo, enquanto ci, i so as
restries de igualdade e ci, i I so as restries de
desigualdade
Abaixo definido um conjunto vivel que contm
{ x|xcique
todos os pontos ( x) atendem
0, i ; cias
( x)restries
0, i I }
Deste modo possvel escrever o problema acima na
forma compacta
min f ( x)
x
CESEE Mtodos Matemticos Aplicados Engenharia 12
 Caracterizando as
Solues
Encontrar o mnimo global uma tarefa rdua
em problemas irrestritos
Adio das restries pode excluir muitos
mnimos locais e facilitar a busca pelo global
Contudo, as restries tambm podem tornar
essa tarefa mais complicada [1]
As restries podem produzir um grande
nmero de solues que no formam um
conjunto fechado [2]
Embora, no caso geral, as restries alterem a
soluo [3], em alguns casos elas no tem
efeito na determinao de um mnimo [4]

CESEE Mtodos Matemticos Aplicados Engenharia 13

 Definindo Solues Locais
Simples extenses do caso irrestrito,
exceto que agora deve-se levar em
considerao os pontos viveis na
vizinhana de x
Um vetor x uma soluo local se x e
existe uma vizinhana V de x tal que f(x)
f(x) para x V
Um vetor x uma soluo local estrita
(soluo local forte) se x e existe
uma vizinhana V de x tal que f(x) > f(x)
para todo x V com x x
CESEE Mtodos Matemticos Aplicados Engenharia 18
Problemas com Restries de
Igualdade Somente
 Consideraes Iniciais
Introduzir os princpios bsicos que
caracterizam as solues dos problemas com
restries de igualdade
Formulao
min f ( x)
xn

sujeito a: ci ( x) 0
ie I=

Uma restrio no linear [1]

Uma restrio linear [2]
n restries lineares no n? E o caso no
linear?
CESEE Mtodos Matemticos Aplicados Engenharia 20
Problemas com Restries de
Desigualdade Somente
 Consideraes Iniciais
Introduzir os princpios bsicos que
caracterizam as solues dos problemas com
restries de desigualdade
Formulao
minn f ( x)
x

sujeito a: ci ( x) 0
iIe=
Em um ponto vivel x a isima restrio de
desigualdade, tal que i I, dita estar ativa
se ci(x) = 0 e inativa se ci(x) > 0

CESEE Mtodos Matemticos Aplicados Engenharia 26

 Uma Restrio No Linear
min x1 x2
I = {1} e =
s.a: x12 x22 2 0 O vetor gradiente da
f ( x )
a

restrio, nos pontos

c1 ( xd )
onde a mesma est
c1 ( x a )
ativa, sempre aponta
para o interior da
f ( x c )
Aregio vivel
condio
f(x)=c1(x)
c1 ( x*)
f ( x b ) atendida nos pontos
x* ( 1, 1)T f ( x*) x = (1,1)T com =-0,5
x =-(1,1) de=
com 0,5
T
Porm, o sinal
Regio Invivel
um importante
parmetro para
encontrar a soluo
CESEE Mtodos Matemticos Aplicados Engenharia 27
 Caracterizao da Soluo
1) Para manter a viabilidade deve-se respeitar:
0 c1 ( x d) c1 ( x) c1 ( x)T d c1 ( x) c1 ( x)T d 0

f ( x)T d 0
2) Direo de descida:

Para encontrar d que satisfaz 1) e 2) simultaneamente

necessrio analisar dois casos:

x um ponto tal que c1(x) > 0. Neste caso d atende 1),

dado que seja suficientemente pequeno. A nica situao
onde no possvel atender 1) e 2) com f(x)=0
x um ponto tal que c1(x) = 0. Neste caso 1) e 2) tornam-
se f(x)Td<0 e c1(x)Td 0. A nica situao onde essas
duas regies no tem nenhum ponto em comum quando
f(x) e c1(x) apontam na mesma direo, isto , quando:
f ( x) c1 ( x), para algum 0.
CESEE Mtodos Matemticos Aplicados Engenharia 28
 Duas Restries
I = {1,2} e =
min x1 x2
Regio Invivel As condies ci(x*)Td
s.a: x12 x22 2 0

x2 0 0, i=1,2, so satisfeitas
com d no quadrante
definido por c1(x*) e
c 2(x*) neste quadrante
Vetores
atendem a f(x*)Td 0

1 2 2 0
f ( x*) , c1 ( x*) , c2 ( x*)
1 0 1
c2 ( x*) c 2 ( x a )
f ( x*) f ( x a )

1
c1 ( x*) c1 ( xa ) * 2 2
x* ( 2 ,0) T

1
CESEE Mtodos Matemticos Aplicados Engenharia 29
Condies de Otimalidade de
Primeira Ordem
 Introduo
Os exemplos sugerem que as seguintes condies so
importantes na caracterizao de um mnimo restrito
xL(x,) = 0
No negatividade de i de todas as restries de
desigualdade
Complementariedade ici(x) = 0 para todas as restries
Funo
de desigualdade L( x , ) f ( x)
Lagrangeana c ( x)
i I
i i

O conjunto ativo A(x) em qualquer ponto vivel dado

por:
A( x) {i I |ci ( x) 0}

possvel que ci(x) 0 e, assim, ici(x) = 0,

produzindo um comportamento degenerado [1]

CESEE Mtodos Matemticos Aplicados Engenharia 31

 Condies Necessrias de Primeira
Ordem
Seja x* um mnimo local e que as restries
ativas em x* esto qualificadas. Assim, existe
um vetor *, i I , tal que as seguintes
condies so satisfeitas em (x*, *)
xL(x*, *) = 0
ci(x*) = 0 i
ci(x*) 0 iI
*i 0 iI
*i ci(x*) = 0 iI
Condies de Karush-Kuhn-Tucker
(KKT) CESEE Mtodos Matemticos Aplicados Engenharia 33
 Condies de KKT -
Ilustrao
2 4
3 1
c3 ( x) c1 ( x) min f (x)= x1 x2
2 8
c1 ( x) : 1 x1 x2 0
Regio Vivel c2 ( x) : 1 x1 x2 0
s.a:
c3 ( x) : 1 x1 x2 0

c 4 ( x) c4 ( x) : 1 x1 x2 0
c2 ( x)

1
1 1
T

x* (1,0) f ( x*) 1 , c1 ( x*) , c2 ( x*)

* 3 1
0 0
1 1 4 4

2

CESEE Mtodos Matemticos Aplicados Engenharia 34

Condies de Otimalidade de
Segunda Ordem
 Introduo...

(1)
Condies de KKT indicam como as derivadas
primeiras de f(x) e das restries ativas esto
relacionadas em x*
Quando as condies de KKT so verificadas, um
movimento de qualquer vetor w F1 faz com que
wTf(x*)>0 ou wTTf(x*)=0, onde
d ci ( x *) 0, i
F1 d| 0, T
d ci ( x *) 0, i A( x *) I

Para direes w F1 tal que wTf(x*)=0, no

possvel determinar da informao de primeira
ordem se um movimento nesta direo ir
incrementar ou diminuir a funo objetivo
CESEE Mtodos Matemticos Aplicados Engenharia 36
 Introduo...
(2)
Dado F e algum multiplicador de Lagrange que
1
*

satisfaz as condies de KKT, ns definimos um

subconjunto F2(*) de F1 por
ci ( x*)T w 0, i ,

w F2 ( *) ci ( x*)T w 0, i A( x*) I com i* 0,
c ( x*)T w 0, i A( x*) I com * 0.
i i

Portanto, F2(*) contm direes de F1 que no

informam, com base nas derivadas primeira, se f(x*)
ir aumentar ou diminuir

CESEE Mtodos Matemticos Aplicados Engenharia 37

 Condies
Necessrias
Envolvem as derivadas de segunda ordem: se x *

uma soluo local, ento a curvatura da funo

Lagrangeana nas direes de F2(*) devem ser no
negativas
Teorema: Suponha que x* uma soluo local e
que os gradientes das restries ativas sejam
linearmente independentes. Seja * um vetor de
multiplicadores de Lagrange tal que as condies
de KKT so verificadas e seja F2(*) conforme
definido anteriormente. Ento,
w T xx L( x * , * )w 0, para w F2 ( * ).

CESEE Mtodos Matemticos Aplicados Engenharia 38

 Condies Suficientes
So condies em f e ci que asseguram que x*
uma soluo local em oposio s condies
necessrias que assumem que x* uma soluo
e deduzem propriedades em f e ci
Teorema: Suponha que para x* vivel n
existe um vetor *, i I , tal que as
condies de KKT so satisfeitas. Suponha
tambm que
w xx L( x * , * )w 0, para w F2 ( * ),w 0.
T

Ento x* um mnimo local

CESEE Mtodos Matemticos Aplicados Engenharia 39

 Exemplo 1
min f ( x ) x1 x 2 s.a: c1 ( x ) 2 x12 x 22 0
L( x , ) x1 x 2 ( 2 x 12 x 22 )
fcil verificar que as condies de KKT so
satisfeitas em x* =-(1,1)T com *=1/2. A hessiana
de L(x*,*) 2 * 0 1 0
xx L( x , )
* *
1
1

0 2 *
1 0 1
Essa matriz Definida Positiva para qualquer w
0, e portanto, certamente satisfaz as condies do
teorema mostrado no slide anterior
Assim x* uma soluo estrita do PNL De fato,
uma soluo global, dado que, este um PNL
convexo CESEE Mtodos Matemticos Aplicados Engenharia 40
 Exemplo 2
min f ( x ) x1 x 2 s.a: c1 ( x ) x12 x 22 2 0
L( x , ) x1 x 2 ( x 12 x 22 2)
Condies de KKT so satisfeitas em xa =-(1,1)T
com a*=-1/2 e em xb =(1,1)T com b*=1/2. As
hessianas so 1 0 1 0
xx L( x a , a ) e xx L( xb , b ) 1
0 1 0
xa uma soluo estrita do PNL De fato, uma
soluo global, dado que, xb no atende as
condies de segunda ordem e no existem
outros pontos que atendem as condies de
primeira ordem
CESEE Mtodos Matemticos Aplicados Engenharia 41
 Exemplo 3...
(1)
Regio Vivel x L( x , )
0,2( x1 4) 2x1
2 x2 2x2
0,2 2 0
xx L( x , )
0 2 2
x* = (1,0)T atende KKT em
* = 0,3
Note que c(x*)=(2,0)T,
ento:
wT xx L( x*, *)w
T
0 0,8 0 0
4 w
w2 0 1,
2

1, 4 w22 0
min 0,1( x1 4)2 x22
s.a: x12 x22 1 0 x* = (1,0)T um mnimo
local
CESEE Mtodos Matemticos Aplicados Engenharia 42
 Exemplo 3...
(2)
x* = (1,0)T um mnimo global? Uma vez que o problema
no convexo deve-se verificar se existem outros pontos
que atendem as condies de 1 e 2 ordem
0,2( x1 4) 2x1 0
Condies de KKT
x L( x , ) , L( x , ) x12 x22 1 0
2 x2 2x2 0

Das condies tem-se que =1 ou x2=0. Com x2=0 chega-se ao

ponto testado no slide anterior. Com =1 obtm-se da
primeira equao de xL(.) que x1=0,3636 e, aplicando-se na
equao yL(.) tem-se x2 = 0,9315
Portanto dois pontos adicionais atendem as condies de
KKT
xa=(0,3636 0,9315)T com =1
xb=(0,3636 -0,9315)T com =1 CESEE Mtodos Matemticos Aplicados Engenharia 43
 Exemplo 3...
(3)
Considerando xa=(0,3636 0,9315)T com =1, tem-se
0, 7273
a c( x a ) c( x a w 0 w1 2, 5617w2
) T

1, 8631
a wT xx L( x a , )w
T
2, 5617w2 2, 2 0 2, 5617w 2
a 0 0 14, 4371w2 0
2

w 2 w2
Portanto, xa no um ponto de mnimo, pois a funo
Lagrangeana tem curvatura negativa
Uma vez que neste problema a curvatura no depende do valor
das variveis primais, ento xb tambm no representa uma
soluo local
Conseqentemente, o ponto x* = (1,0)T um mnimo global

CESEE Mtodos Matemticos Aplicados Engenharia 44

 OBRIGADO!

Prof. Erlon Cristian Finardi

erlon@labplan.ufsc.br

Slides
http://www.labplan.ufsc.br/~erlon/EEL6000