Algoritmos para resolu c ao de problemas de minimiza c ao irrestrita

Marina Andretta
ICMC-USP

17 de agosto de 2010

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

1 / 16

Algoritmos para minimiza c ao irrestrita

Veremos agora um resumo dos algoritmos existentes mais comuns para resolu c ao de problemas de minimiza c ao irrestrita, ou seja,

Minimizar f (x )

(1)

onde x I R n; f I Rn I R uma fun c ao suave.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

2 / 16

Algoritmos para minimiza c ao irrestrita

Todos os algoritmos para resolu c ao de problemas de minimiza c ao irrestrita precisam de um ponto inicial x0 . O usu ario com conhecimento da aplica c ao e do conjunto de dados referente ao problema a ser resolvido pode fornecer uma boa aproxima c ao x0 para a solu c ao do problema. Quando uma boa aproxima c ao n ao e conhecida, um ponto arbitr ario pode ser escolhido como x0 . Iniciando em x0 , algoritmos de otimiza c ao geram uma sequ encia de iterandos {xk } que termina quando n a o e mais poss vel obter progresso k =0 ou quando uma solu c ao e encontrada com precis ao suciente.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

3 / 16

Algoritmos para minimiza c ao irrestrita

Para decidir como mover de um ponto xk para o pr oximo, algoritmos usam a informa c ao de f em xk e, possivelmente, informa c ao sobre os iterandos anteriores x0 , x1 , ..., xk 1 . Eles usam esta informa c ao para calcular o novo iterando xk +1 com valor de fun c ao menor do que xk . Existem algoritmos n ao-mon otonos, que n ao exigem que o valor da fun c ao decres ca a cada itera c ao. Mas mesmo estes algoritmos exigem que o valor da fun c ao descres ca depois de um n umero xo m de itera c oes. H a duas estrat egias fundamentais para se mover do ponto xk para o pr oximo iterando xk +1 : busca linear e regi oes de conan ca.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

4 / 16

Estrat egia de busca linear

Na estrat egia de busca linear, o algoritmo calcula uma dire c ao pk e busca ao longo desta dire c ao, a partir de xk , um ponto xk +1 com valor de fun c ao menor do que xk . A dist ancia a se mover ao longo de pk pode ser encontrada resolvendo-se a proximadamente o problema unidimensional

Minimizar>0 f (xk + pk ).

(2)

Resolvendo este problema exatamente, obter amos o ponto com melhor valor de fun c ao na dire c ao pk (a partir de xk ).

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

5 / 16

Estrat egia de busca linear

No entanto, resolver (2) de maneira exata e custoso e desnecess ario. Em vez disso, o algoritmo de busca linear gera um n umero limitado de tentativas de tamanho de passo at e que encontre um k que aproxima a solu c ao do problema (2). O novo iterando passa a ser

xk +1 = xk + k pk .

A partir do novo ponto calculado xk +1 , uma nova dire c ao pk +1 e calculada, uma nova busca pelo tamanho de passo e feita e um novo iterando e calculado. Este processo e repetido at e que uma solu c ao para o problema original (1) seja encontrada.
Marina Andretta (ICMC-USP) sme5720 - Otimiza c ao n ao-linear 17 de agosto de 2010 6 / 16

Estrat egia de regi oes de conan ca

Na estrat egia de regi oes de conan ca, a informa c ao obtida sobre a fun c ao f e usada para construir uma fun c ao modelo mk , cujo comportamento perto do ponto xk e parecido com o comportamento de f . Como o comportamento de mk pode n ao ser similar ao comportamento de f em pontos distantes de xk , restringimos a busca por um minimizador de mk a uma regi ao em torno de xk . Em outras palavras, calculamos o candidato a passo p resolvendo aproximadamente o problema

Minimizarp mk (xk + p ),

(3)

com xk + p pertencente ` a regi ao de conan ca.

Marina Andretta (ICMC-USP) sme5720 - Otimiza c ao n ao-linear 17 de agosto de 2010 7 / 16

Estrat egia de regi oes de conan ca

Calculado o passo p , verica-se se o ponto xk + p produz decr escimo suciente da fun c ao f . Em caso negativo, entende-se que a regi ao de conan ca est a muito grande, ent ao ela e diminuida e calcula-se novamente uma solu c ao aproximada para (3). Se o decr escimo produzido na fun c ao objetivo f for suciente, o pr oximo iterando passa a ser

xk +1 = xk + p .

O processo e repetido at e que uma solu c ao para o problema original (1) seja encontrada.
Marina Andretta (ICMC-USP) sme5720 - Otimiza c ao n ao-linear 17 de agosto de 2010 8 / 16

Estrat egia de regi oes de conan ca

Geralmente, a regi ao de conan ca e a bola dada por p , com > 0. e chamado de raio da regi ao de conan ca. Regi oes el pticas ou com formato de caixa tamb em podem ser usadas. O modelo mk geralmente e denido como uma fun c ao quadr atica da forma

T mk (xk + p ) = fk + p T fk + 1 2 p Bk p ,

com fk = f (xk ), fk = f (xk ) e Bk uma aproxima c ao (ou a pr opria) Hessiana de f em xk .

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

9 / 16

Diferen cas entre as duas estrat egias

Note que, quando o tamanho da regi ao de conan ca e mudado, a dire c ao a ser calculada muda, diferentemente do que acontece com a estrat egia de busca linear - na qual, uma vez calculada a dire c ao, apenas o tamanho de passo e modicado. Basicamente, as estrat egias de busca linear e regi oes de conan ca diferem na ordem em que calculam a dire c ao e o dist ancia de xk para xk +1 . A busca linear come ca xando uma dire c ao e, ent ao, calcula a dist ancia apropriada que xk deve ter de xk +1 (ou seja, o tamanho de passo k ). Em regi oes de conan ca, primeiro determina-se a maior dist ancia permitida entre xk e xk +1 (ou seja, o raio da regi ao de conan ca k ). Ent ao, calcula-se o passo que ser a dado, a partir de xk , para calcular xk +1 ,
Marina Andretta (ICMC-USP) sme5720 - Otimiza c ao n ao-linear 17 de agosto de 2010 10 / 16

Ordem de converg encia

Uma das maneiras de medir a performance de um algoritmo e calcular sua ordem de converg encia. Seja {xk } a sequ encia em IR n que converge a x . Dizemos que a converg encia e Q-linear se existe uma constante r (0, 1) tal que

xk +1 x xk x

r,

para todo k sucientemente grande.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

11 / 16

Ordem de converg encia

Isto signica que a dist ancia ` a solu c ao x diminui a cada itera c ao de, pelo menos, um fator constante. Por exemplo, a sequ encia 1 + (0.5)k converge Q-linearmente a 1. O prexo Q vem de quociente, j a que o tipo de converg encia e denido em termos dos quocientes dos erros sucessivos.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

12 / 16

Ordem de converg encia

A converg encia e dita Q-superlinear se

limk

xk +1 x xk x

= 0.

Por exemplo, a sequ encia 1 + k k converge Q-superlinearmente para 1.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

13 / 16

Ordem de converg encia

A converg encia e dita Q-quadr atica se

xk +1 x xk x 2

M,

para todo k sucientemente grande. M e uma constante positiva, n ao necessariamente menor do que 1. Por exemplo, a sequ encia 1 + (0.5)2 converge Q-quadraticamente para 1.
k

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

14 / 16

Ordem de converg encia

A velocidade de converg encia depende de r e, mais fracamente, de M . Estes valores dependem n ao s o do algoritmo, mas das propriedades do problema particular. No entanto, independentemente destes valores, uma sequ encia Q-quadraticamente convergente sempre convergir a, a partir de um momento, mais r apido do que uma sequ encia Q-linearmente convergente. Obviamente, se uma sequ encia converge Q-quadraticamente, ela tamb em converge Q-superlinearmente. E se uma sequ encia converge Q-superlinearmente, ela tamb em converge Q-linearmente.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

15 / 16

Ordem de converg encia

Estas s ao as ordens de converg encia mais usadas na pr atica. Mais geralmente, dizemos que a Q-ordem de converg encia de uma sequ encia ep (para p > 1) se existe uma constante positiva M tal que

xk +1 x xk x p

M,

para todo k sucientemente grande.

Marina Andretta (ICMC-USP)

sme5720 - Otimiza c ao n ao-linear

17 de agosto de 2010

16 / 16