.

CHEIKH LARBI TEBESSI TEBESSA

UNIVERSITY
UNIVERSITE CHEIKH LARBI TEBESSI
TEBESSA
- -
Facult des Sciences Dpartement de
Anne : 2008
Mathmatiques

Mmoire
Prsent en vue de lobtention du diplme de MAGISTER
ROLE JOUE PAR LA CONVEXITE DANS LA
CONVERGENCE DE LA METHODE BFGS
Option
Fonctions Spsiales et
Optimisation
Prsent par : DEGAICHIA HAKIMA
Encadr par : PROF . BENZINE RACHID
Rle jou par la convexit dans la convergence de la mthode de BFGS

Introduction

3
Introduction

De nombreux problmes ncessitent

de minimiser une fonction :
Minimiser la distance entre des points
de mesures et une courbe
Trouver l tat dquilibre dun systme
mcanique (Minimiser Epot)
Trouver ltat dquilibre dun gaz, dun
mlange (Maximiser Entropie)
Tous problmes doptimisation
(minimiser le cot , certaine fonctions
etc); Etc.
4
Introduction

Tous ces problmes entrent dans une

grande catgorie : LOptimisation.
En mathmatiques, l'optimisation est
ltude des problmes qui sont de la
forme :
tant donn : une fonction :
Rechercher : un lment x* de tel que

( x* ) ( x ) pour tous les x en

(maximisation ) ou tel que

x x
( * ) ( ) pour tous les x en
( minimisation ).
5
Introduction

Remarque : Max ( x ) = Min ( x )

Donc minimiser et maximiser sont en fait le
mme problme .
L Optimisation est un sujet trs ancien
(Taylor[1685- 1731] , Newton [1643-1727], Lagrange [1736-1813] et
Cauchy [1789-1857] ont labor les bases des
dveloppements limits ).
Les mthodes numriques de loptimisation ont
principalement t dveloppes aprs la
seconde guerre mondiale, en parallle avec
lamlioration des ordinateurs, et nont cess
depuis de senrichir.

6
Introduction

Dans ce travail on sintresse aux

problmes de convergence de la
mthode de BFGS avec des
recherches linaires inexactes.
On fait une synthse sur les
rsultats de convergence des
mthodes de quasi Newton et
spcialement sur la mthode BFGS
dans le cas convexe et le cas non
convexe.
7
 Plan de Travail

Chapitre I
Optimisation sans contraintes (notions de base)

Chapitre II
Mthodes Quasi -Newtoniennes

Chapitre III Convergence globale de la mthode

BFGS dans le cas convexe et non convexe

Conclusion Gnrale
8
Rle jou par la convexit dans la convergence de la mthode de BFGS

I. Optimisation sans
contraintes (notions de base)

9
 Objectif

Outils Thoriques

Conditions
doptimalit
Convergence des
algorithmes
Recherches linaires
inexactes

10
Optimisation sans contraintes
Problme gnrique :
(1)
x

>0 tel que ( )-(

minimum local *: x x x
* ) 0 * tel que x x
x *- x <
minimum global
>0* :tel que ( x x )-(x
*)0 x x*
11
Optimisation sans contraintes

En gnral, il est facile de trouver les

minimums (maximums) locaux, qui sont
parfois nombreux.
Pour vrifier que la solution trouve est un
minimum (maximum) global, il est
ncessaire de recourir des connaissances
additionnelles sur le problme ( par
exemple la convexit de la fonction objectif
) .

12
 I.1 Conditions dOptimalit

Le problme rsoudre :

x
Conditions ncessaires du 1er ordre

( * ) =
0
Si est convexe, cest une cond.suffi. 1 ordre
er

globale
13
Conditions dOptimalit
Conditions ncessaires du 2me ordre

( x* ) = 0

2( x* ) est semi-dfn.pos
Conditions suffisantes du 2me ordre

( x* ) = 0

2( x* ) est dfn.pos
14
Conditions dOptimalit

Remarques
Dans le cas o f est convexe, alors
tout minimum local est aussi
globale

Si f est strictement convexe, alors

tout minimum local devient non
seulement globale mais aussi
unique
15
Convergence des algorithmes

I.2 Convergence des algorithmes

Convergence globale
dun algorithme

x converge
La suite { k} vers x*
O
x* satisfait la condition ncessaire doptimalit
16
Convergence des algorithmes

Remarque

il suffit dimposer une condition de

convexit pour obtenir la
convergence globale dun
algorithme, quelque soit le point de
dpart choisi.

18
 I.3 Recherches linaires inexactes
d
:
Dfinition
>0
]0,[;
d : Direction ( x + d )
<( x )
de descente
:
Proposition Rgulire (diff.)

d : Direction de
T( x )d < 0
descente en x
19
Recherches linaires inexactes
recherche linaire veut dire
c..dlaralisait
Faire
(xk +un
dterminer kdpas (
k) xlong
le k ) + dune direction de
k
k
descente d k, autrement dit rsoudre le problme
o k <0 Car on peut tomber sur un
unidimensionnel point stationnaire au lieu
k k
dun minimum.

Objectifs atteindre

Consiste faire Consiste dempcher le

dcrotre pas k > 0 dtre trop
suffisamment. petit.
20
Recherches linaires inexactes Risque davoir un
comportement
En pratique, on recherche plutt une valeur de qui
Risque de converger oscillatoire
assure une dcroissance suffisante de .
prmaturment
Cela conduit la notion dintervalle de scurit.

Dfinition

[ g ,d ] intervalle de scurit

si < g Si g < < d si > d alors

alors alors est est trop
est trop petit satisfaisant grand
21
 Recherches linaires inexactes

R.L.Inexactes
Assure une
Deux techniques souvent utilises :suffisante
dcroissance RL d'Armijo
et RL de Wolfe. de f

RL d'Armijo (1966)
La condition dArmijo:
(xk + kdk ) (xk ) +t
(xk ) dk

0< <1

22
 Recherches linaires inexactes

Supprime les cas o k

est trs petit

RL de Wolfe (1969)
Les conditions de Wolfe:
(xk + kdk ) (xk ) + (xk )
t

dk

t (xk + kdk ) dk t (xk ) dk

0< < <1

23
Rle jou par la convexit dans la convergence de la mthode de BFGS

II. Mthodes Quasi -Newtoniennes

24
 Objectif

Formules de mise jour de lapproxi-

mation du Hessien

26
Formules de mise jour de
lapproximation du Hessien
Le principe de la mise jour consiste une itration:
xk +1= xk + kdk
O Mk+1= Mk+ k
dk = Mk -1gk
Avec
k : symtrique assurant de Q-N
Mk+1 : def.pos., sous lhypothse que
Mk est def.pos.

27
Formules de mise jour de lapproximation du Hessien

Si k est de rang1 alors on trouve la formule suivante:

(sk- Mkyk) (sk-
SR1 Mk+1= Mk+ Mkyk)T
(sk- Mkyk) T yk

THORME

La mthode de SR1
f : quadratique
converge au plus de
H( f ) : df.pos.
(n+1) itration et
s1,, sn : vects.indps.
(Mn+1) -1 =H

28
Formules de mise jour de lapproximation du Hessien

Proprits de SR1
Cette mthode prsente lavantage, que le point xk+1 na
pas besoin dtre choisi comme le minimum exact.
Mme si f est quadratique, et mme si son Hessien est
df.Pos., mais la matrice Mk nest pas forcment df. pos.
Le dnominateur (sk- Mkyk) T yk peut devenir nul
ou trs petit, ce qui rendre le procd instable c..d, la
mthode nest pas bien dfinie.
la mthode de SR1 est souvent utilises lorsquil nest pas
possible ou quil nest pas ncessaire que Mk soit dfinie
positive.

29
Formules de mise jour de lapproximation du Hessien

Si k est de rang 2 alors on peut trouver la formule suivante:

sksk T MkykTykMk
DFP Mk+1= Mk +
skTyk ykTMkyk

THORME

M1 : df.pos. est donne;

La formule de DFP conserve la
dfinie positivit de Mk .
30
Formules de mise jour de lapproximation du Hessien

Proprits de DFP
Pour des fonctions quadratiques (avec une recherche
linaire
une exacte)
mthode :
de directions conjugues converge de faon
finie
en au plus n tapes
Lalgorithme dansdans
converge le cas
auo f est
plus quadratique
n tapes avec
dans
Mn+1 = . H-1.
Elles engendrent des directions conjugues.
Pour les fonctions quelconques :
la matrice Mk reste df.pos, ce qui est ncessaire pour
que la direction soit une direction de descente.

la mthode DFP est sensible la prcision de la recherche

linaire.
31
Formules de mise jour de lapproximation du Hessien

Si k est de rang 2 alors on

[Bpeut
]-1trouver la formule suivante
= Mk
k
partir de DFP en intervertissant les rles de sk et yk o Bk
et Bk+1sk= yk
est une approximation du Hessien (lui mme) :

ykykT BkskTskBk
BFGS Bk+1= Bk +
ykTsk skTBksk

[
Mk+1= Mk + 1 +
yk Mk ykT
skTyk
]
s k sk T
skTyk
skykTMk+Mk yk skT
skTyk

32
Formules de mise jour de lapproximation du Hessien

Proprits de BFGS
Dans le cas quadratique la mthode de BFGS
possde les mmes proprits que DFP.
Dans le cas non quadratique, il faut procder des
rinitialisations priodiques pour assurer la convergence
globale.
Les directions s1, s2,...,sn engendres par la formule de
BFGS sont conjugues.
La supriorit de la mthode de BFGS sur la mthode de
DFP est que la mthode de BFGS soit beaucoup
mois sensible que DFP.
33
Rle jou par la convexit dans la convergence de la mthode de BFGS

III. Convergence de la mthode BFGS

dans cas le cas convexe et non convexe

34
 Objectif
rle jou par la convexit dans la

convergence de la mthode
BFGS.Convergence de la mthode
BFGS dans le cas convexe.
Convergence de la mthode
BFGS dans le cas non
convexe.

35
Convergence de la mthode BFGS dans le cas convexe et non convexe

Convergence globale de la mthode

BFGS dans le cas convexe
Un des plus beaux rsultats de convergence en
optimisation sans contrainte est le thorme ci-
dessous. Il est du M.J.D. Powell en 1976. Il donne
des conditions assurant la convergence globale de
lalgorithme de BFGS lorsque la fonction
minimiser est convexe. La beaut du rsultat tient au
fait quil est rare de pouvoir montrer la convergence
dun algorithme quasi-newtonien, avec si peu
dhypothses sur les objets gnrs par celui-ci.
36
Convergence de la mthode BFGS dans cas le cas convexe

Hypothse 3.1
c, C deux constantes positives tels que :
c z 2 z T H(x ) z C z 2 Z , x D
Consquences
D est convexe, ferm et born et que f est convexe
dans D; alors il existe un seul minimum x*dans D.
y 2
C (cette condition assure la dfinie
yk sk
T

positivit et la dcroissance suffisamment du ) .

37
Convergence de la mthode BFGS dans cas le cas convexe

Thorme 3.1

Supposons que : soit convexe et C1,1

dans un voisinage convexe D de
IRn : f f 1
o x1 . On considre lalgorithme de BFGS
dmarrant en x1 avec une matrice M1 symtrique
dfinie positive et on suppose que celui-ci gnre une
suite {xk} telleque { (xk)} soit borne
lim inf
infrieurement. g k 0.
Alors,
k

38
Convergence de la mthode BFGS dans cas le cas convexe et non convexe

Convergence globale de la mthode

BFGS dans le cas non convexe
Jusqu lanne 1999; personne na prouv la
covergence globale de BFGS dans le cas non convexe,
ou a donne un contre exemple qui montre la div.
Nous prsentons une mise jour prudente CBFGS.
Nous montrons leurs conv.glob. avec R.L.Wolfe et
NousR.L.Armijo.
prouvons que la mise jour de CBFGS

rduit par la suite la mise jour de

BFGS. 39
 Convergence de la mthode BFGS dans cas le cas non
convexe

mise jour prudente CBFGS

ykykT MkskTskMk ykTsk
, Si
Mk + y Ts
k k sk Mksk
T
y 2 g k2

Mk+1=
Mk , Sinon

Remarque
les matrices Mk sont sym. et d.p pour tout k; c..d la
suite }(xk ){ est une suite dcroissante nimporte
quelle la recherche linaire utilis de Wolfe ou
dArmijo. 40
Convergence de la mthode BFGS dans cas le cas non convexe

Hypothse 3.2

= } x / (x) (x0) { est contenu dans un

ensemble convexe et borne D. Et f C1,1

Thorme 3.2
On suppose vraie lhypotse 3.2 et }xk { est une suite
gnr par la mise jour de CBFGS avec R.L.
dAmijo, alors lim inf g k 0.
k

41
Convergence de la mthode BFGS dans cas le cas non convexe

Thorme 3.3
On suppose vraie lhypotse 3.2 et }xk { est une suite
gnr par la mise jour de CBFGS avec R.L. de
Wolfe, alors lim inf g k 0
k

Remarque

Les thormes 3.2 et 3.3 prouvent quil existe une

sous-suite de }xk { converge vers un point stationnaire
de (1.1)

42
 Convergence de la mthode BFGS dans cas le cas non
convexe

Lemme 3.1

Si la mthode de BFGS avec la R.L. de Wolfe est

applique une fonction f conti. diff. ; et sil existe
une constante c > 0 telque: y 2
C
T
yk sk
Pour tout k alors
lim inf g k 0
k

43
Convergence de la mthode BFGS dans cas le cas non
convexe

Consquences
La condition de CBFGS ykTsk
y 2 g k2

assur la dfinie positivit et la dcroissance

suffisamment de f.
La mthode de CBFGS rduit la mthode
de BFGS

44
 Convergence de la mthode BFGS dans cas le cas convexe

Bibliographie
[1] Michel Minoux (1983), "Programmation Mathmatique, Thorie et
Algorithmes, (tome 1 , Dunod).
[2] Jorge Nocedal et Stephen J.Wright "Numerical Optimization with
85 illustrations" (1999 springer-verlag New York, Inc).
[3] J. C. Gilbert (2007), "Elments d.Optimisation Diffrentiable : Thorie et
Algorithmes", (Notes de cours, cole Nationale Suprieure de Techniques
Avances, Paris).
[4] Andreas Antoniou et Wu-Sheng Lu "PRACTICAL OPTIMIZATION Algorithms
and Engineering Applications" (2007 Springer Science+Business Media, LLC).
[5] G.Allaire "Louvrage complet est disponible auprs des Editions de
LEcole Polytechnique" paris, le 4 Janvier 2005.
[6] M.J.D. Powell, "Some global convergence properties of a variable metric
algorithm for minimization without exact line searches", (in Nonlinear
Programming, SIAM-AMS Proceedings, Vol. IX, R.W. Cottle, and C.E.
Lemke, eds., SIAM, 1976a, pp.53-72).
45
 Rle jou par la convexit dans la convergence de la mthode de BFGS

[7] D.H. Li and M. Fukushima, "on the global convergence of BFGS method for
non convex unconstrained optimization problems", (April 7, 1999).
[8] R. Byrd, J. Nocedal and Y.Yuan, "Global convergence of a class of quasi-
Newton methods on convex problems", (SIAM Journal on Numerical Analysis,
24 (1987) 1171-1189).
[9] J.E.Dennis, Jr. and J.J.More, "A characterization of superlinear convergence
and its application to quasi-Newton methods", Mathematics of Computation,
(28 (1974) 549-560).
[10] R. Byrd and J. Nocedal, "A tool for the analysis of quasi-Newton methods with
application to unconstrained minimization", (SIAM Journal on Numerical
Analysis, 26 (1989) 727-739).
[11] R. Fletcher, "Practical Methods of Optimization", (Second Edition,
John Wiley & Sons, Chichester, 1987).
[12] R. Fletcher, "An overview of unconstrained optimization, in Algorithms for
Continuous Optimization : The State of the Art", (E. Spedicato, ed., Kluwer
Academic Publishers, Boston, 1994, pp.109-143).

46