To Uh A Mi

No dordre : 2296
Anne 2005 e
` THESE
prsente pour obtenir le titre de e e
DOCTEUR DE LINSTITUT NATIONAL POLYTECHNIQUE DE TOULOUSE

Ecole Doctorale Spcialit e e : : Informatique & Tlcommunications ee Informatique & Mathmatiques Appliques e e par
Ahmed Touhami
UTILISATION DES FILTRES DE TCHEBYCHEFF ET CONSTRUCTION DE PRECONDITIONNEURS SPECTRAUX POUR LACCELERATION DES METHODES DE KRYLOV
Soutenue publiquement le 25 Novembre 2005 devant le jury compos de : e

M.
Gene H. Golub Mario Arioli Jocelyne Erhel Grard Meurant e Iain S. Du Luc Giraud Daniel Ruiz Michel Dayd e
Professeur, Universit de Stanford e Directeur de Recherches, RAL Directrice de Recherches, INRIA Directeur de Recherches, CEA Professeur, RAL et CERFACS Professeur, ENSEEIHT Ma de Confrences, ENSEEIHT tre e Professeur, ENSEEIHT
Prsident e Rapporteurs
MM.
MM. M. M.
Examinateurs Co-encadreur Directeur de th`se e
ii
` A mes parents ` mon fr`re et A mes surs ` A e ` mes tantes A Merci pour tous vos sacrices
iii
iv
Remerciements
Cette th`se a t eectue entre 2002 et 2005 a lInstitut de Recherche e ee e ` en Informatique de Toulouse (I.R.I.T) site de lEcole Nationale Suprieure e dElectrotechnique, dElectronique, dInformatique, dHydraulique et des Tlcommunications de Toulouse (E.N.S.E.E.I.H.T). Lensemble de ces traee vaux ainsi que les activits de monitorat nauraient pu avoir lieu sans les e multiples changes avec les acteurs de la recherche et de lenseignement de e lE.N.S.E.E.I.H.T, du C.E.R.F.A.C.S et de lI.P.S.TC.N.A.M. Leurs conseils, leur aide, leur amiti, et en un mot leur prsence ont fait de ces trois annes e e e lune des priodes les plus enrichissantes de ma vie. Quils soient tous ici e chaleureusement remercis. e Je tiens particuli`rement a remercier : e ` Michel Dayd, Professeur a lE.N.S.E.E.I.H.T, pour mavoir accueilli dans e ` son laboratoire, et davoir accept de diriger mes travaux de th`se. Ses e e conseils aviss et sa clairvoyance mont t dune aide prcieuse. e ee e Daniel Ruiz, Ma de Confrences a lE.N.S.E.E.I.H.T, pour avoir accept tre e ` e co-diriger mes travaux de th`se. Je tiens ici a lui exprimer toute ma recone ` naissance pour son aide et ses encouragements. Ses qualits scientiques et e humaines ont toujours t pour moi, une source de motivation mme dans ee e les moments diciles. Gene H. Golub, Professeur Fletcher Jones a luniversit de Stanford qui ` e ma fait lhonneur de participer et de prsider le jury de cette th`se. Je veux e e aussi le remercier pour les conseils et remarques quils ma apports lors de e nos nombreux changes et rencontres sans oublier son invitation a luniversi e ` e de Stanford. Mario Arioli, Directeur de Recherches au Rutherford Appleton Laboratory (R.A.L), Jocelyne Erhel, Directrice de Recherches a lI.N.R.I.A et Grard ` e Meurant Directeur de Recherches au C.E.A, qui se sont intresss a mon trae e ` vail et qui ont accept de le juger. Leurs remarques pertinentes ont permis e damliorer la prsentation nale de ce manuscrit. e e Iain S. Du, Professeur au R.A.L, Luc Giraud, Professeur a lE.N.S.E.E.I.H.T ` et Miloud Sadkane, Professeur a lUniversit de Bretagne Occidentale, pour ` e leurs encouragements et lattention particuli`re quils ont accorde a ce trae e ` v
vail. Serge Gratton, Senior Researcher dans lquipe ALGO du C.E.R.F.A.C.S e qui sest toujours montr disponible pour dinnombrables discussions. Jai e pu proter de la nesse de ses connaissances et de la pertinence de ses remarques. Daniel Loghin, Senior Lecturer a luniversit de Birmingham pour toutes ` e les discussions scientiques que nous avons pu avoir au C.E.R.F.A.C.S. Ses conseils et son aide mont toujours t prcieux. Jai prouv un rel plaisir ee e e e e a travailler avec lui. ` Frdric Messine, Ma de Confrences a lE.N.S.E.E.I.H.T, qui ma toue e tre e ` jours amicalement conseill et aid. Les diverses discussions que nous avons e e pu avoir ont contribu a mon epanouissement scientique. e` Je remercie lensemble du personnel enseignant et administratif de la li`re et du dpartement Informatique de lI.P.S.TC.N.A.M pour la sympae e thie quils mont tmoigne durant la ralisation de ce travail, en particulier e e e Abdelkrim Acha bou qui a accept de me parrainer durant mon monitorat e et Hadj Batatia, responsable de la li`re informatique au C.N.A.M Midie Pyrnes pour la libert quil ma laisse dans mes choix denseignements e e e e ainsi que pour leurs conseils stimulants et prcieux. e Ces trois annes aurait t bien ternes sans la prsence de tous les e ee e membres de lquipe APO et du projet GRID, en particulier toutes les pere sonnes du quatri`me tage du laboratoire dinformatique : je les remercie e e pour leur gentillesse et leur bonne humeur. Un grand merci a lensemble des thsards que jai croiss ou ctoys, je ` e e o e leur souhaite tous une bonne continuation. Un merci particulier aux doctorants Aurlie Hurault et Pierre-Lo Garoche avec qui jai eu le plaisir de e c partager des heures de labeur, a mes coll`gues Ming Chau et Pierre Mar` e tinon, docteurs matheux, sans oublier Clovis Tauber ne serait-ce que pour la relecture de cette page ! Nos discussions, pas toujours scientiques, ont souvent bris les dynamiques ngatives lors des priodes diciles. e e e Je remercie galement le personnel du Service Edition de lE.N.S.E.E.I.H.T e pour le soin quil a apport a la ralisation du tirage de ce document. e` e Je voudrais nalement exprimer ma profonde gratitude a mes parents, ` ma famille et mes amis dont le soutien a t sans faille. ee Maman, Papa, je vous remercie de navoir pas dout, je vous dois la vie, et e aujourdhui, je vous dois ce que va tre ma vie. e
vi
Table des mati`res e

Introduction 1 Mthodes de Projection en Alg`bre Linaire e e e 1.1 Mthodes Asymptotiques de Projection sur un Sous-Espace . e 1.1.1 1.1.2 1.2 1.2.1 1.2.2 1.2.3 1.3 1.4 Mthode de la Puissance . . . . . . . . . . . . . . . . . e Mthode dItrations Inverses . . . . . . . . . . . . . . e e Mthode dArnoldi . . . . . . . . . . . . . . . . . . . . e Mthode GMRES . . . . . . . . . . . . . . . . . . . . e Mthode de Lanczos . . . . . . . . . . . . . . . . . . . e xi 1 2 2 2 3 4 9 12 14 16 18 19 19 21 25 27 28 29 34
Mthodes de Projection sur un Sous-Espace de Krylov . . . . e
1.2.4 Mthode du Gradient Conjugu . . . . . . . . . . . . . e e Etude de la convergence, prconditionnement . . . . . . . . . e Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 Factorisation Spectrale Partielle 2.1 2.2 2.3 2.4 2.5 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . Filtrage Bas sur les Polynmes de Tchebyche . . . . . . . . e o Factorisation Spectrale Partielle . . . . . . . . . . . . . . . . . 2.3.1 2.4.1 Quelques Remarques . . . . . . . . . . . . . . . . . . . Inuence des Dirents Param`tres . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . . . . Essais Numriques . . . . . . . . . . . . . . . . . . . . . . . . e Conclusion
3 Etude Comparative de Solveurs Itratifs Exploitant une Cere taine Information Spectrale 35 3.1 3.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . Techniques de Rsolution de Syst`mes Linaires Exploitant e e e lInformation Spectrale . . . . . . . . . . . . . . . . . . . . . . vii 35 37
3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 3.3 3.3.1 3.3.2 3.3.3 3.3.4 3.4 3.4.1 3.4.2 3.5
Gradient Conjugu avec Projection Initiale . . . . . . e Gradient Conjugu Dat . . . . . . . . . . . . . . . e e e Gradient Conjugu sur le Syst`me Projet . . . . . . . e e e Correction Spectrale de Rang Faible . . . . . . . . . . Combinaison de la Projection Oblique avec lItration e de Tchebyche . . . . . . . . . . . . . . . . . . . . . . Cycle a deux grilles Algbrique . . . . . . . . . . . . . ` e Comparaison des Direntes Techniques . . . . . . . . e Quand la base approche W est moins prcise e e . . . . Combinaison de la Projection Oblique avec lItration e de Tchebyche . . . . . . . . . . . . . . . . . . . . . . Mthode a deux grilles Algbrique . . . . . . . . . . . e ` e
38 39 40 42 44 45 47 50 53 58 60 64
Essais Numriques . . . . . . . . . . . . . . . . . . . . . . . . e
Considrations Pratiques . . . . . . . . . . . . . . . . . . . . . e
Comparaison des Direntes Techniques en Terme dOpe e rations Flottantes . . . . . . . . . . . . . . . . . . . . 66 Gains Potentiels . . . . . . . . . . . . . . . . . . . . . 70 73
Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4 Approche Hybride Combinant les Filtres de Tchebyche et le Gradient Conjugu pour la Rsolution de Syst`mes Lie e e naires ` Second Membres Multiples e a 75 4.1 4.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.1 4.3 76 Filtres Polynomiaux de Tchebyche comme Prconditionneurs 78 e Prconditionnement des Algorithmes ChebFilter et Chebe FilterCG . . . . . . . . . . . . . . . . . . . . . . . . . . 82 83 84 87 89 93 94 98 Impact de la Valeur de Coupure et du Niveau de Filtrage . . . . . . . . . . . . . . . . . . . . . . . . . Pertinence de la Base de Krylov . . . . . . . . . . . .
Essais numriques . . . . . . . . . . . . . . . . . . . . . . . . e 4.3.1 4.3.2
4.4 4.5
Rutilisation du Sous-Espace de Krylov Filtr pour une Mule e tirsolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . e Considrations Pratiques . . . . . . . . . . . . . . . . . . . . . e 4.5.1 4.5.2 4.5.3 Gains Potentiels et Amortissements . . . . . . . . . . Cas du probl`me Anisotrope EDP2 . . . . . . . . . . . e
Filtrage Initial Additionnel dans lAlgorithme ChebFilterCG . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.6
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 viii
5 Complments, Conclusions et Perspectives e 5.1 5.2
105
Cas Pathologique et Acclration par le Gradient Conjugu ee e par Blocs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Prconditionnement Adaptatif pour des Probl`mes d Equae e tions Non-Linaires . . . . . . . . . . . . . . . . . . . . . . . . 115 e 5.2.1 5.2.2 5.2.3 Description du Probl`me e . . . . . . . . . . . . . . . . 115 Prconditionneurs Adaptatifs . . . . . . . . . . . . . . 117 e Essais Numriques . . . . . . . . . . . . . . . . . . . . 121 e
5.3
Conclusions et Perspectives . . . . . . . . . . . . . . . . . . . 128 131 137
Bibliographie Liste des Publications
ix
Introduction
La modlisation des probl`mes que lon rencontre en physique, en me e e canique, etc., et dune faon gnrale dans les sciences pour lingnieur, c e e e conduit, ventuellement apr`s une tape de discrtisation, a la rsolution e e e e ` e de syst`mes dquation en dimension nie. Lorsque les syst`mes sont non e e e linaires, leur rsolution passe par une tape de linarisation, ou est obtee e e e nue grce a une extension des mthodes de rsolution des syst`mes linaires. a ` e e e e On peut donc dire que le calcul scientique repose sur la rsolution de syse t`mes linaires, pour laquelle il est fondamental que soient dveloppes des e e e e mthodes numriques rapides, robustes, et faciles a utiliser. e e ` Par rsolution, nous entendons soit la recherche des solutions du proe bl`me Ax = x, c.-`.-d. le calcul de valeurs et vecteurs propres o` est e a u la valeur propre et x est le vecteur propre correspondant, soit la recherche de la solution x dun syst`me linaire Ax = b, ventuellement au sens des e e e moindres carrs (si le nombre dquations est suprieur au nombre dincone e e nues). La dtermination de valeurs propres et vecteurs propres a pris une place e importante dans le calcul scientique en raison par exemple, de linformation quelle apporte, sur la stabilit du probl`me physique considr. Elle e e ee est dune grande utilit dans le domaine de la chimie quantique pour la de e termination dondes par exemple, en recherche oprationnelle pour trouver e les distributions stationnaires des cha nes de Markov, dans le domaine de la mcanique des uides pour tudier la vitesse dcoulement . . . Dans la prae e e tique on a gnralement besoin de ne calculer que quelques valeurs propres e e dans une rgion particuli`re du plan complexe, comme les plus petites ou les e e plus grandes en module, ou celles au voisinage dune certaine valeur xe. e Pour raliser cela, on peut rduire la taille du probl`me de dpart, do` le ree e e e u cours a des techniques itratives de projections orthogonales. Ces mthodes ` e e de projection consistent en gnral a construire une matrice dite projete, e e ` e de taille plus petite que celle de la matrice de dpart. Parmi les mthodes e e de projection, on distingue deux types : e e Mthodes asymptotiques : Ce sont des mthodes itratives, la projection se e fait sur un sous-espace de type Gk = Ak S, o` S est un sous-espace enu gendr par un vecteur u ou par un ensemble de r vecteurs indpendants e e xi
xii S = [u1 , . . . , ur ]. La dimension de Gk reste constante au cours des ite rations. La convergence de ces mthodes est assure, sous des hypoth`ses e e e appropries, quand k tend vers linni [15, 34, 63, 74]. on peut citer parmi e ces mthodes, la mthode du sous-espace itr, la mthode de la puissance e e ee e et la mthode des itrations inverses. e e Mthodes de type Krylov : Pour les mthodes de projection de type Krylov, e e la projection se fait sur un sous-espace de Krylov de taille m, o` m cro avec u t les itrations. Contrairement aux mthodes asymptotiques, la terminaison e e des mthodes de type Krylov est assure pour m = n ( en arithmtique e e e exacte), bien quon esp`re quelle se produise pour m e n (n tant la taille e du probl`me). Parmi les mthodes de projection de type Krylov pour le cale e cul des lments propres, on peut citer la mthode dArnoldi pour la rsoluee e e tion des probl`mes non symtriques, ou celle de Lanczos pour les probl`mes e e e symtriques. e Pour la rsolution des syst`mes linaires, il existe plusieurs mthodes e e e e possibles ; certaines sont directes et dautres itratives. En r`gle gnrale, les e e e e mthodes directes (les factorisations LU et QR) sont des solveurs ecaces e et ables. Pour des probl`mes de tr`s grande taille, cependant ces mthodes e e e directes peuvent devenir tr`s ch`res, tant en occupation mmoire quen co t e e e u de calcul. Une alternative pourrait tre lutilisation des mthodes itratives. e e e La plupart des mthodes itratives manipulent le syst`me linaire au travers e e e e de produits matrice-vecteur, ce qui rduit la place mmoire, en ncessitant e e e de stocker que les lments indispensables au calcul de ces produits. Dans ee certains cas, la matrice du syst`me nest pas explicitement connue, mais e simplement donne par lappel a une fonction ralisant le produit de cette e ` e matrice par un vecteur quelconque. Dans ce cas, les mthodes itratives e e restent la seule alternative possible. Cependant ces mthodes restent gne e e ralement moins ables que les mthodes directes, et plus ou moins ecaces e sur des classes de probl`mes bien spciques. Laugmentation de la taille des e e syst`mes a rsoudre conduit a avoir recours aux techniques de projection de ` e ` e veloppes depuis les trente derni`res annes. On distingue donc deux types e e e de mthodes itratives pour la rsolution de syst`mes linaires : e e e e e e ` Mthodes asymptotiques : Les mthodes asymptotiques, qui convergent a e linni, sont les plus anciennes et les plus simples a implanter. Mais elles ` orent souvent une convergence lente. Parmi ces mthodes, les mthodes e e de Jacobi, Gauss-Seidel et la mthode de Relaxation sont les plus connues. e Actuellement ces mthodes ne sont plus gu`re utilises en tant que sole e e veurs linaires, mais restent intressantes en tant que prconditionneurs pour e e e dautres mthodes itratives. e e Mthodes de type Krylov : Les mthodes de type Krylov, employes depuis e e e une trentaine dannes, peuvent se rvler tr`s ecaces. Leur analyse est e e e e plus complique que celle des mthodes asymptotiques. Ces mthodes se e e e basent sur une technique de projection sur un sous-espace de Krylov de di-
Introduction
xiii
mension m n, qui constituent une suite de sous-espaces embo es de taille t croissante, et permettant de construire une squence de vecteurs convergeant e vers la solution recherche. Ces sous-espaces ont la forme suivante : e Km (A, u) = [u, Au, , Am1 u] avec u Rn et m n. La convergence de ces mthodes est assure en e e thorie pour m = n au plus. Les mthodes de Krylov les plus utilises pour e e e la rsolution des syst`mes linaires sont les mthode du rsidu minimal ou e e e e e GMRES, dans le cas gnral, et la mthode du Gradient Conjugu (CG), e e e e pour le cas symtrique. e e e Au Chapitre 1, nous faisons une prsentation succincte de quelques mthodes itratives, asymptotiques ou de type Krylov pour rsoudre ces deux e e probl`mes dalg`bre linaire creux et de grande taille. e e e Lapproche que nous dveloppons dans cette th`se se base sur lutilisae e tion des ltres de Tchebyche et sur la construction de prconditionneurs e spectraux pour lacclration des mthodes de Krylov. ee e Dans une premi`re partie, nous considrons le cas o` le syst`me linaire e e u e e est symtrique dni positif (SPD). Pour rsoudre ce type de syst`me, la e e e e mthode itrative habituellement utilise est le gradient conjugu. Le but e e e e (m) x(0) + K (A, r(0) ) minimisant la de cette mthode est de trouver x e m quantit ||x x(m) ||A , appele erreur, et o` r(0) = b Ax(0) est le rsidu e e u e initial. Comme la matrice A est SPD et les espaces de Krylov sont embo es t et de taille croissante, lerreur ne peut que dcro au sens large au fur et a e tre ` mesure de la construction de ces espaces. Le premier travail tait motiv par e e le fait que la convergence de la mthode du gradient conjugu est souvent e e pnalise d`s que le syst`me linaire a rsoudre poss`de des valeurs propres e e e e e ` e e au voisinage de zro. Plusieurs techniques sont proposes dans la littrature, e e e pour attnuer leet nfaste de ces plus petites valeurs propres, en mettant e e a jour le prconditionneur ou en contraignant la mthode du gradient conju` e e gu a travailler dans le complmentaire orthogonal du sous espace invariant e` e associ aux plus petites valeurs propres. e e Rcemment, Arioli et Ruiz [4], ont propos un algorithme de factorie sation spectrale partielle (dnomm Tchebyche-PSF) combinant les ltres e e polynomiaux de Tchebyche et le processus de Lanczos, pour calculer, avec dirents niveaux de ltrage , une base orthogonale W() du sous espace e invariant associ aux plus petites valeurs propres. Une partie de notre travail e (cf. [28, 29]), relativement a cette mthode, a consist a lincorporer au sein ` e e` de mthodes de rsolution exploitant linformation spectrale du syst`me a e e e ` rsoudre, et a valuer son potentiel et ses limitations. Au Chapitre 2, nous e è introduisons les ltres polynomiaux de Tchebyche et leur utilisation dans la construction de lalgorithme de factorisation spectrale partielle TchebychePSF. Nous dcrirons galement linuence de certains param`tres sur le come e e portememt de cette technique. Lexploitation concr`te de cette approche, e
xiv combine a diverses mthodes de rsolution est tudie et valide exprimene ` e e e e e talement au Chapitre 3. Parmis les mthodes de rsolution, nous considrons e e e ` la version du gradient conjugu avec dation [77], qui consiste a augmenter e e lespace de Krylov gnr dans les itrations du gradient conjugu avec la e ee e e base W(), et a projeter, a chaque itration, les vecteurs de Krylov sur le ` ` e complmentaire orthogonal de cette base W(). Une autre technique consite e a appliquer lalgorithme du gradient conjugu au syst`me projet [51]. Une ` e e e autre approche encore est base sur un prconditionnement spectral [10], e e qui vise a translater de 1 la position des plus petites valeurs propres de la ` matrice du syst`me. Tous ces algorithmes ont t implants en Matlab c e ee e pour lvaluation de leur potentiel ou de leurs limitations. e Dans une deuxi`me partie, au Chapitre 4, nous proposons une nouvelle e approche base sur une combinaison de la mthode du gradient conjugu e e e avec des ltres polynomiaux de Tchebyche comme prconditionneurs. Cette e technique vise a mettre la mthode du gradient conjugu dans un mode ` e e particulier, o` le conditionnement du syst`me linaire nest pas tellement u e e rduit, mais son spectre en grande partie regroup autour de 1. Notre pre e e conditionneur consiste a appliquer les ltres polynomiaux de Tchebyche ` a une partie seulement du spectre de la matrice ditrations, pour pouvoir ` e dcaler la quasi totalit des valeurs propres du syst`me linaire prs de 1, e e e e e sans dgrader la distribution des plus petites valeurs propres. La mthode e e rsultant de cette combinaison TchebycheKrylov se distingue par sa cae pacit a construire une base de Krylov de taille petite, tr`s riche en ce qui e` e concerne les plus petits vecteurs propres/valeurs propres. Cette base de Krylov peut tre rutilise dans un deuxi`me niveau de prconditionnement pour e e e e e une multirsolution, cest-`-dire la rsolution dune squence de syst`mes lie a e e e naires avec la mme matrice mais dirents seconds membres. La technique e e e de prconditionnement a base de polynme de Tchebyche requiert princie ` o palement la multiplication dun vecteur par la matrice initiale et quelques mises-`-jour de vecteur, mais aucun produit scalaire. Cette remarque est a tr`s importante dans le contexte du calcul parall`le, et en particulier dans e e les environnements a mmoire distribue o` le calcul des produits scalaires ` e e u exige une attention particuli`re. Enn, nos algorithmes sont tests sur des e e exemples extraits de la biblioth`que Harwell-Boeing et sur des probl`mes e e dEquations aux Drives Partielles (EDP). Ces tests conrment tous les e e rsultats thoriques. e e Dans une troisi`me partie (cf. Chapitre 5), nous examinons certains cas e pathologiques pour la mthode du Chapitre 4 et proposons des rem`des e e comme par exemple lutilisation du gradient conjugu par blocs. Nous ine troduisons galement une nouvelle technique adaptative de prconditionnee e ment dans le cadre dune multirsolution issue dun processus de linarisae e tion. Notre prconditionneur est bas sur linformation des sous espaces de e e Krylov produite aux tapes prcdentes dans litration non-linaire. Notre e e e e e
Introduction
xv
approche a t valide sur des probl`mes dquations aux drives partielles ee e e e e e non-linaires en mcanique des uides (NavierStokes) et sur des mthodes e e e de dcomposition de domaine pour la rsolution de probl`mes elliptiques. e e e
xvi
Chapitre 1
Mthodes de Projection en e Alg`bre Linaire e e

De nombreuses applications scientiques et industrielles, conduisent a ` des probl`mes dalg`bre linaire avec des matrices creuses et de grande e e e taille. Les deux principaux probl`mes dalg`bre linaire sont : e e e Rsoudre le syst`me linaire e e e Ax = b (1.1)
o` A Rnn est une matrice inversible, creuse et de grande taille et u b Rn le second membre. Trouver les valeurs et vecteurs propres de A, tels que Au = u, o` u C est la valeur propre et u Cn le vecteur propre correspondant. Dans ce chapitre nous faisons une prsentation de quelques mthodes e e itratives, asymptotiques ou de type Krylov pour rsoudre des proe e bl`mes dalg`bre linaire creux et de grande taille. Pour le calcul des e e e valeurs propres on prendra la mthode de la puissance comme exemple e de mthode asymptotique, la mthode dArnoldi comme exemple de me e e thode a terminaison nie dans le cas non symtrique et la mthode de ` e e Lanczos dans le cas symtrique. Pour la rsolution de syst`mes linaires, e e e e on ne considrera que les mthodes de type Krylov, et on tudiera la e e e mthode du rsidu minimal GMRES comme exemple gnral et la me e e e e thode du Gradient Conjugu (CG), dans le cas symtrique. Le choix de e e ces mthodes a t dict par la volont de traiter des approches repre e e e e e sentatives du calcul numrique actuel. Ce sont ces mthodes qui seront e e reprises pour les exprimentations dans les chapitres qui suivent. e Dans tout ce qui suit, on note x(m) lapproximation de la solution a ` litration m, on note r(m) = b Ax(m) le rsidu et e(m) = x x(m) e e lerreur, de sorte que r(m) = Ae(m) . Sauf citation supplmentaire, tous les rsultats et algorithmes prsents e e e e ici sont dcrits, en particulier, dans [26, 34, 31, 46, 63, 74, 75]. e
1.1
Mthodes Asymptotiques de Projection sur un e Sous-Espace
Les mthodes de projection sur un sous-espace, telles que la mthode e e ditration de sous-espace et la mthode de la puissance, sont parmi les e e plus anciennes pour lapproximation de valeurs propres et vecteurs propres associs. On prsentera comme exemple de ces mthodes, la mthode de la e e e e puissance itre et sa variante, la mthode de la puissance itre inverse. ee e ee
1.1.1
Mthode de la Puissance e
La mthode de la puissance est lune des plus anciennes et des plus utilie ses pour le calcul des valeurs propres. Elle sappuie sur le fait que la suite des e itrs Ak v, k = 1, 2, . . . o` v est le vecteur initial, converge (sous de bonnes ee u a conditions [15, 34, 63, 74]) vers un vecteur propre dominant, cest-`-dire un vecteur propre associ a la valeur propre de plus grand module de A. La e ` mthode ditrations de sous-espace gnralise ce principe pour lobtention e e e e dune base du sous-espace associ aux m valeurs propres dominantes [74, e 5]. LAlgorithme 1.1 reprsente lapplication de la mthode de la puissance e e pour une matrice A en partant dun vecteur initial v (0) .
Algorithme 1.1 : Mthode de la puissance e Dbut e 1. Choix de v(0) tel que ||v(0) ||2 = 1 2. Pour k = 1, 2, . . . , m Faire i. x(k) = Av(k1) ii. v(k) = x(k) /||x(k) ||2 T iii. k = v(k) Av(k) 3. FinPour Fin
1.1.2
Mthode dItrations Inverses e e
La mthode ditrations inverses est une variante de la mthode de la e e e puissance ; cest la mthode de la puissance applique a la matrice A 1 et e e ` non pas a la matrice A. Donc cette mthode calcule la valeur propre de plus ` e grand module de A1 ainsi quun vecteur propre associ, ce qui correspond e
Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e
au calcul de la valeur propre de plus petit module de A et a un vecteur ` propre associ. e LAlgorithme 1.2 rsume la mthode ditrations inverses applique a la e e e e ` (0) . matrice A en partant dun vecteur initial v
Algorithme 1.2 : Itrations inverses e Dbut e 1. Choix de v(0) tel que ||v(0) ||2 = 1 2. Pour k = 1, 2, . . . , m Faire i. Rsoudre Ax(k) = v(k1) e ii. v(k) = x(k) /||x(k) ||2 T iii. k = v(k) Av(k) 3. FinPour Fin
1.2
Mthodes de Projection sur un Sous-Espace e de Krylov
Les mthodes de projection sur un sous-espace de Krylov sont tr`s popue e laires et ont t largement classies et tudis [34, 31, 46, 75]. Ces mthodes ee e e e e se basent sur des techniques de projection orthogonale sur un sous-espace, appel sous-espace de Krylov, et donnent naissance a toute une famille de e ` mthodes dites polynomiales. Cette prsentation, ainsi que les motivations e e rsumes dans ce qui suit, sont fortement inspires de [26, 6]. e e e Soit x(0) une approximation initiale et r(0) = b Ax(0) . Dnition 1.1. Les mthodes polynomiales sont dnies par des itrations e e e e du type x(m) = x(0) + Pm1 (A)r(0) , o` Pm1 est un polynme de degr au plus m 1. u o e (0) ) = [r(0) , Ar(0) , . . . , Am1 r(0) ] est appel espace Le sous-espace Km (A, r e de Krylov de dimension m associ a A et r (0) . e` Une mthode itrative est polynomiale si et seulement si elle vrie la condie e e tion de sous-espace x(m) x(0) + Km (A, r(0) ), (1.2) ou, de faon quivalente, c e x(m) x(m1) + Km (A, r(0) ).
4 Cest une mthode de sous-espace lie aux espaces de Krylov. e e La motivation essentielle de ce type de mthodes, comme rappel dans e e [26] en particulier, est que, partant du polynme caractristique dune mao e trice inversible A donne, il est facile de vrier quil existe un polynme e e o P(X) de degr au plus n1 (n tant la dimension de A) tel que A 1 = P(A). e e Lobjectif des mthodes polynomiales est dapprocher dune certaine mani`re e e ce polynme P(X). o
Pour les grands syst`mes, on cherche a arrter les itrations avant daboue ` e e ` ltape m, pour dterminer litr x (m) , on peut tir a la solution exacte. A e ` e ee chercher a satisfaire une condition de minimisation de lerreur pour un cer` tain produit scalaire. Cela nest pas toujours possible, et la recherche dans ce domaine a abouti a une condition plus gnrale que nous abordons main` e e tenant (voir [26]) : une mthode de projection de Krylov est une mthode e e polynomiale dnie par une matrice B dordre n et deux conditions : e la condition de sous-espace (1.2), la condition dite de Petrov-Galerkin : (B e(m) )T u = 0, u Km (A, r(0) ), (1.3)
o` e(m) = x x(m) constitue lerreur a ltape m. u ` e Le choix de B dicte la construction de la mthode de projection. Lorsque la e matrice B dnit un produit scalaire, on obtient la proprit de minimisation e ee souhaite, a savoir : e ` Proposition 1.1. Si B est une matrice symtrique dnie positive alors, e e pour x(m) satisfaisant la condition de sous-espace(1.2), la condition de PetrovGalerkin (1.3) est quivalente a minimiser lerreur suivante : e ` ||e(m) ||B =
yKm (A,r(0) )
min
||e(0) y||B ,
(1.4)
sachant que e(m) = x x(m) = x (x(0) + y) = e(0) y. Dans ce cas x(m) est dtermin de mani`re unique. e e e Pour la dmonstration de cette proposition, on pourra se reporter a [26, e ` 6].
1.2.1
Mthode dArnoldi e
Comme rappel par Saad [75], la mthode dArnoldi est une mthode de e e e projection orthogonale sur un sous-espace de Krylov, gnralement applique e e e aux matrices non symtriques. Cette mthode a t introduite par Arnoldi e e ee en 1950 [5], dans le but de factoriser une matrice sous forme Hessenberg suprieure [61]. Y. Saad a mis en vidence exprimentalement que cette e e e
stratgie est utile pour lapproximation de valeurs propres de matrices de e e grande taille. Si lalgorithme arrive a la m`me itration, m ` e n, on obtient une matrice Hm de forme Hessenberg suprieure de taille m m, et une e matrice orthonormale Vm de taille n m dont les colonnes sont dnies e par des vecteurs v1 , . . . , vm . Ces vecteurs forment une base orthonormale du sous-espace de Krylov Km (A, v1 ) = [v1 , Av1 , . . . , Am1 v1 ]. Dnition 1.2 (matrice dHessenberg). H = (h ij )1i, jn est une mae trice sous forme Hessenberg suprieure (resp. infrieure) si la condition (1.5) e e (resp. (1.6)) est vrie. e e i > j + 1, hij = 0 (1.5) (1.6)
j > i + 1, hij = 0
La construction des vecteurs vj orthonorms et de la matrice Hm est e implmente par lAlgorithme 1.3. Cet algorithme a comme param`tres : e e e v1 , un vecteur initial de norme 1 ; A, la matrice du syst`me aux valeurs propres considr ; e ee m, la taille de lespace de Krylov. Dans lAlgorithme 1.3 le calcul des vecteurs v j , 1 j m, est eectu par e des multiplications successives. Ensuite, chaque vecteur v j est orthogonalis e par rapport a tous les vecteurs vi dj` calculs (i {1, . . . , j 1}), puis ` ea e norm. Lorthogonalisation (tape 2.ii dans lAlgorithme 1.3) correspond a e e ` une procdure de Gram-Schmidt modie [34]. e e Proposition 1.2. Dans lAlgorithme 1.3 dArnoldi, on a, a ltape m, les ` e relations suivantes : AVm = Vm Hm + hm+1,m vm+1 eT m = Vm+1 Hm
T Vm AVm
(1.7) (1.8) (1.9)
= Hm ,
e o` em est le m`me vecteur de la base canonique de Rm , m = 1, . . . , n. u
Pour la dmonstration de cette proposition, on pourra se reporter a [75, e ` 6.3]. La matrice Hm correspond a la matrice Hm , dnie ci-dessus, augmente ` e e e de la ligne m + 1, le terme hm+1,m tant le m`me et seul lment non nul de e ee cette ligne, si m < n. Si m = n, alors AV n = Vn Hn et Hn est unitairement semblable a A. ` Dnition 1.3. Le polynme minimal associ a la matrice A et au vecteur e o e` v1 est le polynme de plus petit degr qui vrie : P(A) v 1 = 0. o e e Proposition 1.3. wj = 0 si et seulement si le polynme minimal associ a o e` A et a v1 est de degr j. ` e
6
Algorithme 1.3 : Procdure dArnoldi e Construction dune base orthonormale pour lespace de Km (A, v1 ) et de la matrice dHessenberg associe Hm e Dbut e 1. Choix de v1 tel que ||v1 ||2 = 1 2. Pour j = 1, 2, . . . , m Faire : i. wj = Avj ii. Pour i = 1, 2, . . . , j Faire : T hi,j = vi wj wj = wj hi,j vi iii. FinPour iv. hj+1,j = ||wj ||2 v. Si hj+1,j = 0 Alors Stop Sinon vj+1 = wj /hj+1,j vi. FinSi 3. FinPour Fin
Pour la dmonstration, on pourra se reporter a [75, 6.3]. Une fois que la e ` matrice Hm de forme de Hessenberg suprieure est construite, il est facile de e calculer ses valeurs propres par lalgorithme QR, ce qui est peu co teux tant u que cette matrice est de taille beaucoup plus petite que celle de la matrice de A. (m) (m) Soit {i , i = 1, 2, . . . , m} les valeurs propres de H m et {yi , i = (m) 1, 2, . . . , m} des vecteurs propres associs, ||y i ||2 = 1. e (m) (m) On dnit alors des vecteurs propres approchs pour A par : u i = Vm yi . e e Proposition 1.4. Soit yi , ||yi ||2 = 1 un vecteur propre de Hm associ e (m) (m) (m) (m) a la valeur propre i , et soit ui le vecteur dni par : ui = Vm yi , ` e alors (A i
(m) (m) (m)
I)ui
(m)
= hm+1,m eT yi m
(m)
vm+1
(m)
(1.10) (1.11)
||(A i
(m)
I)ui
(m)
||2 = hm+1,m |eT yi m
|.
Remarque 1.1. La norme du rsidu est gale a la derni`re composante du e e ` e (m) vecteur propre yi multiplie par hm+1,m . On appelle ce terme le rsidu e e dArnoldi. Remarque 1.2. Si hm+1,m = 0, le sous-espace Km est invariant par A. (m) On appelle ce phnom`ne lucky breakdown car les valeurs propres i de e e
Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e Hm , sont exactement m valeurs propres de A et les vecteurs u i un ensemble de m vecteurs propres de A.
(m)
7 forment
Mthode dArnoldi pour les syst`mes linaires e e e

La mthode dArnoldi peut tre utilise pour la rsolution de syst`mes e e e e e linaires, en calculant une projection sur un sous-espace de Krylov K m (voir e 1.2) qui consiste a calculer une solution approche x (m) = x(0) + z(m) du ` e syst`me (1.1), o` x(0) est un vecteur initial et z est un vecteur de lespace e u Km (A, v1 ). Si v1 = r(0) /||r(0) ||2 o` r(0) = b Ax(0) et = ||r(0) ||2 , alors apr`s u e m itrations de lAlgorithme 1.3 on a une base orthonormale de K m (A, v1 ) e forme a partir du vecteur initial v 1 , Vm = [v1 , . . . , vm ], et une matrice e ` T dHessenberg suprieure Hm de taille m m, tels que Vm AVm = Hm (voir e T r(0) = VT ( v ) = e . Proposition 1.2) et Vm 1 1 m
Algorithme 1.4 : Procdure dArnoldi e Orthogonalisation Totale Dbut e 1. Choix dun vecteur x(0) 2. Calcul de r(0) = b Ax(0) 3. = ||r(0) ||2 et ||v1 ||2 = r(0) / 4. Pour j = 1, 2, . . . , m Faire : i. wj = Avj ii. Pour i = 1, 2, . . . , j Faire : T hi,j = vi wj wj = wj hi,j vi iii. FinPour iv. hj+1,j = ||wj ||2 v. Si hj+1,j = 0 Alors Stop Sinon vj+1 = wj /hj+1,j vi. FinSi 5. FinPour 6. Rsoudre Hm y(m) = (e1 ) e 7. x(m) = x(0) + Vm y(m) Fin
z(m)
La correction z(m) tant un vecteur de Km (A, v1 ) peut scrire comme e e = Vm y(m) o` y(m) est un vecteur de taille m. La solution approche u e x(m) est calcule comme la combinaison linaire des vecteurs v j (matrice e e
8 Vm ) selon la formule x(m) = x(0) + Vm y(m) avec y(m) donn par y(m) = e H1 ( e1 ). m LAlgorithme 1.4 prsente la mthode dArnoldi applique au syst`me lie e e e (0) et qui calcule le naire (1.1) en partant dun vecteur initial quelconque x e vecteur solution x du syst`me (1.1). La littrature spcialise [34, 75] utie e e e lise la dnomination de Mthode dOrthogonalisation Totale pour la mthode e e e dArnoldi applique a la solution des syst`mes linaires. e ` e e
Considration dimplantation Orthogonalisation des vecteurs e

La procdure de Gram-Schmidt [34] utilise pour orthogonaliser les vece e teurs vj , (j {1, . . . , m}) dans les Algorithmes 1.3 et 1.4 est une version modie de la procdure standard. Cette version modie prsente une plus e e e e grande robustesse que la procdure de Gram-Schmidt standard. Cependant, e elle prsente quand mme certains probl`mes dordre numrique [38]. La e e e e mthode dArnoldi peut devenir plus robuste dun point de vue numrique, e e e e lorsque lalgorithme de Householder [90] est employ. Cette procdure est base sur une dcomposition QR de la matrice V i de dimension n i come e pose de vecteurs colonnes vj avec j {1, . . . , i}. Ceci permet une orthogoe nalisation moins sensible a laccumulation des erreurs darrondi, mais dun ` co t lg`rement suprieur. La description de lalgorithme de Householder et u e e e de Gram-Schmidt ainsi que leur utilisation dans la mthode dArnoldi sont e dcrites en dtail dans [75, 6.3]. e e
Considration dimplantation Arnoldi avec Redmarrage e e

Dun point de vue pratique, la mthode dArnoldi prsente de srieuses e e e limitations a cause de la taille m de lespace de Krylov K m (A, v1 ). La com` plexit de calcul due a la procdure de Gram-Schmidt est de lordre de e ` e 2 n) (orthogonalisation de m vecteurs de taille n). Lutilisation mmoire O(m e est de lordre de O(m n) (stockage de m vecteurs de taille n). Loption naturelle pour rduire la taille de lespace de Krylov est dexcuter des rede e e marrages priodiques de la procdure. Ceci revient a appliquer la mthode e e ` e dArnoldi pour un nombre m de pas, et utiliser ensuite la solution obtenue comme un vecteur initial dun nouvel ensemble de m pas. LAlgorithme 1.5 montre la modication en consquence de lAlgorithme 1.4. e Dans lAlgorithme 1.5 on appelle la procdure dArnoldi comme dcrit dans e e lAlgorithme 1.3. Nous notons que cette notion de redmarrage a t introduite galement e ee e pour le calcul de valeurs propres qui peut tre eectue, soit de mani`re e e e explicite ou implicite. Le redmarrage explicite, a t introduit dans [41] e ee pour le cas symtrique et dvelopp par Saad (cf. [70, 71, 74]) dans le cas e e e non symtrique. Cette approche est appele Explicitly Restarted Arnoldi e e
Method (ERAM) dans laquelle le vecteur de redmarrage est construit e en utilisant une combinaison linaire entre les k vecteurs de Ritz calcue ls (v1 = k i yi ). Le principe de cette stratgie est de faire converger e e i=1 le sous-espace de Krylov vers un sous-espace propre associ aux lments e ee propres recherchs. Cette stratgie essaie dobtenir la convergence simultae e ne de tous ses lments propres (par exemple quand les coecients de la e ee combinaison linaire sont identiques i = Constante). Mais en pratique la e convergence des vecteurs propres ne se fait pas a la mme vitesse. Quant ` e au redmarrage implicite, une autre variante a t propose par Sorensen e ee e e (cf. [81]), appele Implicitly Restarted Arnoldi Method (IRAM). Cette technique combine la factorisation de Arnoldi avec le mcanisme de la mthode e e QR avec translation implicite [34, 7.5].
Notons que dans le cas o` A est une matrice symtrique, la procdure u e e dArnoldi se simplie en procdure de Lanczos symtrique (voir 1.2.3) et e e que dans ce cas, la matrice dHessenberg H m est tridiagonale symtrique e note Tm . e
Algorithme 1.5 : Procdure dArnoldi avec e Redmarrage e Dbut e 1. Choix dun vecteur x(0) 2. Calcul de r(0) = b Ax(0) 3. = ||r(0) ||2 et ||v1 ||2 = r(0) / 4. Pour k = 1, 2, . . . , Faire : i. Arnoldi (Algorithme 1.3) ii. Rsoudre y(m) = H1 ( e1 ) e m iii. x(m) = v(m) + Vm y(m) iv. Si Convergence Alors stop Sinon x(0) = x(m) calcul de r(0) = b Ax(0) = ||r(0) ||2 et ||v1 ||2 = r(0) / v. FinSi 5. FinPour Fin
1.2.2
Mthode GMRES e
La mthode GMRES (Generalized Minimum Residual Method) [76] est e aussi une mthode de projection sur un espace de Krylov. De faon idene c
10 tique a la mthode dArnoldi, un espace K m (A, v1 ) est engendr et une ` e e matrice Hm est calcule. Les mmes considrations a propos des procdures e e e ` e dorthogonalisation (Gram-Schmidt ou Householder) peuvent tre faites. La e seule dirence entre la mthode dArnoldi (Algorithme 1.4) et la mthode e e e de GMRES se situe dans le calcul de la solution approche. La mthode e e (m) = x(0) + z(m) du GMRES consiste a calculer une solution approche x ` e u syst`me (1.1), o` x(0) est un vecteur initial et z(m) est un vecteur de lespace e Km . Apr`s m itrations de lAlgorithme 1.4, on a une base orthogonale de e e Km+1 forme a partir du vecteur initial v 1 = r(0) /||r(0) ||2 o` r(0) = bAx(0) , e ` u Vm+1 = [v1 , . . . , vm+1 ], et une matrice Hessenberg suprieure H m de taille e (m + 1) m. La correction z(m) tant un vecteur de Km peut scrire comme z(m) = e e Vm y(m) , o` y(m) est un vecteur de taille m. On cherche donc une solution u approche sous la forme x(m) = x(0) + Vm y(m) , de telle sorte que e b Ax(m) = b A(x(0) + Vy(m) ) = r(0) AVm y(m) = v1 Vm+1 Hm y(m) = Vm+1 ( e1 Hm y(m) ). On dnit alors la fonctionnelle suivante : e J(y) = ||b Ax(m) ||2 = ||b A(x(0) + Vm y)||2 . Comme les colonnes de Vm+1 sont orthonormales on a, J(y) = ||Vm+1 ( e1 Hm y)||2 = || e1 Hm y||2 , et la solution approche x(m) = x(0) + Vm y(m) est choisie en minimisant le e rsidu b Ax(m) sous la contrainte z(m) Km : donc x(m) = x(0) + Vm y(m) e o` y(m) est la solution au sens des moindres carrs de min y || e1 Hm y||2 . u e Une solution pour ce probl`me est propose dans [75, 6.5], et consiste a e e ` ` eectuer une factorisation QR de la matrice H m a laide de rotations de Givens qui permettent dannuler les termes sur la sous-diagonale de H m [34]. Lapproximation fournie par GMRES est donc lunique vecteur qui minimise J(y) et quon peut noter y (m) . La solution approche x(m) a litration m e ` e scrit donc : e x(m) = x(0) + Vm y(m) o` y(m) = arg(min || e1 Hm y||2 ). u
y
LAlgorithme 1.6 prsente limplmentation de la mthode de GMRES e e e de faon analogue a la mthode dorthogonalisation totale (Algorithme 1.4). c ` e La mthode GMRES revient en fait a la mthode de projection de Krylov e ` e dans laquelle on considrerait B = A T A comme dnie en 1.2. Elle est e e caractrise par : e e x(m) x(0) + Km (A, r(0) ) (1.12) r(m) AKm (A, r(0) ).

Algorithme 1.6 : Mthode de GMRES Totale e Dbut e 1. Choix dun vecteur x(0) 2. Calcul de r(0) = b Ax(0) 3. = ||r(0) ||2 et ||v1 ||2 = r(0) / 4. Pour j = 1, 2, . . . , m Faire : i. wj = Avj ii. Pour i = 1, 2, . . . , j Faire : T hi,j = vi wj wj = wj hi,j vi iii. FinPour iv. hj+1,j = ||wj ||2 v. Si hj+1,j = 0 Alors Stop Sinon vj+1 = wj /hj+1,j vi. FinSi 5. FinPour 6. y(m) = argminy || e1 Hm y||2 7. x(m) = x(0) + Vm y(m) Fin
11
La Proposition 1.1 se traduit immdiatement par trouver x (m) x(0) + e Km (A, r(0) ) minimisant ||r(m) ||2 , cest-`-dire a ||r(m) ||2 =
x(m) x(0) +K
min
m
(A,r(0) )
||b Ax(m) ||2 .
(1.13)
Convergence de GMRES Nous avons vu la construction de la mthode GMRES. Nous rappelons e maintenant ses proprits de convergence (cf. [75], par exemple). ee Thor`me 1.5. Si A est diagonalisable, soit A = UU 1 , o` les colonnes e e u de U forment une base de vecteurs propres et o` = diag ( 1 , . . . , n ) et soit u (U) = ||U||2 ||U1 ||2 le conditionnement de U. Les itrations de GMRES e vrient e ||r(m) ||2 ||r(0) ||2 (U) min max |q(i )|.
qPm q(0)=1
i=1,...,n
(1.14)
Pour la dmonstration de ce thor`me, on pourra se reporter a [26, 6], e e e ` [75, 6.11].
12 Redmarrage de GMRES e ` A linstar de la mthode dArnoldi (Algorithme 1.3), la mthode GMRES e e peut aussi tre utilise avec redmarrage. Le principe est toujours le mme, e e e e cest-`-dire, rduire les co ts de traitement et dutilisation de mmoire en a e u e limitant la dimension maximale des espaces de Krylov gnrs. La mthode e ee e GMRES(m) eectue des cycles de m itrations de GMRES, en redmarrant e e avec la derni`re approximation x(m) . Cela permet de limiter le stockage a e ` O(m) vecteurs et de rduire le temps de calcul. Toutefois, le choix de m est e dlicat. e La mthode GMRES Totale (Algorithme 1.6) converge vers une solution e exacte en au plus n (n tant la taille du probl`me) itrations. La mthode e e e e GMRES avec redmarrage, au contraire, peut stagner (cf. [26, 6.7], [91]), e i.e., peut ne plus rduire la norme du rsidu. Ce phnom`ne de stagnation est e e e e un dsavantage apport par lutilisation des redmarrages. Cependant, des e e e valeurs de m proches de la limite thorique de la mthode GMRES Totale e e (n) ne sont pas applicables pour des cas pratiques car les besoins de temps de calcul et place mmoire sont alors prohibitifs. e
1.2.3
Mthode de Lanczos e
La mthode de Lanczos symtrique consiste a construire une base ore e ` thonorme de lespace de Krylov ayant un vecteur v 1 comme vecteur de e dpart. On prote de la symtrie de A pour obtenir une rcurrence a trois e e e ` termes [75, 6.6]. Le procd de Lanczos, pour construire une base de taille m, est rsum e e e e dans lAlgorithme 1.7. Vm = [v1 , . . . , vm ] est une base orthonorme de Km . De plus, on note e Tm la matrice tridiagonale avec pour diagonale les j , 1 j m et pour sur- et sous-diagonale les j , 1 j m. 2 =0 . . . . . . 1 2 2 3 .. . ... .. . 3 .. . 3 .. .. . . .. . 0 0 . . . 0 , j > 0, j = 2, . . . , m m
Tm
On a alors AV = Vm Tm + m+1 vm+1 eT , m

` avec em , meme vecteur de la base canonique de Rm . On en dduit, par e T T multiplication avec Vm que : Tm = Vm AVm .

Algorithme 1.7 : Mthode de Lanczos e Dbut e 1. Choix dun vecteur v1 tel que ||v1 ||2 = 1 2. 1 = 1 et v0 = 0 3. Pour j = 1, 2, . . . , m Faire : i. wj = Avj j vj1 ii. j = (wj , vj ) iii. wj = wj j vj iv. j+1 = ||wj ||2 v. Si j+1 = 0 Alors Stop Sinon vj+1 = wj /j+1 vi. FinSi 4. FinPour Fin
13
Le principal inconvnient de cette version de Lanczos est son manque de e stabilit numrique. En eet, la rcurrence a trois termes, qui permet de limie e e ` ter la quantit de calculs, en exploitant lorthogonalit structurelle entre les e e vecteurs de Krylov gnrs vj , de par la symtrie de A, fait que dun point e ee e de vue numrique, lorthogonalit entre ces vecteurs nest pas maintenue e e de mani`re explicite au niveau algorithmique. Leet des erreurs darrondi e conduit galement a une perte dorthogonalit assez rapide entre les vece ` e teurs vj . Ceci a dj` t observ et analys par C. Paige dans [57, 58, 59]. eaee e e Il est donc utile de rorthogonaliser le vecteur v (j) par rapport a lensemble e ` o` une partie de directions prcdemment calcules. Divers algorithmes ont u e e e t proposs pour raliser cela, comme par exemple, Lanczos avec rorthoee e e e gonalisation compl`te [56], Lanczos avec rorthogonalisation partielle [79], e e Lanczos avec rorthogonalisation slective [65]. Une bonne prsentation de e e e lensemble de ces techniques ainsi que des motivations qui ont conduit a leur ` dveloppement peut tre consulte dans [34, 9.2]. De plus pour arriver a e e e ` une prcision correcte, il est souvent ncessaire de choisir m assez grand. e e Si lon veut garder en mmoire des vecteurs v j (pour les rorthogonaliser) e e on aboutit a un algorithme qui requiert O(n m) en mmoire et augmen` e ter m peut devenir limitatif a terme. Une possibilit pour rpondre a ces ` e e ` deux dicults est dutiliser une mthode de redmarrage comme dans le e e e cas dArnoldi en 1.2.1.
14
Mthode de Lanczos pour les syst`mes linaires e e e

La mthode de Lanczos pour les syst`mes linaires (Algorithme 1.8) est e e e identique a la mthode dArnoldi (Algorithme 1.4). La solution approche ` e e x(m) a litration m est obtenue par une mthode de projection orthogonale ` e e sur lespace de Krylov Km : x(m) = x(0) + Vm y(m) o` y(m) = T1 ( e1 ). u m
Algorithme 1.8 : Mthode de Lanczos pour les syst`mes e e linaires e Dbut e 1. Choix dun vecteur x(0) et r(0) = b Ax(0) 2. = ||r(0) ||2 , v1 = r(0) / et 1 v0 = 0 3. Pour j = 1, 2, . . . , m Faire : i. wj = Avj j vj1 ii. j = (wj , vj ) iii. wj = wj j vj iv. j+1 = ||wj ||2 v. Si j+1 = 0 Alors Stop Sinon vj+1 = wj /j+1 vi. FinSi 4. FinPour 5. Tm = tridiag(i , i , i+1 ) et Vm = [v1 , . . . , vm ] 6. Rsoudre Tm y(m) = (e1 ) e 7. x(m) = x(0) + Vm y(m) 8. FinPour Fin
1.2.4
Mthode du Gradient Conjugu e e
La mthode du Gradient Conjugu (CG) correspond a la mthode de e e ` e projection de Krylov que lon obtient en considrant B = A comme dnie e e en 1.2 et A est symtrique dnie positive (SPD). e e x(m) x(0) + Km (A, r(0) ) r(m) Km (A, r(0) ). (1.15)
La Proposition 1.1 se traduit immdiatement par : trouver x (m) x(0) + e Km (A, r(0) ) minimisant ||x x(m) ||A .

Algorithme 1.9 : Gradient Conjugu (CG) e Dbut e 1. Choix de x(0) , r(0) = b Ax(0) et p(0) = r(0) 2. Pour k = 0, 1, . . . , m Faire i. q(k) = Ap(k) ii. k = (r(k) , r(k) )/(q(k) , p(k) ) iii. x(k+1) = x(k) + k p(k) iv. r(k+1) = r(k) k q(k) v. k+1 = (r(k+1) , r(k+1) )/(r(k) , r(k) ) vi. p(k+1) = r(k+1) + k+1 p(k) 3. FinPour Fin
15
Du fait des proprits de A, des relations de conjugaison (orthogonalit) ee e apparaissent, conduisant a lAlgorithme 1.9 qui repose sur la construction de ` deux bases direntes de Km (A, r(0) ) : e La base des rsidus R = (r(0) , . . . , r(m) ), qui est orthogonale, e La base des directions de descente P = (p (0) , . . . , p(m) ), qui est Aorthogonale. Ltape 2.v2.viii de lalgorithme correspond ainsi a la A-orthogonalisation e ` de p(m+1) vis-`-vis de p(m) ce qui thoriquement implique lorthogonalit de a e e (m+1) vis-`-vis de toutes les directions de descente prcdentes. Cependant, p a e e du point de vue numrique, cette conjugaison a tendance tre perdue au fur e e et a mesure des itrations. Il convient alors de mettre en place une orthogo` e nalisation compl`te (voire slective) des directions de descente. Direntes e e e mises en oeuvre sont dailleurs possibles (entre autre Gram-Schmidt, GramSchmidt modi [34]) permettant dobtenir des prcisions plus ou moins e e leves. e e
Optimalit du Gradient Conjugu e e Le thor`me suivant montre que la solution produite par lalgorithme e e du gradient conjugu est optimale pour la norme A, puis donne une borne e suprieure grossi`re de convergence, en fonction du conditionnement de la e e matrice A. Thor`me 1.6. Soit A symtrique dnie positive. Lerreur e (m) = xx(m) e e e e
16 dans lAlgorithme 1.9 (CG) vrie les relations suivantes : e ||e(m) ||A = ||e(m) ||A = ||e ||e
(m) zx(0) +Km (A,r(0) ) qPm1
qPm q(0)=1
min
||z x||A
A
min
I Aq(A) e(0)
(0)
||A =
min ||q(A)e
(0)
||A
m
(m)
||A 2 ||e
||A
1 +1
max tant le conditionnement de A et Pm tant lensemble des polye e min nmes de degr m. o e = Pour la dmonstration de ce thor`me, on pourra se reporter a [16, 26, e e e ` 34, 46, 75].
1.3
Etude de la convergence, prconditionnement e
Les performances des solveurs de Krylov sont fortement lies au spectre e de la matrice du syst`me et plus prcisment au spectre actif du syst`me (ene e e e semble des valeurs propres pour lesquelles le second membre a une projection non nulle sur le vecteur propre associ). On peut notamment remplacer le e conditionnement par le conditionnement actif act dans la derni`re relation e du Thor`me. 1.6 obtenant ainsi un meilleur taux de convergence. e e ` partir de ces simples considrations, lintrt du prconditionnement A e ee e doit sembler vident : lide est de rsoudre le syst`me quivalent MAx = e e e e e Mb avec M une matrice bien choisie qui conf`re au nouveau syst`me de e e meilleures proprits spectrales (notamment si M A 1 alors le conditionee nement est excellent). Dans le cadre du Gradient Conjugu, lemploi dun prconditionneur e e peut sembler problmatique puisque la symtrie du probl`me est a priori e e e rompue. Soit M une matrice symtrique dnie positive, approchant A, on peut, e e par exemple, rsoudre un des probl`mes suivants : e e M1 Ax = M1 b, ou AM1 y = b, x = M1 y. (1.16)
(1.17)

Algorithme 1.10 : Gradient Conjugu e Prconditionn (PCG) e e Dbut e 1. Choix de x(0) et r(0) = b Ax(0) 2. z(0) = M1 r(0) et p(0) = z(0) 3. Pour k = 0, 1, . . . , m Faire i. q(k) = Ap(k) ii. k = (r(k) , z(k) )/(q(k) , p(k) ) iii. x(k+1) = x(k) + k p(k) ii. r(k+1) = r(k) k q(k) iv. z(k) = M1 r(k+1) v. k+1 = (r(k+1) , z(k+1) )/(r(k) , z(k) ) vi. p(k+1) = r(k+1) + k+1 p(k) 4. FinPour Fin
17
Malheureusement dans ce cas M1 A et AM1 ne sont plus symtriques. e On peut prserver cette symtrie, par exemple, si M est disponible sous e e forme factorise M = LLT , ce qui est possible par exemple d`s que M est e e symtrique dnie positive. On spare alors la matrice de prconditionnee e e e ment et on rsout e L1 ALT y = LT b, (1.18) x = LT y. qui est, lui, un syst`me symtrique. Cela nest pas cependant ncessaire car e e e 1 A est auto-adjoint pour le produit scalaire M. En eet M (M1 Ax, y)M = (Ax, y) = (x, M1 Ay)M . Et donc, il sut de rsoudre (1.16) avec le produit scalaire M dans lalgoe rithme du Gradient Conjugu. Il nest pas ncessaire non plus de calculer e e les produits scalaires avec M car avec z (m) = M1 r(m) , (z(m) , z(m) )M = (z(m) , r(m) ) 1 Ap(m) , p(m) ) (m) , p(m) ) (M M = (Ap Si on injecte ces relations dans lAlgorithme 1.9 du gradient conjugu, e on obtient lAlgorithme 1.10. Il est appel algorithme du Gradient Conjugu e e prconditionn. Son avantage sur la version non prconditionne est que la e e e e vitesse de convergence dpend maintenant du conditionnement de la matrice e 1 A. M Sa mise en oeuvre ncessite un vecteur intermdiaire supplmentaire et e e e une rsolution de syst`me : z(m) = M1 r(m) . Il faut donc choisir M de telle e e
18 faon que ce surco t ne soit pas trop important par rapport a la rduction c u ` e eective du nombre ditrations, et pour que le gain soit important, on choisit e M telle que M1 A a de meilleures proprits spectrales. ee
1.4
Conclusion
Dans ce chapitre, nous avons prsent quelques mthodes itratives, e e e e asymptotiques ou de type Krylov pour la rsolution des probl`mes de lale e g`bre linaire creux et de grande taille. Pour le calcul des valeurs propres, e e nous avons introduit la mthode de la puissance comme exemple de me e thode asymptotique, la mthode dArnoldi comme exemple de mthode a e e ` terminaison nie dans le cas non symtrique et la mthode de Lanczos dans e e le cas symtrique. Quant a la rsolution de syst`mes linaires, nous navons e ` e e e considr que les mthodes de type Krylov. Dans le chapitre suivant nous ee e introduisons une nouvelle technique combinant les ltres polynomiaux de Tchebyche et le processus de Lanczos pour calculer avec dirents niveaux e de ltrage , une base orthogonale W() du sous-espace invariant associ e aux plus petites valeurs propres du probl`me a rsoudre. Cette base sera ine ` e corpore au sein des mthodes exploitant une certaine information spectrale e e du syst`me a rsoudre. e ` e
Chapitre 2
Factorisation Spectrale Partielle

Rcemment, un algorithme de factorisation spectrale partielle (de e nomm Tchebyche-PSF) combinant les ltres polynomiaux de Tchee byche et le processus de Lanczos a t propos par Arioli et Ruiz [4]. e e e e Une partie de notre travail (cf. [28, 29]), en relation avec cette mthode, a consist a lincorporer au sein de mthodes de rsolution exploitant e ` e e linformation spectrale du syst`me a rsoudre, et a valuer son potene ` e è tiel et ses limitations. Lobjectif de ce chapitre est dintroduire les ltres polynomiaux de Tchebyche et leur utilisation dans la construction de lalgorithme de factorisation spectrale partielle Tchebyche-PSF. Nous dcrirons galement linuence de certains param`tres sur le compore e e tement de cette technique. Lexploitation concr`te de cette approche e combine a diverses mthodes de rsolution sera tudie et valide exe ` e e e e e primentalement au chapitre suivant. e
2.1
Introduction
Dans lensemble de ce chapitre, le syst`me linaire considr (1.1) est e e ee symtrique dni positif (SPD). Pour rsoudre ce type de syst`me, une des e e e e mthodes itratives de choix est le gradient conjugu [37]. Comme prce e e e e demment dcrit, au Chapitre 1, le but de cette mthode est de calculer une e e approximation de la solution x(m) x(0) + Km (A, r(0) ), minimisant la quantit suivante (appele erreur) ||x x (m) ||A , et o` r(0) = b Ax(0) est le e e u rsidu initial. Comme A est SPD et les espaces de Krylov sont embo es et e t de dimension croissante, lerreur ne peut que dcro au sens large au fur e tre et a mesure de la construction de ces espaces. ` Cependant, la convergence de la mthode de gradient conjugu est soue e vent pnalise d`s que le syst`me linaire a rsoudre poss`de des valeurs e e e e e ` e e 19
20 propres au voisinage de zro. Plusieurs techniques ont t proposes dans la e ee e littrature pour attnuer leet nfaste de ces plus petites valeurs propres, e e e en mettant par exemple a jour le prconditionneur [10], ou bien encore en ` e contraignant la mthode du gradient conjugu a travailler dans le comple e` e mentaire orthogonal du sous-espace invariant associ aux plus petites valeurs e propres [51, 77, 88]. Ces diverses approches exploitent la connaissance explicite dun sous-espace invariant contenant les directions qui nuisent a la ` convergence. Typiquement, cet espace contient les directions propres associes aux plus petites valeurs propres qui, comme montr dans [85], sont e e les directions qui gnent le plus le gradient conjugu dans sa convergence, e e car elles induisent des paliers dans la dcroissance monotone de lerreur e ||x x(m) ||A . Dans ce chapitre, nous introduisons une technique base sur les ltres e polynomiaux de Tchebyche combins avec le processus de Lanczos ou de e e Lanczos par blocs (voir [33, 54, 84] pour plus de dtails) permettant de calculer une base orthogonale du sous-espace invariant associ aux plus petites e valeurs propres de A.
Cette technique dmarre par la gnration alatoire dun ensemble de s e e e e vecteurs (s est appel la taille du bloc) orthonormalis. Des polynmes mae e o triciels de Tchebyche en A sont alors appliqus a lensemble de ces vecteurs e ` de dpart pour attnuer les composantes propres associes a toutes les vae e e ` leurs propres dans un certain intervalle prdtermin. On peut, par exemple, e e e xer un nombre positif ]0, max (A)[, et dcider de calculer tous les vece teurs propres associs aux valeurs propres dans lintervalle [ min (A), ]. Ce e param`tre sera appel valeur de coupure, et servira explicitement dans e e la construction des polynmes de Tchebyche. Le calcul de la plus grande o valeur propre de A, max (A), nest en gnral pas trop dicile, et dans e e certains cas, une borne suprieure tr`s proche de max (A) peut mme tre e e e e directement dduite grce a quelques proprits numriques de A. Si les e a ` ee e valeurs propres de la matrice A sont tr`s bien regroupes, on peut espe e e rer que le nombre de valeurs propres restantes dans lintervalle [ min (A), ], pour une valeur de coupure raisonnable, sera petit. Pour en revenir a lal` gorithme lui mme, apr`s avoir ltr lensemble des s vecteurs de dpart, e e e e nous obtenons un ensemble de s vecteurs dont les composantes propres sont proches de 0 pour toute valeur propre dans lintervalle [, max (A)], a la suite ` de quoi il est possible dutiliser la technique de Lanczos/Lanczos par blocs pour construire une approximation de lespace invariant associ a toutes les e` valeurs propres dans lintervalle complmentaire [ min (A), ]. e Dans ce qui suit, apr`s avoir introduit les ltres polynomiaux de Tchebye che, les tapes de la factorisation spectrale partielle seront dtailles. Nous e e e dcrirons enn linuence de certains param`tres sur le comportement de la e e mthode. e
Chapitre 2. Factorisation Spectrale Partielle
21
2.2
Soit
Filtrage Bas sur les Polynmes de Tchebye o che

A = UUT = U1 1 UT + U2 2 UT , 1 2
la dcomposition propre de la matrice A, 1 tant la matrice diagonale e e forme des valeurs propres i de A infrieures au param`tre ]0, max [, e e e U1 la matrice rectangulaire dont les colonnes correspondent aux vecteurs propres orthonormaliss associs a ces valeurs propres, 2 et U2 tant les e e ` e matrices complmentaires correspondantes. e Soit P la matrice de s vecteurs orthonormaliss gnrs alatoirement et F m e e ee e un polynme de degr m. Sur la base de cette dcomposition, on peut alors o e e crire e Fm (A) P = U1 Fm (1 )UT P + U2 Fm (2 )UT P. (2.1) 1 2 Le but est de choisir un polynme Fm permettant de rendre Fm (2 ) tr`s o e proche de zro de mani`re contrle, de telle sorte que F m (A) P soit tr`s e e oe e colinaire a U1 . e `
Une famille de polynmes qui remplit cette contrainte est la famille o des polynmes de Tchebyche dnis par la relation de rcurrence suivante o e e (voir [36, page 46]) : T0 () = 1 , T1 () = , Tm+1 () = 2 Tm () Tm1 () m 1. (2.2)
Les proprits optimales des polynmes de Tchebyche (cf. Thor`me 4.2.1 ee o e e e e e dans [36, page 47]) peuvent tre rcapitules comme suit : Soit |d| > 1, et Q Pm lensemble des polynmes de degr m, tel que o e Tm () vrie : e Q(d) = 1, alors le polynme Hm () = o Tm (d) max |Hm ()| max |Q()|, Q Pm , [1,1] [1,1] (2.3) 1 max |Hm ()| = . |Tm (d)| [1,1] Soit la similitude directe dnie par : e R () = max (A) + 2 , max (A)
o` ]min (A), max (A)[ et min (A) (resp. max (A)) est la plus petite u valeur propre de A (resp. la plus grande valeur propre de A). Cette similitude transforme lintervalle [, max (A)] en [1, 1], avec max (A)+ d = (0) = max (A) > 1 (max (A)) = 1 () = 1.
22 Soit alors Fm () =
Tm ( ()) , Tm (d )
(2.4)
e notre ltre polynomial. Dapr`s lquation (2.3), Fm vrie donc e e

[,max (A)]
max
|Fm ()|
[,max (A)] QPm Q(0)=1
max
|Q()|.
(2.5)
Lexemple de la gure 2.1 montre les valeurs du polynme de Tchebyche o F16 (), ]0, 1], comme dni dans (2.4), avec min = 1016 , max = 1, e et = 101 . Sur le bas de la gure 2.1, sont reprsentes les valeurs du e e polynme F16 () sur lintervalle [, max ]. Cet exemple illustre comment o utiliser les polynmes de Tchebyche comme un ltre spectral pour attnuer o e uniformment, au dessous dune valeur = 10 4 relativement aux autres, les e composantes propres associes a toutes les valeurs propres dans lintervalle e ` [, max ]. Sur le haut de la gure 2.1, on peut remarquer que les valeurs du polynme F16 () sur lintervalle [min , ] restent proches de 1 (surtout pour o des valeurs [min , 102 ]). Ceci est d a la continuit des polynmes de u` e o Tchebyche et au fait que F16 (0) = 1. Nous introduisons alors la notation algorithmique Z = TchebycheFilter(P, , [, max ], A) pour reprsenter lapplication du polynme matriciel de Tchebyche en A e o a lensemble de vecteurs P, ` Z = Fm (A) P, e o` Fm est le ltre polynomial dni par lquation (2.4). Le degr de Fm u e e est x de faon a ce que ||Fm || soit infrieure a sur lintervalle [, max ], e c ` e ` o` u 1 est le niveau de ltrage choisi a priori. En eet, pour des valeurs donnes de , max (A) et , on peut xer le degr m de Tm tel que e e 1/|Tm (d )| < sur [, max (A)], ce qui implique que||Fm (2 )|| < , et en utilisant lquation (4.1) on peut alors crire : e e ||UT Z||2 ||Fm (2 )||2 ||UT P||2 ||UT P||2 . 2 2 2 (2.6)
Lquation (2.6) montre explicitement comment le ltre matriciel de Tchee byche en A appliqu a un ensemble de vecteurs pourra attnuer, dans ces e` e vecteurs, les composantes propres associes a toutes les valeurs propres de e ` lintervalle [, max (A)] en dessous dun niveau relativement aux autres. Le degr du polynme de Tchebyche permettant dattnuer les come o e posantes propres dun facteur de ltrage , est directement li au taux e de convergence de litration de Tchebyche sur lintervalle [, max ] (voir, e
23
16 itrations de Tchebyche e
10
0
10
ChebyshevFilter
10
10
10 16 10
10
14
10
12
10
10
10
10
10
10
10
vp min = 1e16; val coupure = 0.1
x 10
ChebyshevFilter
2 0
vp min = 1e16;
0.2
val coupure = 0.1;
0.4
0.6
vp max = 1
0.8
Fig. 2.1 Reprsentation des valeurs du ltre polynomial de Tchebyche e F16 dans les deux intervalles [1016 , ] et [, 1], avec = 101 .
24 e e e.g., [36, 30]), qui dpend seulement du rapport max /. Comme illustr dans la gure 2.1, 16 itrations de Tchebyche susent pour atteindre un niveau e de ltrage = 104 sur lintervalle [, max ] o` max / = 10. Si on prend u par exemple max / = 100 comme valeur de coupure, le nombre ditrations e de Tchebyche pour atteindre le mme niveau de ltrage devient alors gal e e a 50. ` Le ltre polynomial de Tchebyche est rsum dans lAlgorithme 2.1. e e
Algorithme 2.1 : Filtre Polynomial de Tchebyche Dbut e 1. = 2. 3. 4. 5. 2 max (A) + et d = max (A) max (A) 0 = 1 et 1 = d Choix dun vecteur x(0) et calcul de r(0) = b Ax(0) (0) r et r(1) = b Ax(1) x(1) = x(0) + d Pour m = 1, 2, . . . , jusqu` 1/m < Faire : a i. m+1 = 2 d m m1 m m1 ii. x(m+1) = 2 x(m1) d x(m) + r(m) m+1 m+1 iii. r(m+1) = b Ax(m+1) FinPour
6. Fin
Cet algorithme correspond a lapplication du polynme matriciel de ` o Tchebyche en A multipliant les composantes propres de r (0) associes a e ` toutes les valeurs propres dans lintervalle [, max (A)] par le niveau de ltrage , et retournant donc le vecteur rsidu r (m+1) = Fm+1 (A) r(0) ainsi e (m+1) tel que b Ax(m+1) = r(m+1) . Les tapes que litr correspondant x ee e 5.ii et 5.iii de lAlgorithme 2.1 sont lies par la relation suivante : e r(m+1) = Fm+1 (A) r(0) = o` d = u 1 Tm+1 ( (A)) r(0) Tm+1 d I A r(0) = Tm+1 (d ) m+1
max + 2 , = et m = Tm (d ) pour tout m 0. max max Ltape 5.iii peut tre en eet, remplace par la relation de rcurrence suie e e e vante m m1 (m1) d r(m) Ar(m) r , (2.7) r(m+1) = 2 m+1 m+1 qui correspond a litration de Tchebyche classique calculant r (m+1) en ` e fonction de r(m) et r(m1) .
25
2.3
Factorisation Spectrale Partielle
La factorisation spectrale partielle propose dans [4] se base sur la come binaison des ltres polynomiaux de Tchebyche, prsents au 2.2, avec le e e processus de Lanczos/Lanczos par blocs [33, 59, 69, 84] pour calculer, pour un niveau de ltrage x, une base orthogonale W du sous-espace invariant e associ aux plus petites valeurs propres de la matrice A. e Les tapes de cette technique sont rsumes dans lAlgorithme 2.2, appel e e e e aussi ChebyshevPartial Spectral Factorization (Tchebyche-PSF) [4, 28, 29].
Algorithme 2.2 : Tchebyche-PSF Dbut e Calcul de max (A) et choix de 1. Calcul dune approximation de max (A) par la mthode e de la puissance 2. = max (A)/, ( = 10, ou 100 par exemple) Filtrage initial de la base gnre e e e 3. 4. 5. 6. 7. P(0) = random(n, s) Z(0) = TchebycheFilter(P(0) , , [, max ], A) W(0) = orthonormaliser(Z(0) ) W = W(0) ; and 2 = 1 Pour k = 0, 1, . . . , jusqu` convergence Faire : a Processus de Lanczos/Lanczos par blocs i. P(k+1) = (I WWT )AW(k) (k+1) ii. [Q(k+1) , 1 , V] = SVD(P(k+1) , 0) (k+1) iii. 1 = min(diag(1 )) Maintien du niveau de ltrage iv. = max(, 1 2 ) v. Z(k+1) = TchebycheFilter(Q(k+1) , , [, max ], A) vi. Y(k+1) = (I WWT )Z(k+1) (k+1) vii. [W(k+1) , 2 , V] = SVD(Y (k+1) , 0) (k+1) viii. 2 = min(diag(2 )) Incorporation des vecteurs dans la base courante ix. W = [W; W(k+1) ] 8. FinPour Fin SVD(Z, 0) dnote la dcomposition conomique en valeurs e e e singuli`res de Z. e
26 Pour dmarrer lalgorithme, il est ncessaire de conna la plus grande e e tre valeur propre de la matrice A, max (A). Ceci peut tre obtenu, par exemple, e avec quelques itrations de la mthode de la puissance introduite dans le chae e pitre 1, 1.1. Mais il est possible galement dutiliser simplement une borne e suprieure de max (A), qui peut dailleurs dans certains cas tre facilement e e dtermine a partir de proprits de la matrice A. e e ` ee Pour dnir lintervalle de ltrage [, max (A)], qui sera incorpor dans les e e ltres polynomiaux de Tchebyche prcdemment dcrits au 2.2, nous e e e xons alors la valeur de coupure a max (A)/ (o` = 10, ou 100 par ` u exemple). Cela permet en particulier de contrler explicitement le taux de o convergence du ltre polynomial de Tchebyche F m sur lintervalle [, max (A)], sachant que Fm (0) est x gal a 1. Cette valeur de coupure , comme nous ee ` o le verrons dans ce qui suit (chapitre 3), contrle aussi le conditionnement rduit max (A)/ qui sera exploit de mani`re implicite apr`s calcul du souse e e e espace invariant associ a toutes les valeurs propres de A dans lintervalle e ` ]0, ]. Nous pouvons dj` insister sur le fait quil y a un compromis a atteindre ea ` dans le choix de . En eet, un choix de trop grand peut induire beaucoup plus de valeurs propres (et vecteurs propres associs) dans lintervalle ]0, ], e et donc une dimension assez grande pour lespace invariant qui sera calcul. e A loppos, une valeur de tr`s petite augmentera de mani`re substantielle e e e le nombre ditrations de Tchebyche requises pour atteindre le niveau de e ltrage prdtermin sur lintervalle [, max (A)]. e e e Les tapes 3 a 5 de lalgorithme Tchebyche-PSF correspondent a lape ` ` plication initiale du polynme de Tchebyche permettant de gnrer dans o e e un premier temps un ensemble orthonormal W (0) de s vecteurs ltrs, o` le e u param`tre s 1 est la taille du bloc comme dans les techniques de Lanczos e par blocs. Apr`s cette premi`re phase de ltrage, les composantes propres e e dans W(0) qui correspondent aux valeurs propres de A dans lintervalle [, max (A)] seront (en valeur absolue) au-dessous dun certain niveau de ltrage 1. Nous pouvons alors commencer litration de Lanczos par e blocs, correspondant aux tapes 7.i et 7.ii dans lalgorithme Tchebychee PSF. Le processus de Lanczos permettra de construire, par lintermdiaire e des espaces de Krylov, un sous-espace invariant associ a toutes les valeurs e` propres de A dans lintervalle ]0, [. Plus prcisment, ce processus revient a former e e ` P(k+1) = I WWT AW(k) et a orthonormaliser lensemble des s vecteurs P (k+1) pour calculer la pro` chaine entre W(k+1) dans la base orthonormale de Krylov W. Comme e e e discut dans [4], la dicult principale de litration de Lanczos/Lanczos e par blocs est quelle dtriore graduellement la sparation relative entre les ee e composantes propres dans W, initialement ltres a dans W (0) . e `
27
Cette dtrioration peut tre directement estime (en termes de borne ee e e suprieure) par le calcul de la plus petite valeur singuli`re 1 (dtermine a e e e e ` ltape 7.iii) lorsquon orthonormalise le bloc de directions de Krylov P (k+1) e courant. Le but des tapes 7.iv a 7.v est de maintenir alors, sous le niveau , e ` avec quelques itrations supplmentaires de ltrage, cette sparation relative e e e entre les composantes propres associes a toutes les valeurs propres dans e ` lintervalle [, max (A)] dans les nouveaux vecteurs de Lanczos W (k+1) . Les tapes 7.vi a 7.viii, visent a orthogonaliser les vecteurs rcemment e ` ` e ltrs par rapport a la base orthonormale courante W. Nous mentionnons e ` quil est ncessaire dexcuter une r-orthogonalisation totale, puisque ape e e pliquer le ltre polynomial matriciel en A a lensemble des vecteurs Q (k+1) ` dtruit la proprit dembo e ee tement intrins`que des sous-espaces de Krylov e (cf. Chapitre 1.) Tester la convergence de lalgorithme Tchebyche-PSF, ou linvariance de la base W, peut tre ralis par la gnration alatoire dun vecteur e e e e e e supplmentaire au dbut, que lon ltrera aussi au dessous du niveau et que e e lon normalisera. Ce vecteur sera utilis (quand par exemple 2 devient petit) e pour tester linvariance, en le projetant sur le complmentaire orthogonal de e la base calcule W, et en valuant si la norme de ce projet est proche de e e e la valeur de ltrage ou non. La convergence devrait tre atteinte, a priori, e quand la dimension de la base W est tr`s proche du nombre de valeurs e propres de A au-dessous de la valeur de coupure .
2.3.1
Quelques Remarques
Comme expliqu dans la formule prcdemment dcrite (2.6), lutilisae e e e tion des ltres polynomiaux de Tchebyche, dans le contexte de litration e de Lanczos/Lanczos par blocs, peut tre vue comme une sorte de dation e e implicite dans le sous-espace invariant U 2 associ aux plus grandes valeurs e propres de A [42, 51, 52, 77]. Les ltres polynomiaux de Tchebyche, ne prsentent pas les mmes proprits que les projecteurs employs gnralee e ee e e e ment dans une telle dation (qui ont des valeurs propres explicites gales e e a 0 et 1), mais ces ltres polynomiaux imitent en partie les proprits des ` ee projecteurs et orent une alternative permettant dobtenir le mme type e de comportement dans le processus de Lanczos/Lanczos par blocs que celui observ dans le cas des techniques de dation. Pour autant, ces ltres e e polynomiaux vitent davoir a calculer les vecteurs propres lis a la mise en e ` e ` uvre dune telle dation. e Cette combinaison des ltres de Tchebyche avec la technique de Lanczos par blocs permet aussi de calculer une approximation des vecteurs propres associs a toutes les valeurs propres dans un intervalle donn [ min (A), [ e ` e sans conna a priori leur nombre. Naturellement, pour des raisons decatre cit, il est souhaitable que le spectre de la matrice A soit fortement concentr e e
28 dans lintervalle [, max (A)], pour une valeur de coupure raisonnable. Il est en eet important que ne soit pas trop petit par rapport a max (A) ` pour que le nombre ditrations de Tchebyche exiges pour atteindre un e e certain niveau de ltrage ne soit pas trop grand. Dautre part, il est aussi important que le nombre de valeurs propres de A infrieures a ne soit pas e ` trop grand, pour que le nombre ditrations de Lanczos et la dimension de e ` la base W restent petits. A cet gard, un prconditionnement prliminaire e e e appliqu a la matrice A peut galement tre utile pour transformer et mieux e` e e regrouper le spectre de la matrice ditration. e Dautres techniques itratives, comme celles disponibles dans la biblioe e e e th`que ARPACK [44] par exemple, peuvent galement tre employes pour e approcher un certain nombre de valeurs propres ou de vecteurs propres de la matrice A. La dirence, ici, est que lalgorithme Tchebyche-PSF vise e directement un conditionnement rduit ( max /) avec le risque ventuel e e pour un mauvais choix de la valeur de coupure , de construire une base de Krylov de plus ou moins grande taille alors que les routines quivalentes e dans ARPACK ciblent un nombre prdtermin de valeurs propres et vece e e teurs propres avec le risque cette fois davoir au nal un conditionnement rduit relativement grand pour un nombre de valeurs propres cibles trop pee e tit . Cette remarque na pas pour but de dire quune mthode est meilleure e que lautre, mais simplement que leurs objectifs sont dirents, puisquavec e lalgorithme Tchebyche-PSF il est possible de contrler directement un ino tervalle de valeurs propres, alors quavec les techniques de ARPACK, on peut mieux contrler en gnral le co t des calculs et loccupation en mmoire. o e e u e
2.4
Essais Numriques e
Dans cette section, nous analysons linuence de certains param`tres sur e le comportement numrique de Tchebyche-PSF. Le spectre de notre cas test e est extrait a partir de celui dune matrice ditration obtenue avec la mthode ` e e e ` e de Cimmino par blocs (voir [68]) applique a une matrice non symtrique de la collection des matrices creuses Harwell-Boeing [22]. Nous notons que ce probl`me test a un mauvais conditionnement (de lordre 10 13 ), puisque e la plus petite valeur propre est 1.08 10 13 et la plus grande 2.59. Ce type de technique de prconditionnement (cf. [1]) transforme la matrice originale e A en une matrice symtrique dnie positive dont les valeurs propres sont e e en gnral regroupes dans un nombre relativement petit damas, mais sans e e e amlioration particuli`re du conditionnement. e e La gure 2.2 montre la distribution des valeurs propres de ce probl`me e test, 33 valeurs propres sont a lintrieur de [ min , max /5], 26 valeurs propres ` e sont a lintrieur de [min , max /10], et 19 a lintrieur de [min , max /100]. ` e ` e

0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 10 10 10 10 Plus Petite Val. Propre = 1.0897e13 ; Plus Grande Val. Propre = 2.5923
15 10 5 0
29
33 Val. Propres sont au dessous de ( =
max
/5)
Fig. 2.2 Distribution des valeurs propres du probl`me test de taille 137. e 33 valeurs propres sont au dessous de = max /5. 26 valeurs propres sont au dessous de = max /10. 19 valeurs propres sont au dessous de = max /100.
2.4.1
Inuence des Dirents Param`tres e e
e Lalgorithme Tchebyche-PSF prsent au 2.3 dpend de trois parae e m`tres dirents qui correspondent, pour le premier, au choix de la taille du e e bloc de dpart s, pour le second, de la valeur de coupure et pour le dernier, e du niveau de ltrage en dessous duquel sont maintenues les composantes propres associes a toutes les valeurs propres plus grande que . Dans le e ` reste de cette section, nous discutons de linuence de ces trois param`tres e sur le comportement de lAlgorithme 2.2. Choix de la Taille de Bloc s La valeur de s inuence la plupart du temps le nombre dtapes du proe cessus de Lanczos par blocs, qui sera environ k/s, k tant la dimension du e sous-espace invariant U1 associ aux valeurs propres extrieures a lintere e ` valle dattnuation [, max (A)]. Dans [4], Arioli et Ruiz nont pas observ e e un impact important sur le nombre total de produits matrice-vecteur dans Tchebyche-PSF lorsquon fait varier cette taille du bloc s. Fondamentalement, ce quils ont observ est que, avant datteindre la convergence, le e
30 produit de la taille du bloc s par la somme, sur lensemble des itrations e de Lanczos, du nombre de pas de reltrage ne change pas beaucoup pour direntes valeurs de s. La taille du bloc s peut par contre avoir une certaine e inuence sur la derni`re tape de lAlgorithme 2.2 quand la convergence est e e atteinte, simplement parce quil faut ltrer a nouveau en dessous de tous ` (k+1) . les s vecteurs du dernier bloc construit Q Choix de la Valeur de Coupure Le deuxi`me param`tre divise le spectre de la matrice A en deux souse e ensembles, et xe la dimension k du sous-espace invariant U 1 . Ce param`tre e dtermine galement le taux de convergence de litration de Tchebyche e e e utilise pour ltrer les vecteurs de Lanczos dans Tchebyche-PSF. devant e tre xe relativement a la plus grande valeur propre de A, une bonne ape e ` proximation de max peut tre facilement obtenue avec quelques tapes de e e la mthode de la puissance. e e Dans la table 2.1, nous pouvons observer ces eets combins sur notre petit exemple dessai, avec trois valeurs direntes du param`tre . Le chane e gement rapide du taux de convergence de litration de Tchebyche, pour des e valeurs dcroissantes de , induit plus dtapes de ltrage a chaque itration e e ` e de Lanczos. Ceci pourrait tre ventuellement quilibr par une bonne re e e e e duction sur le nombre total ditrations dans lalgorithme Tchebyche-PSF. e En dautres termes, il vaut mieux rduire la valeur de seulement si les e valeurs propres de la matrice A sont bien regroupes et si le changement de e diminue la dimension du sous-espace invariant U 1 qui sera approch au e nal. ` A cet gard, le prconditionnement est un point cl, qui permet de bien e e e regrouper les valeurs propres dans le spectre de la matrice ditration. En e outre, la mthode Tchebyche-PSF sadresse a des probl`mes tr`s mal condie ` e e tionns et ore la possibilit demployer un ventail large de techniques e e e de prconditionnement, qui regroupent essentiellement le spectre sans la e contrainte de rduire le conditionnement en mme temps. e e Choix du Niveau de Filtrage Le choix du niveau de ltrage a un impact direct sur la qualit du e sous-espace invariant approch, obtenu a terminaison de lAlgorithme 2.2. e ` e Dans la table 2.1, nous comparons le nombre ditrations de Tchebyche requises a chaque tape de ltrage, pour trois valeurs de direntes. ` e e Nous observons que des petites valeurs pour induisent plus ditrations de e Tchebyche dans la premi`re et les derni`res tapes de ltrage. En eet, le e e e nombre ditrations dans la premi`re tape de ltrage est directement li au e e e e choix du niveau de ltrage , puisque le but est de ltrer un certain ensemble

Nombre ditrarions de Tchebyche e = max /5 La taille de bloc de Lanczos s = 6 0 1 2 3 4 5 10 Valeur de
16
31
= max /10 Valeur de

4
= max /100 Valeur de
10
10
10
16
10
10
10
16
108 104 108 57 90 96 62 50 50 50 -
42 10 11 16 26 39
23 10 11 15 20 20
13 8 10 11 11 11
62 16 20 33 58 -
33 15 19 30 30 -
19 14 16 16 16 -
200 62 87 188 -
Dans le cas o` = max /5, il y a 33 vecteurs propres a capturer. u ` Dans le cas o` = max /10, il y a 26 vecteurs propres a capturer. u ` Dans le cas o` = max /100, il y a 19 vecteurs propres a capturer. u `
Tab. 2.1 Comparaison du nombre dtapes de ltrage de Tchebyche pour e direntes valeurs du niveau de ltrage et pour direntes valeur de coue e pure . (la taille du Bloc Lanczos gale a 6). e `
de vecteurs gnrs alatoirement au dessous de ce niveau. A convergence, e ee e quand linvariance du sous-espace calcul est presque atteinte, tout ou pare tie des vecteurs du dernier bloc de Krylov P (k+1) sont fortement colinaires e au complmentaire orthogonal U2 du sous-espace invariant U1 . La valeur e 1 calcule a ltape 7.iii de Tchebyche-PSF devient tr`s petite, et un plus e ` e e grand nombre ditrations de reltrage est alors ncessaire. Ce sont les deux e e raisons pour lesquelles des petites valeurs pour impliquent plus ditrations e de Tchebyche dans la premi`re et les derni`res tapes de ltrage. e e e e e La table 2.1 montre aussi que, pendant les tapes intermdiaires, le nombre ditrations de Tchebyche ne varie pas beaucoup avec le choix e de . En eet, les tapes intermdiaires de reltrage visent simplement a e e ` rcuprer une certaine augmentation potentielle du niveau de ltrage apr`s e e e orthogonalisation des vecteurs de Lanczos par rapport aux prcdents. e e Les gures 2.3 et 2.4 montrent, pour le probl`me test dcrit au dbut e e e du 2.4, linuence du niveau de ltrage sur la qualit et la structure e numrique de la base W. Dans ces gures, nous montrons, en chelle logae e rithmique, la dcomposition propre de la base de Krylov de taille 30 obtenue e apr`s 5 tapes du processus Lanczos par blocs avec une taille de bloc gale e e e a 6. Nous notons que le param`tre de coupure est x a max /10 et que ` e e`
32
les vecteurs propres de A sont indexs sur laxe X (de 1 jusqu` 137). e a les index (de 1 ` 30) des vecteurs de Krylov sont indiqus sur laxe Y. a e Laxe Z indique le logarithme des valeurs absolues des composantes propres dans chaque vecteur de Lanczos/Orthodir.
0 5 10 15 20 25 30 30 25 20 15 10 5 120 100 80 40 60 20
les vecteurs propres de A sont indexs sur laxe X (de 1 jusqu` 137). e a les index (de 1 ` 30) des vecteurs de Krylov sont indiqus sur laxe Y. a e Laxe Z indique le logarithme des valeurs absolues des composantes propres dans chaque vecteur de Shur.
0 5 10 15 20 25 30 30 25 20 15 10 5 120 100 80 40 60 20
Fig. 2.3 La dcomposition propre de la base de Krylov et les vecteurs de e Schur obtenus avec un niveau de ltrage proche de la prcision machine e 16 ). (5 tapes de Lanczos par blocs/Orthodir avec une taille du bloc ( = 10 e s = 6).
33
les vecteurs propres de A sont indexs sur laxe X (de 1 jusqu` 137). e a les index (de 1 ` 30) des vecteurs de Krylov sont indiqus sur laxe Y. a e Laxe Z indique le logarithme des valeurs absolues des composantes propres dans chaque vecteur de Lanczos/Orthodir.
10
15 20 20 30 25 20 15 10 5 120 100 80 40 60
les vecteurs propres de A sont indexs sur laxe X (de 1 jusqu` 137). e a les index (de 1 ` 30) des vecteurs de Krylov sont indiqus sur laxe Y. a e Laxe Z indique le logarithme des valeurs absolues des composantes propres dans chaque vecteur de Schur.
10
15 30 25 20 120 100 15 80 60 10 40 20 5 20
Fig. 2.4 La dcomposition propre de la base de Krylov et les vecteurs de e Schur correspondants obtenus avec un niveau de ltrage = 10 8 . (5 tapes e de Lanczos par blocs/Orthodir avec une taille du bloc s = 6).
Dans le bas de cette gure, on a fait une rotation de 90o pour une bonne visualisation.
34 u le sous-espace invariant vis est de taille 26 (cf. gure 2.2). Dans le cas o` e le niveau de ltrage est tr`s proche de la prcision machine = 10 16 (cf. e e gure 2.3), nous pouvons voir la qualit numrique du sous-espace invariant e e associ aux k = 26 valeurs propres les plus petites. Cette qualit est illuse e tre par les composantes propres des vecteurs de Schur en ce qui concerne le e complmentaire orthogonal U2 du sous-espace invariant U1 , et qui sont tr`s e e proche du niveau de ltrage = 1016 . Dans le cas o` le niveau de ltrage u = 108 (cf. gure 2.4), nous pouvons remarquer que la structure de la base calcule change par rapport a celle de la gure 2.3, mais sa qualit nume ` e e rique reste bonne. Ceci est montr par les composantes propres des vecteurs e de Schur (voir le bas de la gure 2.4).
2.5
Conclusion
Dans ce chapitre nous avons prsent les ltres polynomiaux de Tchebye e che et explicit les tapes de la factorisation spectrale partielle appele e e e aussi Tchebyche-Partial Spectral Factorisation (Tchebyche-PSF). Dans le chapitre suivant, la mthode Tchebyche-PSF sera incorpore dans des e e techniques de rsolution exploitant linformation spectrale an dtablir une e e tude comparative de leur comportement et ecacit numriques. e e e
Chapitre 3
Etude Comparative de Solveurs Itratifs Exploitant e une Certaine Information Spectrale

Ce chapitre est enti`rement consacr a une tude comparative du come e` e portement numrique et de lecacit de techniques de rsolution de e e e syst`mes linaires (1.1), exploitant une certaine information spectrale e e de la matrice du syst`me a rsoudre. Parmi ces techniques, nous conside ` e e rerons dans un premier temps lalgorithme Tchebyche-PSF [4, 28, 29], prcdemment dcrit, permettant de raliser une factorisation spectrale e e e e partielle en calculant, avec un niveau de ltrage prdtermin, une e e e base orthogonale W() du sous-espace invariant associ aux plus pee tites valeurs propres de A. Cette information spectrale est ensuite exploite dans des techniques de dation ainsi que des algorithmes du e e type deux grilles, pour lesquels nous testerons dirents lisseurs. Tous e ces algorithmes seront implments en Matlab c pour lvaluation de e e e leur potentiel ou de leurs limitations.
3.1
Introduction
e Le solveur itratif de choix pour rsoudre un syst`me linaire (1.1) syme e e e trique dni positif, est le gradient conjugu. Cependant, sa convergence est e e souvent pnalise d`s que la matrice A poss`de des valeurs propres au voisie e e e nage de zro. De plus, en prsence damas de valeurs propres aux extrmits e e e e du spectre de la matrice A, combin avec un mauvais conditionnement, le e gradient conjugu classique peut exhiber une courbe de convergence avec e un certain nombre de plateaux spars par des sections de convergence sue e 35
36 perlinaire. Ces plateaux correspondent a la dcouverte de valeurs propres e ` e distinctes au sein dun mme amas, ce qui a dj` t observ et analys e ea ee e e e e o dans [64, 85, 86]. Le probl`me est que ces plateaux peuvent tre plutt larges, en termes de nombre ditrations, mme lorsque ces amas aux exe e trmes incorporent seulement quelques valeurs propres. Le gradient conjue gu par blocs est une alternative pour rduire la taille des ces plateaux, e e mais qui en gnral ne permet pas de les liminer compl`tement (voir, par e e e e exemple, [3, 13, 53]). Par consquent, gommer leet nfaste des petites e e valeurs propres dans la matrice A devrait avoir un eet bnque sur le e e comportement et la vitesse de convergence du gradient conjugu. e Dans ce qui suit, nous supposons que la matrice A du syst`me linaire e e e e e (1.1), qui est symtrique dnie positive (SPD), prsente aussi un spectre largement regroup. Nous considrerons aussi le fait davoir a rsoudre plue e ` e sieurs syst`mes linaires avec la mme matrice mais a second membres mule e e ` tiples et disponibles en squence. Cette problmatique est assez courante, e e comme dans le cas de la simulation numrique de probl`mes dvolution par e e e exemple, et se prte assez bien a lutilisation de solveurs directs, en pare ` ticulier, qui factorisent initialement la matrice A et permettent ensuite de rsoudre a moindre co t les syst`mes linaires issus de la variation des see ` u e e cond membres. Cependant, quand la matrice A nest elle mme pas connue e explicitement, la factorisation est rendue impossible et il est alors ncessaire e de trouver une alternative du type itratif a co t raisonnable. e ` u Plusieurs techniques ont t proposes pour amliorer la convergence du ee e e gradient conjugu, en mettant a jour le prconditionneur ou en contraignant e ` e le gradient conjugu a travailler dans le complmentaire orthogonal du sous e` e espace invariant associ aux plus petites valeurs propres de A. Le but de ce e chapitre est de comparer le comportement numrique et lecacit de ces e e direntes techniques. Parmi ces techniques, nous considrerons, dans un e e premier temps, lalgorithme (Tchebyche-PSF) [4, 28, 29], introduit au chapitre prcdent, et qui permet de raliser une factorisation spectrale partielle. e e e Ce dernier est bas sur des ltres polynmiaux de Tchebyche combins avec e o e le processus de Lanczos, pour calculer avec dirents niveaux de ltrage , e une base orthogonale approche W() du sous-espace invariant associ aux e e plus petites valeurs propres de la matrice A. Cette information spectrale est ensuite exploite dans des techniques de dation ainsi que des algorithmes e e a deux grilles, pour lesquels nous manipulerons dirents lisseurs. ` e En particulier, nous considrerons la version du gradient conjugu de e e at introduite par Saad et al. [77]. Cet algorithme exploite le lien entre e lalgorithme de Lanczos et lalgorithme du gradient conjugu, et est mathe e matiquement quivalent a la version de Nicolaides [52], issue de la proce ` e dure de Lanczos dat. Kolotilina [42] emploie une technique de dation e e e double pour projeter simultanment les k plus grandes et les k plus pee tites valeurs propres en utilisant un sous-espace de dation appropri, de e e
Chapitre 3. Etude Comparative des Solveurs Itratifs e
37
dimension k. Une autre alternative consiste a appliquer la dation pour ` e attnuer les eets nfastes des plus petites valeurs propres sur la convere e e e gence [20, 88]. Cette approche est utilise dans [17] pour rsoudre des probl`mes dlectromagntisme. Des ides similaires ont t galement utilie e e e ee e ses dans le cas des probl`mes non symtriques pour modier lalgorithme e e e GMRES [7, 14, 24, 45, 47, 49]. Comme techniques exploitant linformation spectrale pour mettre a jour le prconditionneur, nous considrerons lap` e e proche propose dans [10], qui vise a translater de la valeur 1 la position des e ` plus petites valeurs propres de la matrice du syst`me. e Ce chapitre sarticule de la faon suivante. Nous consacrerons le 3.2 c aux diverses techniques de rsolution de syst`mes linaires qui exploitent e e e linformation spectrale extraite de la matrice A, et nous indiquerons comment elles peuvent tre combines avec la factorisation spectrale partielle e e (Tchebyche-PSF) pour construire des solveurs itratifs ecaces. Au 3.3, e nous comparerons ces techniques en termes de comportement numrique sur e un ensemble de probl`mes mod`les provenant de la collection de matrices e e e creuses Harwell-Boeing [22] ainsi que dautres exemples issus de la discrti sation par lments nis de probl`mes d Equations aux Drives Partielles ee e e e (EDP), du type quation de diusion. Dans le 3.4, nous analyserons en de e tail la complexit algorithmique de ces direntes techniques de rsolution, et e e e nous tudierons comment peuvent-elles tre employes pour rsoudre ecae e e e cement des syst`mes linaires avec la mme matrice mais a second membres e e e ` e multiples. En conclusion, au 3.5, nous rappellerons les rsultats nouveaux et donnerons une vue des perspectives de ce travail.
3.2
Techniques de Rsolution de Syst`mes Linaires e e e Exploitant lInformation Spectrale
Dans ce paragraphe, nous introduisons six techniques de rsolution des e syst`mes linaires (1.1), exploitant une certaine information spectrale exe e traite de la matrice A. Lide gnrale, commune a toutes ces techniques, e e e ` est dexploiter la base orthonormale W du sous-espace invariant associ e aux plus petites valeurs propres de A, en vue dtablir une projection sur e le complmentaire orthogonal de W. Une telle projection est utilise, pour e e maintenir, implicitement ou explicitement dans les itrations du gradient e conjugu, les rsidus calculs dans le complmentaire orthogonal de W. e e e e e e e La solution x de (1.1) peut tre dcompose en deux parties x Part1 et Part2 , avec la premi`re partie x Part1 obtenue directement par une projection x e oblique du second membre b sur le complmentaire orthogonal de W. Une e technique simple pour complter la solution reviendrait alors a calculer la e ` deuxi`me partie, xPart2 , en exploitant la mthode du gradient conjugu avec e e e xPart1 comme itr initial (voir 3.2.1). ee
38 Les trois autres techniques utilisent le projecteur oblique de mani`re exe plicite tout au long les itrations du gradient conjugu. La premi`re, discute e e e e au 3.2.2, augmente implicitement lespace de Krylov avec la base W en le datant sur le complmentaire orthogonal de W, a chaque itration, les e e ` e vecteurs de lespace de Krylov gnr dans les itrations du gradient conjue ee e gu. La seconde de ces techniques, introduite au 3.2.3, utilise lalgorithme e du gradient conjugu appliqu au syst`me projet PAx = Pb, o` P est e e e e u loprateur de projection sur le complmentaire orthogonal de W, dont la e e particularit est de commuter avec A. La derni`re technique, dtaille au e e e e è e 3.2.4, vise a tablir un prconditionneur spectral permettant de translater de la valeur 1 la position des plus petites valeurs propres de la matrice du syst`me linaire. e e Dans le 3.2.5, nous indiquons comment litration de Tchebyche peut e galement tre employe pour calculer la partie de la solution lie aux plus e e e e grandes valeurs propres de A. Quant a la deuxi`me partie, elle peut toujours ` e tre obtenue par une projection oblique du rsidu sur la base W. Au 3.2.6, e e nous prsenterons la mthode algbrique a deux grilles, qui fournit une ine e e ` terprtation alternative de certaines techniques discutes ci-dessus, et ore e e la possibilit de driver toute une famille de techniques itratives bases sur e e e e le calcul dune base approche W du sous-espace invariant associ aux plus e e petites valeurs propres.
3.2.1
Gradient Conjugu avec Projection Initiale e
e Une premi`re ide, introduite dans [62, 73, 87] pour la mthode de Lance e zos, est de choisir un vecteur initial x (0) tel que le rsidu initial r(0) = e b Ax(0) soit orthogonal a lespace contenant les directions qui nuisent a la ` ` convergence. Typiquement cet espace contient les vecteurs propres associs e aux plus petites valeurs propres, car, comme il est montr dans [85], ce sont e ces directions qui gnent le plus souvent le gradient conjugu en induisant e e des paliers dans sa convergence. Une fois que la base W du sous-espace invariant associ aux plus petites e valeurs propres de A est obtenue, nous pouvons lexploiter pour le calcul de la solution. Lide est dtablir une projection oblique du rsidu initial sur e e e cet espace invariant an dobtenir les composantes propres de la solution qui correspondent aux plus petites valeurs propres : x(0) = W WT AW
1
WT b.
(3.1)
Ensuite, la mthode du gradient conjugu classique est utilise pour calculer e e e la partie restante du vecteur solution. On appelle gradient conjugu avec projection initiale, Init-CG [25, 28, 29, e 77], cette variante du gradient conjugu. Elle est rsume dans lAlgorithme 3.1. e e e

Algorithme 3.1 : Init-CG Entre : Une base orthonormale W du sous-espace e invariant associ aux plus petites valeurs propres de A. e Cette base est calcule par lAlgorithme 2.2 (Tchebyche-PSF) e Dbut e ` 1 T 1. x(0) = W WT AW W b 2. x = CG A, b, x(0) , tol . Fin
39
3.2.2
Gradient Conjugu Dat e e e
Dans ce paragraphe, nous considrons la version du gradient conjugu e e dat (Def-CG) dcrite dans [77]. Cet algorithme exploite le lien entre lale e e gorithme de Lanczos et lalgorithme du gradient conjugu, et est mathmae e tiquement quivalent a la version de Nicolaides, drive de la procdure de e ` e e e Lanczos dat [52]. e e Soit A Rnn , symtrique dnie positive, p vecteurs linairement inde e e e pendants w(1) , w(2) , . . . , w(p) et v(1) vecteur unitaire orthogonal a w (i) pour ` i = 1, 2, . . . , p. On pose W = [w (1) , w(2) , . . . , w(p) ]. Comme A est dnie e positive, la matrice W T AW est non-singuli`re. LAlgorithme 3.2, que nous e appellerons algorithme du gradient conjugu dat (Def-CG), construit une e e e (k) } suite de vecteurs {v k=1,2,... telle que On suppose aussi que le vecteur initial x (0) est tel que r(0) = bAx(0) W. On pose v(1) = r(0) /||r(0) ||2 et ` o` v(k) est le vecteur de lespace de Krylov gnr a ltape k. A la k e tape u e ee` e e (k) telle que de la mthode, on cherche une solution approche x e e x(k) x(0) + Kp,k (A, W, r(0) ), r(k) Kp,k (A, W, r(0) ). Kp,k (A, W, r(0) ) = [W, v(1) , v(2) , . . . , v(k) ] v(k+1) [W, v(1) , v(2) , . . . , v(k) ] et ||v(k+1) ||2 = 1.
Cette technique repose sur la projection oblique du rsidu initial r (0) sur e la base W et sur sa mise a jour : ` x(0) = W(WT AW)1 WT b p(0) = et I W(WT AW)1 (AW)T r(0) , r(0) = b Ax(0) , (3.2) (3.3) (3.4)
= Q r(0) .
40
Algorithme 3.2 : Def-CG Entre : Une base orthonormale W du sous-espace e invariant associ aux plus petites valeurs propres e de A. Cette base est calcule par lAlgorithme 2.2 e (Tchebyche-PSF) Dbut e 1. Choix dun vecteur x(0) tel que WT r(0) = 0, o` r(0) = b Ax(0) . u 2. Rsoudre WT AW (0) = WT Ar(0) . e 3. p(0) = r(0) W (0) . 4. Pour k = 1, 2, . . . , m, Faire : T r(k1) r(k1) i. k1 = T p(k1) Ap(k1) ii. x(k) = x(k1) + k1 p(k1) iii. r(k) = r(k1) k1 Ap(k1) T r(k) r(k) iv. k1 = T (k1) r(k1) r v. z(k) = r(k) W(WT AW)1 WT Ar(k) vi. p(k) = k1 p(k1) + z(k) 5. FinPour Fin
A chaque itration, pour construire lespace de Krylov augment, le nouveau e e (k) est projet sur le complmentaire A-orthogonal de la base W, rsidu r e e e z(k) = r(k) W(WT AW)1 WT Ar(k) = Q r(k) , (3.5)
avant dtablir la prochaine entre p (k) dans la base A-orthogonale de lese e pace de Krylov. Pour une description assez compl`te de cette approche, on e pourra se reporter a [77]. `
3.2.3
Gradient Conjugu sur le Syst`me Projet e e e
Pour dcrire cette approche, que nous appellerons Proj-CG, nous introe duisons la projection suivante : P = I AW(WT AW)1 WT , W Rnp (3.6)
qui est la projection A1 -orthogonale sur [W] le long de [AW] (I tant la e matrice identit). On suppose que p e n et que W est de rang plein. On dcompose le vecteur solution x en deux parties : e x = (I P T )x + P T x.
41
La premi`re partie (I P T )x est le composant de x contenu dans W, quant e a la seconde partie P T x, elle est orthogonale a W. La premi`re partie est ` ` e calcule a partir de : e ` I P T x = AW(WT AW)1 WT = W WT AW = W WT AW
1 T
WT Ax WT b.
Pour calculer la deuxi`me partie P T x, nous utilisons la proprit AP T x = e ee PAx = Pb (voir Prop. 3.1), et nous rsolvons alors le syst`me e e PAx = Pb. (3.7)
Kaasschieter [40] note quun syst`me semi-dni positif peut tre rsolu par e e e e la mthode du gradient conjugu tant que le second membre est consistant e e (c-`-d. b Im(A)). a
u e e Cest le cas pour le syst`me (3.7), o` le mme oprateur de projection e est appliqu des deux cts du syst`me non singulier. En outre, puisque le e oe e noyau du syst`me nintervient jamais dans les itrations, les valeurs propres e e correspondantes (gales a zro) ninuencent pas la convergence. e ` e
Nous nous rfrons a [51] pour une description dtaille. Cette technique ee ` e e est appele gradient conjugu appliqu au syst`me projet (Proj-CG), et est e e e e e rsume dans lAlgorithme 3.3. e e
Algorithme 3.3 : Proj-CG Entre : Une base orthonormale W du sous-espace e invariant associ aux plus petites valeurs propres de A. e Cette base est calcule par lAlgorithme 2.2 (Tchebyche-PSF) e Dbut e 1 1. P = I AW WT AW WT . 1 2. x(Part1) = W WT AW WT b. 3. x(Part2) = CG PA, Pb, x(0) , tol . 4. x = x(Part1) + P T x(Part2) . Fin
Nous rappelons les proprits principales de la projection P (3.6), dnie ee e a partir de la base W calcule par lAlgorithme 2.2 (Tchebyche-PSF), qui a ` e servi pour construire lalgorithme Proj-CG.
42 Proposition 3.1. Loprateur P a les proprits suivantes : e ee 1. P 2 = P, 2. AP T = (PA)T = PA, 3. PAP T = PA, 5. PAW = 0. 4. La matrice PA est symtrique semi-dnie positive. e e
Dmonstration. e 1. P 2 = I 2 AW WT AW + AW WT AW
1
WT
1
WT AW WT AW
WT
= I AW(WT AW)1 WT = P. 2. (PA)T = A AW WT AW = A AW WT AW

1 1
WT A
WT A
= PA car AT = A . Donc la matrice PA est symtrique et PA = (PA) T = AT P T = AP T . e 3. PA = AP T = PAP T = P 2 A = PA. 4. Par hypoth`se, zT Az 0 pour tout z Rn . En particulier, 0 e (P T z)T A(P T z) = zT PAP T z et donc la matrice PAP = PA est semidnie positive. e 5. PAW = AW AW WT AW
1
WT AW = AW AW = 0.
3.2.4
Correction Spectrale de Rang Faible
Dans ce paragraphe, nous considrons lapproche propose dans [10] qui e e essaye de gommer leet nfaste des plus petites valeurs propres de la e matrice considre. En pratique, cette technique consiste a construire le pree ` e conditionneur M = I + W WT AW
1
WT
(3.8)
dont lobjectif est de dcaler vers 1 les valeurs propres de la matrice A e associes a la base W. e ` Il est alors possible dintroduire ce prconditionneur spectral M dans e le gradient conjugu prconditonn (PCG), qui bnciera de la rduction e e e e e e substantielle du conditionnement du syst`me prconditionn MA. Cette ape e e proche, rsume dans lAlgorithme 3.4, est appele Spectral Low Rank Upe e e date (SLRU) [10].

Algorithme 3.4 : SLRU Entre : Une base orthonormale W du sous-espace e invariant associ aux plus petites valeurs propres de A. e Cette base est calcule par lAlgorithme 2.2 (Tchebyche-PSF) e Dbut e 1 1. M = I + W WT AW WT . 2. x = PCG A, b, x(0) , M, tol . Fin
43
Leet induit par ce prconditionneur consiste en une correction spectrale e de rang faible, qui permet de translater de 1 la position des plus petites valeurs propres en module de la matrice du syst`me de dpart. Les principaux e e composants dans la construction de cette technique de prconditionnement e sont rappels dans la proposition suivante. Soit W lensemble des vecteurs e propres associs aux valeurs propres i telles que i , o` ]0, max (A)[ e u est la variable de coupure dcrite au chapitre prcdent. e e e Proposition 3.2. Si A est symtrique dnie positive, alors A c = WT AW e e est symtrique dnie positive. La matrice dnie par M = I + M c , o` e e e u Mc = WA1 WT , est aussi symtrique dnie positive et MA est similaire e e c a une matrice dont les valeurs propres sont ` i = i si i > , i = i + 1 si i . Dmonstration. Par construction la matrice A c est symtrique, reste a mone e ` trer quelle est dnie positive. W est une matrice de taille n k. Soit e z Rk \{0}, zT Ac z = zT WT AWz = (Wz)T A(Wz) = ||Wz||A > 0. En eet, A est symtrique dnie positive et Wz = 0 (car W est de rang e e plein). Par consquent, la matrice A c est symtrique dnie positive et donc e e e inversible. Soit x Rn \{0}, xT Mc x = (WT x)T A1 (WT x) = ||(WT x)||A1 0 c c car Ac est symtrique dnie positive. Alors, la matrice M c est semi-dnie e e e positive et M = I + Mc est symtrique dnie positive. e e Soit V = (W, Z), o` les colonnes de Z sont constitues de lensemble u e des (n k) vecteurs propres associs aux valeurs propres i > . Soit 1 = e diag(i ) telle que i et 2 = diag(i ) telle que i > , les deux matrices diagonales constitues des valeurs propres associes aux colonnes de W et e e Z respectivement. Nous avons
44 MAW = AW + Mc AW = W1 + W WT AW
WT AW
= W(1 + Ik ) o` Ik est la matrice identite de taille (k k) et u e MAZ = Z2 + W WT AW = Z2 + W WT AW = Z2 Donc MAV = [W, Z]

1
WT AZ
WT Z2
puisque WT Z = 0. (1 + Ik ) 0 0 2 . , et les
Par consquent, la matrice MA est semblable a e ` plus petites valeurs propres sont dcales vers 1. e e
(1 + Ik ) 0 0 2
3.2.5
Combinaison de la Projection Oblique avec lItration e de Tchebyche
Dans ce paragraphe, nous dcrivons comment nous pouvons exploiter le e sous-espace invariant [W] associ aux plus petites valeurs propres de A pour e rsoudre le syst`me linaire (1.1). Lide est dtablir une projection oblique e e e e e (0) = b Ax(0) ) dans ce sous-espace an dobtenir les du rsidu initial (r e composantes propres de la solution correspondant aux plus petites valeurs propres : r(proj) = r(0) AW WT AW avec x(proj) = x(0) + W WT AW
1 1
WT r(0) , WT r(0) .
(3.9)
Pour calculer la partie restante du vecteur de solution Ax = r(proj) , nous pouvons alors employer lalgorithme classique de Tchebyche sur lintervalle [, max (A)]. Cette technique est appele Init-Tchebyche [28, 29, 3.1], et e est tr`s similaire a Init-CG introduit au 3.2.1, a la dirence pr`s que cest e ` ` e e une itration de Tchebyche qui remplace litration du gradient conjugu. e e e Notons que, lordre dans la juxtaposition de la projection oblique et lite ration de Tchebyche na pas dimportance quand la base orthogonale W est calcule avec une tr`s grande exactitude, ou quand W co e e ncide avec U1 (U1 est la matrice dont les colonnes sont les vecteurs propres correspondant aux plus petits vecteurs propres). Cependant, puisque [W] nest quune approximation du sous-espace invariant associ aux plus petites vae leurs propres, il est prfrable de commencer par litration de Tchebyche ee e suivi par la projection oblique. En eet, ceci aide a augmenter lexactitude ` de la projection oblique en minimisant linuence des composantes propres

Algorithme 3.5 : Init-Tchebyche Entre : Une base orthonormale W du sous-espace e invariant associ aux plus petites valeurs propres de A. e Cette base est calcule par lAlgorithme 2.2 (Tchebyche-PSF) e Dbut e Itration de Tchebyche sur [, max (A)] e 1. Calcul de x(m+1) et r(m+1) avec lAlgorithme 2.1 Projection Oblique sur [W] 1 2. e(proj) = W WT AW WT r(m+1)
45
3. x = x(m+1) + e(proj) Fin
dans le complmentaire orthogonal de U 1 , relativement a celles relatives a e ` ` T r dans lquation (3.9). Cet ordre, dans U1 , dans les produits scalaires W e la juxtaposition, sav`re en particulier tr`s intressant quand le niveau de e e e ltrage utilis pour calculer la base W nest pas proche de la prcision e e machine. La premi`re tape de lAlgorithme 3.5 (Init-Tchebyche), correspond a e e ` lapplication des ltres polynmiaux de Tchebyche vus au Chapitre 2. Quant o a la deuxi`me tape, elle consiste a rsoudre lquation derreur associe a ` e e ` e e e ` x(m) dans lespace engendr par W, et la derni`re tape ralise la mise a e e e e ` jour de la solution. Le nombre ditrations de Tchebyche pour atteindre un e niveau de ltrage donn est directement li au taux de convergence des poe e lynmes de Tchebyche sur lintervalle [, max ] (voir, par exemple, [30, 36]) o qui dpend seulement du rapport max /. e
3.2.6
Cycle ` deux grilles Algbrique a e
La mthode multigrille a t invente au milieu des annes 1960. Cest e ee e e seulement au milieu des annes 1970 quelle a commenc a tre mise en e e ` e ` pratique de faon ecace. A lorigine, elle ne sappliquait qu` la rsolution c a e de syst`mes linaires (1.1) provenant de la discrtisation dquations aux e e e e drives partielles elliptiques, du type quation de diusion. Depuis 20 ans, e e e une abondante littrature est parue sur le sujet, aussi bien sur la thorie e e que sur les applications, particuli`rement dans le domaine de la mcanique e e des uides : quations qui changent de type pour des coulements potentiels e e transsoniques, quations qui changent de type pour les calculs transitoires. e Le lecteur pourra consulter [35]. Le noyau des algorithmes multigrilles est un procd a deux grilles ape e`
46 pliqu rcursivement. Un cycle a deux grilles peut tre dcrit bri`vement e e ` e e e comme suit. Sur la grille ne, quelques itrations de pr-lissage sont ape e pliques pour attnuer les hautes frquences de lerreur qui correspondent e e e aux composantes propres de lerreur dans lespace invariant associ aux plus e grandes valeurs propres de A. Le rsidu est alors projet sur la grille grose e si`re o` les basses frquences, qui sont les composantes lies aux plus petites e u e e valeurs propres, peuvent tre captures et lquation derreur grossi`re est e e e e rsolue. Lerreur grossi`re est interpole de nouveau sur la grille ne pour e e e corriger la solution approche que nous avions obtenue dans ltape de pre e e lissage sur la grille ne. En conclusion, si les nouveaux itrs ne sont pas ee assez prcis, ce cycle a deux grilles est appliqu itrativement : e ` e e x1 = S(x, b, ) x2 = x1 + WA1 WT (b Ax1 ) c x = S(x2 , b, ) (3.10)
o` S(x, b, ) est le lisseur excutant itrations sur x pour rsoudre (1.1). u e e e Le cycle a deux grilles algbrique est rsum dans lAlgorithme 3.6. ` e e e
Algorithme 3.6 : Cycle ` Deux grilles gnrique a e e Entre : Une base orthonormale W du sous-espace e invariant associ aux plus petites de A. Cette base e est calcule par lAlgorithme 2.2 (Tchebyche-PSF) e Dbut e 1. x(1) = 0 2. Pour k=1, iter Faire : Pr-lissage : attnuer les hautes e e frquences de lerreur e i. x1
(k)
= S(x(k) , b, ).
Correction de la grille grossi`re e ii. x2

(k)
= x1 + WA1 WT (b Ax1 ). c
(k)
(k)
Post-lissage : attnuer les hautes e frquences de lerreur e iii. x(k+1) = S(x2 , b, ). 3. FinPour 4. x = x(iter) Fin
(k)
Dans cette section, nous dnissons explicitement lespace associ a la e e ` grille grossi`re en calculant les vecteurs propres W lis aux plus petites e e
47
valeurs propres de A. Pour des probl`mes symtriques, loprateur de rese e e triction de la grille ne a la grille grossi`re est W T et loprateur de prolon` e e gement est sa transpose, pourvu que les colonnes de W forment un syst`me e e de vecteurs orthonorms. e La matrice associe au probl`me de lerreur grossi`re est dni par la e e e e formule de Galerkin Ac = WT A W. Dans la suite, nous comparerons lutilisation de dirents lisseurs (Tchebyche, Richardson relax, gradient conjue e gu) dans cet algorithme. On pourra se reporter a [11], o` cette approche a e ` u aussi t exploite pour concevoir des prconditionneurs, et o` la transforee e e u mation spectrale lie a cette combinaison est analyse. e ` e
3.3
Essais Numriques e
Dans ce paragraphe, nous allons prsenter quelques rsultats numriques e e e qui comparent les direntes approches en termes decacit numrique e e e e pour la rsolution des syst`mes linaires (1.1). Nous discuterons galement e e e leur complexit algorithmique ainsi que leur sensibilit a lexactitude de line e` formation spectrale. Le calcul approximatif de la base orthonormale W, est eectu par lalgorithme de la factorisation spectrale partielle (Tchebychee e PSF) prcdemment dcrit au Chapitre 2. Nous valuerons aussi limpact du e e e changement du niveau de ltrage dans le calcul de la base W (en fonction de ) sur le comportement de toutes ces techniques de rsolution. Nous ine troduisons, pour cela, certains probl`mes tests provenant de la collection de e matrices creuses Harwell-Boeing [22], ainsi que dautres exemples issus de la discrtisation par lments nis de probl`mes d Equations aux Drives Pare ee e e e tielles (EDP). Ces derniers seront rutiliss par la suite dans le Chapitre 4 e e pour tester la robustesse de notre mthode du gradient conjugu combie e ne avec les ltres de Tchebyche comme prconditionneurs (ChebFilterCG). e e Nous considrons quatre direntes matrices creuses carres, BCSSTK14 et e e e BCSSTK15 de la collection Harwell-Boeing, EDP1 et EDP2 provenant des probl`mes dEquations aux Drivs Partielles. Pour chacune de ces quatre e e e matrices, nous indiquerons leur rfrence, leur taille, et le nombre dlments ee ee non nuls quelles comportent. Les matrices EDP1 et EDP2 sont extraites de la discrtisation par le ee c c ments nis P1, en utilisant pdetool sous Matlab , de probl`mes aux e drivs partielles elliptiques, du type quation de diusion : e e e div (x) u = f in
u| = 0,
o` R2 est une rgion en forme L dcrite dans la gure 3.1. Les dirences u e e e principales entre EDP1 et EDP2 rsident dans le choix de (x) et dans la e taille de la discrtisation. e
48
(1 , +1) (+1 , +1)
(1 , 1)
Fig. 3.1 La gomtrie du domaine . e e
Lordre du syst`me linaire rsultant (1.1) est n = 7 969 et le nombre de ses e e e lments non nuls est nnz(A) = 55 131. ee Dans EDP2, f = 200 et le probl`me (EDP) incorpore de lhtrognit e ee e e e et de lanisotropie. La matrice (x) prend les valeurs suivantes : 4 1 1 si x 1 et 2 I2 si x 2 , 4 1 1 (x) = 1 2 1 si x 4 et 3 I2 si x 3 . 2 1 1
Dans le probl`me test EDP1, f = 10 et la fonction (x) L () prend e direntes valeurs scalaires dans chaque domaine : e x 1 4 1 (x) = 106 x 2 4 10 x 3 .
o` 1 = 6 102 , 2 = 1 106 , 3 = 1 102 et I2 la matrice identite de u e taille (2 2). Lordre du syst`me linaire rsultant (1.1) est n = 161 313 et e e e le nombre de ses lments non nuls est nnz(A) = 1 125 897. ee BCSSTK14 et BCSSTK15 sont deux matrices symtriques dnies poe e sitives. Elles proviennent danalyses statiques en calcul de structure, et font partie du groupe BCSSTRUC2 de la collection Harwell-Boeing. Lordre de la matrice BCSSTK14 est n = 1 806 et le nombre de ses lments non nuls ee est nnz(A) = 63 454, tandis que lordre de BCSSTK15 est n = 3 948 et le nombre de ses lments non nuls est nnz(A) = 117 816. ee Toutes les informations (rfrence, taille, nombre dlments non nuls ee ee (nnz (A))) pour nos probl`mes tests sont rcapitules dans la table 3.1. e e e

2
(0 , 0) (0 , +1) (0 , 1)

Nom BCSSTK14 BCSSTK15 EDP1 EDP2 Taille 1 806 3 948 7 969 161 313 nnz(A) 63 454 117 816 55 131 1 125 897 description analyse statique en calcul de structure du groupe BCSSTRUC2, Omni Coliseum, Atlanta analyse statique en calcul de structure du groupe BCSSTRUC2 quation de diusion discrtise par lments nis e e e ee dans une rgion L-shape e quation de diusion anisotropique discrtise par e e e lments nis dans une rgion L-shape ee e
49
Tab. 3.1 Ensemble de matrices test.
Pour toutes les expriences numriques rapportes dans ce paragraphe, e e e un premier niveau de prconditionnement M 1 = LLT est construit en utilie sant la factorisation incompl`te de Cholesky IC(t) de A, o` le param`tre t e u e contrle le niveau de remplissage. Le but de ce prconditionnement prlimio e e naire du syst`me linaire est de regrouper en partie les valeurs propres, an e e que le sous-espace invariant associ aux plus petites valeurs propres ne soit e pas de dimension trop grande. Soit b = L1 b et A = L1 ALT la matrice prconditionne symtrie e e quement avec IC(t). La matrice A est symtrique dnie positive et simie e laire a M1 A. Dans la table 3.2, nous montrons leet de la factorisation ` 1 incompl`te de Cholesky (IC) sur la distribution des valeurs propres de la e matrice prconditionne A. Nous notons dabord le conditionnement lev e e e e 10 , et celui de la matrice de la matrice originale BCSSTK14, de lordre de 10 prconditionne rduit a lordre de 10 2 . Comme mentionn prcdemment, e e e ` e e e un spectre bien regroup de la matrice prconditionne avec un conditionnee e e ment bien rduit est une proprit souhaitable pour une convergence rapide e ee des solveurs de Krylov et rend abordable les techniques de rsolution consie dres dans cette th`se, puisque seulement quelques composantes propres ee e doivent tre manipules par une approche complmentaire. e e e
Matrice Matrice Non Prconditionne e e Matrice Prconditionne e e Nombre de valeur propres au dessous de min max 1.19 1010 6.53 10 2.17 1.00 107
9
Seuil IC(t)
nnz(L)
min
max
= max /10
BCSSTK14 BCSSTK15 EDP1 EDP2
1 1 2.92 109 7.69 105
102 10
3
21, 197 109, 860 64, 566 643, 605
1.41 102 5.35 103 1.79 107 6.78 1010
3.13 1.77 1.11 2.03
23 4 3 16
102 0
Tab. 3.2 Distribution de valeurs propres.

Dans ce cas, nous prenons = max /2000.
50 Le crit`re darrt utilis dans nos essais numriques est la norme relative e e e e du rsidu ||b Ax(i) ||2 /||b||2 . Dans tous ces tests, nous avons contrl cette e oe norme relative du rsidu jusqu` la prcision machine, quand cest possible, e a e pour illustrer et tudier le comportement numrique complet des mthodes. e e e Tous les algorithmes ont t implments en Matlab c utilisant le format ee e e double prcision. Litr initial est toujours x (0) = 0 et le second membre e ee b est choisi de sorte que la solution x du syst`me linaire initial soit le e e vecteur e = [1, 1, . . . , 1] et que b = L1 b. La valeur de coupure dans les ltres polynmiaux de Tchebyche a t xe a max (A)/10 quand cela est o ee e ` appropri, c-`-d. quand le nombre de valeurs propres de lintervalle ]0, ] est e a raisonnablement petit. En particulier, dans le cas du probl`me de plus grande e taille EDP2, nous avons pris comme premier niveau de prconditionnement e M1 Cholesky Incomplet sans remplissage IC(0), et dplac le param`tre e e e plus pr`s de zro ( = max (A)/2 000) pour incorporer seulement un petit e e ensemble de valeurs propres au deuxi`me niveau de prconditionnement. e e Toutes les gures tracent la norme relative du rsidu en fonction du e nombre ditrations (qui est gal au nombre de produits matrice-vecteur). En e e plus, nous dnoterons par Classical CG le gradient conjugu prconditionn e e e e par Cholesky Incomplet IC(t).
3.3.1
Comparaison des Direntes Techniques e
Dans ce paragraphe, nous comparons la convergence des divers algoe rithmes dcrits au 3.2. Comme nous le verrons dans ce qui suit, les rsultats e numriques montrent que le comportement des dirents algorithmes est le e e mme. Ceci est particuli`rement vrai quand la base approche W() est e e e obtenue avec un niveau de ltrage proche de la prcision machine. Dans e ce cas, le comportement numrique observ correspond a celui que nous e e ` obtiendrions en gnral avec un syst`me linaire o` la plus petite valeur e e e e u propre serait proche de la valeur de coupure (utilise dans lAlgorithme 2.2 e (Tchebyche-PSF) pour extraire la base W) et, par consquent, avec un e conditionnement rduit de lordre de max (A)/. e e La gure 3.2 montre, pour les probl`mes test BCSSTK14 et EDP1, la convergence du gradient conjugu versus celle de Init-CG et SLRU obtenue e avec une base W() calcule avec un niveau du ltrage gal a 10 16 . La e e ` norme relative du rsidu de la mthode du gradient conjugu standard tend e e e a dcro tr`s rapidement dans les premi`res itrations, puis dcro plus ` e tre e e e e t lentement dans une phase intermdiaire, l` o` des oscillations peuvent gae a u e lement appara tre, et stagne nalement. Par opposition a ceci, Init-CG et ` SLRU prsentent des courbes de convergence qui co e ncident presque totalement, sauf apr`s stagnation. e Les algorithmes Def-CG et Proj-CG prsentent aussi le mme type de e e convergence, au moins dans la premi`re partie de leurs historiques de convere
51
(a) Probl`me test BCSSTK14 e

10
0
SLRU InitCG Classical CG
Norme relative du rsidu
10
10
10
10
15
20
40
60
80
100
Nombre ditrations
(b) Probl`me test EDP1 e

10
0
10
SLRU InitCG Classical CG
10
10
10
10
10
10
12
10
14
20
40
60
80
100
Nombre ditrations
Fig. 3.2 Courbe de Convergence pour un niveau de ltrage gal a 10 16 . e `
52 (a) Courbe de Convergence de Def-CG

10
0
10
10
10
10
15
10
20
20
40
60
80
100
Nombre ditrations
(b) Courbe de Convergence de Proj-CG

10
0
10
10
10
10
15
10
20
20
40
60
80
100
Nombre ditrations
ortho(k) sans correction de r(k) backward error sans correction de r(k)
ortho(k) avec correction de r(k) backward error avec correction de r(k)
Fig. 3.3 Orthogonalit de r(k) par rapport a la base W() o` le niveau de e ` u ltrage est gal a 1016 et Courbes de convergence avec et sans correction e ` de r(k) sur le probl`me test BCSSTK14 e
53
gence comme illustr par les rsultats dans la gure 3.3. Cependant, nous e e observons que la convergence devient tr`s instable numriquement et, pour e e certains syst`mes, les courbes de convergence remontent mme fortement : e e lalgorithme ne converge pas pour un grand nombre ditrations (voir [77]). e Thoriquement, les rsidus r(k) sont orthogonaux a W(). Cependant, en e e ` pratique, cette orthogonalit est perdue au cours des itrations. Ceci est e e illustr par la gure 3.3 qui montre, pour le probl`me test BCSSTK14, la e e courbe de la fonction suivante ortho(k) = max w(j) r(k) , ||w(j) ||2 ||r(k) ||2
T
j=1,2,...,p
au cours des itrations dans les algorithmes Def-CG and Proj-CG. Les deux e courbes de la fonction ortho(k) montrent que la perte dorthogonalit est e inversement proportionnelle a la courbe de convergence de la norme relative ` du rsidu. Un rem`de pour rcuprer lorthogonalit est dajouter une tape e e e e e e de rorthogonalisation e r(k) = r(k) W WT W
1
WT r(k)
(3.11)
tout de suite apr`s avoir calcul r (k) dans les algorithmes Def-CG et Proje e CG. Le co t de cette opration est O(p n) par itration. On excute a u e e e ` nouveau les deux algorithmes avec cette nouvelle correction, et on trace les e e courbes de convergence dans la gure 3.3, reprsentes par le sigle (, et ligne pleine). Dans ce cas, les courbes de convergence de Def-CG et Proj-CG sont tr`s similaires a celles des algorithmes Init-CG et SLRU comme dans la e ` gure 3.2. Pour conclure, quand la base approche W() est calcule avec une e e grande prcision (c-`-d. avec un niveau de ltrage tr`s proche de la prcie a e e sion machine), Init-CG est lalgorithme de choix parce quil est moins cher, tant donn quil vite lutilisation des projecteurs obliques a chaque itrae e e ` e tion.
3.3.2
Quand la base approche W est moins prcise e e
Ces direntes techniques de rsolution peuvent cependant prsenter un e e e comportement (historique de convergence) tr`s dirent quand le calcul des e e vecteurs de la base approche W(), est ralis avec de plus grandes valeurs e e e du niveau de ltrage . La gure 3.4 montre, pour les probl`mes tests BCSSTK15 et EDP1, e limpact du changement du niveau de ltrage (quand on calcule la base W()) sur la convergence de lAlgorithme 3.1 (Init-CG). Quand le niveau de ltrage est gal a 108 , le phnom`ne des plateaux se produit encore, mais e ` e e a des niveaux intermdiaires. ` e
54
(a) Le Probl`me test BCSSTK15 e

10
0
10
= 1016 8 = 10 4 = 10 2 = 10 Classical CG
10
10
10
15
20
40
60
80
100
Nombre ditrations
(b) Le Probl`me test EDP1 e

10
0
10
10
= 1016 = 108 = 104 = 102 Classical CG
10
10
10
10
10
12
10
14
20
40
60
80
100
Nombre ditrations
Fig. 3.4 Courbe de Convergence de Init-CG pour direntes valeurs du e niveau de ltrage .
55
En eet, les courbes correspondantes pour lAlgorithme 3.1 (Init-CG) (gradient conjugu avec projection oblique initiale) se dcomposent en deux pare e ties direntes. La premi`re partie correspond a une phase de convergence e e ` linaire tr`s semblable a celle observe dans la gure 3.2 lorsque la base e e ` e W() est calcule avec une tr`s bonne prcision. Dans la deuxi`me partie, la e e e e vitesse de convergence commence a tre perturbe a un niveau intermdiaire è e ` e de la norme relative du rsidu, troitement lie a la valeur du niveau de le e e ` trage , et enn, la courbe de convergence rejoint celle du gradient conjugu e sur le syst`me original. e Les raisons a cela sont que Init-CG fournit, au gradient conjugu, un vec` e teur rsidu initial dont les plus grandes composantes propres sont dans le e complmentaire orthogonal de la base W(), et dans lespace de projection e [W()] ses composantes propres sont de lordre . Une fois que la norme du rsidu est rduite au niveau du ltrage , le gradient conjugu se ree e e trouve a nouveau avec une direction de Krylov dont toutes les composantes ` propres sont du mme ordre de grandeur, et le comportement numrique e e devient alors identique a celui obtenu dans le cas dun rsidu initial non ` e projet et activant le spectre complet du syst`me linaire. Pour tre ee e e e cace, il est clair que nous devrions alors arrter la convergence de Init-CG e quand la norme relative du rsidu est infrieure au niveau de ltrage , avant e e datteindre le plateau intermdiaire. En outre, comme nous pouvons lobsere e e e ver dans la gure 3.6 (a), quand la taille du syst`me linaire devient tr`s importante, le phnom`ne des plateaux peut galement appar e e e tre dans le comportement numrique de lalgorithme Init-CG , mme avec une base tr`s e e e 16 ). Ceci est d a la sensibilit numrique du projecteur bien calcule W(10 e u` e e oblique relativement a la taille du syst`me linaire [4]. ` e e Les courbes de convergence des algorithmes Def-CG et SLRU, reprsentes e e dans la gure 3.5 pour dirents niveaux de ltrage , prouvent que ces e deux algorithmes ont exactement le mme comportement numrique dans e e tous les cas. Nous observons galement que, si lexactitude dans le calcul de e la base approche W() est fortement dtriore (par exemple = 10 2 ), e ee e alors la vitesse de la convergence peut changer lg`rement. Par opposition a e e ` lalgorithme Init-CG, Def-CG et SLRU montrent cependant un comportement numrique tr`s stable, semblable a celui observ dans les gures 3.2 et 3.3, e e ` e mme lorsque le niveau de ltrage est dans lintervalle [10 8 , 104 ] (voir la e gure 3.5). Cest lavantage dtablir a chaque itration du gradient conjugu e ` e e une projection oblique avec la base de W(), ce qui permet de maintenir une sparation constante entre les composantes propres correspondant aux plus e petites valeurs propres et les autres. Dans la gure 3.6 (b), nous comparons le comportement numrique de e Def-CG et de SLRU quand le niveau de ltrage est grand. Nous pouvons remarquer que la convergence de Def-CG est un peu plus rapide que celle de lalgorithme SLRU. Sachant que la convergence de Def-CG et de Proj-CG
56
(a) Courbe de convergence de SLRU

10
0
10
10
= 108 4 = 10 2 = 10 Classical CG
10
10
10
10
10
12
10
14
20
40
60
80
100
Nombre ditrations
(b) Courbe de convergence de Def-CG

10
0
10
10
= 108 = 104 = 102 Classical CG
10
10
10
10
10
12
10
14
20
40
60
80
100
Nombre ditrations
Fig. 3.5 Courbes de Convergence pour dirents niveaux de ltrage sur e le probl`me test EDP1. e
57
(a) Courbe de convergence de Init-CG

10
0
10
Classical CG 16 InitCG , = 10 8 InitCG , = 10 InitCG , = 104 2 InitCG , = 10
10
10
10
15
500
1000
1500
Nombre ditrations
(b) Courbes de convergence de SLRU et Def-CG

10
0
10
Classical CG 4 DefCG , = 10 SLRU , = 104 DefCG , = 102 SLRU , = 102
10
10
10
15
500
1000
1500
Nombre ditrations
Fig. 3.6 Courbes de Convergence de Init-CG, Def-CG et SLRU, pour die rentes valeurs du niveau du ltrage , sur le probl`me test EDP2. e
58 restent nanmoins tr`s identiques, une explication possible de cette lg`re e e e e dirence est que le conditionnement du syst`me projet est toujours infe e e e rieur a celui du syst`me prconditionn par la correction spectrale de rang ` e e e faible [51].
3.3.3
Combinaison de la Projection Oblique avec lItration e de Tchebyche
lAlgorithme 3.5 (Init-Tchebyche) correspond fondamentalement a la jux` taposition de litration de Tchebyche et dune projection oblique, qui e ` agissent indpendemment sur deux parties spares du spectre de A. A e e e cet gard, cette technique peut tre vue comme une mthode directe [4], e e e si le sous-espace propre est calcul tr`s exactement, ou comme un cycle e e a deux grilles, o` le lisseur est dni par quelques tapes de Tchebyche ` u e e (voir 3.2.5). Dans lintrt de la comparaison avec les rsultats obtenus pour les autres ee e techniques de rsolution de type Krylov, nous prsentons, dans la gure 3.7, e e la norme relative du rsidu calcule a chaque itration de Tchebyche, et e e ` e combine directement avec la projection oblique nale. Naturellement, ce e nest pas de cette faon que lAlgorithme 3.5 (Init-Tchebyche) est implc e ment, puisque la projection oblique na besoin dtre applique quune seule e e e fois, apr`s la terminaison des itrations de Tchebyche. e e Dans la gure 3.7, nous illustrons leet du changement de niveau de ltrage sur le comportement et la convergence de Init-Tchebyche. Quand le niveau du ltrage est gal a 1016 , Init-Tchebyche se comporte comme les e ` autres algorithmes, mais avec une petite dirence sur le nombre ditrations. e e Cest simplement d au fait que les taux de convergence dans la mthode u e semi-itrative de Tchebyche et dans la mthode du gradient conjugu ne e e e sont pas les mmes en gnral. e e e Cependant, pour de plus grandes valeurs du niveau du ltrage , nous pouvons observer que la courbe de convergence de lalgorithme Init-Tchebyche est perturbe, avec une stagnation de la norme relative du rsidu tr`s proche e e e du niveau du ltrage . Ceci peut sexpliquer par le fait que la base W() a des composantes propres de lordre de dans lintervalle [, max ]. Cette information spectrale est incorpore de mani`re explicite dans la projection e e oblique, applique a ltape nale, et perturbe les composantes propres dans e ` e le rsidu nal a lordre de ce niveau de ltrage. Pour une analyse plus de ` e taille de ce phnom`ne, nous nous rfrons a [4]. e e e ee ` Il est galement intressant de mentionner que cette combinaison de la e e projection oblique avec les itrations de Tchebyche exige seulement des e produits matrice-vecteur, ainsi que quelques mises a jour de vecteur, mais ` aucun produit scalaire, par opposition aux autres techniques de rsolution du e type Krylov. Cette remarque a galement de limportance dans le contexte e
59

10
0
10
10
10
10
15
= 1016 8 = 10 = 104 2 = 10 Classical CG

20 40 60 80 100
10
20
Nombre ditrations

10
0
10
10
10
10
10
10
10
12
= 10 8 = 10 4 = 10 2 = 10 Classical CG
20 40 60 80 100
16
10
14
Nombre ditrations
Fig. 3.7 Courbe de Convergence de Init-Tchebyche pour dirents niveaux e de ltrage .
60 du calcul parall`le, et en particulier dans les environnements a mmoire e ` e distribue o` le calcul des produits scalaires exige une attention particuli`re. e u e
3.3.4
Mthode ` deux grilles Algbrique e a e
Une faon dexploiter linformation spectrale pr-calcule est de dnir c e e e un cycle a deux grilles en tant que solveur itratif stationnaire. Cette ap` e proche na de sens que lorsque le calcul de linformation spectrale nest pas trop prcis. Pour illustrer le comportement numrique de cet arrangement, e e e nous exhibons dans la gure 3.8, la courbe de convergence dun solveur algbrique a deux grilles en utilisant dirents lisseurs. Plus prcisment, pour ` e e e ces expriences numriques, nous avons utilis trois lisseurs dirents : le e e e e gradient conjugu, litration de Tchebyche, et la mthode de relaxation e e e de Richardson. Pour le facteur de relaxation de Richardson, nous prenons opt = 2/ max + an de minimiser le rayon spectral de la matrice projete (gal a max |1 max |, |1 | ), en supposant que la correction e e ` sur la grille grossi`re supprime leet des valeurs propres dans lintervalle e [min , ]. Dans la gure 3.8, nous avons pris = 5 comme pas de lissage (i.e. le nombre ditrations dans le lisseur). Il appara que chacun de ces trois e t dirents lisseurs exhibe un taux de convergence linaire, et que Tchebyche e e et le gradient conjugu ont les mmes proprits de lissage. e e ee Pour tre ecace, nous utilisons un nombre de pas de lissage aussi e grand que possible an de rduire le nombre de cycles, et par consquent e e diminuer le nombre de projections obliques, tout en prservant le mme taux e e e de convergence. Dans la gure 3.9, nous montrons, pour les probl`mes test BCSSTK14 and EDP1, la courbe de convergence du solveur algbrique a e ` deux grilles quand le nombre de pas de lissage change. Le gradient conjugu e est le lisseur considr pour ces expriences. Nous observons que lutilisaee e tion de grandes valeurs de peut retarder la convergence. Ces situations se produisent quand le lisseur a russi a attnuer la plupart des hautes fre ` e e quences de lerreur, et ncessite alors plus deorts pour rduire les basses e e frquences. Lapplication dune correction de grille grossi`re, a ce moment e e ` prcis, est une mani`re ecace pour acclrer la convergence. Sur la base de e e ee cette observation, une heuristique pourrait tre mise en oeuvre pour adapter e automatiquement le nombre de pas de lissage. Lalgorithme Init-Tchebyche peut galement tre vu comme une tape e e e dun cycle a deux grilles, o` le lisseur correspond a litration de Tche` u ` e byche. Dans la gure 3.10, nous comparons la courbe de convergence de Init-Tchebyche, obtenue avec une base W() calcule avec un niveau de e 16 , versus le solveur algbrique a deux grilles bas sur ltrage gal a 10 e ` e ` e litration de Tchebyche avec un nombre de pas de lissage = 5, et une e base W() calcule avec un niveau de 10 4 . e
61
(a) Le probl`me test BCSSTK14 e

10
0
smoother : CG smoother : Chebyshev smoother : Richardson
10
10
10
10
15
10
20
20
40
60
80
100
Nombre ditrations
(b) Le probl`me test EDP1 e

10
0
10
smoother : CG smoother : Chebyshev smoother : Richardson
10
10
10
10
10
10
12
10
14
20
40
60
80
100
Nombre ditrations
Fig. 3.8 Courbe de Convergence du solveur a deux grilles avec dirents ` e lisseurs, pour une base W initialement calcule avec un niveau de ltrage e = 104 .
62

10
0
Steps of smoother = 5 Steps of smoother = 15 Steps of smoother = 25
10
10
10
10
15
10
20
20
40
60
80
100
Nombre ditrations

10
0
10
Steps of smoother = 5 Steps of smoother = 15 Steps of smoother = 25
10
10
10
10
10
10
12
10
14
20
40
60
80
100
Nombre ditrations
Fig. 3.9 Courbe de Convergence du cycle a deux grilles quand le nombre ` de pas de lissage du gradient conjugu change. Le niveau de ltrage de la e base W est = 104 .
63

10
0
InitChebyshev smoother : Chebyshev
10
10
10
10
15
10
20
20
40
60
80
100
Nombre ditrations

10
0
10
InitChebyshev smoother : Chebyshev
10
10
10
10
10
10
12
10
14
20
40
60
80
100
Nombre ditrations
Fig. 3.10 Courbe de Convergence de Init-Tchebyche avec une base W(1016 ) versus le solveur a deux grilles avec Tchebyche comme lisseur. ` Le pas de lissage est x a = 5, et la base W() est calcule avec un niveau e` e 4 . de ltrage gal a 10 e `
64 e e Nous avions mentionn au 3.3.3 que, quand la base W ntait pas calcule e avec une tr`s grande prcision, la courbe de convergence de Init-Tchebyche e e pouvait tre perturbe, avec une stagnation de la norme relative du rsidu e e e a un niveau proche du niveau de ltrage . Le solveur algbrique a deux ` e ` grilles, par contre, avec Tchebyche comme lisseur, montre la mme courbe e de convergence que celle obtenue avec Init-Tchebyche et une base W() o` = 1016 . Ceci illustre lavantage demployer un arrangement du type u cycle a deux grilles, notamment quand linformation spectrale nest pas trop ` prcise. e Dans le cas de nos essais numriques, lalgorithme a deux grilles alge ` e brique exploitant le gradient conjugu comme lisseur, et avec une valeur e approprie de (c-`-d. pas trop grande), exhibe une courbe de convergence e a tr`s semblable a celle obtenue avec SLRU quand est assez petit (c-`-d. e ` a infrieur ou gal a 104 ). Par consquent, le cycle a deux grilles devance e e ` e ` SLRU en termes doprations ottantes, puisquil ralise moins de projece e tions obliques au total que lalgorithme SLRU. Cette observation nest pas tout le temps vraie, en particulier quand la base W() est mal approche e (c-`-d. avec = 102 , dans nos expriences). Dans cette situation, la ma e e thode algbrique a deux grilles ne converge plus, quel que soit le lisseur e ` considr, parce que la correction sur la grille grossi`re corrompt systmatiee e e quement litr calcul par le lisseur. Par opposition a cela, nous rappelons ee e ` que SLRU, Def-CG et Proj-CG arrivent toujours a tirer prot de lespace ` propre, y compris dans ce cas l` (voir la gure 3.5). a Enn, il faut noter que le cycle a deux grilles avec une mthode station` e naire comme lisseur peut galement tre utilis pour dnir un prconditione e e e e neur pour le gradient conjugu, et nous rfrons a [11] pour plus de dtails e ee ` e sur cette approche.
3.4
Considrations Pratiques e
Dans cette section, nous analysons le co t des dirents algorithmes u e introduits prcdemment. Nous supposons que p e e n, p tant la dimension e de la base approche W du sous-espace invariant associ aux plus petites e e valeurs propres, et nous ngligerons donc tous les termes ne contenant pas e n. Tous les co ts seront valus en nombre doprations ottantes. Le co t u e e e u dun produit matrice-vecteur avec A est donn par : e CA 2 nnz (A) n (3.12)
o` nnz (A) est le nombre dlments non nuls que la matrice A comporte. u ee Les dirents algorithmes compars dans ce chapitre ralisent tous une e e e projection oblique du vecteur rsidu initial r (0) dans le sous-espace engendr e e u par W, requrant le mme oprateur WA 1 WT r(0) , o` Ac = WT AW est e e e c
Chapitre 3. Etude Comparative des Solveurs Itratifs e une matrice dense dordre p. Le co t du calcul de A c est : u CAc n p2 + 2 nnz (A) p n p.
65
(3.13)
Nous notons que Ac nest factorise quune seule fois, au dbut de chaque e e algorithme, et ses facteurs seront utiliss pour nimporte quelle rsolution e e avec Ac . Outre les co ts associs aux matrices A et W, il faut aussi considrer les u e e deux produits scalaires (_ DOT) et les trois mises a jour de vecteur (_ AXPY) ` ralises a chaque itration du gradient conjugu. Le co t de ces oprations e e ` e e u e est donn par : e C AXPY 2 n et C DOT 2 n. (3.14)
Lalgorithme Def-CG (voir 3.2.2) (resp. Proj-CG (voir 3.2.3)), calcule Q r(k) ` e (resp. P r(k) ) (voir les formules (3.5) et (3.6)) a chaque itration. Cela peut tre eectu grce a des oprations de type BLAS2 pour z (k) = (AW)T r(k) e e a ` e et r(k) WA1 z(k) . Si nous considrons que les matrices AW et A c sont e c dj` calcules et stockes au dbut de lalgorithme, le co t de ces oprations ea e e e u e est le mme que celui de lapplication du prconditionneur SLRU, M SLRU , e e qui implante une mise a jour de rang p de la matrice identite de la forme ` e I + WA1 WT . Le co t total de ces oprations, de type BLAS2, est donn u e e c par : CProj 4 (p + 1) n. (3.15) Init-Tchebyche ne fait pas partie des techniques de Krylov prcdeme e ment dcrites. Il correspond a la juxtaposition de litration de Tchebyche, e ` e qui requiert trois mises a jour de vecteur, un produit matrice-vecteur avec A, ` et une projection oblique a la n. Pour faciliter la comparaison, nous met` trons le co t de cette derni`re projection oblique au dbut de lalgorithme. u e e e u e La table 3.3 rcapitule, pour chaque algorithme, le co t en oprations ottantes, avec un co t dinitialisation et un co t par itration. u u e
Le cot en oprations ottantes u e ` Initialisation A chaque itration e
Init-CG Def-CG Proj-CG SLRU Init-Tchebyche CAc + CProj + CA + CAc + CProj + CA + CAc + CProj + 0 + CAc + CProj + CA + 0 0 0 0 CA + 0 + 3C
AXPY AXPY AXPY AXPY AXPY
+ 2C + 2C + 2C + 2C + 0
DOT DOT DOT DOT
CAc + CProj + CA + CProj
CA + CProj + 3 C CA + CProj + 3 C CA + CProj + 3 C CA + 0 + 3C
Tab. 3.3 Cot en oprations ottantes des direntes mthodes. u e e e
Une des dirences principales entre ces algorithmes est que Def-CG, Proje CG, et SLRU, exploitent loprateur de projection a chaque itration, tandis e ` e
66 que Init-CG ne lemploie quune seule fois, au dbut (pour calculer litr e ee initial x(0) ). Lalgorithme a deux grilles est entre les deux, en ce sens quil ` eectue une projection oblique pour la correction de la grille grossi`re tous e les pas de lissage (le lisseur pouvant tre le gradient conjugu, Tchebyche e e ` ou Richardson). A cet gard, Init-CG et Init-Tchebyche sont les algorithmes e les moins chers, puisquils vitent lutilisation des projecteurs obliques a e ` chaque itration. Cependant, ces mthodes peuvent sourir dune mauvaise e e convergence quand le calcul de base W nest pas prcis, a loppos de Defe ` e CG, Proj-CG, et SLRU qui restent stables numriquement. e Un dernier commentaire sur la mmoire utilise par ces cinq techniques e e de rsolution (Init-CG, Init-Tchebyche, Def-CG, Proj-CG, et SLRU). Tous e ces algorithmes requi`rent la mme quantit de stockage supplmentaire, e e e e de lordre de 2 n p, pour conserver W (la base approche du sous-espace e invariant associ aux plus petites valeurs propres de A) ainsi que AW. e
3.4.1
Comparaison des Direntes Techniques en Terme dOpe e rations Flottantes
e Comme mentionn au dbut du 3.3, un premier niveau de prconditione e nement M1 peut galement tre employ pour mieux regrouper le spectre e e e de la matrice ditration. Le co t dune multiplication de M 1 par un vecteur e u e e est reprsent par CM1 . Puisque, dans nos expriences numriques, M 1 est e e e construit a laide dune factorisation incompl`te de Cholesky, C M1 peut tre ` e estim comme e (3.16) CM1 4 nnz (L) 2 n o` nnz (L) est le nombre dlments non nuls dans la matrice L issue de u ee la factorisation incompl`te de Cholesky. Le co t de ce premier niveau de e u prconditionnement M1 doit tre incorpor dans les co ts en oprations e e e u e ottantes dtaills dans la table 3.3. Ceci se rsume a ajouter simplement e e e ` ` CM1 a CProj (4.15) partout o` il appara ou explicitement a chaque itration u t, ` e pour Init-CG et Init-Tchebyche. Pour plus de simplicit dans la comparaison des co ts, nous exploitons e u une base W() obtenue avec un bon niveau de ltrage = 10 16 , an dobserver et comparer directement le comportement des algorithmes pour un intervalle tendu de la norme relative du rsidu, sans rupture ventuelle e e e de la pente de la convergence a cause dun manque potentiel de prcision ` e dans le sous-espace invariant [W()], ainsi que nous avons pu lobserver dans les sections prcdentes. e e Dans les gures 3.11 et 3.12, nous traons la norme relative du rsidu en c e fonction du nombre doprations ottantes. Lcart entre le gradient conjue e gu et les autres algorithmes, au dbut ces courbes, dnote le co t initial ade e e u ditionnel ncessaire pour incorporer la base approche W() et construire le e e
67
projecteur oblique associ. Selon la dimension de la base approche W(), cet e e cart est plus ou moins grand. Par exemple, cette dimension est dordre 34 e dans la gure 3.11 (a) et la gure 3.12 (a), et dordre 23 dans la gure 3.12 (b). Nous pouvons galement observer les dirences entre les pentes des e e diverses courbes de convergence, qui sont plus marques en particulier entre e Init-CG ou Init-Tchebyche et les trois autres (Def-CG, Proj-CG et SLRU). En eet, Init-CG et Init-Tchebyche exploitent la projection oblique seulement au dbut, alors que les autres le font a chaque itration. e ` e Quand la base approche W() est de dimension petite ce qui est e dailleurs souhaitable dans le cadre de lutilisation de la factorisation specu trale partielle Tchebyche-PSF (voir Chapitre 2) , il est clair que le surco t lors de linitialisation nest pas extrmement important, et peut mme tre e e e compens en tr`s peu ditrations. Par contre, quand la base est trop grande, e e e comme nous pouvons lobserver pour les algorithmes Def-CG, Proj-CG et SLRU dans la gure 3.12 (b), o` la dimension de W() est gale a 23, le u e ` co t de lutilisation du projecteur oblique est tr`s important, pas seulement u e au dbut mais aussi dans les itrations, et les gains en termes de vitesse de e e convergence peuvent ne pas tre assez bons pour compenser ce surco t. Dans e u ce cas l`, seules des techniques comme Init-CG ou Init-Tchebyche peuvent a tre comptitives en termes de nombre doprations, puisquelles neectuent e e e quune seule projection oblique. Pour plus de dtails, nous mentionnons aussi que, dans le cas du probl`me e e e e e test BCSSTK14 dans la gure 3.12, le gradient conjugu prconditionn ncessite 65 itrations pour atteindre 10 10 dans la norme relative du rsidu, e e e alors que les autres techniques de Krylov requi`rent 51 itrations, pour la e e mme norme du rsidu, et lorsque la valeur de coupure = max /40 et la e e base approche W() est de dimension 3, et 30 itrations quand = max /10 e e et W() est de dimension 23. Pour le mme probl`me test, lalgorithme Inite e Tchebyche converge au bout de 74 itrations dans le premier cas, et 36 e itrations dans lautre, toujours pour atteindre la mme norme relative de e e lerreur. Il y a un certain compromis a trouver, en fonction du probl`me, ` e entre le co t directement li a la taille de la base approche W() et le u e ` e conditionnement rduit rsultant de la matrice projete ou prconditionne. e e e e e Comme mentionn au Chapitre 2, le param`tre divise le spectre de la e e matrice en deux sous-ensembles et xe la dimension p du sous-espace invariant calcul par la factorisation spectrale partielle Tchebyche-PSF. Ceci e dpend bien videmment de la distribution actuelle de valeurs propres de la e e matrice A, qui est spcique a chaque probl`me. Une consquence directe du e ` e e choix de peut tre observe en particulier dans le comportement de lalgoe e rithme Init-Tchebyche, qui est explicitement li au conditionnement rduit e e max /, par opposition aux autres techniques de Krylov o` la convergence u dpend intimement de la distribution compl`te des valeurs propres. e e
68

10
0
Norme realtive du rsidu
10
Classical CG InitChebyshev InitCG SLRU DefCG ProjCG
10
10
10
10
10
0.5
1.5
2.5
3 x 10
7
Nombre doprations flottantes

10
0
10
10
10
10
10
10
0.5
1.5
2.5 x 10
7
Fig. 3.11 Cot des direntes mthodes en oprations ottantes, pour une u e e e base W calcule avec un niveau de ltrage gal a 10 16 . e e `
69
(a) Valeur de coupure = max /40

10
0
10
10
10
10
10
10
10
12
14
16 x 10
6
(b) Valeur de coupure = max /10

10
0
10
10
10
10
10
10
10
12
14
16 x 10
6
Fig. 3.12 Cot des direntes mthodes en oprations ottantes, dans le u e e e cas du probl`me test BCSSTK14, pour diverses valeurs de coupure et une e base W calcule dans chaque cas avec un niveau de ltrage gal a 10 16 . e e `
70 Par exemple, dans la gure 3.12, nous pouvons observer que Init-Tchebyche nest pas un bon candidat en dpit de la petite taille de la base approche e e W() quand le param`tre est plac a max /40 (et la base W() est de e e` dimension 3), par opposition au cas o` = max /10 (avec une base W() u de dimension 23). Pour nir, les direntes courbes de convergence prouvent que les trois e techniques Def-CG, Proj-CG et SLRU ont exactement le mme comportement. e Une analyse ne base sur les valeurs donnes dans la table 3.3 peut aider a e e ` conclure que SLRU est un peu moins co teux que les deux autres. Cependant, u si le calcul de la base approche W() est tr`s prcis (indpendamment de la e e e e dimension de la base W()), Init-CG reste lalgorithme de choix par rapport a ` ces trois techniques, et par rapport aussi a Init-Tchebyche qui sera pnalis ` e e par une vitesse de convergence plus lente.
3.4.2
Gains Potentiels
Le but de ce paragraphe est de comparer, en terme de co t, les gains pou tentiels quil est possible de raliser avec les diverses techniques de rsolution e e e e introduites au 3.2. Nous considrons maintenant le cas de la multirsolution, a savoir que nous voudrions rsoudre une squence de syst`mes linaires ` e e e e avec la mme matrice mais avec dirents second membres calculs squene e e e tiellement. Nous illustrons comment les gains obtenus a chaque rsolution ` e linaire, peuvent rduire considrablement le co t total de la multirsolue e e u e tion. Pour le pr-calcul de la base orthogonale approche W(), nous avons e e utilis lAlgorithme 2.2 (Tchebyche-PSF), dcrit dans le Chapitre 2. e e e Les tables 3.4 et 3.5, illustrent, dans le cas des probl`mes test BCSSTK15, EDP1 et EDP2, les gains potentiels rsultant de lutilisation des divers ale gorithmes. Le crit`re darrt pour ces tests, portant sur le rsidu relatif, est e e e donn par : e ||b Ax(i) ||2 /||b||2 1010 . Pour chaque niveau de ltrage , nous indiquons, dans ces tables, le nombre doprations ottantes en Mflop (ou en Gflop pour le probl`me test EDP2) e e et les gains potentiels (Gain) en % . Pour atteindre 10 10 dans la norme relative du rsidu, le gradient conjugu ncessite 57 itrations dans le cas du e e e e probl`me test EDP1, avec un co t de 23.76 Mflop , 45 itrations dans le cas e u e du probl`me test BCSSTK15, avec un co t de 31.62 Mflop , et, dans le cas du e u probl`me anisotrope EDP2, 1 060 itrations avec un co t de 6.31 Gflop . En e e u particulier, si nous considrons le probl`me test EDP1 avec une base calcule e e e 16 , Init-CG converge en 27 itrations avec avec un niveau de ltrage = 10 e un co t de 11.50 Mflop . Ceci rapporte une rduction de 47%, compar au u e e gradient conjugu sans cette information spectrale et un gain de 52%. Le co t e u du pr-calcul de la base W sera amorti en quelques rsolutions conscutives e e e avec Init-CG. Cet aspect sera en fait analys en dtail au chapitre suivant, e e
71
o` nous introduirons aussi une autre technique pour le pr-calcul de la base u e orthogonale approche W(), alternative a lAlgorithme 2.2 (Tchebychee ` PSF), mais permettant de rsoudre en mme temps un des syst`mes linaires e e e e de la squence. e Quand le calcul de la base approche W() est tr`s prcis (c-`-d. pour e e e a un niveau de ltrage = 1016 ), le surco t du pr-calcul de la base est u e contrebalanc en quelques rsolutions conscutives, et ceci avec nimporte e e e quel solveur itratif. Comme mentionn prcdemment, Init-CG semble tre e e e e e lalgorithme de choix, car cest celui permettant les meilleurs gains. Init-Tchebyche est un algorithme un peu particulier, puisquil ne fait pas partie des techniques du type Krylov. Cependant, quand le niveau de ltrage est gal a 1016 , il se comporte comme les autres algorithmes, mais avec e ` une lg`re dirence sur le nombre ditrations et doprations ottantes. e e e e e Ceci est d a la dirence entre le taux de convergence de litration de u ` e e Tchebyche et celui du gradient conjugu. Par contre, quand linformation e spectrale nest pas extrmement prcise, c-`-d. quand le niveau de ltrage e e a est dans lintervalle [108 , 104 ], le fait dutiliser la projection oblique une seule fois au dbut est insusant pour permettre a litration de Tchebyche e ` e de rduire lerreur susamment. e e Le cycle a deux grilles, propos au 3.2.6, peut tre une alternative ` e pour tirer bnce de linformation spectrale disponible, malgr sa faible e e e qualit numrique, sans avoir pour autant a raliser une projection oblique e e ` e a chaque itration, comme dans les algorithmes Def-CG, Proj-CG , ou SLRU. ` e La table 3.5 indique le co t de cette approche, avec litration de Tchebyche u e comme lisseur. Nous changeons galement le nombre de pas de lissage dans e chaque cycle, selon la qualit numrique de la base W(), an de rduire au e e e minimum le nombre de corrections de grille grossi`re (c-`-d. le nombre de e a projections obliques) versus le nombre total ditrations. e Les divers rsultats numriques montrent que, lorsquune grande exactie e tude est exige dans la rsolution de plusieurs syst`mes linaires en squence, e e e e e une base pr-calcule avec un niveau de ltrage suprieur a 10 2 ne dee e e ` vrait pas tre employe. La meilleure stratgie pour aborder cette situation e e e est de calculer une base avec un niveau de ltrage prcis, [10 16 , 108 [, e et dexcuter lalgorithme Init-CG ou le cycle a deux grilles avec le gradient e ` conjugu comme lisseur. Nous notons galement que, si la base W() est e e susamment prcise (par exemple = 10 4 ), lutilisation des trois autres e techniques de Krylov (Def-CG, Proj-CG et SLRU) reste en gnral tr`s ee e e cace, et que le cycle a deux grilles peut tre une bonne alternative. ` e
72
Le Probl`me test EDP1 e Le gradient conjugu ncessite 57 itrations avec un cot de 23.76 Mflop e e e u Init-CG 1016 108 104 102 Mflop 11.50 11.50 24.23 24.23 Gain % 52 % 52 % -2 % -2 % Def-CG Mflop 14.70 14.70 14.70 19.77 Gain % 39 % 39 % 39 % 17 % Proj-CG Mflop 14.57 14.57 14.57 20.64 Gain % 39 % 39 % 39 % 13 % SLRU Mflop 14.47 14.47 14.47 24.40 Gain % 39 % 39 % 39 % -3 % Init-Tchebyche Mflop 14.20 Gain % 40 %
Le Probl`me test BCSSTK15 e Le gradient conjugu ncessite 45 itrations avec un cot de 31.62 Mflop e e e u Init-CG 1016 108 104 102 Mflop 20.41 20.41 31.66 31.66 Gain % 35 % 35 % -0.1 % -0.1 % Def-CG Mflop 22.27 22.27 22.27 24.62 Gain % 29 % 29 % 29 % 22 % Proj-CG Mflop 22.19 22.19 22.19 24.54 Gain % 29 % 29 % 29 % 22 % SLRU Mflop 21.96 21.96 21.96 24.31 Gain % 30 % 30 % 30 % 23 % Init-Tchebyche Mflop 24.78 30.96 Gain % 21 % 2 %
Le Probl`me test EDP2 e Le gradient conjugu ncessite 1060 itrations avec un cot de 6.31 Gflop e e e u Init-CG 10
16
Def-CG Gflop 4.80 4.95 6.05 7.63 Gain % 23 % 22 % 4 % -21 % Gflop 4.86 5.32 7.06 9.02
SLRU Gain % 23 % 15 % -11 % -43 %
Gflop 1.70 2.04 6.42 6.42
Gain % 73 % 67 % -1 % -1 %
108 104 10
2
Tab. 3.4 Cot des direntes approches pour dirents niveaux de ltrage u e e . Les itrations du gradient conjugu sont stoppes quand la norme relative e e e du rsidu est infrieure a 1010 . e e `
Dans ce cas, nous utilisons lalgorithme algbrique a deux grilles avec le gradient conjugu e ` e comme lisseur et une seule correction de la grille grossi`re. e

Cycle ` deux grilles avec Tchebyche comme lisseur a Probl`me test EDP1 e 108 104 15 5 Mflop 15.56 17.03 Gain % 34 % 28 % Probl`me test BCSSTK15 e 20 15 Mflop 25.52 27.25 Gain % 19 % 14 %
73
Tab. 3.5 Cot, en oprations ottantes, du cycle a deux grilles avec Tcheu e ` byche comme lisseur.
3.5
Conclusions
Dans ce chapitre, nous avons compar diverses mthodes de rsolution e e e exploitant une certaine information spectrale partielle extraite de la matrice A. Lide gnrale, commune a toutes ces techniques, est demployer e e e ` la base orthonormale W du sous-espace invariant associ aux plus petites e valeurs propres de A, en vue dtablir une projection sur le complmentaire e e orthogonal de W. Pour le pr-calcul de cette base, nous avons employ la e e e factorisation spectrale partielle (Tchebyche-PSF) [4, 28, 29], base sur les ltres polynmiaux de Tchebyche et le processus de Lanczos, et prsente o e e au Chapitre 2. Parmi les mthodes de rsolution, nous avons considr la version du e e ee gradient conjugu dat [77], qui consiste a augmenter lespace de Krye e e ` lov, gnr dans les itrations du gradient conjugu, avec la base W, et a e ee e e ` projeter, a chaque itration, les vecteurs de Krylov sur le complmentaire or` e e thogonal de cette base W. Une alternative consiste a appliquer lalgorithme ` e du gradient conjugu au syst`me projet [51]. La troisi`me approche est bae e e se sur un prconditionnement spectral [10], qui vise a translater de 1 la e e ` position des plus petites valeurs propres de la matrice du syst`me. Ces trois e techniques de Krylov ont permis une convergence rapide dans le gradient conjugu, avec des taux de convergence linaires, tr`s identiques, et pouvant e e e tre obtenus mme quand le calcul de la base approche W nest pas trop e e e prcis. e Nous avons galement expriment trois autres approches, a savoir lalgoe e e ` rithme du gradient conjugu classique et les mthodes itratives de Tchebye e e che et de Richardson, les trois ont t combines avec un itr initial obtenu ee e ee par une projection oblique du rsidu de dpart dans le complmentaire orthoe e e gonal de W. Nous avons observ que, quand le calcul de la base approche e e W est prcis, ces techniques prsentent galement le mme comportement e e e e numrique, avec des taux de convergence linaires, mais qui di`rent lg`ree e e e e ment, puisque leurs proprits numriques intrins`ques sont direntes. ee e e e
74 Dans tous les cas, les taux de convergence rsultants, sont directement e lis au param`tre de coupure , qui correspond a la plus petite valeur propre e e ` de A qui nest pas incluse dans lensemble de valeurs propres approches e par la base W. Plus prcisment, ces taux de convergence correspondent e e a ceux obtenus avec des matrices ayant un conditionnement rduit gal a ` e e ` max (A)/. Enn, en dpit de leurs taux de convergence linaires relativee e ment plus levs, les techniques itratives de Tchebyche et de Richardson e e e prsentent lavantage additionnel de nemployer aucun produit scalaire dans e leurs itrations. Ceci est un aspect tr`s important pour les implmentations e e e parall`les dans les environnements a mmoire distribue. e ` e e Quand la base calcule W est invariante avec une grande prcision, il e e est susant de dcomposer la solution en deux parties, la premi`re sobe e tenant simplement par projection oblique du second membre dans lespace engendr par W. Les techniques du type Init-CG et Init-Tchebyche sont e alors les algorithmes de choix, parce quelles vitent lutilisation des projece teurs obliques a chaque itration, ce qui les rend beaucoup moins ch`res. ` e e Par contre, quand le calcul de la base W nest pas trop prcis, lutilisation e dune projection oblique une seule fois, au dbut, ne sut pas pour assurer e un taux de convergence linaire. En particulier, quand la base approche e e est trop pauvre, aucune amlioration nest observe. Par opposition a ceci, e e ` les trois premi`res techniques de type Krylov, qui calculent a chaque ite ` e ration une projection oblique avec la base W, nont pas ce probl`me de e mauvaise convergence, et montrent un comportement numrique tr`s stable e e dans la plupart des cas. Dans des situations intermdiaires, c-`-d. quand la e a base pr-calcule est susamment prcise, nous pouvons aussi considrer un e e e e cycle a deux grilles, pour tirer prot de linformation spectrale sans tablir ` e une correction de grille grossi`re (projection oblique) a chaque itration. e ` e e Les co ts en oprations ottantes analyss dans 3.4.2, ont galement u e e montr que, lorsque le spectre de la matrice ditration est tr`s bien regroup e e e e et que la base W est de petite dimension, les gains peuvent tre plutt e o intressants, et le co t de pr-calcul de cette base peut tre rapidement e u e e compens dans le cadre de la rsolution dune squence de syst`mes linaires e e e e e avec la mme matrice mais dirents second membres. e e Dans le chapitre suivant nous tudierons la combinaison du gradient e conjugu avec les ltres polynmiaux de Tchebyche appliqus a une partie e o e ` du spectre de la matrice, comme prconditionneurs. Cette approche vise e a mettre le gradient conjugu dans une meilleure situation de convergence. ` e Lide est de construire directement une base de Krylov de dimension petite, e riche en informations relatives aux vecteurs propres associs aux plus petites e valeurs [32].
Chapitre 4
Approche Hybride Combinant les Filtres de Tchebyche et le Gradient Conjugu pour la Rsolution e e de Syst`mes Linaires ` e e a Second Membres Multiples
Lun des solveurs itratifs les plus puissants pour rsoudre les syst`mes e e e linaires symtriques dnis positifs est lalgorithme du gradient conjue e e gu de Hestenes et de Stiefel [37], plus particuli`rement quand il est e e combin avec un certain prconditionnement [16]. De nombreux proe e bl`mes de calcul scientique rclament la rsolution de plusieurs syse e e t`mes linaires impliquant la mme matrice mais des second membres e e e dirents. Ici nous proposons une nouvelle approche base sur une e e combinaison de la mthode du gradient conjugu avec des ltres poe e lynomiaux de Tchebyche comme prconditionneurs. Notre technique e consiste a appliquer ces ltres polynomiaux a une partie seulement du ` ` spectre de la matrice de coecient, en ciblant quelques proprits spcie e e ques de convergence de la mthode du gradient conjugu. Nous mone e trerons que notre prconditionneur met un grand nombre de valeurs e propres proches de 1 et ne dgrade pas la distribution des plus pee tites valeurs propres. Ceci permet au Gradient Conjugu, ainsi prcone e ditionn, de construire directement une base de Krylov de dimension e petite, tr`s riche en ce qui concerne les plus petites valeurs propres et e les vecteurs propres associs. e
75
76
Une consquence directe est que cette information spectrale peut alors e tre exploite de mani`re tr`s simple, avec un petit eort supplmene e e e e taire, pour une multirsolution linaire, c-`-d. la rsolution dune se e a e e quence de syst`mes linaires avec la mme matrice mais dirents see e e e cond membres fournis squentiellement. Nous illustrerons avec quelques e essais numriques, lecacit de cette approche. e e
4.1
Introduction
Lalgorithme du gradient conjugu prconditionn est lune des teche e e niques les plus puissantes pour rsoudre des syst`mes linaires de la forme (1.1), e e e o` A est une matrice creuse, symtrique dnie positive de R nn [16]. Lutiu e e lisation de prconditionneurs polynomiaux est une solution attrayante, dj` e ea considre par plusieurs auteurs [39, 72]. Cela permet de transformer le ee spectre de la matrice prconditionne, avec une distribution des valeurs e e propres plus favorable a la mthode du gradient conjugu, soit en rduisant ` e e e fortement le conditionnement du syst`me prconditionn, soit en regroupant e e e lensemble des valeurs propres dans un nombre tr`s restreint dintervalles. e Pour litration de Tchebyche, par exemple, lvaluation de min (A) e e et max (A), la plus petite et la plus grande valeur propre, est indispensable. Une borne suprieure peut souvent tre obtenue par des techniques e e tr`s simples, telles que les disques de Gershgrin [72]. Par contre, il est e o plus dicile destimer la plus petite valeur propre. Saad [72] a propos une e technique de prconditionnement polynomial qui exige seulement une borne e suprieure pour la plus grande valeur propre, alors que la borne min (A) = 0 e est employe comme plus petite valeur propre de A. Sa technique est base e e sur les polynmes de moindres carrs associs a la famille de fonctionso e e ` poids de Jacobi [82]. Une autre mani`re dviter le calcul de min (A) et de e e max (A) est demployer directement le polynme construit par le gradient o conjugu lui-mme comme prconditionneur. Cette approche a t tudie e e e eee e par OLeary [55]. Linconvnient de cette technique est que le syst`me pre e e conditionn na pas la garantie dtre dni positif. Golub et Kent [30] ont e e e propos une technique base sur des moments modis permettant destie e e mer les valeurs propres extrmes du syst`me linaire. Ashby et al. [6] ont e e e observ, sur une varit dexemples numriques, que lecacit des prcone ee e e e ditionneurs polynomiaux de Tchebyche et de moindres carrs dpend de la e e distribution des valeurs propres de la matrice A. Ici, nous proposons une approche dirente, qui vise a placer le gradient e ` conjugu dans un mode particulier, en mode amas, o` le conditionnement e u du syst`me linaire nest pas tellement rduit mais son spectre en grande pare e e tie regroup autour de 1. Notre prconditionneur, appel ChebFilter, consiste e e e a appliquer les ltres polynomiaux de Tchebyche a une partie seulement ` ` du spectre de la matrice ditration, an de dcaler un grand nombre de vae e
Chapitre 4. Approche Hybride Combinant les Filtres de Tchebyche
77
leurs propres du syst`me linaire pr`s de 1, sans dgrader la distribution des e e e e plus petites valeurs propres. Avec cette technique de prconditionnement, le e gradient conjugu exhibe toujours une convergence avec un certain nombre e de plateaux, sans pouvoir entrer dans un mode linaire directement. Ces e plateaux, qui correspondent a la combinaison du mauvais conditionnement ` avec des amas de valeurs propres aux extrmes, sont cependant considrae e blement rduits en taille (en comparaison de ce qui peut tre observ sans e e e cette technique de prconditionnement). Le Gradient Conjugu, ainsi pre e e conditionn, est alors a mme de construire directement une base de Krylov e ` e de dimension petite, tr`s riche en ce qui concerne les plus petites valeurs e propres et les vecteurs propres associs. Cette caractristique est fondamene e tale, car elle permet alors dexploiter ces espaces de Krylov de mani`re tr`s e e simple, sans eort supplmentaire pour trier ou slectionner linformation e e spectrale quils contiennent, an de rsoudre en particulier une squence e e de syst`mes linaires avec la mme matrice mais dirents second membres e e e e fournis squentiellement. e Une des motivations de lensemble de ce travail a t, en eet, de proee poser une alternative a lutilisation des mthodes directes pour la rsolution ` e e dune squence de syst`mes linaires, avec une mme matrice (symtrique e e e e e dnie positive mais mal conditionne) et dirents second membres. Pour e e e des second membres simultans, les mthodes de Krylov par blocs [53] foure e nissent une rponse approprie. Pour une squence de second membres qui e e e ne changent que tr`s lg`rement, une ide toute simple est demployer la e e e e derni`re solution comme vecteur de dpart pour la rsolution suivante dans e e e cette squence. Dans le cas o` seulement un second membre est disponible e u e e e a la fois, la mthode de Fischer [27], le gradient conjugu dat (deated ` e CG) [77], ou la mthode hybride de Simoncini et al. [80] peuvent tre consie e dres. La mthode de Fischer recherche, dans lordre, une solution dans ee e lespace engendr par les directions de Krylov construites lors du calcul de e la solution prcdente. Ceci est utile quand les vecteurs de solution sont e e corrls. Dans la mthode du gradient conjugu dat, seules les premi`res ee e e e e e directions de Krylov prcdemment construites sont conserves et employs e e e e pour mettre a jour le sous-espace approximativement invariant exploit pour ` e acclrer la rsolution des divers syst`mes. Cette approche est relativement ee e e ecace en termes de calcul et doccupation mmoire, mais la convergence e vers un sous-espace invariant est lente et la rduction du nombre des ite e rations reste relativement modeste. La mthode hybride de Simoncini et e al. [80] est tr`s ecace seulement quand les second membres partagent la e mme information spectrale. e Dans ce chapitre, lide principale est de rsoudre le premier syst`me e e e avec la mthode du gradient conjugu combin avec les ltres de Tchebyche e e e comme prconditionneurs, et exploiter ensuite la base de Krylov rsultante, e e gnre lors de cette premi`re rsolution, pour projeter le vecteur rsidu e ee e e e
78 initial avant dexcuter lalgorithme du gradient conjugu classique pour la e e rsolution des syst`mes suivants. Nous pouvons galement exploiter cette e e e base de Krylov dans des techniques de dation ainsi que des algorithmes a e ` deux-Grilles (voir Chapitre 3). Comme dj` mentionn, cette approche di`re des autres car elle permet ea e e de construire une base de Krylov qui contient de mani`re concentre toute e e linformation spectrale associe aux plus petites valeurs propres, et ne ne e cessite pas de traitement ou de tri a posteriori, puisque cette base de Krylov est de taille extrmement rduite relativement a la dimension de lespace e e ` invariant associ aux valeurs propres petites dans la matrice A. Linformae tion contenue dans cette base de Krylov est galement assez indpendante e e du second membre du syst`me linaire utilis pour la construire. En eet, e e e les ltres polynomiaux de Tchebyche agissent uniformment sur les compoe santes propres, indpendamment des vecteurs rsidus. Par opposition a cela, e e ` la mthode du gradient conjugu dtermine a chaque itration le polynme e e e ` e o optimal associ a ces composantes propres, an minimiser lerreur en norme e` A. ` Ce chapitre sarticule comme suit. Nous consacrerons le paragraphe 4.2 a la description de notre prconditionneur, ainsi qu` la discussion de certaines e a de ses proprits. Au 4.3, nous illustrerons le comportement et lecacit ee e numrique de notre approche sur un ensemble de probl`mes mod`les proe e e venant de la discrtisation par lments nis des probl`mes d Equations e ee e aux Drives Partielles (EDP), du type quation de diusion. Au 4.5, nous e e e analyserons en dtail la complexit algorithmique de notre technique et nous e e tudierons comment peut-elle tre employe ecacement pour rsoudre des e e e e syst`mes linaires avec la mme matrice mais a second membres multiples. e e e ` En conclusion, nous rappellerons les rsultats nouveaux et donnerons une e vue des perspectives de ce travail au 4.6.
4.2
Filtres Polynomiaux de Tchebyche comme Prconditionneurs e
Ce paragraphe est ddi a la description de la combinaison du gradient e e` conjugu avec les ltres polynomiaux de Tchebyche comme prconditione e neurs, et que nous appellerons ChebFilterCG. Pour dcrire ceci en dtails, e e nous introduisons dabord la dcomposition propre de la matrice A : e A = UUT = U1 1 UT + U2 2 UT 1 2 o` le spectre de A est divis en deux parties, 1 matrice diagonale foru e me des valeurs propres i de A infrieures au param`tre ]0, max [, U1 e e e matrice rectangulaire dont les colonnes correspondent aux vecteurs propres
79
orthonormaliss, 2 et U2 tant les matrices complmentaires correspone e e dantes. Soit x(0) Rn un itr initial pour la solution de (1.1), et soit ee r(0) = b Ax(0) le vecteur rsidu associ. Nous introduisons alors le vecteur e e ltr e wf = Fm (A) r(0) = U1 Fm (1 )UT r(0) + U2 Fm (2 )UT r(0) , 1 2 o` Fm est le polynme de degr m donn par u o e e Fm () = Tm ( ()) , Tm ( (0)) (4.1)
(4.2)
o` Tm est le polynme de Tchebyche de degr m, et la similitude qui u o e transforme lintervalle [, max ] en [1, 1] (avec () = 1 et (max ) = 1).
Pour des valeurs donnes de , max (A) et , nous pouvons xer le degr e e m de Tm tel que 1/|Tm ( (0))| < et par consquent ||Fm ()|| < sur e e [, max ]. En utilisant la formule (4.1), on peut crire ||UT wf ||2 ||Fm (2 )||2 ||UT r(0) ||2 ||UT r(0) ||2 . 2 2 2 (4.3)
Lquation (4.3) montre explicitement comment le ltre matriciel de Tchee byche en A appliqu au vecteur rsidu r (0) pourra attnuer les composantes e e e propres associs a toutes les valeurs propres de lintervalle [, max (A)] au e ` niveau relativement aux autres. Le nombre ditrations de Tchebyche pere mettant de rduire ces composantes propres a un certain niveau du ltrage e ` , est directement li au taux de convergence de litration de Tchebyche e e e sur lintervalle [, max ] (voir, e.g., [30], [36, page 47]), qui dpend seulement du rapport max /. Notre prconditionneur polynomial est rsum dans lAlgorithme 4.1 (ape e e pel ChebFilter). e Cet algorithme correspond a lapplication du polynme matriciel de ` o Tchebyche en A, rduisant les composantes propres de r (0) associes a e e ` toutes les valeurs propres de lintervalle [, max (A)] au niveau du ltrage , pour calculer le vecteur rsidu wf = Fm+1 (A) r(0) et lapproximation correse pondante xf telle que bAxf = rf . Les tapes 6.ii et 6.iii de lAlgorithme 4.1 e sont lies par la relation suivante : e wf = w(m+1) = Fm+1 (A) r(0) = = o` nous notons d = u Tm+1 ( (A)) r(0) Tm+1 (d ) 1 Tm+1 d I A r(0) m+1
max + 2 , = et m = Tm (d ) pour tout max max m 0. Ltape 6.iv peut tre galement remplace par la relation e e e e m1 (m1) m w , (4.4) d w(m) Aw(m) wf = w(m+1) = 2 m+1 m+1
80
Algorithme 4.1 : ChebFilter ` [wf , xf ] = ChebFilter A, b, , max (A), x(0) , Dbut e 1. = 2. 3. 4. 5. 6. 2 max (A) + et d = max (A) max (A) Choix de x(0) xf = x(0) , et wf = b Axf y = xf , m = 1, 0 = 1 et 1 = d xf = x f + wf et wf = b Axf d Tant que 1/m Faire i. m+1 = 2 d m m1 m m1 y ii. p = 2 d xf + w f m+1 m+1 iii. y = xf et xf = p iv. wf = b Axf v. m = m + 1 FinTantque
7. Fin
Soit x(i) litr a ltape i du gradient conjugu prconditionn et r (i) = ee` e e e e b Ax(i) = A(x x(i) ) le rsidu associ. Lapplication du prconditionneur e e e ChebFilter consiste a rsoudre approximativement le syst`me linaire Az (i) = ` e e e (i) tel que le rsidu nal est gal a r (i) Az(i) = F (A) r(i) . Ceci peut r e e ` m galement tre formul comme suit : e e e z(i) = A1 I Fm (A) r(i) = M1 r(i) . (4.5)
qui correspond a la rcurrence a trois termes dnissant litration de Tche` e ` e e byche calculant w(m+1) en fonction de w(m) et w(m1) pour tout m 1, o` w(0) est le vecteur r(0) , et o` w(1) est gal a I d A r(0) . u u e `
Nous mentionnons que notre prconditionneur polynomial eectue un nombre e xe dtapes pour des valeurs donnes de max (A), et , indpendamment e e e du second membre. ` e A ltape i, le gradient conjugu prconditionn est caractris par : e e e e e x(i) {x(0) } + Ki (M1 A, z(0) ) r(i) Ki (M1 A, z(0) ). avec z(0) = M1 b
Ki (M1 A, z(0) ) est lespace de Krylov de dimension i. Ki M1 A, z(0) = z(0) , . . . , M1 A z(0) i1 (0) = z(0) , . . . , I Fm (A) z (0) , . . . , F (A) i1 z(0) , = z m
i1
(4.6)
81
tant donn que A1 Fm (A) = Fm (A)A1 , et donc que M1 A = A1 I e e Fm (A) A = I Fm (A) A1 A. Lquation (4.6) montre explicitement que e les directions de recherche du gradient conjugu prconditionn par les ltres e e e polynomiaux de Tchebyche sont obtenues dans un espace de Krylov ltr. e Comme A est symtrique dnie positive, alors M 1 = A1 IFm (A) e e lest aussi. En eet, puisque A1 et Fm (A) commutent, il est facile de voir que M1 est symtrique. En utilisant la dcomposition propre A = UU T , e e nous pouvons crire M1 = U1 I Fm () UT , o` 1 I Fm () est e u une matrice diagonale dnie positive puisque F m () [, 1[ pour tout e dans ]0, max ]. En plus, nous pouvons voir que les matrices M 1 A et AM1 ont les mmes valeurs propres, qui sont celles de la matrice (I F m (A)). e Par consquent, les valeurs propres de M 1 A sont donnes par 1 Fm (i ), e e avec i , i {1, . . . , n} valeurs propres de A.
Un aspect tr`s important dans lutilisation des ltres de Tchebyche e comme prconditionneurs est quils agissent uniformment sur lintervalle e e [, max (A)], indpendamment du second membre. Par opposition a cela, le e ` gradient conjugu dtermine a chaque itration le polynme optimal pour e e ` e o minimiser lerreur courante en norme A, qui dpend du second membre. e Les tapes de la combinaison du gradient conjugu avec les ltres poe e lynomiaux comme prconditionneurs sont rsumes dans lAlgorithme 4.2, e e e quon appellera ChebFilterCG.
Algorithme 4.2 : ChebFilterCG Dbut e 1. choix de x(0) et r(0) = b Ax(0) 2. Pour m = 1, 2, . . . Faire ` i. [yf , z(m1) ] = ChebFilter A, r(m1) , , max (A), y, T ii. m1 = r(m1) z(m1) iii. Si m = 1 p(1) = z(0) Sinon m1 = m1 /m2 p(m) = z(m1) + m1 p(m1) iv. FinSi v. q(m) = Ap(m) T vi. m = m1 /(p(m) q(m) ) vii. x(m) = x(m1) + m p(m) viii. r(m) = r(m1) m q(m) ix. Vrier la Convergence et Continuer si ncessaire e e 3. FinPour Fin
82
4.2.1
Prconditionnement des Algorithmes ChebFilter et Chebe FilterCG
La version prconditionne de lAlgorithme 4.1 (ChebFilter) peut tre obe e e tenue de la mani`re suivante. On suppose que lon veut rsoudre le syst`me e e e prconditionn symtriquement e e e L1 ALT u = L1 b, x = LT u, (4.7)
et on applique lAlgorithme 4.1 au syst`me (4.7). En rednissant les variables e e de la faon suivante c LT uf L wf xf wf (4.8)
et en posant M1 = LLT , on obtient lAlgorithme 4.3, et quon appellera PChebFilter.

Algorithme 4.3 : PChebFilter ` [wf , xf ] = PChebFilter A, b, , max , x(0) , , M1 max correspond a la plus grande valeur propre du ` syst`me prconditionn. e e e Dbut e 1. = 2. 3. 4. 5. 6. 2 max + et d = max max Choix de x(0) xf = x(0) , et wf = M1 (b Axf ) 1 y = xf , m = 1, 0 = 1 et 1 = d xf = x f + wf et wf = M1 (b Axf ) 1 d Tant que 1/m Faire i. m+1 = 2 d m m1 m m1 ii. p = 2 y d xf + w f m+1 m+1 iii. y = xf et xf = p iv. wf = M1 (b Axf ) 1 v. m = m + 1 FinTantque
7. Fin
Quant a la version prconditionne de lAlgorithme 4.2 (PChebFilterCG), ` e e elle peut tre obtenue en remplaant lappel a ChebFilter par PChebFilter e c ` dans lalgorithme ChebFilterCG.
83
4.3
Essais numriques e
Dans ce paragraphe, nous allons illustrer, avec quelques essais nume riques, lecacit de notre prconditionneur polynomial. Nous considrons, e e e pour cela, les deux probl`mes test EDP1 et EDP2 dj` dcrits au 3.3. e ea e Ces deux probl`mes sont extraits de la discrtisation par lments nis, en e e ee utilisant pdetool c sous Matlab c , de probl`mes aux drivs partielles ele e e liptiques. Cependant, nous utiliserons trois types de premier niveau de prcondie tionnement : Jacobi classique M1 = diag(A), la factorisation incompl`te de e Cholesky de A sans remplissage, et la factorisation incompl`te de Cholesky e IC(t) de A o` t, param`tre de seuil contrlant le niveau de remplissage, est u e o x gal a 102 ; cholinc(A, 102 ) comme dans les notations Matlab c . ee ` En utilisant la factorisation incompl`te de Cholesky, nous calculons la mae trice triangulaire infrieure L telle que M 1 = LLT . Le but de ce premier e niveau de prconditionnement est de mieux regrouper le spectre de la mae trice ditration, ce qui est une situation favorable pour la technique de e rsolution que nous proposons ici. e
Prconditionneur Premier Niveau e M1 = I M1 = Jacobi Classique ; M1 = diag(A) M1 = IC(0) ; sans Remplissage M1 = IC(102 ) ; avec Remplissage (M1 A) 1 2.6 109 107 106 6.8 108 9.4 6.2 min 3.7 103 3.1 109 1.7 108 1.8 107 max 9.6 106 2.08 1.6 1.1
e Tab. 4.1 Estimations de (M1 A), min , et max , pour le probl`me test 1 EDP1.
Dans un premier temps, nous considrons le probl`me test EDP1. Dans e e la table 4.1, nous indiquons les direntes valeurs du conditionnement de e la matrice A, (A), et de la matrice prconditionne M 1 A, (M1 A), e e 1 1 pour Jacobi classique et Cholesky Incomplet sans remplissage IC(0) et avec remplissage IC(102 ). Nous notons le conditionnement lev de la matrice e e 9 , et celui de la matrice prconditionne par Chooriginale A, de lordre 10 e e lesky Incomplet IC(102 ), rduit dun facteur 103 . e Dans la table 4.2, nous indiquons le nombre de valeurs propres dans lintervalle [min , ] pour le probl`me test EDP1, et ceci pour diverses du e param`tre de coupure dans le prconditionneur. Nous pouvons observer e e que la matrice originale a des probl`mes dchelle dans ses entres, et que e e e le prconditionneur Jacobi classique permet dj` de regrouper substantiellee ea ment les valeurs propres, bien que le nombre du conditionnement demeure tr`s grand. e
84
= max / 109 108 107 103 500 200 100 50 20 10 5 2 Identit e I 3 41 >200 3 5 18 43 89 >200 3 11 32 68 157 >200 3 9 40 Prconditionneur Premier Niveau M1 e Jacobi Classique diag(A) Cholesky Incomplet IC(0) Cholesky Incomplet IC(102 )
Tab. 4.2 Nombre de valeurs propres dans lintervalle [ min , ] pour die rentes valeurs de coupure . Le probl`me test considr est EDP1. e e e
Dans les tables suivantes, le temps CPU ne sera pas ach, puisque e toutes nos expriences ont t eectues sous Matlab c , pour illustrer le e ee e comportement et lecacit numrique de lapproche propose. e e e
4.3.1
Impact de la Valeur de Coupure et du Niveau de Filtrage
e Le prconditionneur ChebFilter dvelopp au 4.2 dpend de deux parae e e m`tres, qui correspondent aux choix de la valeur de coupure, , et du niveau e du ltrage, . Le premier param`tre divise le spectre de la matrice A en deux souse ensembles et dtermine le taux de convergence des tapes de Tchebyche e e calcules a chaque itration du gradient conjugu pour raliser le prcone ` e e e e ditionnement polynomial, puisque celui-ci dnit lintervalle dattnuation e e [, max ] o` le polynme de Tchebyche converge uniformment vers 0. u o e Dans la table 4.3, nous considrons le probl`me test EDP1 dcrit au 3.3. e e e Litr initial est x(0) = 0 et le second membre b est choisi de sorte que la ee solution x du syst`me linaire initial soit le vecteur e = [1, 1, . . . , 1]. Dans e e cette table, nous montrons le nombre dtapes de ltrage de Tchebyche e (ChebIt), le nombre ditrations du gradient conjugu (CGIt), et le nombre e e total de produits matrice-vecteur (ChebItCGIt), ceci pour direntes vae leurs du niveau du ltrage et pour direntes valeurs de coupure . Dans e

Le probl`me test EDP1 prconditionn par Jacobi Classique e e e
85
CG sans prconditionnement de Tchebyche requiert CGIt = 485 itrations e e = max /1000 Valeur de 1016 108 104 102 101 ChebIt CGIt ChebItCGIt 594 303 157 84 48 4 5 7 11 17 2376 1515 1099 924 816 = max /500 ChebIt CGIt ChebItCGIt 420 214 111 60 34 5 6 8 12 19 2100 1284 888 720 646 = max /100 ChebIt CGIt ChebItCGIt 188 96 50 27 15 1 16 22 30 42 2068 1536 1100 810 630
Le probl`me test EDP1 prconditionn par Cholesky Incomplet sans remplissage IC(0) e e e CG sans prconditionnement de Tchebyche requiert CGIt = 191 itrations e e = max /100 Valeur de 1016 108 104 102 101 ChebIt CGIt ChebItCGIt 188 96 50 27 15 4 5 7 11 18 752 480 350 297 270 = max /50 ChebIt CGIt ChebItCGIt 132 68 35 19 11 6 8 11 15 22 792 544 385 285 242 = max /20 ChebIt CGIt ChebItCGIt 83 43 22 12 7 9 13 18 25 35 747 559 396 300 245
Le probl`me test EDP1 prconditionn par Cholesky Incomplet IC(10 2 ) e e e CG sans prconditionnement de Tchebyche requiert CGIt = 54 itrations e e = max /20 Valeur de 1016 108 104 102 101 ChebIt CGIt ChebItCGIt 83 43 22 12 7 4 4 6 10 15 332 172 132 120 105 = max /10 ChebIt CGIt ChebItCGIt 58 30 16 9 5 4 5 7 10 16 232 150 102 90 80 = max /5 ChebIt CGIt ChebItCGIt 39 20 11 6 4 5 7 9 13 17 195 140 99 78 68
Tab. 4.3 Comparaison du nombre dtapes du ltrage de Tchebyche, du e nombre ditrations du gradient conjugu, et du nombre total des produits e e matrice-vecteur pour direntes valeurs du niveau du ltrage et valeurs de e coupure . Le probl`me test considr est EDP1. e e e
CGIt correspond au nombre ditrations du gradient conjugu . e e ChebIt correspond au nombre dtapes du ltrage de Tchebyche a chaque e ` itration du gradient conjugu. e e ChebItCGIt correspond au nombre total des produits matrice-vecteur.
86 ces essais numriques, le crit`re darrt utilis, portant sur lerreur relative e e e e en norme A, est donn par ||x x(k) ||A 109 ||x ||A . e
Nous pouvons observer les eets combins de ces deux param`tres sur e e nos probl`mes test. Le changement rapide du taux de convergence de Tchee byche, pour des valeurs de coupure dcroissantes, induit plus dtapes de e e ltrage a chaque itration, et ceci ne peut tre compens que par une bonne ` e e e rduction du nombre total ditrations de la mthode du gradient conjugu e e e e prconditionn. A cet gard, un prconditionneur de premier niveau M 1 est e e ` e e un point cl pour bien regrouper le spectre de la matrice ditration M 1 A, e e 1 et permettre ventuellement dutiliser des valeurs de coupure raisonnables. e Le deuxi`me param`tre, le niveau du ltrage , inuence directement le e e nombre dtapes de Tchebyche. Pour illustrer cela, nous indiquons dans e e e ` e la table 4.3 le nombre dtapes de ltrage eectues a chaque itration du gradient conjugu, pour direntes valeurs de . e e Nous notons que, pour un niveau xe du ltrage , le nombre total de produits matrice-vecteur (ChebItCGIt) ne change pas drastiquement quand le param`tre varie. Pour une valeur xe de coupure , si nous considrons e e le nombre total de produits matrice-vecteur (ChebItCGIt), il est clair que le gradient conjugu tout seul ncessite moins de produits matrice-vecteur e e que sa combinaison avec les ltres de Tchebyche. Ceci est d au fait que les u polynmes de Tchebyche ne sont pas optimaux en || || A , car ils agissent o uniformment et indpendemment des composantes propres du vecteur re e e sidu. Si nous considrons une valeur du ltrage proche de 10 1 pour minie miser leort dans chaque tape du ltrage de Tchebyche, nous observons e que le nombre total de produits matrice-vecteur raliss nest pas trop loin e e de celui ralis par le gradient conjugu tout seul. Cependant, le rsultat le e e e e plus important a souligner concerne la rduction substantielle de la dimen` e sion de la base de Krylov produite avec cette combinaison TchebycheCG, qui peut tre 3 fois plus petite dans le cas de IC(10 2 ), ou rduite par un e e facteur environ 6 dans le cas de IC(0), et 10 fois plus petite dans le cas de Jacobi classique en tant que prconditionneur premier niveau. e Nous verrons dailleurs que, si nous avons lintention de rutiliser la base e de Krylov ltre pour acclrer dautres rsolutions, minimiser la taille de e ee e cette base est un facteur tr`s important pour la rduction des co ts, et il e e u est alors prfrable dutiliser des petites valeurs pour le niveau du ltrage . ee Ces dirents aspects seront analyss plus en dtail, en termes doprations e e e e ottantes, au 4.5.
87
4.3.2
Pertinence de la Base de Krylov
Dans ce paragraphe, nous considrons le probl`me test EDP1. Nous vae e e luons la pertinence de linformation spectrale stocke dans le sous-espace de e Krylov [Wk ] obtenu apr`s k itrations du gradient conjugu prconditionn e e e e e dans lalgorithme ChebFilterCG. Nous notons que, dans ce paragraphe, la base Wk est orthogonale. Elle est forme par les rsidus et non par les die e rections de descentes. Nous eectuons une analyse spectrale de Ritz de W k , et nous tudions galement les cosinus des angles principaux entre ce souse e espace de Krylov et le sous-espace invariant correspondant engendr par U k , e associ aux k plus petites valeurs propres de la matrice A. La base propre e Uk est calcule par ARPACK [44]. e Analyse Spectrale de Ritz Les valeurs de Ritz i , 1 i k sont les valeurs propres de la matrice T de Rayleigh Wk AWk o` Wk est la matrice de Rnk dont les colonnes u constituent lensemble des vecteurs de Krylov orthonormaliss. e
Matrice Prconditionne par IC(102 ) e e max = 1.1 i 1.79 107 1.80 105 6.89 1.65 1.67 1.69 102 101 101 101 valeur de |i i |/|i | = max /10 4.92 1010 1.10 1011 1.00 1015 100 100 100 2.78 4.08 8.77 = max /5 3.40 1010 1.85 1013 2.61 1015 105 102 102 4.01 1.42 8.77 Matrice Prconditionne par IC(0) e e max = 1.6 i 1.66 108 1.67 106 8.19 1.64 2.09 2.15 103 102 102 102 valeur de |i i |/|i | = max /50 8.87 109 2.74 1011 2.07 1014 104 107 105 2.89 8.86 3.08 = max /20 8.45 109 3.58 1011 1.69 1014 2.36 106 7.94 109 1.08 1010 3.01 109
1.66 101
3.33 100
1.48 102
1.64 102
9.55 104
Tab. 4.4 Rsidu relatif correspondant aux plus petites valeurs propres i , e 1 i 7, pour un niveau du ltrage = 10 4 et pour direntes valeurs de e coupure . Le probl`me considr est EDP1. e e e Dans la table 4.4, nous indiquons le rsidu relatif correspondant aux plus e petites valeurs propres i , 1 i 7, ce qui indique le nombre de chires corrects pour chaque valeur propre approche i , 1 i 7, pour un niveau e du ltrage = 104 et pour direntes valeurs de coupure . Par exemple, e le gradient conjugu prconditionn par les ltres de Tchebyche (ChebFile e e terCG) donne une bonne approximation des trois valeurs propres les plus petites (dix chires corrects) pour la matrice prconditionne par IC(10 2 ) e e et = max /10. Nous observons que, avec = max /10, les quatre autres valeurs propres ne sont pas bien approches. Ceci est simplement d au fait que e u ces valeurs propres tombent directement dans lintervalle [ max /10, max ],
88 o` le polynme de Tchebyche converge uniformment vers 0. Cette table u o e prouve lintrt de linformation spectrale stocke dans le sous-espace de ee e Krylov gnr par ChebFilterCG, qui ore en eet une bonne approximation e ee de la partie spectrale associe a lintervalle ]0, [. e `
Cosinus des Angles Principaux La table 4.5 donne les cosinus des angles principaux entre les deux sousespaces [Wk ] et [Uk ]. Wk est une base orthonormale de lespace de Krylov gnr apr`s k itrations de lalgorithme ChebFilterCG. U k est la matrice e ee e e dont les colonnes constituent le syst`me orthonorm des k premiers vecteurs e e 1 propres de la matrice prconditionne M 1 A. Lindex k rf`re au nombre e e ee ditrations de lalgorithme ChebFilterCG. Le calcul est ralis par la dcome e e e e position en valeurs singuli`res (SVD) [34], puisque les valeurs singuli`res de e T Wk Uk correspondent aux cosinus des angles principaux entre les deux sousespaces [Wk ] et [Uk ]. Comme nous pouvons lobserver dans la table 4.5, ces angles principaux restent tr`s proches de zro. Nous dduisons de ce calcul e e e de cosinus que les deux sous-espaces [W k ] et [Uk ] sont quasiment presque colinaires, et plus particuli`rement pour les directions qui sont associes a e e e ` lintervalle ]0, [.
T SVD(Wk Uk ) Valeurs du niveau du ltrage et la dimension correspondante k de la base de Krylov W k = 1016 et (k = 4) = 104 et (k = 7) = 101 et (k = 16) 1.000E+00 1.000E+00 1.000E+00 9.999E-01 1.000E+00 1.000E+00 1.000E+00 9.994E-01 9.999E-01 9.999E-01 1.000E+00 9.731E-01 9.538E-01 9.815E-01 9.999E-01 9.580E-01 9.725E-01 9.999E-01 9.389E-01 9.586E-01 9.993E-01 8.682E-01 8.998E-01 9.999E-01 8.192E-01 9.999E-01 6.219E-01
Tab. 4.5 Cosinus des angles principaux entre [W k ] et [Uk ], le sous-espace associ aux k plus petites valeurs propres. La matrice est initialement pre e conditionne par Cholesky Incomplet avec remplissage IC(10 2 ), et la valeur e de coupure dans lalgorithme ChebFilterCG a t xe a = max /10. Le ee e ` probl`me test considr est EDP1. e e e
89
4.4
Rutilisation du Sous-Espace de Krylov Filtr e e pour une Multirsolution e
Dans ce paragraphe, notre principal intrt est de rsoudre une squence ee e e de syst`mes linaires impliquant une mme matrice mais des second membres e e e dirents : e Ax = b , = 1, . . . , s, (4.9) o` A est une matrice symtrique dnie positive de R nn , x et b sont u e e des vecteurs de Rn . Lide principale est de rsoudre le premier syst`me e e e e e Ax1 = b1 dans la squence (4.9), par la mthode du gradient conjugu e combin avec les ltres de Tchebyche comme prconditionneurs (ChebFile e terCG), et dexploiter la base de Krylov rsultante pour acclrer les rsolue ee e tions suivantes. Une fois que cette base de Krylov Wk est obtenue, apr`s k itrations du e e gradient conjugu dans lalgorithme ChebFilterCG, nous pouvons la rutiliser e e dans lAlgorithme 3.1 (Init-CG), par exemple (voir [12, 13, 28, 29, 62, 73, 77]), pour la rsolution de tout autre syst`me dans la squence (4.9). Nous e e e insistons sur le fait que nous gardons la mme base W k pour toutes les e rsolutions ultrieures. e e Comme prcdemment dcrit ( 3.2.1 du Chapitre 3), le gradient conjue e e gu avec projection initiale, Init-CG, tablit une projection oblique du rsidu e e e initial dans [Wk ] an dobtenir les composantes propres de la solution qui correspondent aux plus petites valeurs propres. La partie restante de la solution est calcule par la mthode du gradient conjugu classique. e e e
Algorithme 4.4 : Dbut e ` 1. [x1 , W] = PChebFilterCG A, b1 , x(0) , tol1 , M1 2. Ac = WT AW, est une matrice diagonale 3. For = 2, . . . , s Faire i. x(0) = WA1 WT b c ii. x = PCG(A, b , x(0) , tol2 , M1 ) 4. FinPour Fin
Du point de vue pratique, cela se rsume a utiliser la mthode du gradient e ` e conjugu prconditionn par M1 pour rsoudre Ax = b , 2 (cf. Algoe e e e (0) T T rithme 4.4, tape 3.ii), avec un vecteur de dpart x = Wk (Wk AWk )1 Wk b e e o` Wk est une matrice de Rnk . La base de Krylov Wk est obtenue apr`s u e k itrations de lalgorithme ChebFilterCG en rsolvant le premier syst`me e e e ( = 1). Elle est constitue par les vecteurs de descente du gradient conjugu e e
90 et non pas les vecteurs rsidus. Dans ce cas, W k est une base A-orthogonale e T et Ac = Wk AWk est une matrice diagonale. Nous notons que nous ne projetons pas la matrice a chaque itration, mais que nous employons le gradient ` e conjugu prconditionn par M1 (prconditionneur de premier niveau) avec e e e e (0) la matrice originale, et un premier itr x avec lequel nous esprons gomee e mer les dicults que le CG pourrait rencontrer, a savoir les plateaux qui e ` peuvent tre observs dans les courbes de convergence. Cette approche est e e rsume dans lAlgorithme 4.4. e e Pour illustrer cette stratgie, nous considrons le probl`me test EDP1. e e e Un premier syst`me Ax1 = b1 est dabord rsolu, puis un second Ax 2 = b2 . e e (0) Pour le premier syst`me, litr initial est x 1 = 0 et le second membre e ee b1 est choisi tel que la solution soit le vecteur e = [1, 1, . . . , 1]. Le crit`re e darrt pour ce premier syst`me porte sur lerreur relative en norme A : e e (k) 9 ||x || . Quand au deuxi`me syst`me, le second membre ||x1 x1 ||A 10 e e 1 A b2 est choisi de sorte que la solution soit un vecteur de nombres alatoires qui e suivent la loi normale N (0, 1). Pour ces tests, nous avons galement contrl e oe lerreur relative en norme A jusqu` la prcision machine, pour illustrer et a e tudier le comportement numrique complet de la mthode. e e e Les diverses gures tracent la dcroissance de lerreur en norme A en e fonction du nombre ditrations (qui est aussi gal au nombre de produits e e matrice-vecteur). En plus, nous dnoterons par Classical CG le gradient e conjugu prconditionn par Jacobi classique ou Cholesky Incomplet, cest e e e a dire le premier niveau de prconditionnement seulement. ` e e Les gures 4.1 et 4.2 montrent une amlioration signicative, lorsquon rutilise le sous-espace de Krylov gnr par lalgorithme ChebFilterCG, dans e e ee la rsolution du deuxi`me syst`me linaire. Nous traons lerreur relative e e e e c en norme A, en fonction du nombre ditrations, respectivement pour les e probl`mes test EDP1 prconditionn par Jacobi classique et par Cholesky e e e Incomplet sans remplissage. Pour la comparaison, nous montrons galement e la courbe de convergence de lerreur relative en norme A du gradient conjugu prconditionn mais sans projection du vecteur rsidu initial Classical e e e e CG. La gure 4.1 montre les amliorations obtenues pour une base de Krye lov gnre par lalgorithme ChebFilterCG avec dirents niveaux de ltrage e ee e . Nous observons que, pour une valeur de coupure xe , les courbes e de convergence de Init-CG prsentent un comportement numrique constant e e quel que soit le choix de ce niveau de ltrage , puisque toutes les courbes co ncident presque totalement, sauf apr`s stagnation. Nous observons galee e ment que le nombre ditrations est rduit par un facteur de 4 pour atteindre e e une erreur relative en norme A de 108 , ce qui illustre la pertinence de linformation spectrale contenue dans lespace de Krylov obtenu par ChebFilterCG.
91
EDP1 prconditionn par Jacobi Classique, e e pour la valeur de coupure = max /500
10
0
Erreur relative en norme A
Classical CG 16 InitCG , = 10 4 InitCG , = 10 InitCG , = 101
10
10
10
10
15
100
200
300
400
500
600
700
800
Nombre ditrations
EDP1 prconditionn par Cholesky Incomplet e e sans remplissage, pour la valeur de coupure = max /100
10 10
0
Classical CG 16 InitCG , = 10 InitCG , = 104 InitCG , = 101
10 10 10 10 10 10
10
12
14
50
100
150
200
250
300
Nombre ditrations
Fig. 4.1 Courbes de Convergence de Init-CG avec une base de Krylov ge nre par ChebFilterCG, pour une valeur de coupure xe et dirents e e e e niveaux du ltrage . Le probl`me test considr est EDP1. e e e
92
EDP1 prconditionn par Jacobi classique e e

10
0
Classical CG InitCG , /1000 max InitCG , /500 max InitCG , /100

max
10
10
10
10
15
100
200
300
400
500
600
700
800
Nombre ditrations
EDP1 prconditionn par Cholesky Incomplet e e sans remplissage

10 10
0
10 10 10 10 10 10
Classical CG InitCG , /100 max InitCG , /50 max InitCG , max/20
10
12
14
50
100
150
200
250
300
Nombre ditrations
Fig. 4.2 Courbe de convergence de lalgorithme Init-CG avec la base de Krylov gnre par ChebFilterCG, pour un niveau du ltrage = 10 1 , et e e e pour direntes valeurs de coupure . Le probl`me considr est EDP1 e e e e
93
Une proprit importante du prconditionneur ChebFilter est que lon na ee e pas besoin dun niveau du ltrage tr`s proche de la prcision machine pour e e que linformation spectrale contenue dans la base de Krylov soit ecacement rutilisable. Seule la dimension de cette base change quand varie, mais pas e le comportement de Init-CG lors de la rsolution du second syst`me. e e Dans la gure 4.2, nous xons cette fois le niveau du ltrage (par exemple, = 101 ) et nous faisons varier la valeur de coupure . Les courbes de convergence de Init-CG, pour ces direntes valeurs de , montrent l` ene a core un comportement numrique tr`s similaire. Les lg`res variations de e e e e pente sont dues au fait que la variation du param`tre de coupure change e le nombre des valeurs propres approches dans lespace de Krylov ltr core e respondant. Bien que ces rsultats soient limits a deux syst`mes seulee e ` e ment, les gains obtenus peuvent tre facilement tendus a de plus longues e e ` squences de syst`mes linaires avec la mme matrice mais avec dirents e e e e e second membres. En conclusion, les direntes courbes prouvent que le niveau du ltrage e et la valeur de coupure nont pas un grand eet sur la qualit de la base e de Krylov, puisque le comportement de convergence de lalgorithme Init-CG ne change pas beaucoup pour une base W obtenue avec direntes valeurs e de ces param`tres. Cependant, ces param`tres agissent certainement sur la e e taille de la base rsultante W, qui demeure en tout cas, relativement petite, e et tr`s riche en ce qui concerne les plus petites valeurs propres et les vecteurs e propres associs. e
4.5
Considrations Pratiques e
Dans ce paragraphe, tous les co ts seront valus en oprations ottantes. u e e e Le co t dun produit matrice-vecteur avec A est donn par : u e CA 2 nnz (A) n (4.10)
o` nnz (A) est le nombre dlments non nuls que la matrice A comporte. u ee Dans lalgorithme ChebFilterCG, les ltres polynomiaux de Tchebyche sont employs a chaque itration, de faon a attnuer uniformment toutes e ` e c ` e e les composantes propres du rsidu associes a toutes les valeurs propres de e e ` [, max ] au dessous du niveau relativement aux autres. Chaque tape de ltrage de Tchebyche implique un produit matricevecteur e avec la matrice A et trois mises a jour de vecteur (_ AXPY). Ce co t est donn ` u e par : u (4.11) CChebFilter = CA + 3 C AXPY , o` C AXPY 2 n. Pour ce qui est de litration du Gradient Conjugu, en plus dun produit e e matrice-vecteur avec A, nous devons aussi considrer les co ts relatifs aux e u
94 deux produits scalaires (_ DOT) et aux trois mises a jour de vecteur (_ AXPY). ` Le co t des ces oprations est donn par : u e e CCG = CA + 2 C
DOT
+ 3C
AXPY ,
o` C u
DOT
2 n.
(4.12)
Par consquent, le co t total de notre approche est de lordre de : e u CChebFilterCG = CCG + ChebIt CChebFilter CGIt (4.13)
o` ChebIt est le nombre dtapes du ltrage de Tchebyche tablies a chaque u e e ` itration du gradient conjugu, et CGIt est le nombre ditrations du gradient e e e conjugu prconditionn. e e e
4.5.1
Gains Potentiels et Amortissements
Dans ce paragraphe, nous analysons les gains pouvant tre raliss a e e e ` laide de notre technique dans le cadre dune multirsolution. Nous rsole e vons le premier syst`me de la squence (4.9) par ChebFilterCG et exploitons e e ensuite la base de Krylov rsultante W dans lalgorithme Init-CG (voir 4.4) e pour les autres rsolutions. e Un prconditionneur de premier niveau M 1 est galement utilis pour e e e bien regrouper le spectre de la matrice ditration. Le co t dune multiplicae u tion de M1 par un vecteur est reprsente par C M1 . Comme dans nos essais e e numriques M1 est construit par factorisation incompl`te de Cholesky ou e e e e par Jacobi classique, et CM1 peut donc tre estim comme CM1 4 nnz (L) 2 n (4.14)
o` nnz (L) est le nombre dlments non nuls que comporte la matrice L u ee issue de Cholesky Incomplet ou de Jacobi classique, et n est la taille du probl`me. Le co t de ce premier niveau de prconditionnement M 1 doit e u e tre incorpor dans les co ts en oprations ottantes dcrits au 4.5. Ceci e e u e e ` e se rsume a ajouter CM1 a chaque tape de Tchebyche (dans ChebFilter), e ` ainsi que du gradient conjugu (CG) ou (Init-CG) ( voir les formules (4.11), e (4.12), (4.16)). Lalgorithme Init-CG calcule, au dbut de la mthode du gradient conjue e gu, une projection oblique du rsidu initial r (0) dans lespace de Krye e T lov Vect{Wk } de dimension k, a savoir : x(0) = Wk A1 Wk b o` Ac = ` u c T AW est une matrice dense dordre k, r (0) = b Ax(0) et p(0) = r(0) . Wk k
Dans le cas o` la base de Krylov W est constitue par les directions de u e descente A-conjugues construites dans lalgorithme du Gradient Conjugu, e e le calcul de Ac devient mme trivial, en ce sens que A c est diagonale et e peut tre construite a la vole au fur et a mesure des itrations. Nous avons e ` e ` e eectivement considr cela dans la mise en uvre de cette approche et, ee

EDP1 prconditionne par Jacobi Classique e e CG sans prconditionnement de Tchebyche requiert 485 itrations e e avec un cot de 95.79 Mflop u = max /500 1016 108 104 102 101 ChebIt CGIt Mflop 420 214 111 60 34 5 6 8 349.68 214.39 149.03 = max /100 ChebIt CGIt Mflop 188 96 50 27 15 11 345.56 16 258.21 22 187.00 30 140.43 42 112.92 = max /50 ChebIt CGIt Mflop 132 68 35 19 11 16 23 31 43 59 353.85 264.25 186.29 144.17 119.44
95
12 121.92 19 111.03
EDP1 prconditionne par Cholesky Incomplet sans remplissage e e CG sans prconditionnement de Tchebyche requiert 191 itrations e e avec un cot de 55.52 Mflop u = max /100 1016 108 104 102 101 ChebIt CGIt Mflop 188 96 50 27 15 4 5 7 11 18 196.97 126.44 93.17 80.54 75.56 = max /50 ChebIt CGIt Mflop 132 68 35 19 11 6 8 207.97 143.98 = max /20 ChebIt CGIt Mflop 83 43 22 12 7 9 13 18 25 35 197.13 149.36 108.37 85.42 74.02
11 103.46 15 22 78.58 69.44
EDP1 prconditionne par Cholesky Incomplet avec remplissage 10 2 e e CG sans prconditionnement de Tchebyche requiert 54 itrations e e avec un cot de 22.91 Mflop u = max /20 1016 108 104 102 101 ChebIt CGIt Mflop 83 43 22 12 7 4 4 6 10 15 131.99 69.20 54.35 51.34 47.57 = max /10 ChebIt CGIt Mflop 58 30 16 9 5 4 5 7 10 16 92.74 60.99 46.92 39.56 38.18 = max /5 ChebIt CGIt Mflop 39 20 11 6 4 5 7 9 13 17 78.65 57.91 42.67 36.13 33.89
Tab. 4.6 Cot de ChebFilterCG pour dirents niveaux du ltrage et u e pour direntes valeurs de coupure . Le crit`re darrt est satisfait lorsque e e e 9 . Le probl`me considr lerreur relative en norme A est infrieure a 10 e ` e e e est EDP1.
96 dans ces conditions, le co t du calcul de A c peut tre nglig. Avec Ac sous u e e e forme diagonale, le calcul de la projection oblique et de la mise a jour du ` vecteur rsidu peut tre eectu grce a des oprations de type BLAS2. Le e e e a ` e co t total de ces oprations est u e CProj 4 k n. (4.15)
De plus, chaque itration ncessite un produit matrice-vecteur avec A, deux e e produits scalaires (_ DOT) et trois mises a jour de vecteur (_ AXPY) (voir les ` formules (4.10) et (4.12)). Le co t total de lalgorithme Init-CG est donc u CInitCG = CA + CProj
Initialisation
+ CA + 3 C
AXPY
` A chaque itration e
+ 2C
DOT
Nit,
(4.16)
o` Nit est le nombre ditrations total de Init-CG. u e Dans la table 4.6, nous montrons, pour le probl`me test EDP1, le nombre e dtapes de ltrage de Tchebyche (ChebIt) a chaque itration du CG, le e ` e nombre ditrations du CG (CGIt), et le nombre doprations ottantes (en e e Mflop ), et ceci pour dirents niveaux de ltrage . e La table 4.7 illustre les gains raliss dans Init-CG. Le crit`re darrt e e e e utilis est : e ||x x(k) || 109 ||x ||A . (4.17)
Pour chaque niveau de ltrage , nous indiquons dans cette table la dimension k de la base de Krylov rsultant de la premi`re rsolution de la squence e e e e ` (4.9) par ChebFilterCG (ce nombre correspond aussi a CGIt dans la table 4.6), le nombre ditrations de Init-CG (Nit), et le nombre doprations ottantes e e (Mflop) pour atteindre le crit`re darrt ci-dessus (4.17). e e Nous calculons galement le nombre minimal de second membres quil e faudrait considrer, dans une squence de syst`mes linaires, an damore e e e tir le surco t CChebFilterCG du calcul de la base de Krylov W gnre par u e ee ChebFilterCG. Ceci est indiqu par le nombre de vecteurs damortissement e (Amor. Vec). Pour calculer ce nombre, nous devons comparer le nombre doprations ottantes requises pour atteindre un certain niveau de lerreur e relative en norme A avec le gradient conjugu, et le nombre doprations e e ottantes pour atteindre le mme niveau avec lalgorithme Init-CG. Il ne e faut pas non plus oublier que lutilisation de ChebFilterCG pour construire la base de Krylov W sert aussi a rsoudre un syst`me linaire (le premier ` e e e dans la squence). Par consquent, le nombre de vecteurs damortissement e e (Amor. Vec) est donn par : e Amor. Vec = CChebFilterCG CCG . CCG CInitCG (4.18)
Par exemple, pour atteindre une erreur relative en norme A dordre 10 9 , le gradient conjugu met 485 itrations dans le cas du probl`me test EDP1 e e e

EDP1 prconditionne par Jacobi Classique e e CG sans prconditionnement de Tchebyche requiert 485 itrations e e avec un cot de 95.79 Mflop u = max /500 1016 108 104 102 101 k Nit Mflop Amor. Vec 5 152 30.19 6 152 30.22 8 163 32.46 12 159 31.79 19 159 32.02 4 2 1 1 1 = max /100 k Nit Mflop Amor. Vec 11 160 31.96 16 142 28.56 22 130 26.38 30 127 26.04 42 126 26.23 4 3 2 1 1 = max /50 k Nit Mflop Amor. Vec 16 153 30.74 23 131 26.61 31 140 28.58 43 126 26.26 59 126 26.76 5 3 2 1 1
97
EDP1 prconditionne par Cholesky Incomplet sans remplissage e e CG sans prconditionnement requiert 191 itrations e e avec un cot de 55.52 Mflop u = max /100 1016 108 104 102 101 k Nit Mflop Amor. Vec 4 62 17.31 5 62 17.34 7 62 17.41 11 62 17.53 18 62 17.77 4 2 2 1 1 = max /50 k Nit Mflop Amor. Vec 6 60 17.38 8 60 17.44 11 58 17.53 15 56 16.79 22 52 15.84 4 2 2 1 1 = max /20 k Nit Mflop Amor. Vec 9 60 17.78 13 60 17.90 18 59 17.78 25 48 14.77 35 48 15.01 10 2 4 2 2 1 1
EDP1 prconditionne par Cheolsky Incomplet avec remplissage e e
CG sans prconditionnement de Tchebyche requiert 54 itrations e e avec un cot de 22.91 Mflop u = max /20 1016 108 104 102 101 k Nit Mflop Amor. Vec 4 21 4 21 6 21 10 21 15 21 8.99 8.99 9.05 9.19 9.35 8 4 3 3 3 = max /10 k Nit Mflop Amor. Vec 4 18 5 18 7 18 10 18 16 18 7.71 7.74 7.81 7.92 8.10 5 4 3 2 2 = max /5 k Nit Mflop Amor. Vec 5 18 7 18 9 18 13 18 17 18 7.74 7.81 7.87 8.00 8.13 4 3 2 2 2
Tab. 4.7 Cots de Init-CG, pour une base W calcule avec dirents niu e e veaux du ltrage et valeurs de coupure . Les itrations de lalgorithme e Init-CG sont stoppes quand lerreur relative en norme A est infrieure a e e ` 109 . Le probl`me test considr est EDP1. e e e
98 prconditionn par Jacobi Classique, avec un co t de 95.79 Mflop ; 191 ite e u e rations dans le cas o` le probl`me EDP1 est prconditionn par Cholesky u e e e Incomplet sans remplissage, avec un co t de 55.52 Mflop ; et 54 itrations u e dans le cas o` le probl`me test EDP1 est prconditionn par Cholesky Inu e e e complet avec remplissage IC(102 ), avec un co t de 22.91 Mflop . u En particulier, si on consid`re le cas o` la matrice est prconditionne e u e e 2 ), ainsi quun niveau du par Cholesky Incomplet avec remplissage IC(10 ltrage = 104 et une valeur de coupure = max /10, 46.92 Mflop sont ncessaires pour rsoudre le premier syst`me linaire et calculer la base de e e e e ` Krylov W (voir Table 4.6). Quant a lalgorithme Init-CG, il converge en 18 itrations (voir Table 4.7), i.e. une rduction de 34% compare a celle du e e e ` gradient conjugu. Le surco t de 46.92 Mflop , pour la construction de la e u base W avec ChebFilterCG, est rembours apr`s seulement trois rsolutions e e e conscutives (voir Table 4.7). e La table 4.7 montre galement limpact du changement du niveau du e ltrage et de la valeur de coupure sur le nombre de vecteurs damortissement. Pour un certain niveau du ltrage x, nous observons que le nombre e de vecteurs damortissement (Amor. Vec) ne change pas drastiquement pour lalgorithme Init-CG. Dans tous les cas, lamortissement du calcul de la base W est tr`s rapide. e En conclusion, quand la squence de syst`mes linaires avec la mme e e e e matrice et dirents second membres est tr`s longue, la stratgie de choix e e e est de rsoudre le premier syst`me a laide de ChebFilterCG, avec un niveau e e ` 16 an de minimiser la taille de la base de Krylov du ltrage proche de 10 qui en rsulte, et exploiter ensuite cette base de dimension rduite pour e e lensemble des autres rsolutions. En eet, un niveau du ltrage proche de e la prcision machine permet dobtenir dune part, une base de Krylov de e dimension petite, donc une occupation mmoire faible, et dautre part, un e co t optimal dans lalgorithme Init-CG (ou proche de loptimal). u
4.5.2
Cas du probl`me Anisotrope EDP2 e
Dans ce paragraphe, nous considrons le probl`me test EDP2 introduit e e e e au 3.3. Dans le cas de ce probl`me test, le prconditionneur de premier niveau M1 utilis est Cholesky Incomplet sans remplissage. M 1 = LLT , o` e u nnz (L) = 643 605. Dans le haut de la gure 4.3, nous traons lerreur relative en norme A c en fonction du nombre ditrations pour lalgorithme Init-CG, avec dirents e e niveaux du ltrage , et dans le bas de la gure cest avec direntes valeurs e de coupure . Nous montrons galement lerreur relative en norme A du e gradient conjugu sans projection initiale. Nous observons que le nombre e ditrations est rduit par un facteur 4 pour atteindre 10 8 dans lerreur e e relative en norme A. Ceci prouve lecacit de linformation stocke dans e e
99
10 10
10 10 10 10 10 10
Classical CG InitCG , = 1016 InitCG , = 108 InitCG , = 104 2 InitCG , = 10
10
12
14
500
1000
1500
Nombre ditrations
(a) Valeur de coupure = max /1000

10 10
0
10 10 10 10 10 10
Classical CG InitCG , max/1000 InitCG , max/500 InitCG , max/200 InitCG , /100

max
10
12
14
500
1000
1500
Nombre ditrations
(b) Niveau du ltrage = 1016 Fig. 4.3 Courbe de convergence du gradient conjugu sans projection inie tiale (Classical CG) et avec projection initiale (Init-CG) pour dirents nie veaux du ltrage et valeurs de coupure . Le probl`me test considr est e e e EDP2.
100 lespace de Krylov ltr. e Cependant, quand une grande prcision est demande pour rsoudre e e e plusieurs syst`mes linaires en squence, le phnom`ne de plateaux peut e e e e e appara tre dans le comportement numrique de lalgorithme Init-CG (voir e u` e ` gure 4.3). Ceci est d a la sensibilit du projecteur oblique par rapport a la taille du probl`me [4]. Un rem`de pour rduire la taille de ces plateaux et e e e conserver un mode de convergence linaire, est demployer le cycle a deuxe ` Grilles prcdemment dcrit au 3.2.6. e e e
Dans la table 4.8, nous montrons le nombre dtapes du ltrage de Tchee byche (ChebIt) calcules a chaque itration du CG, le nombre ditrations e ` e e du gradient conjugu (CGIt), et le nombre doprations ottantes en Gflop e e et ceci avec dirents niveaux du ltrage . Le co t de prconditionneur pree u e mier niveau M1 est galement incorpor dans les oprations ottantes du e e e gradient conjugu avec les ltres de Tchebyche comme prconditionneurs. e e
CG sans prconditionnement de Tchebyche requiert 1 060 itrations e e avec un cot de 6.31 Gflop u = max /1000 Valeur de 1016 108 104 102 ChebIt CGIt Gflop 594 303 157 84 8 11 15 21 25.28 17.76 12.59 9.49 = max /500 ChebIt CGIt Gflop 420 214 111 60 11 16 22 31 24.60 18.28 13.10 10.06 = max /200 ChebIt CGIt 265 135 70 38 18 25 36 49 Gflop 25.44 18.07 13.60 10.18
Tab. 4.8 Cot de ChebFilterCG pour dirents niveaux du ltrage et pour u e direntes valeurs de coupure . Les itrations de ChebFilterCG sont stoppes e e e 8 . Le probl`me test quand lerreur relative en norme A est infrieure a 10 e ` e considr est EDP2. e e Dans la table 4.9, nous illustrons les gains issus de lutilisation de lalgorithme Init-CG. Les itrations sont stoppes quand lerreur relative en norme e e A est infrieure a 108 . Le mthode du gradient conjugu sans projection e ` e e initiale du rsidu eectue 1 060 itrations avec un co t de 6.31 Gflop . Nous e e u indiquons galement le nombre ditrations du gradient conjugu (Nit), le e e e nombre doprations ottantes (Gflop ), et le nombre de vecteurs damore tissement (Amor. Vec), et ceci pour chaque niveau de ltrage . Nous tirons de ces rsultats les mmes conclusions gnrales quavec les e e e e cas dessai de plus petite taille dans la section prcdente. En particulier, e e
101
pour un niveau de ltrage x, le nombre doprations ottantes (Gflop) e e ne change pas beaucoup quand le param`tre varie. Il est juste important e de noter que, pour des syst`mes linaires de tr`s grande taille, un cycle a e e e ` deux grilles peut aussi tre considr pour assurer la robustesse numrique e ee e de cette approche (voir 3.2.6).
CG sans prconditionnement de Tchebyche requiert 1 060 itrations e e avec un cot de 6.31 Gflop u = max /1000 1016 108 104 102 k Nit Gflop Amor.Vec 8 274 1.64 11 291 1.74 15 343 2.06 21 320 1.92 5 3 2 1 = max /500 k Nit Gflop Amor.Vec 11 230 1.38 16 246 1.48 22 259 1.56 31 324 1.96 4 3 2 1 = max /200 k Nit Gflop Amor.Vec 18 265 1.59 25 252 1.55 36 312 1.88 49 341 2.07 5 3 2 1
Tab. 4.9 Cots de Init-CG, pour une base W calcule avec dirents niu e e veaux du ltrage et direntes valeurs de coupure . Les itrations de e e Init-CG sont stoppes quand lerreur relative en norme A est infrieure a e e ` 108 . Le probl`me test considr est EDP2. e e e
4.5.3
Filtrage Initial Additionnel dans lAlgorithme ChebFilterCG
Quand le param`tre est mal choisi, ou quand la matrice ditration e e poss`de une mauvaise distribution de valeurs propres, nous observons pare fois que la base de Krylov devient tr`s grande en taille. Un rem`de pour e e rduire la dimension de cette base est dappliquer un ltrage initial addie tionnel au vecteur de dpart, avec un niveau de ltrage init = 1016 . Ceci e va permettre au gradient conjugu de travailler directement dans le come plmentaire orthogonal dun grand nombre de vecteurs propres, c-`-d. ceux e a qui sont associs a toutes les valeurs propres de lintervalle [ init , max ], o` e ` u init est plus petit que la valeur de coupure qui sera exploite pour la e construction de la base de Krylov. Lintrt de direncier ces deux valeurs ee e de coupure et de ltrage associe, est de payer ventuellement un co t de e e u prparation plus important pour bncier de proprits numriques fortes e e e ee e dans le rsidu initial, et de garder par contre un co t raisonnable dans le e u prconditionneur polynomial (qui lui est appliqu a chaque itration). e e` e
102 e e Dans la table 4.10, nous montrons, pour le probl`me test EDP2 prconditionn par Cholesky Incomplet sans remplissage, leet du rajout de ce e ltrage initial du vecteur de dpart sur la dimension de la base de Krylov e gnre. Dans cette table, nous indiquons le nombre dtapes du ltrage de e ee e Tchebyche eectues a chaque itration du gradient conjugu (ChebIt), e ` e e le nombre ditrations du gradient conjugu (CGIt), et le nombre ditrae e e tions du gradient conjugu avec le ltrage initiale additionnel (CGIt init ). e Par exemple, dans le cas o` le niveau du ltrage = 10 2 et le parau m`tre = max /200, la dimension de la base de Krylov est gale a 49. e e ` Lutilisation dun ltrage initial additionnel sur le vecteur de dpart, avec e init = max /1000 permet de rduire la taille de cette base de Krylov a 26, e ` ainsi que le co t total en oprations ottantes de lalgorithme ChebFilterCG. u e Comme dernier commentaire, nous mentionnons que, pour une valeur xe de , avec un ltrage initial additionnel tel que init = 1016 et init est infrieure a , nous obtenons une base de dimension petite mme avec e ` e des niveaux du ltrage plus ou moins grands ( [10 4 , 101 ]). La qualit de e cette base est la mme que celle obtenue avec un niveau du ltrage = 10 16 e mais sans ltrage initial additionnel. Par exemple, quand le niveau du ltrage gal a 1016 et la valeur de coupure gale a max /200, la dimension de e ` e ` la base de Krylov est 18 et le co t est de lordre de 25.44 Gflop. Un ltrage u initial additionnel du vecteur de dpart avec init = max /1000, permet de e rduire le co t total de ChebFilterCG a 10.70 Gflop, pour une base nale de e u ` Krylov de dimension 20 obtenue cette fois avec la mme valeur de et un e niveau du ltrage = 104 .
init = max /500 init = 1016 ChebItinit = 420 Valeur de 102 104 1016 ChebIt 38 70 265 CGIt 49 36 18 Gflop 10.18 13.60 25.44 CGItinit 33 25 Gflop 9.08 11.67 init = max /1000 init = 1016 ChebItinit = 594 CGItinit 26 20 Gflop 8.55 10.70
Tab. 4.10 Cot de ChebFilterCG pour dirents niveaux du ltrage et une u e valeur de coupure = max /200. Litr initial est ltr avec init et init . e e e Les itrations du gradient conjugu sont stoppes quand lerreur relative en e e e norme A est infrieure a 108 . Le probl`me test considr est EDP2. e ` e e e
103
4.6
Conclusion
Dans ce chapitre, nous avons propos une nouvelle approche base sur e e une combinaison de la mthode du gradient conjugu avec des ltres poe e lynomiaux de Tchebyche comme prconditionneurs. Cette technique vise e a mettre la mthode du gradient conjugu dans un mode particulier, o` ` e e u le conditionnement du syst`me linaire nest pas tellement rduit, mais e e e son spectre en grande partie regroup autour de 1. Notre prconditionneur e e consiste a appliquer les ltres polynomiaux de Tchebyche a une partie ` ` seulement du spectre de la matrice ditration, et dcaler la quasi totae e lit des valeurs propres du syst`me linaire pr`s de 1, sans dgrader pour e e e e e autant la distribution des plus petites valeurs propres. La mthode rsule e tant de cette combinaison TchebycheKrylov se distingue par sa capacit e a construire une base de Krylov de taille petite, tr`s riche en ce qui concerne ` e les vecteurs propres associs aux plus petites valeurs propres. Cette base de e Krylov peut tre rutilise dans un deuxi`me niveau de prconditionnement e e e e e pour une multirsolution, cest-`-dire une rsolution dune squence de syse a e e t`mes linaires avec la mme matrice mais avec dirents second membres. e e e e La technique de prconditionnement a base de polynmes de Tchebyche e ` o requiert principalement la multiplication dun vecteur par la matrice initiale et quelques mises a jour de vecteur, mais tr`s peu de produits scalaires. ` e Cette remarque est tr`s importante dans le contexte du calcul parall`le, et e e en particulier dans les environnements a mmoire distribue o` le calcul ` e e u des produits scalaires exigent une attention particuli`re. Enn, nos algoe rithmes ont t tests sur des probl`mes d Equations aux Drives Partielles ee e e e e (EDP). Ces tests conrment tous les rsultats thoriques escompts. Il nous e e e reste enn a tudier cette approche dans le cadre dune multirsolution issue è e dun processus de linarisation et construire un prconditionneur adaptatif e e comme dans le chapitre suivant, bas sur linformation des sous-espaces de e Krylov produite aux tapes prcdentes dans litration non-linaire. e e e e e
104
Chapitre 5
Complments, Conclusions e et Perspectives

Dans ce chapitre douverture, nous examinons tout dabord certains cas pathologiques pour la mthode du Chapitre 4 et proposons des rem`des, e e comme par exemple lutilisation du gradient conjugu par blocs. Nous e introduisons galement une nouvelle technique adaptative de prcone e ditionnement dans le cadre dune multirsolution issue dun processus e de linarisation. Notre prconditionneur est bas sur linformation des e e e sous-espaces de Krylov produite aux tapes prcdentes dans litration e e e e non-linaire. Notre approche sera valide sur des probl`mes dquations e e e e aux drives partielles non-linaires en mcanique des uides (Navier e e e e Stokes) et sur des mthodes de dcomposition de domaine pour la re e e solution de probl`mes elliptiques. e
5.1
Cas Pathologique et Acclration par le Graee dient Conjugu par Blocs e
Dans ce paragraphe, nous nous sommes principalement intresss aux e e probl`mes induisant une tr`s mauvaise convergence du gradient conjugu. e e e Nous considrons le cas de la matrice test dcrite dans le Chapitre 2 au e e 2.4, pour laquelle nous nous sommes particuli`rement intresss au type de e e e convergence relativement trange quelle induit pour le gradient conjugu e e classique. La courbe de lerreur, en fonction des itrations, comporte un cere tain nombre de plateaux (cf. gure 5.1). La prcision de la solution obtenue e est relativement moyenne, apr`s 470 itrations, la valeur du crit`re darrt e e e e ntant que de 107 , sachant que la taille du syst`me linaire est 137. e e e La gure 5.2 montre le spectre de la matrice A obtenue sur ce probl`me e test. Nous pouvons tout dabord remarquer le nombre de conditionnement tr`s grand de cette matrice, qui est de lordre de 2.38 10 13 , tant donn e e e 105
106
10
10
10
10
10
100
200
300
400
500
Nombre ditrations
Fig. 5.1 Courbe de Convergence du gradient conjugu classique. e
que la plus petite des valeurs propres est 1.08 10 13 , et que la plus grande vaut 2.59. De plus, nous pouvons observer la forte concentration des valeurs propres autour de la valeur 1, sachant quil ny a que 48 valeurs propres en dehors de lintervalle [10.5102 , 1+0.5102 ]. Malgr cela, nous voyons que e lalgorithme du gradient conjugu ncessite bien plus de 48 itrations, sans e e e atteindre pour autant un rgime de convergence linaire. Il faut aussi noter e e les divers amas de valeurs propres, avec en particulier un amas de 12 valeurs propres a lextrmit gauche. Le comportement erratique de lalgorithme ` e e du gradient conjugu est d a ces amas de valeurs propres aux extrmes e u ` e combins au tr`s mauvais conditionnement de la matrice ditration. Ce e e e mauvais comportement du gradient conjugu, en prsence damas de valeurs e e propres, a dj` t observ et analys dans [64, 86]. eaee e e Lutilisation des ltres de Tchebyche en tant que prconditionneurs e peut amliorer quelque peu la situation, comme illustr dans la gure 5.3. e e Pour ces tests, le niveau de ltrage a t x a 10 16 , et nous faisons ee e ` varier la valeur de coupure . Les courbes de convergence de lalgorithme ChebFilterCG pour ces direntes valeurs de se dcomposent en deux pare e ties direntes. Une premi`re partie correspond a une convergence linaire e e ` e semblable et presque indpendante du param`tre . Quant a la deuxi`me e e ` e partie, elle correspond a une phase de convergence comportant un certain `
Chapitre 5. Complments, Conclusions et Perspectives e
107
137 valeurs propres

0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 0 0.4 0.8 1 1.2 2.1 2.6
Plus Petite Val. Propre = 1.0897e13 ; Plus Grande Val. Propre = 2.5923
137 valeurs propres

35 30 25 20 15 10 5 0
0.5
1.5
2.5
Fig. 5.2 Distribution des valeurs propres de la matrice A La plus petite valeur propre min = 1.081013 et la plus grande valeur propre max = 2.59. Le spectre est calcul par ARPACK. e
108 nombre de plateaux, avec une amlioration moyenne de la prcision. En ge e e nral, lalgorithme ChebFilterCG converge plus rapidement que le gradient e conjugu classique. Avec une valeur de coupure = max /100 et un niveau e de ltrage = 1016 , par exemple, ChebFilterCG diminue dun facteur 12 le nombre ditrations compar au gradient conjugu classique, pour une e e e mesure de lerreur (au sens de la norme A) infrieure a 10 6 . Cependant, e ` pour des niveaux de prcision infrieurs, on voit appara a nouveau des e e tre ` plateaux de taille plus ou moins grande indiquant que, dans cet exemple pathologique, lalgorithme ChebFilterCG soure des mmes maux que ceux e que le gradient conjugue classique peut rencontrer. e En eet, malgr le ltrage implicite de linformation spectrale dans line tervalle [, max ], le spectre de A exhibe un certain nombre damas de valeurs propres dans lintervalle ]0, ], et un conditionnement rduit (/ min ) e toujours tr`s lev (en tout cas pour des valeurs raisonnables de ). e e e
10
10
Classical CG ChebFilterCG , /5 max ChebFilterCG , /10 max ChebFilterCG , max/100
10
10
10
100
200
300
400
Nombre ditrations
Fig. 5.3 Courbe de Convergence du gradient conjugu classique et de Chebe FilterCG pour direntes valeurs de coupure . Le niveau de ltrage est x e e a 1016 . `
109
Dans ce qui suit, nous utiliserons ce mme probl`me test pour proposer e e et valider exprimentalement des alternatives ne prsentant pas un compore e tement erratique aussi marqu. e Par opposition a lalgorithme classique du gradient conjugu, lalgo` e rithme du gradient conjugu par blocs permet lidentication de valeurs e propres multiples et, de ce fait, prsente certaines dispositions pour mieux e se comporter en prsence damas de valeurs propres. Une bonne description e de ce type de technique de Krylov par blocs, ainsi quune tude dtaille de e e e leurs proprits de convergence, ont t ralises par OLeary [53] et Arioli et ee ee e e e e e al. [2]. Nous considrons galement la combinaison du gradient conjugu par blocs avec les ltres polynomiaux de Tchebyche comme prconditionneurs, e et que lon dnotera par ChebFilterBlockCG. e Soit s la taille de bloc dans lalgorithme du gradient conjugu par blocs, e et soit B la matrice rectangulaire de R ns correspondant au bloc de vecteurs du second membre. B reprsente en fait un ensemble de s seconds membres, e et lacclration par le gradient conjugu par blocs peut tre considre ee e e ee comme un algorithme permettant de rsoudre simultanment les s syst`mes e e e linaires suivants, e Ax = b , = 1, . . . , s
Dans les expriences numriques qui suivent, le bloc de dpart X (0) est e e e pris gal a 0. Nous avons aussi considr le fait de ne disposer que dun e ` ee seul second membre b a la fois, et nous avons donc gnr les s 1 autres ` e ee colonnes de B de mani`re alatoire. Le crit`re darrt utilis dans ces essais e e e e e numriques est lerreur relative en norme A. Cette mesure de lerreur nest e calcule que pour le syst`me linaire considr (associ au premier vecteur e e e ee e colonne de la matrice B), et ne fait pas intervenir lerreur commise sur les s 1 autres syst`mes gnrs alatoirement. e e ee e
e o` chacun des vecteurs b et x , = 1, . . . , s, correspond a la `me colonne u ` de la matrice B, et X respectivement. Pour plus de dtails, nous rfrons a e ee ` [68, IX].
e La gure 5.4 montre, pour notre probl`me test, la convergence de lalgorithme Classical BlockCG (gradient conjugu par blocs) obtenue pour dife frentes tailles de bloc s. Nous observons que, quelle que soit la taille de e bloc (` part pour s = 4, qui ne semble pas susamment leve), le coma e e portement de Classical BlockCG est le mme. Les amliorations apportes e e e par la technique dacclration par blocs, peuvent se voir facilement sur les ee courbes de convergences de lalgorithme Classical BlockCG, pour la taille de bloc de 8, par exemple. Dans ce cas, une valeur de lerreur relative en norme A infrieure a 109 est obtenue en 18 itrations, ce qui quivaut, en nombre e ` e e de produits matrice-vecteur eectus, a 18 8 = 146 itrations du gradient e ` e conjugu classique. Or nous avons vu prcdemment (cf. gure 5.1), que e e e lalgorithme du gradient conjugu classique ncessite 470 itrations, avant e e e
110 datteindre 107 , et narrive pas a atteindre la prcision 10 9 . ` e
10
10
Classical BlockCG , s = 16 Classical BlockCG , s = 12 Classical BlockCG , s = 8 Classical BlockCG , s = 4
10
10
10
50
100
150
200
250
300
Nombre ditrations x Taille de bloc

Fig. 5.4 Comportement du gradient conjugu par blocs Classical BlockCG e pour direntes tailles de bloc s. e
Le comportement numrique de ChebFilterBlockCG est illustr dans la e e gure 5.5. Sont reprsentes les courbes de lerreur relative en norme A, e e pour direntes valeurs de coupure , un niveau de ltrage x a 10 16 , e e` et une la taille de bloc s = 8. Nous montrons galement les courbes de e convergence du gradient conjugu par blocs pour la mme taille de bloc e e s = 8. Nous pouvons remarquer que, quelle que soit la valeur du param`tre e de coupure , le comportement de ChebFilterBlockCG est presque le mme. e Les amliorations apportes par cette technique peuvent se voir facilement, e e avec, pour la valeur de coupure = max /10 par exemple, une rduction de e la dimension de lespace de Krylov gnr dun facteur de 3.5 environ, pour e ee une prcision nale en norme A de 10 9 . e
111
10
10
Classical BlockCG ChebFilterBlockCG , /5 max ChebFilterBlockCG , max/10 ChebFilterBlockCG , max/100
10
10
10
20
40
60
80
100
120
140
160

Fig. 5.5 Comportement du gradient conjugu par blocs Classical BlockCG e et de ChebFilterBlockCG pour direntes valeurs de coupure . La taille du e bloc s est gal a 8 et le niveau de ltrage dans ChebFilterBlockCG est gal e ` e 16 . a 10 `
Dans la gure 5.6, nous xons cette fois la taille de bloc s a la valeur 8, ` et le param`tre de coupure a max /100, et nous faisons varier le niveau de e ` ltrage . Les courbes de convergence montrent que lalgorithme ChebFilterBlockCG conserve le mme type de comportement numrique dans tous les e e cas, indpendamment du choix du niveau de ltrage , Bien videmment, e e nous observons une inuence directe du niveau de ltrage sur la dimension de lespace de Krylov rsultant. Comme dj` discut au Chapitre 4, la strae ea e tgie pour minimiser la taille de cet espace de Krylov est de mettre le poids e sur le ltrage de Tchebyche, en considrant des valeurs de plus petites e que 108 (la racine carr de la prcision machine). e e
112
10
10
Classical BlockCG ChebFilterBlockCG , = 1016 ChebFilterBlockCG , = 108 ChebFilterBlockCG , = 104 ChebFilterBlockCG , = 102
10
10
10
50
100
150

Fig. 5.6 Comportement du ChebFilterBlockCG pour dirents niveaux de e ltrage . La valeur de coupure est xe a max /100 et la taille du bloc s e ` est gale a 8. e `
Dans la gure 5.7, nous montrons les courbes de convergence de ChebFilterBlockCG obtenues pour direntes tailles de bloc s. Nous xons le pae ram`tre de coupure a max /100, et le niveau de ltrage a 1016 . Nous e ` ` observons que, quelle que soit la taille de bloc, le comportement de ChebFilterBlockCG est sensiblement le mme. e La remarque fondamentale que lon peut retirer de lensemble de ces rsultats est quil est possible, en combinant des techniques de Krylov par e blocs avec les ltres de Tchebyche, dobtenir, mme dans les cas extrmes, e e une base de Krylov de taille raisonnable. Par exemple, dans le cas de ce probl`me test, nous obtenons une base de Krylov ltre de dimension 32, e e avec pour param`tres = max /100, = 1016 , et s = 8 dans ChebFiltere BlockCG, et un crit`re darrt en norme A a 10 9 . Cette dimension nest en e e ` eet pas trop loigne du nombre total de valeurs propres de A contenues e e dans lintervalle ]0, ], qui est gal 19 dans le cas prsent. Dans le paragraphe e e
113
10
ChebFilterBlockCG , s = 4 ChebFilterBlockCG , s = 6 ChebFilterBlockCG , s = 8

10
2
10
10
10
10
15
20
25
30
35
40
Nombre diterations x Taille de bloc

Fig. 5.7 Comportement du ChebFilterBlockCG pour direntes taille du e bloc s. La valeur de coupure est xe a max /100 et le niveau de ltrage e ` est gal a 1016 . e `
suivant, nous discuterons succinctement de la rutilisation de cette base de e Krylov dans le cadre dune multirsolution. e Nous nous sommes intresss, comme prcdemment, a rsoudre une e e e e ` e squence de syst`me linaires impliquant une mme matrice mais des seconde e e e membres dirents (cf. (4.9)). Lide principale est de rsoudre le premier e e e syst`me de la squence (4.9) par la mthode du gradient conjugu par blocs e e e e combin avec les ltres polynomiaux de Tchebyche (ChebFilterBlockCG), et e exploiter ensuite la base de Krylov rsultante dans les techniques vues au e Chapitre 3, telles que Init-CG, Def-CG, Proj-CG, etc, pour la rsolution des e autres syst`mes dans cette squence. e e Pour illustrer cette stratgie, nous considrons toujours le cas patholoe e gique dcrit prcdemment (cf. Chapitre 2 au 2.4). Un premier syst`me e e e e Ax1 = b1 est dabord rsolu, puis un second Ax 2 = b2 . Pour le premier e syst`me, on utilisera lalgorithme (ChebFilterBlockCG), avec pour param`tres e e
114
10
10
Classical CG InitCG SLRU
10
10
10
10
10
10
12
20
40
60
80
100
120
Nombre ditrations
Fig. 5.8 Courbe de Convergence pour une base de Krylov ltre de die mension 32 avec pour param`tres = max /100, = 1016 , et s = 8 dans e ChebFilterBlockCG, et un crit`re darrt en norme A a 10 9 . e e `
= max /100, = 1016 , s = 8, et un crit`re darrt en norme A a 10 9 . e e ` Quant au second syst`me, le second membre b 2 est choisi de sorte que la soe lution soit un vecteur avec des nombres alatoires qui suivent la loi normale e N (0, 1). Pour ces tests, nous considrons lAlgorithme 3.1 (Init-CG) et Algoe rithme 3.4 (SLRU) et nous contrlons lerreur relative en norme A jusqu` o a 120 itrations sachant que la taille du syst`me est gale a 137. e e e ` La gure 5.8, montre une amlioration tr`s signicative lorsquon rutie e e lise le sous-espace de Krylov gnr par ChebFilterBlockCG, dans le cadre e ee dune multirsolution. Nous traons la courbe de convergence de lerreur ree c lative en norme A en fonction du nombre ditrations, respectivement pour e le gradient conjugu classique (Classical CG), le gradient conjugu avec proe e jection initiale (Init-CG), et lalgorithme SLRU (cf. Algorithme 3.1 et 3.4). La gure 5.8, montre galement que la base de Krylov gnre par Chebe e ee FilterBlockCG est tr`s ecace et permet a la mthode du gradient conjugu e ` e e avec projection initiale (Init-CG) de converger cette fois, sachant quon a un
115
mauvais conditionnement rduit dans lintervalle ]0, [ qui reste de lordre e de /min = 2.821011 . Nous pouvons remarquer aussi que la convergence de SLRU est plus rapide que celle de Init-CG. Cest lavantage dtablir a chaque e ` itration du gradient conjugu une projection oblique, avec la base de Krylov e e rsultant de la premi`re rsolution avec ChebFilterBlockCG, pour maintenir e e e une sparation constante entre les composantes propres correspondant aux e plus petites valeurs propres et les autres. Cependant, avec une taille de bloc s non approprie, ChebFilterBlockCG e peut parfois fournir une base de Krylov avec un conditionnement tr`s lev. e e e Ceci entache le projecteur oblique derreurs numriques et peut conduire Inite CG a reproduire les plateaux dans sa courbe de convergence. Pour remdier a ` e ` cela, on peut toujours recourir au cycle a deux grilles (cf. 3.2.6) ou employer ` des mthodes plus robustes numriquement a savoir SLRU ou Def-CG (cf. e e ` Chapitre 3).
5.2
Prconditionnement Adaptatif pour des Proe bl`mes dEquations Non-Linaires e e
Dans ce paragraphe, nous dcrivons et analysons une nouvelle technique e de prconditionnement adaptatif dans le cadre dune multirsolution issue e e dun processus de linarisation. Notre prconditionneur est bas sur linfore e e mation des sous-espaces de Krylov produite aux tapes prcdentes dans e e e litration non-linaire. En particulier, nous utilisons une approche adaptae e tive propose par Baglama et al. [7] pour GMRES avec redmarrage, qui pere e met denrichir les prconditionneurs existants a laide de linformation provee ` nant des prcdentes tapes de litration non-linaire. Notre approche a t e e e e e ee valide sur des probl`mes dquations aux drives partielles non-linaires en e e e e e e mcanique des uides (NavierStokes) et sur des mthodes de dcomposition e e e de domaine pour la rsolution de probl`mes elliptiques. e e
5.2.1
Description du Probl`me e
Nous nous intressons a la rsolution dune suite de syst`mes linaires e ` e e e de la forme A x =b , (5.1) o` A est une matrice creuse et de grande taille. Ce type de probl`mes u e appara habituellement lors de la linarisation dun syst`me dquations t e e e non-linaires de la forme e F(x) = 0, (5.2) o` F : Rn Rn et x Rn . Par exemple, dans le cas dune linarisation par u e e e Newton de (5.2), A est une approximation (ventuellement prcondition-
116 ne) de la matrice Jacobienne, alors que x est la nouvelle direction et b e est loppos du rsidu. e e Dans ce qui suit, nous supposons que : (i) A sont des matrices prconditionnes avec un spectre bien regroup ; e e e (ii) A +1 = A + E o` E 0 quand ; u (iii) nous adoptons GMRES pour rsoudre (5.1). e Le choix dune mthode itrative est essentiel dans la conception dun e e prconditionneur. En particulier, notre approche ne constitue pas une pree mi`re tentative pour recycler linformation spectrale des sous-espaces de e Krylov engendrs par GMRES, an dacclrer la convergence. Deux aspects e ee sont rcurrents : lacclration de la convergence et le prconditionnement e ee e dans le contexte de (i) GMRES avec redmarrage [7, 8, 9, 18, 47, 49, 50], e et, plus rcemment, (ii) le cas de syst`mes linaires a second membres mule e e ` e e tiples [10, 21]. Pour les matrices symtriques dnies positives, une approche similaire gure dans [62, 73, 89]. On peut aussi noter lapplication de ces ides a des squences de syst`mes linaires du type (5.1) [27, 60]. e ` e e e Un aspect notable, dans la qute dun prconditionneur adaptatif, est e e lide du sous-espace invariant. Selon les cas, on peut dater (ou dcaler e e e vers 1) les valeurs propres de la matrice du syst`me associe a ce sous-espace. e e ` La distribution des valeurs propres qui rsulte de ce traitement peut favoriser e une convergence plus rapide. Dans cet esprit, diverses techniques de dation e et dalgorithmes de recherche dinvariance ont t conus. Cependant, pour ee c des applications relles, la construction de sous-espaces invariants peut se e rvler assez co teuse. e e u Notre approche, base sur [7], est plus simple, mais atteint lun des obe jectifs de ces techniques orientes invariance a savoir dcaler les valeurs e ` e propres vers 1. Comme nous le montrons dans le paragraphe suivant, cet objectif est atteint directement (i.e. sans tri supplmentaire de linformae tion spectrale), tant donne linformation dans GMRES disponible sous la e e forme dune matrice de Hessenberg et de la base de Arnoldi. De plus, notre approche prserve le caract`re dni-positif. e e e Le reste de ce chapitre est structur de la faon suivante. Au paragraphe e c suivant nous introduisons notre prconditionneur et discutons certaines de e ses proprits. Nous dcrivons galement une technique incrmentale de pree e e e e conditionnement pour la rsolution de (5.1). En particulier, nous indiquons e comment lutilisation de prconditionneurs par blocs dans GMRES peut e conduire a des implantations ecaces dun de point vue co t et performance ` u pour la construction de nos prconditionneurs adaptatifs. Enn, pour illuse trer lecacit de notre technique, nous utilisons deux probl`mes gnriques : e e e e dcomposition de domaine pour des probl`mes non-linaires elliptiques et les e e e quations de NavierStokes incompressibles en rgime stationnaire. e e
117
5.2.2
Prconditionneurs Adaptatifs e
Soit A Rnn et VT AV = H la dcomposition de Hessenberg de A, e o` V Rnn est une matrice orthonormale de colonnes v i , 1 i n. u Soit V = [Vk Vnk ] une partition de lespace engendr par les colonnes e T AV = H Rkk soit une matrice de Hessenberg nonde V telle que Vk k k singuli`re, irrductible (i.e., avec des valeurs sous-diagonales non nulles). e e En crivant h = Hk+1,k , la matrice A satisfait les relations suivantes : e AVk = Vk Hk + hvk+1 eT k et VT AV = Hk he1 ek T
T Vk AVnk T AV Vnk nk
(cf. Proposition 1.2) = Hk F hE G ,
e o` , e1 et ek sont respectivement le 1er et le k`me vecteur de la base canonique u n. de R Dnissons maintenant loprateur e e T T T M = In Vk Vk + Vk Hk Vk + vk+1 vk ,
d inverse
(5.3) (5.4)
T T M1 = In Vk Vk + Vk vk+1 eT H1 Vk . k k
Notre technique de prconditionnement est base sur le rsultat suivant : e e e Proposition 5.1. Soit A Rnn et VT AV = H sa dcomposition de e Hessenberg et soit M dni comme en (5.3). Pour tout = h, = 1 est e une valeur propre de AM1 de multiplicit k 1. Si = h, alors e (AM1 ) = {1} (S(h)) h o` = 1 est de multiplicit k et u e
T T S(h) = Vnk AVnk he1 ek T H1 Vk AVnk . k
Enn, si A est dnie positive, alors la matrice AM 1 est dnie positive e e pour h susamment petit. Dmonstration. Comme e VT AV = Hk F hE G et V T M V = Hk 0 E Ink ,
` les valeurs propres de AM1 satisfont a : Hk x + Fy = Hk x, hEx + Gy = Ex + y.
118 Ainsi, si = h, les vecteurs de la forme, (e T , 0)T pour 1 i k 1, sont i des vecteurs propres de AM1 correspondants a la valeur propre = 1. Si ` = h, (eT , 0)T est aussi un vecteur propre associ a = 1, tandis que pour e` k = 1, llimination de x dans la premi`re quation conduit a lquation sur e e e ` e les valeurs propres S(h)y = (G hEH1 F)y = y. k
Supposons maintenant que A est dnie positive. Alors le complment de e e Schur S(h) est dni positif. Pour le vrier, considrons la dcomposition e e e e relle de Schur A = QT TQ o` Q est une matrice unitaire ; alors pour e u tout x Rn \{0}, 0 < xT QT TQx = zT A1 z, avec z = QT TQx. Puisque linverse de A est de la forme A1 = S(h)1
le choix z = (0, wT )T conduit a 0 < zT A1 z = wT S(h)1 w et de l`, S(h) ` a est dni positive. e Maintenant, les valeurs propres non unitaires de AM 1 vrient e S(h) + (h ) EH1 F y = y k 1
et la conclusion vient de la dni-positivit de S(h) et de la thorie de la e e e perturbation ([43]). Remarque 5.1. On peut constater que notre rsultat est dirent, et en un e e sens plus gnral, que celui de Baglama et al. [7] qui ont tudi le mme e e e e e syst`me prconditionn sous lhypoth`se que V est une base du sous-espace e e e e invariant de A. Sous cette hypoth`se, le prconditionneur M laisse inchang e e e n k valeurs de propres de A et dcale les k autres vers 1. (cf. [7]). e
Remarque 5.2. La matrice dans le dernier probl`me aux valeurs propres e de la dmonstration est une perturbation de rang-un particuli`re de G = e e T AV T , ne modiant donc que la premi`re ligne de G. Vnk e nk de la forme e1 z Comme corollaire immdiat, une application du thor`me de Gerschgrine e e o Hadamard montre que lunion des disques contenant les valeurs propres reste pratiquement inchange, au pire un des disques se retrouve avec un centre e et un rayon dirents. e Soit maintenant A = A + E une perturbation de A, avec E . Le -pseudospectre [15] de la matrice A est donn par e (A) = {z C : z (A + E), pour certains E avec E } , (5.5)
dont la longueur du contour L rentre dans la borne standard sur la convergence de GMRES [83] r(k) (2)1 L( (A)) min
pk (0)=1 z (A)
max |pk (z)| r(0) ,
(5.6)
119
Le rsultat suivant dcrit pourquoi M constitue un bon prconditionneur de e e e A . Proposition 5.2. Soit A et M dnies comme ci-dessus. Alors, -pseudospectre e 1 satisfait de A M (A M1 ) + (AM1 ) e pour tout 0, o` = /min (Hk+1 ), et Hk+1 Rk+1k+1 est la matrice u de Hessenberg Hk 0 . Hk+1 = eT 1 k Dmonstration. Soit F Rnn tel que F . Puisque (A M1 + F) = e (AM1 + EM1 + F) avec EM1 + F /min (Hk+1 ) + , le rsultat e se dduit de la dnition (5.5). e e On peut donc utiliser (5.6) pour lier les rsidus de GMRES r correse 1 a la tolrance tol utilise pour la rsolution pondant a la matrice A M ` ` e e e du probl`me avec la matrice AM1 . En supposant e r(k) / r(0) (2(+))1 L(+ (AM1 )) min e on en dduit, avec la Proposition 5.2, e
(k) r / r(0) pk (0)=1 z+ (AM1 ) e (k)
max
|pk (z)| tol
(2)1 L( (A M1 )) min
pk (0)=1 z (A M1 )
max
|pk (z)| |pk (z)|
(2)1 L(+ (AM1 )) min e (1 + /)tol.
pk (0)=1 z+ (AM1 ) e
max
De l`, soit une petite valeur de ou une grande valeur de assurent que a lutilisation du prconditionneur M conduira a une convergence avec ape ` proximativement le nombre dtapes, pour une tolrance donne, et ceci pour e e e toute perturbation E de norme maximale . On note que les plus grandes valeurs de devraient correspondre a une grande tolrance de GMRES, ce ` e qui est souvent utilis dans les premi`res tapes des algorithmes de type e e e Newton-Krylov [19]. Lapplication des rsultats prcdents a (5.2) est vidente : on rsout e e e ` e e A1 x1 = b1 en utilisant GMRES, ce qui conduit a un prconditionneur M (1) ` e de la forme (5.4). On emploie alors GMRES pour rsoudre le syst`me avec e e la matrice prconditionne (A1 + E1 )M1 = A2 M1 et on construit M(2) . e e (1) (1) Le prconditionneur gnral pour A x = b est alors donn par e e e e M1 = M1 M1 , 1 ( 1) M2 = M(1) . > 2, (5.7)
120 La dnition ci-dessus am`ne a sintresser aux co ts de stockage et de e e ` e u calcul. Chacun des prconditionneurs M requiert le stockage et la multie plication par les bases V de dimension k . Bien que lon puisse contrler o le choix de k , de trop petites valeurs conduisent en gnral a une dtrioe e ` ee ration de la performance. Pour viter ce probl`me, notre approche consiste e e a travailler avec des matrices qui ont, ventuellement apr`s permutation, ` e e ` une structure par bloc. A partir de quoi, une approche de type complment e de Schur, couple avec a un point de dpart convenable, conduit a un algoe ` e ` rithme de GMRES essentiellement sur le probl`me du complment de Schur, e e avec lavantage que la base de Arnoldi qui en dcoule est de petite taille. Un e exemple caractristique concerne la classe des mthodes de dcomposition e e e de domaine qui conduisent naturellement a ce type de stratgie. Ci-dessous, ` e nous tudions en dtail un algorithme gnrique par bloc qui est a la fois e e e e ` ecace dun point de vue co t de calcul et de stockage, tout en prservant u e les avantages de lapproche de prconditionnement prcdemment dcrite. e e e e Un Algorithme par Bloc Prconditionn ` Droite e ea Soit A Rnn avec la structure par bloc suivante A= A11 A12 A21 A22 (5.8)
o` Aij Rni nj , i, j = 1, 2, avec n2 u n1 et tel que A11 soit inversible. De plus, nous supposons quil existe un algorithme ecace permettant dapprocher linverse de A11 . Cest le cas pour les mthodes de dcomposition de e e domaine, o` par exemple A11 est une matrice bloc-diagonale, dont les blocs u sont obtenus en discrtisant des probl`mes dEDP sur les sous-domaines, e e tandis que A22 est la matrice correspondant aux noeuds a la fronti`re. On ` e rencontre aussi une telle structure dans de nombreuses applications de type pointselle, selon que lon est dans le domaine des EDP (discrtisations e mixtes par lments nis), ou celui de loptimisation (minimisation avec ee contraintes) ; en outre, dans ces applications en particulier, linverse de A 11 peut souvent tre calcul ecacement. e e Considrons maintenant le syst`me triangulaire par bloc e e PR = A11 A12 0 S (5.9)
o` S est une approximation du complment de Schur S = A 22 A12 A1 A21 . u e 11 Puisque I 0 , AP1 = 1 R A12 A11 SS1 un point initial de la forme x(0) = P1 b R
121
conduit a un rsidu initial de la forme r (0) = (0, r(0) )T . Si on cherche ` e r(k) dans lespace de Krylov K(AP1 , r(0) , k), alors tous les rsidus aue R ront la mme forme : r(k) = (0, r(k) )T . De plus, comme lespace de Krylov e K(AP1 , r(0) , k) [r(j) ], 0 j k 1, la base de Arnoldi associe est de e R la forme 0 Vk = . Vk Ainsi, on a juste besoin de stocker et de travailler avec une base Vk de longueur n2 . En particulier, pour des mthodes de dcomposition de domaine e e 1/2 n2 O(n1 ) ; de l`, le co t de GMRES prconditionn par le prconditiona u e e e neur adaptatif M donn en (5.7) est O(n) si e k
2
O(n1/2 ),
o` k = max1i ki est la taille maximale des bases de Arnoldi utilises u e pour la construction de M, et est le nombre dtapes non-linaires. En e e pratique, pour beaucoup dapplications non-linaires, la valeur de est petite e ( n1/2 ) tandis que le prconditionneur combin MP R garantira une e e petite valeur de k.
5.2.3
Essais Numriques e
e Pour illustrer lecacit de lapproche dcrite au 5.2.2, nous considrons e e deux applications issues de la discrtisation des probl`mes d Equations aux e e Drives Partielles (EDP) : mthode de dcomposition de domaines pour la e e e e rsolution du probl`me non-linaire de ractiondiusion avec convection, et e e e e un exemple issu des quations de NavierStokes. Ces deux probl`mes sont e e discrtiss comme suit : e e A(x)x = L + N(x) x = b o` est un petit param`tre, L et N dnotent respectivement la partie linaire u e e e et non-linaire de la matrice A. Dans les deux cas, nous employons deux e mthodes de linarisation : la mthode de Picard (point xe) et la mthode e e e e de Newton. Ensuite, nous rsolvons cette squence de syst`mes linaires e e e e Ax
+1
= A(x ) T(x ) x
+1
= b T(x )x = b
o` T(x ) = N(x ) N (x ), et N dnote la matrice Jacobienne de N en u e x. Les itrations de Picard et de Newton correspondent respectivement au e choix de = 0 et = 1. Nous utilisons le crit`re darrt suggr par Dembo e e ee et al. dans [19] pour litration de Newton : a chaque tape non-linaire , les e ` e e k itrations de GMRES sont stoppes quand le vecteur rsidu r (k) satisfait e e e r(k) / b A x c b A x
q
(5.10)
o` le choix de c et de q varie dun probl`me a un autre. u e `
122 Probl`me Non-Linaire de Raction-Diusion avec Convection e e e Considrons la discrtisation par lments nis de e e ee u + (b )u + u2 = f u = 0 dans , sur . (5.11)
o` f = 1, = [1, 1]2 de fronti`re et b = (2y(1 x2 ), 2x(1 y 2 )). Ce u e probl`me sera rsolu pour = 1, 1/10 par la mthode de dcomposition de e e e e domaines utilisant 4, 16 et 64 sous-domaines. Litration non-linaire sera e e stoppe quand le crit`re b A x / b0 A0 x0 106 est satisfait. e e e Nous utilisons la relation (5.10) avec c = 102 et q = 4/5, comme crit`re darrt pour lalgorithme de GMRES. Pour litration non-linaire, litr e e e ee initial est x0 = 0. La structure des matrices linarises A est donne dans e e e (5.8), o` A11 est la matrice bloc-diagonale dont les blocs correspondent aux u noeuds intrieurs pour chaque sous-domaine ceci correspond a ce quon e ` appelle non-overlapping Dirichlet-Dirichlet. Comme le probl`me est non e symtrique, nous employons un premier niveau de prconditionnement P , e e u la matrice triangulaire par blocs donne dans (5.9), o` nous choisissons lape proximation S = A22 A21 diag(A11 )1 A12 , an de tester notre approche de prconditionnement. Dans ce cas, les valeurs e propres du syst`me prconditionn sont gales soit a 1, soit aux valeurs e e e e ` propres du complment de Schur prconditionn S S1 . Pour des probl`mes e e e e 1 H 1 o` h n1/2 elliptiques, le conditionnement de S est de lordre de h u est la taille des mailles et H est la taille moyenne des sous-domaines (cf. [67]). Ceci m`ne typiquement a une convergence qui dpend des mailles e ` e et domaines. Comme nous le verrons ci-dessous, le choix S semble enlever seulement la deuxi`me dpendance tant donne notre stratgie itrative e e e e e e (5.10) pour le processus non-linaire. e Tandis que divers algorithmes de dcomposition de domaine enl`vent ce e e probl`me de dpendance pour certaines applications, leur conception est toue e jours particuli`re et demande plusieurs niveaux dinformation pour atteindre e une certaine optimalit. A cet gard, notre technique adaptative conduit a e ` e ` un prconditionneur black-box qui peut soit remplacer soit augmenter un e prconditionneur de complment de Schur. En outre, comme dmontr cie e e e dessous, notre prconditionneur adaptatif enl`ve le probl`me de dpendance e e e e des mailles et de domaines. Les rsultats pour litration de Picard sont ree e e prsents dans les tables 5.1 et 5.3. Nous comparons les rsultats obtenus e e avec un premier niveau de prconditionnement A P1 et avec les deux nie veaux de prconditionnement A P1 M1 pour lesquels, on prendra = 0 et e = h (cf. (5.4)). La moyenne du nombre ditrations par tape non-linaire e e e est galement prsente, exclu la premi`re tape de Picard. Ceci permettra e e e e e
123
une comparaison plus claire et plus juste entre P et M , puisque M = I pour = 1.

=1 #dom 4 n 11,425 45,377 180,865 11,585 16 45,953 183,041 16,641 64 66,049 263,169 A P1 # its 131/24.2 181/33.4 310/48.5 191/35.6 272/50.6 467/73.5 195/35.4 283/51.4 392/71.0 A P1 M1 # its ( = 0) 41/6.2 54/8.0 80/10.2 57/8.8 76/11.4 113/14.5 53/7.0 72/9.2 97/12.0 # its ( = h) 38/5.6 50/7.2 73/9.0 52/7.8 72/10.6 107/13.5 48/6.0 68/8.4 92/11.0
Tab. 5.1 Nombre total/moyenne ditrations de GMRES avec et sans prcondie e

tionnement adaptatif La technique de linarisation considre est celle de Picard. e e e
=1 #dom 4 n 11,425 45,377 180,865 11,585 16 45,953 183,041 16,641 64 66,049 263,169 P1 v 69% 70% 74% 70% 72% 76% 73% 75% 75%
=0 Av 65% 68% 73% 60% 66% 71% 55% 63% 68% nz(A ) 0.10 0.06 0.05 0.35 0.24 0.18 0.73 0.50 0.34 P1 v 70% 72% 76% 72% 74% 77% 75% 76% 76%
=h Av 68% 71% 75% 63% 67% 73% 60% 65% 70% nz(A ) 0.11 0.07 0.05 0.36 0.24 0.18 0.75 0.51 0.34
Tab. 5.2 Gains en (precvecs) (P1 v) et (matvecs) (A v) et stockage additionnel

(nz(A )) La technique de linarisation considre est celle de Picard. e e e
Dans lintrt de cette comparaison, nous montrons galement les gains ee e correspondants et le stockage additionnel dans les tables 5.2 et 5.4. En particulier, nous avons choisi de calculer le co t du prconditionneur adaptatif u e
124 seulement en nombre de produits matrice-vecteur (matvecs) et de lajouter au nombre total de produits matrice-vecteurs eectus. Les gains obtenus e se rsument dans la rduction relative des produits matrice-vecteur (mate e vecs) et des produits matrice-vecteur impliquant P 1 (precvecs). Le calcul du stockage additionnel se base aussi sur le stockage requis pour la matrice du syst`me. Nous notons galement que le co t ou le stockage du premier e e u prconditionneur P na pas dintrt ici et na pas t valu. e ee eee e La performance de la technique adaptative peut tre rcapitule comme e e e suit : (i) le probl`me de dpendance de mailles et des domaines est pratiquement e e enlev ; e (ii) les gains augmentent avec la taille du probl`me ; e (iii) le stockage additionnel relatif dcro avec la taille du probl`me. e t e En eet, pour cette application lamlioration en convergence est tr`s remare e 1 quable, avec des gains entre 6993% pour precvecs (P v) et 5590% pour matvecs (A v), tandis que le stockage additionnel est minimal (une fraction de stockage pour la matrice du syst`me entre 0.10.3 pour la maille la plus e ne).
= 1/10 #dom 4 n 11,425 45,377 180,865 11,585 16 45,953 183,041 16,641 64 66,049 263,169 A P1 # its 543/16.7 775/23.8 1,099/33.8 971/29.7 1,375/42.1 1,934/59.3 1,104/33.7 1,589/48.5 2,266/69.2 A P1 M1 # its ( = 0) 89/2.5 111/3.03 121/3.2 118/3.1 144/3.6 173/4.2 114/2.8 130/2.9 173/3.8 # its ( = h) 79/2.1 89/2.3 102/2.6 99/2.4 117/2.8 148/3.5 101/2.3 119/2.6 145/2.9
Tab. 5.3 Nombre Total/Moyenne ditrations de GMRES avec et sans prcondie e

tionnement adaptatif La mthode de linarisation considre est celle de Picard. e e e e
Nous notons galement que la dirence de performance entre les cas e e = 1 et = 1/10 sexplique essentiellement par la convergence de litration e de Picard. En eet, quand = 1, le nombre ditrations de Picard varie entre e 67, tandis que pour = 1/10 la convergence est plus lente et ncessite 33 e itrations. Dans les deux cas, le nombre ditrations de GMRES est similaire e e dans les premi`res tapes de Picard, avec une dcroissance tr`s rapide de ce e e e e
125
nombre ditrations de GMRES pour atteindre une situation relativement e stable, o` seulement 2 a 4 itrations de GMRES sont requises par tape u ` e e non-linaire. Cependant, vu que le cas de = 1/10 exige bien plus dtapes e e non-linaires, la moyenne du nombre ditrations de GMRES par tape none e e linaire se retrouve donc tre plus petite que celle du cas = 1 (cf. table 5.1). e e Pour le cas de litration de Newton, nous avons not un comportement e e de performance tr`s semblable, cest pour cela nous lavons pas dtaill. e e e Cependant, nous avons utilis cette technique de linarisation (Newton) dans e e le cas dun probl`me plus dicile, issue de lquation de NavierStokes, dans e e le paragraphe suivant.
= 1/10 #dom 4 n 11,425 45,377 180,865 11,585 16 45,953 183,041 16,641 64 66,049 263,169 P
1
=0 v Av 80% 84% 88% 78% 84% 88% 73% 84% 87% nz(A ) 0.25 0.15 0.08 0.84 0.51 0.31 1.73 0.99 0.66 P
1
=h v Av 81% 87% 90% 81% 87% 90% 74% 85% 90% nz(A ) 0.31 0.17 0.09 0.94 0.53 0.32 2.05 1.16 0.68 85% 89% 91% 90% 91% 92% 91% 93% 93%
84% 86% 89% 88% 90% 91% 90% 92% 92%
Tab. 5.4 Gains en precvecs (P1 v) et en matvecs (A v) et stockage additionnel

(nz(A )) La mthode de linarisation considre est celle de Picard. e e e e
Probl`me de NavierStokes e Comme deuxi`me application, nous considrons le cas des quations de e e e NavierStokes incompressibles en rgime stationnaire sur le domaine ferm e e d , (d = 2 ou d = 3) de fronti`re . born de R e e u + (u )u + p = f u = 0 u = 0 dans , dans , sur , (5.12a) (5.12b) (5.12c)
o` u dsigne le vecteur vitesse, p la pression et le param`tre de viscosit. u e e e Le syst`me non-linaire rsultant poss`de la structure pointselle suivante e e e e
126 (cf., e.g.,[66]) 0 = F (x) = F (u, p) = f 0 K(u) BT B 0 u p (5.13)
o` K(u) = L + N(u) Rn1 n1 est une matrice non symtrique et qui u e T Rn1 n2 poss`de un noyau engendr par le vecpeut tre indnie, et B e e e e e ` e teur constant. Nos deux linarisations de (5.13) m`nent a une squence de e syst`mes de forme e Ax
+1
K B
BT 0
u p
+1 +1
f 0
T(u ) 0 0 0
u p
=b
o` K = K(u ) T(u ) et T(u ) = N(u ) N (u ), avec N dsignant u e la partie non-linaire de K. Comme premier niveau de prconditionnement, e e nous employons le prconditionneur par blocs donn par : e e P = K 0 BT S (5.14)
o` K approche K et S est loppos du complment de Schur S = BK 1 BT . u e e Nous utilisons, comme solveur interne, lalgorithme GMRES avec un prcone ditionnement Gauss-Seidel par blocs, pour rsoudre les syst`mes avec K , et e e e pour S, nous employons le mme choix que celui propos dans [23], et donn e e par S1 = M1 Fp A1 , p p o` Mp , Fp , Ap sont respectivement les matrices de masse, de convectionu diusion et du Laplacien, assembles dans lespace de pression (cf. [23] pour e plus de dtails). En particulier, il est montr dans [23] que pour un nombre de e e Reynolds petit, le syst`me prconditionn a des valeurs propres majores ine e e e dpendamment de la taille du probl`me. Cependant, leur regroupement peut e e ne pas tre optimal. Comme nous le montrons ci-dessous, notre deuxi`me e e niveau du prconditionnement amliorera fortement la convergence. e e Nous prsentons les rsultats obtenus pour un probl`me test standard e e e dcoulement en cavit, pour trois valeurs du nombre de Reynolds : 10, e e 100, 1000. Le choix c = 102 dans notre crit`re darrt (5.10) naecte e e pas le nombre ditrations non-linaires si on prend q = 3/4, except pour e e e un nombre de Reynolds Re = 1000 o` nous prendrons alors q = 1. Nous u stoppons les itrations de Newton quand F (x ) / F (x0 ) 1010 . Litr e ee initial pour litration de Newton est gal a 0, except pour un coulement e e ` e e a Re = 1000 o` nous rutilisons la solution obtenue apr`s trois itrations de ` u e e e Picard comme vecteur de dpart. Comme prcdemment dcrit, au 5.2.2, e e e e an de rduire le stockage a chaque itration non-linaire, litr initial pour e ` e e ee GMRES est x = P1 b , ce qui assure un vecteur rsidu de type r T = e
127
(0, rT ). Les vecteurs de la base rsultante de Arnoldi ont galement la mme e e e p forme, ce qui va nous permettre de stocker une base V de longueur n 2 . Considrons la discrtisation P2P1 standard, la relation entre n 1 et n2 e e est que n1 = 8n2 en 2D, et n1 = 24n2 en 3D, auquel cas la rduction du e stockage est tr`s signicative. Dailleurs, le co t induit par lapplication du e u prconditionneur adaptatif devient presque ngligeable, comme le montre e e la table 5.5 ci-dessous. Nous notons que, en relchant laction de P 1 (par a exemple, en ne ralisant quune inversion approximative de K ), la base e exacte de Arnoldi ne sera pas creuse dans sa structure. Cependant, nous avons constat que le fait de stocker uniquement la partie de longueur n 2 (le e reste tant forc a 0) ne dtriore pas la performance si le crit`re darrt e e` ee e e utilis pour la rsolution de syst`mes linaires avec P est du mme ordre e e e e e que la tolrance de rsolution dans GMRES. e e
Re 10 n 4,771 18,755 74,371 4,771 18,755 74,371 4,771 18,755 74,371 A P1 113/21.2 91/21.0 98/22.7 227/30.3 208/32.5 174/32.6 1,064/105.0 952/118.0 718/118.2 A P1 M1 51/8.8 49/10.5 56/12.2 102/12.4 103/15.0 97/17.2 408/23.0 411/27.8 375/32.5
100
1000
Tab. 5.5 Ecoulement en cavit : Nombre Total/Moyenne ditrations de GMRES e e avec et sans prconditionnement adaptatif. e
La table 5.5 montre le nombre ditrations de GMRES quand seulement e P est employ et quand le prconditionneur adaptatif (5.7) est additione e nellement utilis avec = h. Comme avant, nous valuons le surco t en e e u matvecs impliquant la matrice du syst`me A , et les gains en precvecs et e matvecs. Les gains pour ce probl`me sont considrables. En eet, lamlioration e e e de la performance est due a la rduction signicative des precvecs (entre ` e 4248% pour le plus grand probl`me), puisque dans ce cas-ci, les precvecs e sont plus chers que les matvecs. Cest gnralement le cas dans la pratique, a e e ` savoir quun prconditionnement ecace ncessite un certain co t, et donc e e u la rduction substantielle du nombre de precvecs aura un impact dautant e plus important sur les co ts. Nous notons galement que le prconditionu e e neur additionnel prserve lindpendance de la taille du probl`me ralis par e e e e e la premi`re technique de prconditionnement. En conclusion, nous notons e e
128
Re n 4,771 10 18,755 74,371 4,771 100 18,755 74,371 4,771 1000 18,755 74,371 P1 v 55% 46% 42% 55% 50% 44% 62% 57% 48% Av 45% 37% 31% 37% 32% 25% 36% 32% 25% nz(A ) 0.21 0.19 0.20 0.44 0.41 0.38 1.12 1.02 0.87
Tab. 5.6 Ecoulement en cavit : Gains en precvecs (P1 v) et en matvecs (A v) e et stockage additionnel (nz(A )).
une augmentation en gains de precvecs avec laugmentation du nombre de Reynolds (Re). Le stockage augmente galement, bien que pour tout Re, e le stockage supplmentaire exig nexc`de pas la quantit demande pour e e e e e la matrice elle-mme. On pourrait aussi considrer une stratgie stockagee e e limite (si la mmoire est un aspect critique), bien que nous ayons constat e e a cet gard que cela conduit en gnral a une dtrioration substantielle de ` e e e ` ee la performance.
5.3
Conclusions et Perspectives
Tr`s bri`vement, pour rsumer lensemble de ce qui est abord dans ce e e e e chapitre douverture, lobjectif de ces complments est de montrer toute la e panoplie des approches possibles combinant ltrage spectral et techniques de Krylov, ainsi que dlargir le champ des applications possibles en allant e vers le non-linaire en particulier. e Le point commun a toutes ces tudes rside dans la capacit a gnrer ` e e e` e e des espaces de Krylov de dimension rduite, contenant donc une information e spectrale tr`s concentre et exploitable directement, sans post-traitement e e particulier, pour acclrer ecacement la convergence dune suite de sysee t`mes linaires avec la mme matrice mais a second membres multiples. e e e ` Nous avons vu notamment comment, dans le cas dun complment de e Schur issu dun premier niveau de prtraitement/prconditionnement tr`s e e e ecace, au sein dune itration non-linaire, il est possible de proter sime e plement de la faible dimension intrins`que des espaces de Krylov, gnrs e e ee
129
dans GMRES, pour construire des prconditionneurs adaptatifs qui int`grent e e lvolution de linformation spectrale au fur et a mesure des itrations none ` e linaires, et permettent de conserver de bout en bout cette proprit essene ee tielle, a savoir des espaces de Krylov de dimension tr`s rduite. ` e e Lintrt de ces approches a t valid, dans les divers chapitres, sur ceree ee e tains probl`mes test provenant de la collection de matrices creuses Harwelle Boeing, ainsi que dautres exemples issus de la discrtisation par lments e ee nis de probl`mes dEquations aux Drives Partielles (EDP) du type quae e e e tion de diusion. Au vu des gains substantiels obtenus, il devient clair que ces techniques apparaissent assez prometteuses lors dune multirsolution. e Nous avons vu galement que la technique Tchebyche-PSF dmarre e e dune gnration alatoire de vecteurs, et na pas pour vocation de re e e e soudre un syst`me linaire comme dans lalgorithme ChebFilterCG qui a un e e avantage double : la rsolution de syst`mes linaires et la gnration dune e e e e e base de Krylov tr`s riche et de dimension petite. Cependant, lalgorithme e Tchebyche-PSF nest pas inuenc de la mme mani`re par les probl`mes e e e e pathologiques. De mani`re plus gnrale, lalgorithme Tchebyche-PSF est e e e plus orient vecteurs propres et valeurs propres, avec la capacit de proe e duire en particulier des espaces de Krylov ltrs possdant une structure nue e mrique tr`s spcique dans les composantes propres de ces vecteurs de Krye e e lov. En particulier, cette technique peut tre utilise pour calculer un noyau, e e ou de faire du rank-revealing. La contrepartie a cela est que Tchebyche` PSF, pour converger, doit scanner lensemble du spectre compris entre zro e et la frquence de coupure utilise dans les ltres de Tchebyche. e e Par opposition, lalgorithme ChebFilterCG, qui nexploite ces ltres que comme des prconditionneurs, a la capacit de gnrer des squences de e e e e e Krylov bien moins longues (dans les cas non pathologiques), relativement au nombre total de valeurs propres infrieures a la frquence de coupure choisie. e ` e Bien videmment, la base de Krylov rsultante ne poss`de pas de structure e e e numrique particuli`re, si ce nest quelle reste tr`s riche du point de vue e e e de linformation spectrale relative aux plus petites valeurs propres (hors valeurs propres nulles). Enn, et cela na pas t tudi ici car ne prsentant eee e e pas dintrt majeur pour ce qui est de la simple rsolution de syst`mes ee e e linaires, il est aussi possible, apr`s obtention de la base de Krylov nale e e dans ChebFilterCG, de post-ltrer cette base pour lui donner une structure numrique particuli`re, comme dans Tchebyche-PSF. e e Un autre aspect non tudi dans ce travail, concerne lintgration du e e e noyau CG/Lanczos prconditionn par des ltres de Tchebyche , comme e e exploit dans ChebFilterCG, dans des algorithmes de calcul de valeurs propres, e intgrant donc des techniques de redmarrage, de dation, . . . Les avantages e e e que lon pourrait pressentir rsident l` encore dans dans la capacit a ge a e ` e nrer des espaces de Krylov de dimension rduite, tr`s riches du point de e e e vue de linformation spectrale relative aux plus petites valeurs propres, et
130 ceci sans avoir a raliser des inversions ou rsolutions. Par contre, dans ` e e ce contexte, il faudra trouver des extensions satisfaisantes a notre travail ` pour le cas indni, notamment pour pouvoir prendre en considration la e e question du shift, ou translation du spectre. Il est clair, en eet, que les polynmes de Tchebyche sont particuli`reo e ment appropris au cas symtrique dni positif. Pour les cas symtriques e e e e indnis, et non symtriques, il faudrait en eet tudier les gnralisations e e e e e possibles de lapproche dveloppe dans ce travail, en regardant en dtail les e e e proprits intrins`ques des mthodes de Krylov habituellement exploites ee e e e dans ces cas l`, et en intgrant des techniques polynomiales qui permettent a e de cibler ecacement les informations particuli`res assurant une acclrae ee tion intelligente des ces techniques dans le cadre dune multirsolution. e Enn, dans le cas de la rsolution de syst`mes linaires non symtriques, e e e e il est toujours possible dutiliser des techniques dites de symtrisation, e telles que la mthode de Cimmino par blocs par exemple, qui transforme la e matrice originale en une matrice symtrique dnie positive dont les valeurs e e propres sont en gnral fortement regroupes dans un nombre relativement e e e faible damas. Cette technique de transformation de la matrice ditration e namliore pas cependant de faon particuli`re le conditionnement, mais la e c e rponse a cela est en partie donne par la technique ChebFilterCG qui saccoe ` e mode plus naturellement de ces probl`mes de conditionnement, et qui est e dautant plus intressante dans le cadre dune multirsolution. Ce genre de e e combinaison pourrait constituer une alternative intressante a lutilisation e ` de mthodes directes, pour de tr`s gros probl`mes, issus par exemple de la e e e discrtisation 3D de probl`mes dEDP. e e Les autres perspectives qui se dgagent de ce travail sont la construction e de prconditionneurs multiniveaux, combinant les ltres de Tchebyche et e la base de Krylov produite lors de la rsolution du premier syst`me avec e e ChebFilterCG. Lutilisation des polynmes de Tchebyche ore en eet la o possibilit de rduire fortement le nombre total de synchronisations fortes, e e du type produits scalaires, et devrait permettre une implantation ecace dans un cadre de calcul parall`le, et en particulier dans des environnements e a mmoire distribue. ` e e
Bibliographie
[1] M. Arioli, I.S. Du, J. Noailles, and D. Ruiz. A block projection method for sparse matrices. SIAM Journal on Scientic and Statistical Computing, 13 :4770, 1992. [2] M. Arioli, I.S. Du, D. Ruiz, and M. Sadkane. Block Lanczos techniques for accelerating the Block Cimmino method. SIAM Journal on Scientic and Statistical Computing, 16 :14781511, 1995. [3] M. Arioli and D. Ruiz. Block conjugate gradient with subspace iteration for solving linear systems. In Svetozar D. Margenov and Panayot S. Vassilevski, editors, Iterative Methods in Linear Algebra, II. Volume 3 in the IMACS Series in Computational and Applied Mathematics. Proceedings of The Second IMACS International Symposium on Iterative Methods in Linear Algebra., 1995. [4] M. Arioli and D. Ruiz. A Chebyshev-based two-stage iterative method as an alternative to the direct solution of linear systems. Technical Report RAL-TR-2002-021, Rutherford Appleton Laboratory, Atlas Center, Didcot, Oxfordshire, OX11 0QX, England, 2002. [5] W.E. Arnoldi. The principle of minimized iteration in the solution of the matrix eigenvalue problem. Quarterly of Applied Mathematics, 9 :1729, 1951. [6] S.F. Ashby, T.A. Manteuel, and J.S. Otto. A comparison of adaptive Chebyshev and least squares polynomial preconditioning for Hermitian positive denite linear systems. SIAM Journal on Scientic and Statistical Computing, 13 :129, 1992. [7] J. Baglama, D. Calvetti, G.H. Golub, and L. Reichel. Adaptively preconditioned GMRES algorithms. SIAM Journal on Scientic Computing, 20(1) :243269, 1998. [8] K. Burrage and J. Erhel. On the performance of various adaptive preconditioned GMRES strategies. Numerical Linear Algebra with Applications, 5 :101121, 1998. [9] K. Burrage, J. Erhel, B. Pohl, and A. Williams. A deation technique for linear systems of equations. SIAM Journal Scientic Computing, 19(4) :12451260, 1998. 131
[10] B. Carpentieri, I.S. Du, and L. Giraud. A class of spectral two-level preconditioners. SIAM Journal on Scientic Computing, 25 :749765, 2003. [11] B. Carpentieri, L. Giraud, and S. Gratton. Additive and multiplicative spectral two-level preconditioners for general linear systems. Technical Report TR/PA/04/38, CERFACS, Toulouse, France, 2004. [12] T.F. Chan and M.K. Ng. Galerkin projection methods for solving multiple linear systems. SIAM Journal on Scientic Computing, 21(3) :836 850 (electronic), 1999. [13] T.F Chan and W.L. Wan. Analysis of projection methods for solving linear systems with multiple right-hand sides. SIAM Journal on Scientic Computing, 18(6) :16981721, 1997. [14] A. Chapman and Y. Saad. Deated and augmented Krylov subspace techniques. Numerical Linear Algebra with Applications, 4(1) :4366, 1997. [15] F. Chatelin. Valeurs propres de matrices. Collection Mathmatiques e Appliques pour la Ma e trise. [Collection of Applied Mathematics for the Masters Degree]. Masson, Paris, 1988. [16] P. Concus, G.H. Golub, and D.P. OLeary. A generalized conjugate gradient method for the numerical solution of elliptic partial dierential equations. In Sparse matrix computations (Proc. Sympos., Argonne Nat. Lab., Lemont, Ill., 1975), pages 309332. Academic Press, New York, 1976. [17] H. de Gersem and K. Hameyer. A deated iterative solver for magnetostatic nite element models with large dierences in permeability. Eur. Phys. J. Appl. Phys., 13 :4549, 2000. [18] E. de Sturler. Truncation strategies for optimal Krylov subspace methods. SIAM Journal on Numerical Analysis, 36(3) :864889, 1999. [19] R.S. Dembo, S.C. Eisenstat, and T. Steihaug. Inexact Newton methods. SIAM Journal on Numerical Analysis, 19(2) :400408, 1982. [20] Z. Dostal. Conjugate gradient method with preconditioning by projector. Intern. J. Computer Math., 23 :315323, 1988. [21] I.S. Du, L. Giraud, J. Langou, and E. Martin. Using spectral low rank preconditioners for large electromagnetic calculations. International Journal for Numerical Methods in Engineering, 62(3) :416434, 2005. [22] I.S. Du, R.G. Grimes, and J.G. Lewis. Sparse matrix test problems. ACM Transactions on Mathematical Software, 15 :114, 1989. [23] H.C. Elman, D. Loghin, and A.J. Wathen. Preconditioning techniques for Newtons method for the incompressible NavierStokes equations. BIT, 43 :961974, 2003. 132
[24] J. Erhel, K. Burrage, and B. Pohl. Restarted GMRES preconditioned by deation. Journal of Computational and Applied Mathematics, 69 :303 318, 1996. [25] J. Erhel and F. Guyomarch. An augmented conjugate gradient method for solving consecutive symmetric positive linear systems. SIAM Journal on Matrix Analysis and Applications, 21(4) :12791299, 2000. [26] J. Erhel, N. Nassif, and B. Philippe. Calcul matriciel et syst`mes lie naires. Cours de DEA Informatique et Modlisation, Beyrouth, Liban, e e 2004. Available from http ://www.irisa.fr/sage/jocelyne/pdf/beyrouthdea-0204.pdf. [27] P.F. Fischer. Projection techniques for iterative solution of Ax = b with successive right-hand sides. Computer Methods in Applied Mechanics and Engineering, 163(1-4) :193204, 1998. [28] L. Giraud, D. Ruiz, and A. Touhami. A comparative study of iterative solvers exploiting spectral information for spd systems. SIAM Journal on Scientic Computing, 27(5) :17601786, 2006. [29] L. Giraud, D. Ruiz, and A. Touhami. Krylov based and polynomial iterative solvers combined with partial spectral factorization for SPD linear systems. In Michel Dayd, Jos M.L.M. Palma, Jack Dongarra, e e and Vicente Hernndez, editors, Lecture Notes in Computer Science, a Vector and Parallel Processing, LNCS 3402, pages 635655. Springer Verlag Berlin Heidelberg, 2005. [30] G.H. Golub and M.D. Kent. Estimates of eigenvalues for iterative methods. Mathematics of Computation, 53 :249263, 1989. [31] G.H. Golub and G. Meurant. Rsolution numrique des grands syse e t`mes linaires, volume 49 of Collection de la Direction des Etudes et e e Recherches dElectricit de France [Collection of the Department of Stue dies and Research of Electricit de France]. Editions Eyrolles, Paris, e 1983. [32] G.H. Golub, D. Ruiz, and A. Touhami. A hybrid approach combining Chebyshev lter and conjugate gradient for solving linear systems with multiple right-hand sides. Technical Report TR/TLSE/05/10, ENSEEIHT-IRIT, Toulouse, France, 2005. Also Technical Report SCCM-05-08 Stanford University. Submitted to SIAM Journal on Matrix Analysis and Applications. [33] G.H. Golub and R. Underwood. The Block Lanczos method for computing eigenvalues. In Mathematical Software Symposium, University of Wisconsin, Madison, 1977. Mathematical Software III : Proceedings of a Symposium Conducted by the Mathematics Research Center, the University of Wisconsin, Madison, March 2830, 1977, J.R. Rice, ed., no.39 in Publication of the Mathematics Research Center, the Univer133
sity of Wisconsin, Madison, Academic Press, New York, pp. 361-377, 1977. [34] G.H. Golub and C.F. Van Loan. Matrix Computations. Johns Hopkins Studies in the Mathematical Sciences. The Johns Hopkins University Press, Baltimore, MD, USA, third edition, 1996. [35] W. Hackbusch. Multigrid methods and applications. springer, 1985. [36] L.A. Hageman and D.M. Young. Applied Iterative Methods. Academic Press, New York and London, 1981. [37] M.R. Hestenes and E. Stiefel. Methods of conjugate gradients for solving linear systems. J. Res. Nat. Bur. Standards, 49 :409435, 1952. [38] W. Jalby and B. Philippe. Stability analysis and improvement of the block Gram-Schmidt algorithm. SIAM Journal on Scientic and Statistical Computing, 12(5) :10581073, 1991. [39] O.G. Johnson, C.A. Micchelli, and G. Paul. Polynomial preconditioners for conjugate gradient calculations. SIAM Journal on Numerical Analysis, 20 :362376, 1983. [40] E.F. Kaasschieter. Preconditioned conjugate gradient for solving singular systems. Journal of Computational and Applied Mathematics, 24 :265275, 1988. [41] W. Karush. An iterative method for nding characteristic vectors of a symmetric matrix. Pacic Journal of Mathematics, 1 :233248, 1951. [42] L.Yu. Kolotilina. Preconditioning of systems of linear algebraic equations by means of twofold deation. I. Theory. (Russian) Zap. Nauchn. Sem. S.-Peterburg. Otdel. Mat. Inst. Steklov. (POMI) 229 (1995), Chisl. Metody i Voprosy Organ. Vychisl. 11, 95152, 323 ; translation in J. Math. Sci. (New York) 89 (1998), no. 6, 16521689. [43] P. Lancaster and M. Tismenetsky. The Theory of Matrices. Academic Press, 1985. [44] R.B. Lehoucq, D.C. Sorensen, and C. Yang. ARPACK Users guide : Solution of large-scale problem with implicitly restarted Arnoldi methods. SIAM, Philadelphia, 1998. [45] D. Loghin, D. Ruiz, and A. Touhami. Adaptive preconditioners for nonlinear systems of equations. Journal of Computational and Applied Mathematics, 189 :362374, 2006. [46] G. Meurant. Computer solution of large linear systems, volume 28 of Studies in Mathematics and its Applications. North-Holland Publishing Co., Amsterdam, 1999. [47] R.B. Morgan. A restarted GMRES method augmented with eigenvectors. SIAM Journal on Matrix Analysis and Applications, 16 :1154 1171, 1995. 134
[48] R.B. Morgan. On restarting the Arnoldi method for large nonsymmetric eigenvalue problems. Mathematics of Computation, 65(215) :12131230, 1996. [49] R.B. Morgan. Implicitly restarted GMRES and Arnoldi methods for nonsymmetric systems of equations. SIAM Journal on Matrix Analysis and Applications, 21 :11121135, 2000. [50] R.B. Morgan. GMRES with deated restarting. SIAM Journal on Scientic Computing, 24 :2037, 2002. [51] R. Nabben and C. Vuik. A comparison of Deation and Coarse Grid Correction applied to porous media ow. SIAM Journal on Numerical Analysis, 42 :16311647, 2004. [52] R. Nicolaides. Deation of conjugate gradients with applications to boundary value problems. SIAM Journal on Numerical Analysis, 24 :355365, 1987. [53] D.P. OLeary. The block conjugate gradient algorithm and related methods. Linear Algebra and its Applications, 29 :293322, 1980. [54] D.P. OLeary. A generalized conjugate gradient algorithm for solving class of quadratic programming problems. Linear Algebra and its Applications, 34 :371399, 1980. [55] D.P. OLeary. Yet another polynomial preconditioner for the conjugate gradient algorithm. Linear Algebra and its Applications, 154 :388377, 1991. [56] C.C. Paige. Practical use of the symmetric Lanczos process with re-orthogonalization. Nordisk Tidskr. Informationsbehandling (BIT), 10 :183195, 1970. [57] C.C. Paige. The computation of eigenvalues and eigenvectors of very large sparse matrices. PhD thesis, University of London, 1971. [58] C.C. Paige. Error analysis of the Lanczos algorithm for tridiagonalizing a symmetric matrix. Journal of the Institute of Mathematics and its Applications, 18(3) :341349, 1976. [59] C.C. Paige. Accuracy and eectiveness of the Lanczos algorithm for the symmetric eigenproblem. Linear Algebra and its Applications, 34 :235 258, 1980. [60] M. Parks, E. de Sturler, G. Mackey, D. Johnson, and S. Mait. Recycling Krylov subspaces for sequences of linear systems. Technical Report UIUCDCS-R-2004-2421, University of Illinois, March 2004. [61] B.N. Parlett. Canonical decomposition of Hessenberg matrices. Mathematics of Computation, 21 :223277, 1967. [62] B.N. Parlett. A new look at the Lanczos algorithm for solving symmetric systems of linear equations. Linear Algebra and its Applications, 29 :323346, 1980. 135
[63] B.N. Parlett. The Symmetric Eigenvalue Problems. Prentice-Hall, Englewood Clis, NJ, 1980. [64] B.N. Parlett. Misconvergence in the Lanczos algorithm. In Reliable numerical computation, Oxford Sci. Publ., pages 724. Oxford Univ. Press, New York, 1990. [65] B.N. Parlett and D.S. Scott. The Lanczos algorithm with selective orthogonalization. Mathematics of Computation, 33(145) :217238, 1979. [66] A. Quarteroni and A. Valli. Numerical Approximation of Partial Differential Equations. Springer-Verlag, 1994. [67] A. Quarteroni and A. Valli. Domain Decomposition Methods for Partial Dierential Equations. Numerical Mathematics and Scientic Computation, Oxford University Press, 1999. [68] D. Ruiz. Solution of large sparse unsymmetric linear systems with a block iterative method in a multiprocessor environment. PhD thesis, INPT, CERFACS, Toulouse, France, 1992. [69] Y. Saad. On the rates of convergence of the Lanczos and the block Lanczos methods. SIAM Journal on Numerical Analysis, 17 :687706, 1980. [70] Y. Saad. Variations on Arnoldis method for computing eigenelements of large unsymmetric matrices. Linear Algebra and its Applications, 34 :269295, 1980. [71] Y. Saad. Chebyshev acceleration techniques for solving nonsymmetric eigenvalue problems. Mathematics of Computation, 42(166) :567588, 1984. [72] Y. Saad. Practical use of polynomial preconditionings for the conjugate gradient method. SIAM Journal on Scientic and Statistical Computing, 6 :865881, 1985. [73] Y. Saad. On the Lanczos method for solving symmetric linear systems with several right-hand sides. Mathematics of computations, 178 :651 662, 1987. [74] Y. Saad. Numerical Methods for Large Eigenvalue Problems. Manchester University Press, Manchester, UK, 1992. [75] Y. Saad. Iterative Methods for Sparse Linear Systems. PWS Publishing Company, Boston, 1996. [76] Y. Saad and M.H. Schultz. GMRES : a generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM Journal on Scientic and Statistical Computing, 7(3) :856869, 1986. [77] Y. Saad, M. Yeung, J. Erhel, and F. Guyomarch. A deated version of the conjugate gradient algorithm. SIAM Journal on Scientic Computing, 21 :19091926, 2000. 136
[78] M. Sadkane. A block Arnoldi-Chebyshev method for computing the leading eigenpairs of large sparse unsymmetric matrices. Numerische Mathematik, 64(2) :181193, 1993. [79] H.D. Simon. Analysis of the symmetric Lanczos algorithm with reorthogonalization methods. Linear Algebra and its Applications, 61 :101131, 1984. [80] V. Simoncini and E. Gallopoulos. An iterative method for nonsymmetric systems with multiple right-hand sides. SIAM Journal on Scientic Computing, 16(4) :917933, 1995. [81] D.C. Sorensen. Implicit application of polynomial lters in a k-step Arnoldi method. SIAM Journal on Matrix Analysis and Applications, 13(1) :357385, 1992. [82] G. Szeg. Orthogonal polynomials. American Mathematical Society, o Providence, R.I., 1975. [83] L.N. Trefethen. Approximation theory and numerical linear algebra. In J. C. Mason and M.G. Cox, editors, Algorithms for approximation II, Chapman and Hall, London, 1990. [84] R. Underwood. An iterative block Lanczos method for the solution of large sparse symmetric eigenproblems. PhD Thesis STAN-CS-75-496, Computer Science Department, Stanford, California, 1975. [85] A. van der Sluis and H.A. van der Vorst. The rate of convergence of conjugate gradients. Numerische Mathematik, 48 :543560, 1986. [86] A. van der Sluis and H.A. van der Vorst. The convergence behavior of Ritz values in the presence of close eigenvalues. Linear Algebra and its Applications, 88/89 :651694, 1987. [87] H. van der Vorst. An iterative method for solving f (A)x = b using Krylov subspace information obtained for the symmetric positive denite. Journal of Computational and Applied Mathematics, 18 :249263, 1987. [88] F. Vermolen and C. Vuik. The inuence of deation vectors at interfaces on the deated conjugate gradient method. Report 01-13, Delft University of Technology, Department of Applied Mathematical Analysis, Delft, 2001. [89] C. Vuik. Fast iterative solvers for the discretized incompressible Navier Stokes equations. Technical Report 9398, Det University of Technology, 1993. [90] H.F. Walker. Implementation of the GMRES method using Householder transformations. SIAM Journal on Scientic and Statistical Computing, 9 :152163, 1988. [91] I. Zavorin, D.P. OLeary, and H.C. Elman. Complete stagnation of GMRES. Linear Algebra and its Applications, 367 :165183, 2003. 137
138
Liste des Publications

Articles dans des Revues Internationales
[1] Daniel Loghin, Daniel Ruiz, and Ahmed Touhami. Adaptive Preconditioners for Nonlinear Systems of Equations. J. Comp. Appl. Math. 189, pp. 362374, 2006. [2] Frdric Messine and Ahmed Touhami. A General Reliable Quae e dratic Form : an Extension of Ane Arithmetic. Reliab. Comput. 12(3), pp. 171192, 2006. [3] Luc Giraud, Daniel Ruiz, and Ahmed Touhami. A Comparative Study of Iterative Solvers Exploiting Spectral Information for SPD Systems. SIAM J. Sci. Comput. 27(5), pp. 17601786, 2006.
Articles Soumis dans des Revues Internationales

[4] Gene H. Golub, Daniel Ruiz, and Ahmed Touhami. A Hybrid Approach Combining Chebyshev Filter and Conjugate Gradient for Solving Linear Systems with Multiple Right-Hand Sides. Article soumis ` to SIAM J. Matrix Anal. Appl., 2005. a
e Confrences Internationales avec Actes Edits et e Comit de Lecture e

[5] Luc Giraud, Daniel Ruiz, and Ahmed Touhami. Combining Various Iterative Solvers with Partial Spectral Factorization for the Solution of SPD Linear Systems. In Radim Blaheta and Jir Star, editors, IMET y 2004, Iterative Methods, Preconditioning & Numerical PDEs, pages 5559. Institute of Geonics AS CR Ostrava, Czech Republic, 2004. [6] Luc Giraud, Daniel Ruiz, and Ahmed Touhami. Krylov Based and Polynomial Iterative Solvers Combined with Partial Spectral Factorization for SPD Linear Systems. In Michel Dayd, Jos M.L.M. Palma, Jack e e 139
Dongarra, and Vicente Hernndez, editors, Lecture Notes in Compua ter Science, Vector and Parallel Processing, LNCS 3402, pages 635655. SpringerVerlag Berlin Heidelberg, 2005. [7] Daniel Loghin, Daniel Ruiz, and Ahmed Touhami. Adaptive Preconditioners for Newton-Krylov Methods. In Radim Blaheta and Jir Star, editors, IMET 2004, Iterative Methods, Preconditioning y & Numerical PDEs, pages 117120. Institute of Geonics AS CR Ostrava, Czech Republic, 2004. [8] Frdric Messine and Ahmed Touhami. An Interval Branch-ande e Bound Algorithm Based on the General Quadratic Form. In I. Garc a, L.G. Casado, E.M.T. Hendrix, and B. Tth, editors, Proceedings of o the International Workshop on Global Optimization (GO05) Almer (Spain), pages 171176, 2005. a
Confrences Internationales avec Comit de Se e e lection

[9] Luc Giraud, Daniel Ruiz, and Ahmed Touhami. Two-Phase Solver versus Two-Level Preconditioner for Solving Large Sparse and S.P.D Linear System. In Sparse Days and Grid Computing. St. Girons, France. June 1013, 2003. Poster Session. [10] Luc Giraud, Daniel Ruiz, and Ahmed Touhami. A Comparative Study of Iterative Solvers Exploiting Spectral Information for SPD Systems. In Eight Copper Mountain Conference on Iterative Methods. Copper Mountain Resort, Colorado, USA. March 28 April 2, 2004. [11] Gene H. Golub, Daniel Ruiz, and Ahmed Touhami. Chebyshev Polynomial Preconditioners as a Spectral Filtering Tool for the Conjugate Gradient Method. In 21st Biennial Conference on Numerical Analysis. Dundee, Scotland, U.K. 28 June 1 July, 2005. [12] Daniel Loghin, Daniel Ruiz, and Ahmed Touhami. Adaptive Preconditioners for Nonlinear Systems of Equations. In ICCAM 2004, Eleventh International Congress on Computational and Applied Mathematics. Leuven, Belgium. July 2630, 2004.
Confrences Nationales avec Comit de Slection e e e

[13] Frdric Messine and Ahmed Touhami. Mthodes Dterministes e e e e dOptimisation Globale Bases sur lArithmtique Ane et Quadratique. e e ` In 11eme journes du groupe MODE de la SMAI. Pau, France. e Mars 2729, 2003. Poster Session. Ce poster a reu le Prix d Editeur. c 140
Rapports de Recherche
[14] Frdric Messine and Ahmed Touhami. Exact and Rigorous Gloe e bal Optimization Algorithm Based on Ane Arithmetic and its Extensions to Quadratic Forms. Rapport de Recherche RT/TLSE/03/01, ENSEEIHT-IRIT, Toulouse, France, 2003. Aussi Rapport de Recherche 0321, Laboratoire de Mathmatiques Appliques de Pau, CNRS-FRE e e 2570, France, 2003. [15] Ahmed Touhami. Arithmtique Ane Robuste et ses Extensions aux e Formes Quadratiques. Rapport de DEA, ENSEEIHT-IRIT, Toulouse, France, 2002.
141
142
Rsum. Le Contexte de ce travail est lalg`bre linaire numrique. Plus e e e e e prcisment, on sest intress a des prconditionnements pour les mthodes e e e e` e e de Krylov, bass sur une connaissance de certains espaces propres. Ces teche niques sont en particulier tr`s utiles lorsque lon rsout une squence de syse e e t`mes linaires avec la mme matrice mais dirents second membres. Line e e e formation sur les espaces propres est extraite dans une phase dinitialisation, ou au cours de la rsolution du premier syst`me, et utilise dans la rsolution e e e e des syst`mes suivants. Lapproche dveloppe dans cette th`se se base sur e e e e lutilisation des ltres polynomiaux de Tchebyche et sur la construction de prconditionneurs spectraux pour lacclration des mthodes de Krylov. e ee e Mots-cls. Polynmes de Tchebyche, mthodes de Lanczos, mthode du e o e e gradient conjugu, ltrage, dation, cycle a deux grilles, prconditionnee e ` e ment spectral, prconditionnement adaptatif, syst`mes non linaires, syse e e t`mes augments, cas pathologiques, mthodes de Krylov. e e e Classication AMS. 65F10, 65F15, 65F50, 65H10, 65N22
Abstract. The context of this work is numerical linear algebra. More precisely, we are interested in preconditioning Krylov techniques, with the knowledge of some eigenspaces. In particular, this can be very useful when solving a sequence of linear systems with the same matrix but dierent right-hand sides. The information about eigenspaces is extracted from an initialization phase, or during the solution of the rst system, and is used in the solution of the following systems. The approach developed in this thesis is based on the use of the Chebyshev ltering polynomials and on the construction of spectral preconditioners to accelerate the convergence of Krylov methods. Key words. Chebyshev polynnomials, Lanczos method, conjugate gradient method, ltering, deation, two-grid schemes, spectral preconditioners, adaptive preconditioners, nonlinear systems, augmented systems, Krylov methods. AMS Classication. 65F10, 65F15, 65F50, 65H10, 65N22
ENSEEIHTIRIT, UMR CNRS 5505, 2 rue Camichel, F-31071 Toulouse

To Uh A Mi

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

To Uh A Mi

Diunggah oleh

Hak Cipta:

Format Tersedia

No dordre : 2296

DOCTEUR DE LINSTITUT NATIONAL POLYTECHNIQUE DE TOULOUSE

Soutenue publiquement le 25 Novembre 2005 devant le jury compos de : e

Examinateurs Co-encadreur Directeur de th`se e

Table des mati`res e

Mthodes de Projection sur un Sous-Espace de Krylov . . . . e

1.2.4 Mthode du Gradient Conjugu . . . . . . . . . . . . . e e Etude de la convergence, prconditionnement . . . . . . . . . e Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Essais numriques . . . . . . . . . . . . . . . . . . . . . . . . e 4.3.1 4.3.2

Filtrage Initial Additionnel dans lAlgorithme ChebFilterCG . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 viii

5 Complments, Conclusions et Perspectives e 5.1 5.2

Conclusions et Perspectives . . . . . . . . . . . . . . . . . . . 128 131 137

Bibliographie Liste des Publications

Mthodes de Projection en e Alg`bre Linaire e e

Mthodes Asymptotiques de Projection sur un e Sous-Espace

Mthode dItrations Inverses e e

Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e

Mthodes de Projection sur un Sous-Espace e de Krylov

Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e

(1.7) (1.8) (1.9)

e o` em est le m`me vecteur de la base canonique de Rm , m = 1, . . . , n. u

||2 = hm+1,m |eT yi m

Mthode dArnoldi pour les syst`mes linaires e e e

Considration dimplantation Orthogonalisation des vecteurs e

Considration dimplantation Arnoldi avec Redmarrage e e

Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e

Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e

||b Ax(m) ||2 .

Pour la dmonstration de ce thor`me, on pourra se reporter a [26, 6], e e e ` [75, 6.11].

On a alors AV = Vm Tm + m+1 vm+1 eT , m

Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e

Mthode de Lanczos pour les syst`mes linaires e e e

Mthode du Gradient Conjugu e e

Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e

Etude de la convergence, prconditionnement e

Chapitre 1. Mthodes de Projection en Alg`bre Linaire e e e

Factorisation Spectrale Partielle

Chapitre 2. Factorisation Spectrale Partielle

Filtrage Bas sur les Polynmes de Tchebye o che

e notre ltre polynomial. Dapr`s lquation (2.3), Fm vrie donc e e

[,max (A)] QPm Q(0)=1

Chapitre 2. Factorisation Spectrale Partielle

vp min = 1e16; val coupure = 0.1

val coupure = 0.1;

Chapitre 2. Factorisation Spectrale Partielle

Factorisation Spectrale Partielle

Chapitre 2. Factorisation Spectrale Partielle

Chapitre 2. Factorisation Spectrale Partielle

33 Val. Propres sont au dessous de ( =

Inuence des Dirents Param`tres e e

Chapitre 2. Factorisation Spectrale Partielle

= max /10 Valeur de

= max /100 Valeur de

108 104 108 57 90 96 62 50 50 50 -

Chapitre 2. Factorisation Spectrale Partielle

Etude Comparative de Solveurs Itratifs Exploitant e une Certaine Information Spectrale

Chapitre 3. Etude Comparative des Solveurs Itratifs e

Techniques de Rsolution de Syst`mes Linaires e e e Exploitant lInformation Spectrale

Gradient Conjugu avec Projection Initiale e

Chapitre 3. Etude Comparative des Solveurs Itratifs e

Gradient Conjugu Dat e e e

Gradient Conjugu sur le Syst`me Projet e e e

Chapitre 3. Etude Comparative des Solveurs Itratifs e