MT09-Analyse numrique lmentaire

Chapitre 3 : Rsolution des problmes de moindres carrs

quipe de Mathmatiques Appliques
UTC
Juin 2007

Sommaire
Concepts
Exemples
Exercices
Documents
suivant
2
Chapitre III
Rsolution des problmes de moindres carrs
III.1 Formulation gnrale des problmes de moindres carrs . . . . . . . . . . . . . 3
III.2 Approche algbrique du problme de moindres carrs . . . . . . . . . . . . . . . 10
III.3 Rsolution des problmes de moindres carrs par "QR". . . . . . . . . . . . . . . 17
Documents du chapitre III . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Exercices du chapitre III . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Sommaire
Concepts
Exemples
Exercices
Documents
chapitre section suivante
3
III.1 Formulation gnrale des problmes de moindres
carrs
III.1.1 Un exemple : un problme de lissage. . . . . . . . . . . . . . . . . . . . 4
III.1.2 Formulation matricielle . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
III.1.3 Les quations normales . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
4
III.1.1 Un exemple : un problme de lissage.
Exercices :
Exercice III.1
Si on se donne une famille de points du plan (t
i
, b
i
)
1im
(les t
i
tant distincts) alors il existe
un unique polynme P(t) de degr infrieur ou gal m1 tel que
P(t
i
) = b
i
, i = 1, . . . , m,
qui est le polynme dinterpolation des points (t
i
, b
i
). Si le nombre de points m est trop grand,
ou si les ordonnes sont bruites, on prfre en gnral chercher une fonction f(t) qui, dans une
t
t
i
i
f(t)
b
FIG. III.1.1: un problme de lissage
classe donne (polynmes, fractions rationnelles, polynmes trigonomtriques, exponentielles
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
5
Un exemple :
un problme
de lissage.
. . .), approche au mieux les points (t
i
, b
i
), on parle alors dapproximation, de lissage ou bien de
rgression (voir la gure III.1.1).
Soit donc une famille de fonctions
f
1
(t), f
2
(t), . . . , f
n
(t), n m,
linairement indpendantes. Etant donn n nombres rels x
1
, x
2
, . . . , x
n
on peut introduire le
nombre E(x)
E(x) =
m

i=1
[f(t
i
) b
i
]
2
,
avec f(t) =

n
k=1
x
k
f
k
(t). La quantit E(x) reprsente la somme des erreurs quadratiques entre
les valeurs donnes et celles prises par f aux points t
i
. Le problme dapproximation se formule
alors de la faon suivante :
Trouver x IR
n
, tel que E( x) E(x), x IR
n
.
Par exemple si lon dsire faire de la rgression polynmiale, cest--dire prendre pour f(t) un
polynme de degr n 1, on a
f
k
(t) = t
k1
, k = 1, . . . , n, f(t) = x
1
+ x
2
t + . . . + x
n
t
n1
.
Lcriture inhabituelle du polynme avec x
k
comme coefcients permet de mettre en vidence
que les inconnues du problme de moindres carrs sont ces coefcients.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
6
III.1.2 Formulation matricielle
Exercices :
Exercice III.2
Cours :
Lissage
On suppose que lon a rsoudre un systme linaire Ax = b (A /
mn
), avec un second
membre b non nul et on suppose que le nombre dquations est suprieur strictement au nombre
dinconnues (m > n). Dans la plupart des cas, ce systme na pas de solution. On cherche alors
une approximation de la solution qui rduise la diffrence Ax b. Un des choix possible est de
minimiser la norme euclidienne de cette diffrence. Dans tout ce chapitre, nous nutiliserons
que la norme euclidienne.
Dnition III.1.1. Soit A M
mn
(IR) et b IR
m
donns. On appelle problme de moindres carrs
le problme
min
xIR
n
|Ax b|
2
2
. (III.1.1)
On notera x la solution de ce problme. On montrera dans la suite quelle existe, et quelle
est unique sous lhypothse fondamentale suivante :
Les colonnes de A sont linairement indpendantes. (III.1.2)
ou, de faon quivalente
rang A = n.
Un cas particulier est le cas m = n et A inversible, alors x est la solution unique de Ax = b,
mais ce nest pas ce cas particulier qui nous intresse dans ce chapitre.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
7
Formulation
matricielle
Un autre exemple, pour le problme de lissage, est introduit dans le paragraphe rfrenc.
Il nest pas possible en gnral de faire passer une fonction f(t) dpendant de n inconnues (par
exemple un polynme de degr n 1) par m points (m > n). Il nexiste donc sans doute pas de
x IR
n
qui annule les quantits
n

k=1
x
k
f
k
(t
i
) b
i
, 1 i m.
Cette expression scrit bien Ax b o
a
ij
= f
j
(t
i
), 1 i m, 1 j n,
et lon a bien minimiser
E(x) =
m

i=1
_
n

k=1
x
k
f
k
(t
i
) b
i
_
2
.
Cette fois-ci le minimum ne sera pas nul.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
8
III.1.3 Les quations normales
Exercices :
Exercice III.3
Documents :
Document III.2
Nous ferons plus tard une rsolution purement algbrique du problme des moindres carrs.
Cependant nous allons en donner une approche analytique qui permet de voir ce problme sous
un angle diffrent. Tout dabord, explicitons la fonction minimiser. On a
E(x) = |Ax b|
2
2
= (Ax b)
T
(Ax b) = x
T
A
T
Ax b
T
Ax x
T
A
T
b +|b|
2
2
= x
T
A
T
Ax 2(A
T
b)
T
x +|b|
2
2
.
Le problme de moindres carrs peut donc se reformuler en
min
xIR
n
J(x) = x
T
Gx 2h
T
x,
o G = A
T
A est symtrique et h = A
T
b est un vecteur donn.
Dnition III.1.2. On appelle fonction quadratique une fonction J : IR
n
IR , de la forme
J(x) = x
T
Gx 2h
T
x,
o G est une matrice n n symtrique et h est un vecteur donn de IR
n
.
Rappelons que si J : IR IR, continment drivable, admet un minimum x IR, alors
J

( x) = 0. De mme soit J : IR
n
IR continment drivable, alors
J( x) J(x) x IR
n
J( x) = 0, oprateur gradient .
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
9
Les quations
normales
Ici le calcul du gradient de J donne (voir le document rfrenc)
J(x) = 2(Gx h)
et la solution x du problme de moindre carrs vrie donc ncessairement
G x = h, soit
A
T
A x = A
T
b.
Ces relations sont appeles quations normales du problme, ce sont des conditions ncessaires
pour que x soit minimum, on montre de plus que ces conditions sont sufsantes do le thorme.
Thorme III.1.1. Soit A M
mn
(IR) et b IR
m
donns, si lon suppose que la matrice A est de
rang n, le problme de moindres carrs min
xIR
n
|Ax b|
2
2
, admet une solution unique x donne
par
A
T
A x = A
T
b. (III.1.3)
Dmonstration
Sommaire
Concepts
Exemples
Exercices
Documents
section prcdente chapitre section suivante
10
III.2 Approche algbrique du problme de moindres
carrs
III.2.1 Ide intuitive de lapproche algbrique . . . . . . . . . . . . . . . . . . 11
III.2.2 Espaces orthogonaux - Rappels . . . . . . . . . . . . . . . . . . . . . . . 12
III.2.3 Problmes de projection . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
III.2.4 Utilisation de lorthogonalisation de Schmidt pour rsoudre les qua-
tions normales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
11
III.2.1 Ide intuitive de lapproche algbrique
Soit Im(A) = y IR
m
[ x IR
n
, y = Ax. Alors le problme de moindres carrs
min
xIR
n
|Ax b|
2
2
,
signie que lon cherche dans limage de A llment le plus "proche" de b. Il se formule donc
comme un problme de projection orthogonale de b sur le sous-espace vectoriel Im(A) (voir la
gure III.2.2). Si on appelle x la solution de ce problme, on sattend donc ce que le rsidu
r = b A x soit orthogonal Im(A) (ceci sera videmment revu dans la suite de ce cours).
S=Im(A)
b
^
r
b
FIG. III.2.2: projection de b sur Im(A)
Quel est le lien avec les quations normales ? Pour le retrouver nous allons rappeler quelques
rsultats sur les espaces euclidiens.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
12
III.2.2 Espaces orthogonaux - Rappels
Exercices :
Exercice III.4
Exercice III.5
Documents :
Document III.3
Dnition III.2.1. On rappelle la dnition du produit scalaire usuel sur IR
n
:
x, y IR
n
, x, y) = x
T
y = y
T
x.
Cette dnition gnralise le produit scalaire usuel que vous connaissez dans IR
2
ou IR
3
.
Dnition III.2.2. Soit S un sous-espace vectoriel de IR
n
, on appelle orthogonal de S le sous
espace vectoriel de IR
n
not S

dni par :
x S

y S, x, y) = 0.
Proposition III.2.3. Soit S un sous-espace vectoriel de IR
n
, S

l orthogonal de S alors
S S

= 0, IR
n
= S S

.
Dmonstration -
x S S

x, x) = 0
n

i=1
x
2
i
= 0 x = 0.
Pour montrer la somme directe, on utilise lorthogonalisation de Schmidt (voir le document
rfrenc) pour montrer que tout sous-espace vectoriel S admet une base orthogonale B. On
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
13
Espaces
orthogonaux -
Rappels
rappelle quune famille libre, par exemple B, de E peut tre complte par une famille ( telle
que B ( soit une base de E (thorme de la base incomplte). On continue alors le processus
dorthogonalisation de Schmidt sur ( et on obtient ainsi une base orthogonale de la forme BB

.
Alors il est clair, par construction, que B

engendre un sous espace vectoriel qui est S

.
Corollaire III.2.1. Soit y IR
n
alors il existe un unique y S tel que
y y S

,
le vecteur y tant appel projection orthogonale de y sur S.
Dmonstration - Daprs le thorme prcdent, tout vecteur y scrit de manire unique sous
la forme : y = y + z, o y S et z S

.
Proposition III.2.4. Soit A /
mn
(ImA)

= Ker (A
T
).
Dmonstration -
x Im(A)

x
T
y = 0, y Im(A),
x
T
(Az) = 0, z IR
n
,
(A
T
x)
T
z = 0, z IR
n
,
A
T
x = 0.
Pour la dmonstration du dernier point voir lexercice III.4
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
14
III.2.3 Problmes de projection
Proposition III.2.5. Etant donns S un sous-espace vectoriel de E et y E, le problme
min
zS
|z y|
2
admet pour solution unique y S projection orthogonale de y sur S.
Dmonstration - Soit z un lment quelconque de S, alors
|z y|
2
2
= |z y (y y)|
2
2
,
= |z y|
2
2
+|y y|
2
2
2, z y, y y) ,
= |z y|
2
2
+|y y|
2
2
,
puisque (z y) S et (y y) S

. Alors
|z y|
2
2
> | y y|
2
2
z ,= y
ce qui montre que min
zS
|z y|
2
= | y y|
2
.
Corollaire III.2.2. Soit A M
mn
(IR) et b IR
m
donns, le problme :
trouver x IR
n
tel que
|A x b|
2
|Ax b|
2
x IR
n
,
est quivalent : trouver x IR
n
tel que :
A
T
A x = A
T
b.
Dmonstration -
On notera

b la projection orthogonale de b sur Im A, on a donc par dnition

b Im A, b

b (Im A)

.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
15
Problmes de
projection
On utilise la proposition prcdente avec E = IR
m
, S = Im(A), y = b.
|A x b|
2
|Ax b|
2
x IR
n
|A x b|
2
|z b|
2
z Im A A x =

b.
Montrons que
A x =

b A
T
A x = A
T

b.
limplication de gauche droite est vidente. montrons la rciproque :
A
T
A x = A
T

b A
T
(A x

b) = 0 A x

b Ker A
T
= (Im A)

or

b Im A, donc A x

b Im A, donc
A x

b Im A (Im A)

A x

b = 0 A x =

b.
Ce qui termine de montrer lquivalence.
Montrons maintenant que
A
T
A x = A
T

b A
T
A x = A
T
b.
Par dnition de

b, on a b

b (Im A)

= Ker A
T
, donc A
T
(b

b) = 0 donc A
T
b = A
T

b.
Ce qui termine de dmontrer cette dernire quivalence.
On retrouve donc par un raisonnement faisant intervenir les projections que les quations
normales sont des conditions ncessaires et sufsantes doptimalit pour le problme de mini-
misation.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
16
III.2.4 Utilisation de lorthogonalisation de Schmidt pour rsoudre les
quations normales
Exercices :
Exercice III.7
Exercice III.6
A laide de lorthogonalisation de Schmidt, on calcule une base orthogonale E
1
, E
2
, . . . , E
n

de Im(A), on obtient (dmontr en exercice)

A = ET, o E = [E
1
E
2
. . . E
n
] ,
E /
mn
est une matrice rectangulaire et T /
nn
est une matrice triangulaire suprieure
inversible. Puisque les colonnes de E sont des vecteurs orthonorms, on a E
T
E = I, montrer ce
rsultat en exercice.
On obtient A
T
A = T
T
E
T
ET = T
T
T, A
T
b = T
T
E
T
b.
En reprenant les quations normales, on a donc :
A
T
A x = A
T
b T
T
T x = T
T
E
T
b T x = E
T
b.
En effet la matrice T donc la matrice T
T
est inversible, on peut donc simplier la deuxime
quation, il ntait videmment pas possible de simplier la premire quation par A
T
puisque
la matrice A
T
nest pas carre donc pas inversible.
Il savre que le systme T x = E
T
b est mieux conditionn que celui donn par les quations
normales. Cependant lorthogonalisation de Schmidt est trs sujette laccumulation des er-
reurs darrondi. Cest pourquoi on lui prfre une factorisation de A du mme type, base cette
fois sur la transformation de Householder, qui fait lobjet du paragraphe suivant.
Sommaire
Concepts
Exemples
Exercices
Documents
section prcdente chapitre section suivante
17
III.3 Rsolution des problmes de moindres carrs par
"QR".
III.3.1 La transformation de Householder . . . . . . . . . . . . . . . . . . . . . 18
III.3.2 La factorisation "QR" . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
III.3.3 Application la rsolution du problme de moindres carrs . . . . . . 22
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
18
III.3.1 La transformation de Householder
Dans lespace euclidien IR
n
, les transformations orthogonales (cest dire les applications
linaires reprsentes par des matrices orthogonales) conservent la norme euclidienne |.|
2
. En
effet si H est orthogonale on a H
T
= H
1
et donc
|Hx|
2
2
= (Hx)
T
Hx = x
T
H
T
Hx = x
T
x = |x|
2
2
.
Le but de ce paragraphe est dintroduire une transformation orthogonale particulire : la trans-
formation de Householder, qui est une symtrie plane.
Dnition III.3.1. On appelle transformation de Householder, une transformation dont la ma-
trice est de la forme
H = I 2yy
T
,
o y IR
n
et |y|
2
= 1.
Il est clair que H est symtrique et on vrie sans difcult que H est orthogonale :
HH
T
= HH = (I 2yy
T
)(I 2yy
T
) = I 2yy
T
2yy
T
+ 4yy
T
= I.
Remarque III.3.2. La transformation de Householder conserve donc la norme. Par dailleurs
on a :
Hy = y 2yy
T
y = y
et si z est orthogonal y alors
Hz = z 2yy
T
z = z
ce qui montre que H correspond une symtrie par rapport au plan perpendiculaire y.
Thorme III.3.3. Soit x IR
n
, avec |x|
2
= 1 et x ,= e = ( 1 0 . . . 0 )
T
. Alors il existe une
transformation de Householder H telle que Hx = e.
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
19
La transfor-
mation de
Householder
Dmonstration - Posons y = (x e) avec = (|x e|
2
)
1
, alors la matrice
H = I 2yy
T
rpond la question. En effet
Hx = [I 2
2
(x e)(x e)
T
]x = x 2
2
_
(x e)
T
x
_
(x e).
En effet (x e)
T
x est un scalaire, on peut donc commuter.
On a de plus
2
= |x e|
2
2
= (x e)
T
(x e) = |x|
2
2
2e
T
x + 1 = 2(1 e
T
x)
et (x e)
T
x = 1 e
T
x, do 2
2
_
(x e)
T
x
_
= 1.
Ce qui donne : Hx = x (x e) = e.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
20
III.3.2 La factorisation "QR"
Exercices :
Exercice III.8
Dnition III.3.1. Soit Q une matrice carre, on dit que Q est orthogonale si :
Q
T
= Q
1
Q
T
Q = I.
Thorme III.3.4. Soit A /
mn
(IR) avec m n, alors il existe une matrice orthogonale
Q /
mm
(IR) et une matrice triangulaire suprieure

R /
nn
(IR) telles que
A = Q
_

R
0
_
. (III.3.1)
Dmonstration
On note R =
_

R
0
_
.
On peut remarquer que la formule (III.3.1) correspond une orthogonalisation des colonnes
de A. En effet, la j
me
colonne de A, soit A
j
, est donne par
A
j
= QR
j
=
j

i=1
r
ij
Q
i
,
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
21
La
factorisation
"QR"
ceci compte tenu de la structure de R. Ceci signie que k = 1...n, les colonnes [Q
j
]
j=1...k
(qui constituent une famille orthonorme) et [A
j
]
j=1...k
engendrent le mme sous-espace. La
factorisation QR est donc une faon dorthogonaliser une famille de vecteurs, au mme titre que
lorthogonalisation de Schmidt. En fait on utilise toujours la factorisation QR car elle est moins
sujette aux erreurs darrondi que lorthogonalisation de Schmidt.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
22
III.3.3 Application la rsolution du problme de moindres carrs
Exercices :
Exercice III.9
Exercice III.10
On part donc de la factorisation QR prcdente, ce qui permet dcrire A sous la forme
A = Q
_

R
0
_
,
o

R /
nn
(IR) est triangulaire suprieure. Notons que pour tout vecteur y de IR
m
on a
|Q
T
y|
2
2
= |y|
2
2
,
puisque Q
T
, comme Q, est orthogonale. On a donc, en particulier :
|Ax b|
2
2
= |Q
T
(Ax b)|
2
2
= |Q
T
Ax Q
T
b|
2
2
.
Dnissons c IR
n
et d IR
mn
par
Q
T
b =
_
c
d
_
.
Alors
Q
T
Ax Q
T
b =
_

R
0
_
x Q
T
b =
_

Rx c
d
_
et donc
|Ax b|
2
2
= |

Rx c|
2
2
+|d|
2
2
.
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
23
Application
la rsolution
du problme
de moindres
carrs
Le vecteur x minimisant la norme de |Ax b|
2
est donn par

R x = c, (III.3.2)
puisque |d|
2
2
est une constante qui ne joue aucun rle dans la minimisation. Le vecteur x est
unique si

R est inversible, ce qui est le cas si rang (A) = n.
Remarquons que la factorisation QR est prsente dans tous les logiciels danalyse num-
rique, comme par exemple MATLAB ou SCILAB.
Sommaire
Concepts
Exemples
Exercices
Documents
section prcdente chapitre section suivante
24
Documents du chapitre III
III.1 Dmonstration du thorme III.1.1 . . . . . . . . . . . . . . . . . . . . 25
III.2 Le gradient dune forme quadratique . . . . . . . . . . . . . . . . . . . 26
III.3 Lorthogonalisation de Schmidt . . . . . . . . . . . . . . . . . . . . . . . 27
III.4 Dmonstration du thorme III.3.4 . . . . . . . . . . . . . . . . . . . . 29
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
25
Document III.1 Dmonstration du thorme III.1.1
On remarque tout dabord que si A est de rang n, alors G = A
T
A est dnie positive en effet :
x
T
Gx = |Ax|
2
2
0 x IR
n
,
dautre part puisque le rang de A vaut n, alors la dimension de Ker A est nulle donc
x
T
Gx = 0 |Ax|
2
2
= 0 Ax = 0 x = 0.
La matrice G tant dnie positive, elle est inversible, donc il existe une unique solution x
vriant A
T
A x = A
T
b G x = h.
Montrons maintenant que
x IR
n
, x ,= x J(x) > J( x).
Posons y = x x, on a donc y ,= 0.
J( x + y) = ( x + y)
T
G( x + y) 2h
T
( x + y),
= x
T
G x + y
T
Gy + 2 x
T
Gy 2h
T
y 2h
T
x,
= x
T
G x + y
T
Gy + 2(G x h)
T
y 2h
T
x,
= y
T
Gy + x
T
G x 2h
T
x,
puisque G x = h. do
J( x + y) = J( x) + y
T
Gy.
Puisque G est une matrice dnie positive, et que y ,= 0, on a y
T
Gy > 0, et donc
J( x + y) > J( x) , y IR
n
, y ,= 0 ,
ce qui montre que x ralise le minimum de J.
Retour au thorme III.1.1
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
26
Document III.2 Le gradient dune forme quadratique
Soit la fonction quadratique
J(x) = x
T
Gx 2h
T
x,
o G est une matrice symtrique. On veut calculer son gradient, soit
J(x) =
_
J
x
1
,
J
x
2
, . . . ,
J
x
n
_
Dveloppons la fonction J
J(x) =
n

i=1
x
i
(Gx)
i
2
n

i=1
h
i
x
i
.
Alors
J
x
k
= (Gx)
k
+
n

i=1
x
i

x
k
(Gx)
i
2h
k
,
et

x
k
(Gx)
i
=

x
k
_
_
n

j=1
g
ij
x
j
_
_
= g
ik
= g
ki
.
Donc
J
x
k
= (Gx)
k
+
n

i=1
x
i
g
ki
2h
k
= (Gx)
k
+ (Gx)
k
2h
k
= 2(Gx)
k
2h
k
,
do le rsultat
J(x) = 2(Gx h).
retour au cours
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
27
Document III.3 Lorthogonalisation de Schmidt
Thorme III.3.5 (Orthogonalisation de Schmidt). Dans tout espace euclidien de dimen-
sion nie il existe des bases orthonormes.
Dmonstration - Elle est constructive : on part dune base quelconque de E soit B
1
, B
2
, . . . , B
n

et on construit par rcurrence une base orhonorme E

1
, E
2
, . . . , E
n
. Premire tape, on pose
E
1
=
B
1
|B
1
|
2
,
en effet |B
1
|
2
,= 0 car la famille B
1
, B
2
, ..., B
n
est libre.
Deuxime tape, on pose

E
2
= B
2
B
2
, E
1
) E
1
,
o on a not , ) le produit scalaire dans E.
On a bien
_

E
2
, E
1
_
= B
2
B
2
, E
1
) E
1
, E
1
) = B
2
, E
1
) B
2
, E
1
) E
1
, E
1
) = 0.
|

E
2
|
2
,= 0 car sinon B
2
serait proportionnel E
1
donc B
1
ce qui est impossible car la famille
B
1
, B
2
, ..., B
n
est libre.
On peut donc dnir
E
2
=

E
2
|

E
2
|
2
.
Etape k : supposons que les vecteurs E
1
, E
2
, . . . , E
k1
sont construits et orthogonaux deux
deux. On dnit alors

E
k
par

E
k
= B
k

k1

j=1
B
k
, E
j
) E
j
,
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
28
Document
III.3
Lorthogonalisation
de Schmidt
Vrions que le vecteur

E
k
est orthogonal aux vecteurs E
1
, E
2
, ..., E
k1
_

E
k
, E
i
_
=
_
B
k

k1

j=1
B
k
, E
j
) E
j
, E
i
_
,
= B
k
, E
i
)
k1

j=1
B
k
, E
j
) E
j
, E
i
) ,
= B
k
, E
i
) B
k
, E
i
) E
i
, E
i
) ,
= B
k
, E
i
) B
k
, E
i
) = 0.
|

E
k
|
2
,= 0 car sinon B
k
serait une combinaison linaire de E
1
, E
2
, ..., E
k1
, donc une combi-
naison linaire de B
1
, B
2
, ..., B
k1
ce qui est impossible car la famille B
1
, B
2
, ..., B
n
est libre.
On peut donc dnir
E
k
=

E
k
|

E
k
|
2
.
Il faut remarquer que, chaque tape k de la mthode, lespace engendr par E
1
, E
2
, . . . , E
k

est le mme que celui engendr par B

1
, B
2
, . . . , B
k
.
retour au cours
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
29
Document III.4 Dmonstration du thorme III.3.4
Il est important de donner ici la dmonstration complte de ce thorme, car elle est construc-
tive. Cest dire quelle donne lalgorithme pour obtenir la factorisation. On va chercher obte-
nir la matrice R comme le rsultat de n transformations orthogonales successives U
(k)
, soit
_

R
0
_
= A
(n+1)
= U
(n)
U
(n1)
. . . U
(1)
A
les matrices U
(k)
tant construites laide de transformations de Householder.
Si la premire colonne de A scrit (
1
0...0)
T
, il ny a rien faire et on pose donc U
(1)
= I. Si-
non on sait quil existe une transformation de Householder H
(1)
qui transforme A
1
en (
1
0...0)
T
,
avec
1
= |A
1
|
2
. En posant U
(1)
= H
(1)
on a donc :
A
(2)
= U
(1)
A =
_
_
_
_
_

1
. . .
0 . . .
.
.
.
.
.
.
.
.
.
0 . . .
_
_
_
_
_
.
Soit v
(2)
IR
m1
le vecteur dont les lments sont [a
(2)
i2
]
i=2...m
; il sagit de la partie de la
deuxime colonne de A
(2)
qui commence llment diagonal. On sait quil existe une trans-
formation de Householder H
(2)
qui transforme v
(2)
en (
2
0 . . . 0)
T
IR
m1
, avec
2
= |v
(2)
|
2
.
On dnit alors U
(2)
comme
U
(2)
=
_
1 0
0 H
(2)
_
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
30
Document
III.4
Dmonstration
du thorme
III.3.4
et on obtient
A
(3)
= U
(2)
A
(2)
=
_
_
_
_
_
_
_

1
. . .
0
2
. . .
0 0 . . .
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . .
_
_
_
_
_
_
_
.
On peut remarquer que, par dnition de U
(2)
, la premire colonne de A
(2)
na pas t modie.
On peut aisment gnraliser ce procd : supposons que lon a obtenu A
(k)
dont les k1 pre-
mires colonnes forment une matrice trapzodale suprieure (les lments en dessous de la dia-
gonale sont nuls). Si on note v
(k)
IR
mk+1
le vecteur dont les lments sont [a
(k)
ik
]
i=k...m
, alors
il existe aussi une transformation de Householder H
(k)
qui transforme v
(k)
en [
k
0 . . . 0]
T

IR
mk+1
, avec
k
= |v
(k)
|
2
. On dnit alors U
(k)
comme
U
(k)
=
_
I
k1
0
0 H
(k)
_
,
et on obtient A
(k+1)
= U
(k)
A
(k)
. On continue ce procd jusqu obtenir une matrice A
(n+1)
A
(n+1)
= U
(n)
A
(n)
= U
(n)
U
(n1)
. . . U
(1)
A,
qui, par construction, a la structure dsire. On a donc bien
_

R
0
_
= UA,
avec U = U
(n)
U
(n1)
. . . U
(1)
. On obtient la factorisation QR en remarquant que le produit de
matrices orthogonales reste une matrice orthogonale et en posant Q = U
T
.
Retour au thorme III.3.4
Sommaire
Concepts
Exemples
Exercices
Documents
section prcdente chapitre
31
Exercices du chapitre III
III.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
III.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
III.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
III.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
III.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
III.6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
III.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
III.8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
III.9 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
III.10 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
32
Exercice III.1
1. Ecrire le problme de la rgression linaire comme un problme de moindres carrs : plus
prcisment on se donne une famille de points (t
i
, b
i
)
1im
(les t
i
tant distincts) et on
cherche faire passer une droite le plus prs possible de ces points.
2. La question prcdente conduit une fonction de deux variables minimiser. On admet
que ce minimum est donn en annulant les deux drives partielles. Donner le systme
linaire de deux quations deux inconnues ainsi obtenu.
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
33
Exercice III.2
On cherche approcher les donnes (t
i
, b
i
)
1im
(les t
i
tant distincts) laide dun polynme
de degr infrieur ou gal n 1, on suppose m n, on note
p(t) =
1
+
2
t + . . . +
n
t
n1
,
et on cherche les coefcients
1
,
2
, ...,
n
qui minimisent
E(
1
,
2
, ...,
n
) =
m

i=1
(p(t
i
) b
i
)
2
.
Ecrire le problme de moindres carrs sous forme matricielle. Montrer alors que la matrice
A est bien de rang n. (On rappelle que la matrice carre de Van der Monde V, v
ij
= t
j1
i
, est
inversible si tous les t
i
sont distincts).
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
34
Exercice III.3
Donner les quations normales du problme de moindres carrs associ la rgression li-
naire. Montrer que lon retrouve les quations de lexercice III.1 .
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
35
Exercice III.4
Soit b IR
n
, montrer que
b
T
z = 0, z IR
n
b = 0.
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
36
Exercice III.5
Ecrire lalgorithme de lorthogononalisation de Schmidt, donne dans le document III.3 .
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
37
Exercice III.6
Soit E /
mn
, une matrice dont les colonnes sont des vecteurs orthonorms de IR
n
, montrer
que E
T
E = I
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
38
Exercice III.7
On applique lorthogonalisation de Schmidt (voir le document III.3 ), sur les n colonnes
A
1
, A
2
, ..., A
n
dune matrice A /
m,n
de rang n (m n), on obtient les vecteurs E
1
, E
2
, ..., E
n
qui seront les colonnes dune matrice E.
1. Montrer que les colonnes A
k
de A peuvent scrire
A
k
=
k

j=1

jk
E
j
sans expliciter les scalaires
jk
.
2. En dduire que A = ET, o T est une matrice triangulaire suprieure inversible.
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
39
Exercice III.8
1. Montrer que si Q est une matrice orthogonale, alors Q
T
est orthogonale.
2. Montrer que si Q est orthogonale, alors |Qy|
2
= |y|
2
pour tout vecteur y de IR
n
.
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
40
Exercice III.9
On veut effectuer une rgression linaire sur les points suivants : (1, 0.5), (0.5, 1), (2, 2.5).
Appliquer la mthode "QR" pour rsoudre ce problme et utiliser SCILAB, en particulier la
procdure "qr", pour faire les calculs.
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
41
Exercice III.10
Soit A une matrice mn de rang n m. Soient Q une matrice orthogonale et

R une matrice
carre triangulaire suprieure telles que A = Q
_

R
0
_
.
Montrer que, si
2
dsigne le conditionnement calcul partir de la norme matricielle su-
bordonne la norme 2,

2
(

R) =
_

2
(A
T
A).
retour au cours
Solution
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent
42
Annexe A
Exercices
A.1 Exercices de TD du chapitre 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Sommaire
Concepts
Exemples
Exercices
Documents
chapitre
43
A.1 Exercices de TD du chapitre 3
A.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
A.1.3 Factorisation A = QR par la mthode de Householder . . . . . . . . . 47
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
44
Exercice A.1.1
1. On cherche approcher des donnes exprimentales (t
i
, y
i
), i = 1 . . . m, par une fonction
f
a,b,c,d
dnie par morceaux de la faon suivante :
f
a,b,c,d
(t) =
_
a + bt + ct
2
si t 0,
a + dt si t > 0.
On suppose quil existe p, 3 p < m, tel que
t
1
< t
2
< < t
p
0 < t
p+1
< < t
m
.
Pour calculer les quatre paramtres a, b, c et d on cherche minimiser par rapport ces
quatre paramtres la fonction erreur suivante :
E(a, b, c, d) =
m

i=1
[f
a,b,c,d
(t
i
) y
i
]
2
.
(a) Montrer que minimiser cette fonction erreur revient rsoudre un problme de moindres
carrs
min
x
|Ax y|
2
2
,
dont on prcisera linconnue x, la matrice A et le vecteur y.
(b) Quel est le rang de A? Ecrire les quations normales, montrer que ces quations ont
une solution unique.
(c) Que se passe-t-il si p = 3, m = 4 ?
2. On cherche approcher les donnes par une fonction f
a,b,c
dnie par :
Sommaire
Concepts
Exemples
Exercices
Documents
section suivant
45
Exercice A.1.1
f
a,b,c
(t) =
_
a ln(t + 1) + ct si t > 0,
b (e
t
1) + ct si t 0.
On suppose quil existe p, 2 p < m, tel que
t
1
< t
2
< < t
p
< 0 < t
p+1
< < t
m
.
Pour calculer les trois paramtres a, b et c on cherche minimiser par rapport ces trois
paramtres la fonction erreur suivante :
E(a, b, c) =
m

i=1
[f
a,b,c
(t
i
) y
i
]
2
.
(a) Montrer que minimiser cette fonction erreur revient rsoudre un problme de moindres
carrs
min
x
|Ax y|
2
2
,
dont on prcisera linconnue x, la matrice A et le vecteur y.
(b) Quel est le rang de A?
Question 2a Aide 1 Aide 2
Question 2b Aide 1 Aide 2 Aide 3
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section suivant
46
Exercice A.1.2
1. On dnit
i
= i, 0 i 5, on dnit g la fonction telle que la courbe dquation y =
g(t) soit une ligne brise qui joint les points de coordonns (
i
, z
i
), 0 i 5. Donner
lexpression de g(t) pour t [0, 5] laide des z
i
.
2. On dnit t
k
= 0.5k, 1 k 10, on cherche approcher le nuage de points (t
k
, y
k
), 1 k
10 par g(t) au sens des moindres carrs. Mettre ce problme sous la forme : min
zIR
n
|Az y|
2
2
,
que vaut n? Quelle est la taille de la matrice A? Expliciter ses termes. Quel est le rang de
A?
Question 1 Aide 1 Aide 2 Aide 3
Question 2 Aide 1 Aide 2 Aide 3 Aide 4 Aide 5 Aide 6 Aide 7 Aide 8
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
47
Exercice A.1.3 Factorisation A = QR par la mthode de Householder
Soit A =
_
_
1 3
1 1
1 1
_
_
, b =
_
_
1
5
6
_
_
.
1. On veut rsoudre min
xIR
2
|Ax b|
2
2
laide de la factorisation QR.
(a) i. Dterminer la matrice de Householder, que lon notera H
(1)
, qui transforme
A
1
|A
1
|
2
en e
1
.
ii. Calculer A
(2)
= H
(1)
A.
Rponse ;
H
(1)
=
_
_
a a a
a b c
a c b
_
_
, A
(2)
=
_
_

3

3
0

3 1
0

3 + 1
_
_
,
avec a =
1

3
, b =
1
2
_
1
1

3
_
, c =
1
2
_
1 +
1

3
_
.
iii. Comment obtient-on la factorisation QR de la matrice A? Calculer alors les ma-
trices H
(2)
et A
(3)
= R, en dduire

R puis Q.
Rponse ;
H
(2)
=
1
4

6 +

2
_
a b
b a
_
, R = A
(3)
=
_
_

3

3
0 2

2
0 0
_
_
,
Sommaire
Concepts
Exemples
Exercices
Documents
prcdent section
48
Exercice A.1.3
Factorisation
A = QR par la
mthode de
Householder
Q =
_
_
_
1

3
1

2
1

6
1

3

1

2
1

6
1

3
0
2

6
_
_
_,
avec a = 2 +

2 +

3, b = 1 +

6 +

2
(b) i. Calculer Q

b, on note c le vecteur constitu des deux premires composantes de

Q

b.
ii. Montrer que A

A x = A

b

R x = c
iii. En dduire x solution du problme de minimisation.
2. On veut utiliser lorthogonalisation de Schmidt. En orthogonalisant la famille A
1
, A
2

laide de lorthogonalisation de Schmidt, on obtient la matrice :

A =
_
_
_
1

3
1

2
1

3

1

2
1

3
0
_
_
_.
(a) Montrer que A =

A

R. Comparer

A et Q, R et

R.
(b) On a montr, dans lexercice prcdent, que la solution x du problme de minimisation
vriait

R x =

A

b. Montrer que

A

b = c. En dduire que lon retrouve le systme

R x = c.
Question 1(a)iAide 1
Question 1(a)ii Aide 1
Question 1(a)iii Aide 1
Sommaire
Concepts
Exemples
Exercices
Documents
49
Index des concepts
Le gras indique un grain o le concept est d-
ni ; litalique indique un renvoi un exercice ou un
exemple, le gras italique un document, et le ro-
main un grain o le concept est mentionn.
E
Equations normales. . . . . . . . . . . . . . . . . . . . . . . . . . 8
Equations normales - projection orthogonale14
Equations normales - utilisation de lorthogo-
nalisation de Schmidt . . . . . . . . . . . . . 16
F
Factorisation QR. . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Factorisation QR
application aux moindres carrs . . . . . . . 22
H
Householder-transformation. . . . . . . . . . . . . . . . 18
L
Lissage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4, 6
M
Moindres carrs
formulation matricielle . . . . . . . . . . . . . . . . . . 6
intuition gomtrique . . . . . . . . . . . . . . . . . . 11
O
Orthogonaux-espaces . . . . . . . . . . . . . . . . . . . . . . . 12
Solution de lexercice III.1
1. Soit y = + t, lquation de la droite considre. Le problme de rgression linaire scrit
min
(,)IR
2
E(, )
o
E(, ) =
m

i=1
( + t
i
b
i
)
2
.
La solution (

) donne les coefcients de la droite solution du problme de rgression linaire et elle vrie
E(

) = min
(,)IR
2
E(, ).
2. Calculons les deux drives partielles
_
_
_
E

(, ) =

m
i=1
2( + t
i
b
i
)
E

(, ) =

m
i=1
2( + t
i
b
i
)t
i
La solution (

) du problme de rgression linaire est donc donne par la solution des deux quations li-
naires obtenues en regroupant les termes
_
_
_

m +

m
i=1
t
i
=

m
i=1
b
i

m
i=1
t
i
+

m
i=1
t
2
i
=

m
i=1
b
i
t
i
Retour lexercice
Solution de lexercice III.2
Soit
p(t) =
1
+
2
t + . . . +
n
t
n1
,
un polynme de degr n 1. Pour que ce polynme approche les donnes (t
i
, b
i
)
i=1,...,m
le plus prs possible, il doit
minimiser la quantit suivante
E(
1
,
2
, . . . ,
n
) =
m

i=1
(p(t
i
) b
i
)
2
= |Ax b|
2
2
.
En effet on peut crire
_
_
_
_
p(t
1
) b
1
p(t
2
) b
2
. . .
p(t
m
) b
m
_
_
_
_
=
_
_
_
_

1
+
2
t
1
+ . . . +
n
t
n1
1
b
1

1
+
2
t
2
+ . . . +
n
t
n1
2
b
2
. . .

1
+
2
t
m
+ . . . +
n
t
n1
m
b
m
_
_
_
_
= A
_
_
_
_

2
. . .

n
_
_
_
_

_
_
_
_
b
1
b
2
. . .
b
m
_
_
_
_
= Ax b,
o les matrices A et x sont dnies par :
A =
_
_
_
_
1 t
1
. . . t
n1
1
1 t
2
. . . t
n1
2
. . . . . . . . . . . .
1 t
m
. . . t
n1
m
_
_
_
_
, x =
_
_
_
_
_

2
.
.
.

n
_
_
_
_
_
.
Dans les donnes, les points t
i
sont tous distincts, ce qui implique que la matrice V , constitue des n premires lignes
de A est inversible, do la matrice A est de rang n.
Retour lexercice
Solution de lexercice III.3
La matrice A du problme de rgression linaire scrit (voir la correction de lexercice III.2 ) :
A =
_
_
_
_
1 t
1
1 t
2
. . . . . .
1 t
m
_
_
_
_
.
Les quations normales sont
A
T
A x = A
T
b
ce qui donne en effectuant les produits matriciels
_
m

m
i=1
t
i

m
i=1
t
i

m
i=1
t
2
i
_
x =
_
m
i=1
b
i

m
i=1
t
i
b
i
_
.
On retrouve bien ainsi le systme de deux quations deux inconnues de lexercice III.1 .
Retour lexercice
Solution de lexercice III.4
Limplication est vidente puisque lon multiplie 0 par le vecteur z.
Supposons maintenant que
b
T
z = 0, z IR
n
,
alors cette galit tant vraie pour tout z lest en particulier pour z = b, ce qui donne
b
T
b = |b|
2
[
2
= 0.
Or la norme dun vecteur est nulle si et seulement si ce vecteur est nul, ce qui donne
b = 0.
Retour lexercice
Solution de lexercice III.5
Cet algorithme est trs simple et suppose connues des fonctions telles que norme, produit scalaire . . . ce qui est le cas
de Scilab.
1: E
1
= B
1
/|B
1
|
2
2: pour k = 2, . . . , n faire
3:

E
k
= B
k

k1
j=1
B
k
, E
j
) E
j
4: E
k
=

E
k
/|

E
k
|
2
5: n pour
Retour lexercice
Solution de lexercice III.6
On a donc
E
i
, E
i
) = 1, E
i
, E
j
) = 0 pour i ,= j,
ou ce qui est quivalent
E
T
i
E
i
= 1, E
T
i
E
j
= 0 pour i ,= j.
Les termes de la matrice (carre) C = E
T
E sont donc
c
ii
= E
T
i
E
i
= 1, c
ij
= E
T
i
E
j
= 0 pour i ,= j,
C est donc la matrice identit.
Retour lexercice
Solution de lexercice III.7
1. Reprenons lalgorithme dorthogonalisation de Schmidt, alors
E
1
= A
1
/|A
1
| A
1
=
11
E
1
,
puis

E
2
= A
2
A
1
, E
1
) E
1
et E
2
=

E
2
/|

E
2
| A
2
= A
1
, E
1
) E
1
+|

E
2
|E
2
,
ce qui donne
A
2
=
12
E
1
+
22
E
2
.
De manire gnrale

E
k
= A
k

k1

j=1
A
k
, E
j
) E
j
et E
k
=

E
k
/|

E
k
| A
k
=
k1

j=1
A
k
, E
j
) E
j
+|

E
k
|E
k
,
ce qui donne
A
k
=
k

j=1

jk
E
j
.
2. Considrons le produit C = ET de deux matrices, E /
m,n
et T /
n,n
, alors
c
ik
=
n

j=1
e
ij
t
jk
.
On peut aussi considrer c
ik
comme le ime lment de la kime colonne de C. Alors cette colonne est donne par
C
k
= ET
k
=
n

j=1
t
jk
E
j
.
Si lon compare avec le rsultat de la question prcdente :
A
k
=
k

j=1

jk
E
j
,
on voit que t
jk
=
jk
pour j = 1, . . . , k et que t
jk
= 0 pour j = k + 1, . . . , n, ce qui correspond une matrice
triangulaires suprieure
T =
_
_
_
_
_

11

12
. . . . . .
1n
0
22
. . . . . .
2n
0 . . .
.
.
. . . . . . .
0 . . . . . . . . .
nn
_
_
_
_
_
La matrice T est inversible car
ii
= |

E
i
|.
Retour lexercice
Solution de lexercice III.8
1. On a
Q orthogonale Q
1
= Q
T
(Q
T
)
1
= Q Q
T
orthogonale .
2. On va dmontrer le rsultat pour le carr de lexpression, ce qui est quivalent pour des rels positifs. Dans ces
quivalences, on utilise le fait que Q
T
Q = I.
|Qy|
2
2
= (Qy)
T
Qy = y
T
Q
T
Qy = y
T
y = |y|
2
2
.
Retour lexercice
Solution de lexercice III.9
La matrice A et le vecteur b correspondants ce problme sont
A =
_
_
1 1
1 0.5
1 2
_
_
, b =
_
_
0.5
1
2.5
_
_
.
Les tapes du calcul sont alors les suivantes :
calcul de la dcomposition QR par "qr" ce qui donne A = QR, o R =
_

R
0
_
,
calcul de Q
T
b =
_
c
d
_
,
rsolution de

Rx = c, ce qui donne x =
_
1
0.666667
_
calcul de lerreur |d|
2
2
= 0.1666667.
Retour lexercice
Solution de lexercice III.10
Revoyez le lien entre la norme |.|
2
et le rayon spectral vu au chapitre 2.
(
2
(

R))
2
= |

R|
2
2
|

R
1
|
2
2
= (

R
T

R)((

R
1
)
T

R
1
).
On remarque que A
T
A = R
T
Q
T
QR = R
T
R =

R
T

R donc

2
(A
T
A) =
2
(

R
T

R) = |

R
T

R|
2
||(

R
T

R)
1
|
2
,
or

R
T

R et son inverse sont des matrices symtriques, toujours dans le chapitre 2, on a montr
|R
T
R|
2
= (R
T
R),
on a donc galement
|(

R
T

R)
1
|
2
= ((

R
T

R)
1
) = (

R
1
(

R
T
)
1
) = ((

R
T
)
1

R
1
)
On a utilis le rsultat montr dans le chapitre 2 : (AB) = (BA) on sait dautre part que (

R
T
)
1
= (

R
1
)
T
, ce qui
permet de terminer la dmonstration.
Ce rsultat est important car dans le cas des quations normales on est conduit rsoudre un systme dont la
matrice est A
T
A, dans le cas de la factorisation QR on est amen rsoudre un systme dont la matrice est

R, comme
vous le savez le conditionnement est toujours suprieur 1 donc la matrice

R a un conditionnement plus faible que la
matrice A
T
A, ce qui est intressant numriquement.
Retour lexercice
Aide 1, Question 2a, Exercice A.1.1
Le vecteur inconnu x est x =
_
_
a
b
c
_
_
.
On doit avoir par ailleurs
_
_
_
_
_
_
_
_
_
_
f
a,b,c
(t
1
)
f
a,b,c
(t
2
)
...
f
a,b,c
(t
p
)
f
a,b,c
(t
p+1
)
...
f
a,b,c
(t
m
)
_
_
_
_
_
_
_
_
_
_
= Ax,
dterminez la matrice A.
Retour lexercice
Aide 2, Question 2a, Exercice A.1.1
_
_
_
_
_
_
_
_
_
_
f
a,b,c
(t
1
)
f
a,b,c
(t
2
)
...
f
a,b,c
(t
p
)
f
a,b,c
(t
p+1
)
...
f
a,b,c
(t
m
)
_
_
_
_
_
_
_
_
_
_
=
_
_
_
_
_
_
_
_
_
_
b(e
t
1
1) + ct
1
b(e
t
2
1) + ct
2
...
b(e
t
p
1) + ct
p
a ln(t
p+1
+ 1) + ct
p+1
...
a ln(t
m
+ 1) + ct
m
_
_
_
_
_
_
_
_
_
_
=
_
_
_
_
_
_
_
_
_
_
0 e
t
1
1 t
1
0 e
t
2
1 t
2
... ... ...
0 e
t
p
1 t
p
ln(t
p+1
+ 1) 0 t
p+1
... ... ...
ln(t
m
+ 1) 0 t
m
_
_
_
_
_
_
_
_
_
_
x
do la matrice A.
Retour lexercice
Aide 1, Question 2b, Exercice A.1.1
On sait que p 2 et m > p, donc il y a au moins deux lignes du "premier type" et une ligne du "deuxime type", on
peut donc extraire par exemple la matrice

A =
_
_
0 e
t
1
1 t
1
0 e
t
2
1 t
2
ln(t
m
+ 1) 0 t
m
_
_
Montrez que cette matrice est inversible.
Retour lexercice
Aide 2, Question 2b, Exercice A.1.1
det

A = ln(t
m
+ 1)(t
2
(e
t
1
1) t
1
(e
t
2
1)) = ln(t
m
+ 1)t
1
t
2
_
e
t
1
1
t
1

e
t
2
1
t
2
_
Montrez que les quatre termes du produit sont non nuls.
Retour lexercice
Aide 3, Question 2b, Exercice A.1.1
t
m
> 0 ln(t
m
+ 1) > 0,
t
1
< t
2
< 0,
si lon note a(t) =
(e
t
1)
t
, si on appelle C la courbe dquation y = e
t
, a(t) est gal la pente de la droite qui joint
les deux points de C = (0, 1) et M = (t, e
t
), si t
1
,= t
2
alors a(t
1
) ,= a(t
2
), car si a(t
1
) = a(t
2
) cela signierait que les
points M
1
, M
2
, de C sont aligns, ce qui nest pas possible, on aurait galement pu montrer que la fonction a(t) tait
strictement croissante. Donc
e
t
1
1
t
1

e
t
2
1
t
2
,= 0.

A est donc inversible, A est de rang 3.

Retour lexercice
Aide 1, Question 1, Exercice A.1.2
Sur chaque intervalle [
i
,
i+1
], g(t) est un polynme du premier degr en t dont les coefcients dpendent de i.
Ces coefcients doivent vrier g(
i
) = z
i
, g(
i+1
) = z
i+1
.
Retour lexercice
Aide 2, Question 1, Exercice A.1.2
Sur lintervalle [
i
,
i+1
], on a donc
g(t) =
i
(t
i
) + z
i
, avec
i
=
z
i+1
z
i

i+1

i
= z
i+1
z
i
.
On aurait pu galement dterminer g laide du polynme dinterpolation de Lagrange, vrier que lon obtient
bien la mme chose.
Retour lexercice
Aide 3, Question 1, Exercice A.1.2
Avec le polynme de Lagrange on obtient :
g(t) = z
i
t
i+1

i

i+1
+ z
i+1
t
i

i+1

i
= z
i
(t
i+1
) + z
i+1
(t
i
).
Cest bien sr la mme chose.
Retour lexercice
Aide 1, Question 2, Exercice A.1.2
Les
i
, les t
k
et y
k
sont donns.
Quels sont les paramtres inconnus ?
Quel est leur nombre ?
Retour lexercice
Aide 2, Question 2, Exercice A.1.2
Les six inconnues sont z
0
, z
1
, ..., z
5
.
On peut noter z =
_
_
_
_
_
_
_
_
z
0
z
1
z
2
z
3
z
4
z
5
_
_
_
_
_
_
_
_
.
Retour lexercice
Aide 3, Question 2, Exercice A.1.2
Ecrivez le vecteur
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
g(t
1
)
g(t
2
)
g(t
3
)
g(t
4
)
g(t
5
)
g(t
6
)
g(t
7
)
g(t
8
)
g(t
9
)
g(t
10
)
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
sous la forme Az. Quelle est la taille de la matrice A?
Retour lexercice
Aide 4, Question 2, Exercice A.1.2
Avant tout calcul on sait que A doit avoir 10 lignes et 6 colonnes.
_

_
t
1
=
1
2
[0, 1] = [
0
,
1
] = i = 0 donc g(t
1
) = z
0
(
1

1
2
) + z
1
(
1
2

0
) =
1
2
z
0
+
1
2
z
1
t
2
= 1 [0, 1] = i = 0 donc g(t
2
) = g(
1
) = z
0
(1 1) + z
1
(1 0) = z
1
t
3
=
3
2
[1, 2] = [
1
,
2
] = i = 1 donc g(t
3
) = z
1
(
2

3
2
) + z
1
(
3
2

1
) =
1
2
z
1
+
1
2
z
2
t
4
= 2 [1, 2] donc g(t
4
) = z
2
.
.
.
.
.
.
t
10
= 5 donc g(t
10
) = z
5
Que vaut A?
Retour lexercice
Aide 5, Question 2, Exercice A.1.2
Si on note
A =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
1
2
1
2
0 0 0 0
0 1 0 0 0 0
0
1
2
1
2
0 0 0
0 0 1 0 0 0
0 0
1
2
1
2
0 0
0 0 0 1 0 0
0 0 0
1
2
1
2
0
0 0 0 0 1 0
0 0 0 0
1
2
1
2
0 0 0 0 0 1
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
on a bien
Az =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
g(t
1
)
g(t
2
)
g(t
3
)
g(t
4
)
g(t
5
)
g(t
6
)
g(t
7
)
g(t
8
)
g(t
9
)
g(t
10
)
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Si lon note
y =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
y
1
y
2
y
3
y
4
y
5
y
6
y
7
y
8
y
9
y
10
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
,
on cherche z qui minimise |Az y|
2
.
Retour lexercice
Aide 6, Question 2, Exercice A.1.2
On calcule maintenant le rang de A.
Retour lexercice
Aide 7, Question 2, Exercice A.1.2
Puisque A a 6 colonnes, on sait que rang A 6.
Essayez dextraire de A une matrice carre

A inversible ayant 6 lignes, on aura alors rang A 6, donc rang A = 6.
Retour lexercice
Aide 8, Question 2, Exercice A.1.2
On peut choisir

A =
_
_
_
_
_
_
_
_
A
1
A
2
A
4
A
6
A
8
A
10
_
_
_
_
_
_
_
_
, on a det

A =
1
2
1
2
0 0 0 0
0 1 0 0 0 0
0 0 1 0 0 0
0 0 0 1 0 0
0 0 0 0 1 0
0 0 0 0 0 1
=
1
2
,= 0
donc

A est inversible, donc rang A = 6.
Retour lexercice
Aide 1, Question 1(a)i, Exercice A.1.3
Si lon note
f
1
=
A
1
|A
1
|
2
=
_
_
_
1

3
1

3
1

3
_
_
_
On a
H
(1)
= I 2uu
T
, avec u =
f
1
e
1
|f
1
e
1
|
2
f
1
e
1
=
_
_
_
1

3
1
1

3
1

3
_
_
_, |f
1
e
1
|
2
2
= 2
2

3
,
1
|f
1
e
1
|
2
2
=
3
4
_
1 +
1

3
_
uu
T
=
1
|f
1
e
1
|
2
2
(f
1
e
1
)(f
1
e
1
)
T
.
Pour calculer (f
1
e
1
)(f
1
e
1
)
T
il y a seulement trois termes diffrents calculer :
=
_
1

3
1
_
2
, =
_
1

3
1
_

3
=
1
3

1

3
, =
1

3

1

3
=
1
3
,
(f
1
e
1
)(f
1
e
1
)
T
=
_
_



_
_
, uu
T
=
_
_

_
_
, o =
1
2
_
1
1

3
_
,

=
1
2

3
, =
1
4
_
1 +
1

3
_
On crit enn
H
(1)
= I 2uu
T
.
Retour lexercice
Aide 1, Question 1(a)ii, Exercice A.1.3
Il suft dffectuer le produit, il est cependant possible de prvoir la premire colonne de A
(2)
sans calculs, on a en
effet
A
(2)
1
= H
(1)
A
1
= |A
1
[
2
H
(1)
f
1
= |A
1
|
2
e
1
=
_
_

3
0
0
_
_
Retour lexercice
Aide 1, Question 1(a)iii, Exercice A.1.3
On note
v =
_
3 1

3 1
_
,
f
2
=
v
|v|
2
, e
2
=
_
1
0
_
, u
2
=
f
2
e
2
|f
2
e
2
|
2
, H
(2)
= I 2u
2
u
T
2
, U =
_
1 0
0 H
(2)
_
, A
(3)
= UA
(2)
On a
R = A
(3)
, Q = H
(1)
U.
Retour lexercice