1

Mthode des moindres

carrs
2
Mthodes des moindres carrs
Chapitre 6 du polycopi
La mthode des moindres carrs permet de comparer des donnes exprimentales,
gnralement entaches derreurs de mesure un modle mathmatique cens
dcrire ces donnes.
Ce modle peut prendre diverses formes. Il sagira en gnral de lois de
conservation que les quantits mesures doivent respecter. La mthode des
moindres carrs permet alors de minimiser limpact des erreurs exprimentales et
valuer les valeurs plus probables des paramtres de la loi recherche, ainsi
ajoutant de linformation dans le processus de mesure.
3
Les donnes suivent la courbe
figure en pointills et sont
affectes par une erreur
alatoire.
Elles sont reprsentes
graphiquement sous la forme de
points de mesures, munis de
barres d'erreur.
Le meilleur ajustement dtermin
par la mthode des moindres
carrs est reprsent en rouge.
Il s'agit de la fonction qui
minimise la somme
quadratique des carts
(appels rsidus) entre les
donnes et le modle.
4
Dans le cas le plus courant, le
modle thorique est une famille de
fonctions (x,) dune ou plusieurs
variables x, indexes par un ou
plusieurs paramtres inconnus.
La mthode des moindres carrs
permet de slectionner parmi ces
fonctions, celle qui reproduit le
mieux les donnes
exprimentales. On parle dans ce
cas dajustement par la mthode des
moindres carrs.
Si les paramtres ont un sens
physique la procdure dajustement
donne galement une estimation
indirecte de la valeur de ces
paramtres.
5
La mthode consiste en une prescription (initialement empirique) qui est que
la fonction (x;) qui dcrit le mieux les donnes est celle qui minimise la
somme quadratique des dviations des mesures aux prdictions de (x;) .
Si par exemple, nous disposons de N mesures, (y
i
) avec i = 1, N,
les paramtres optimaux au sens de la mthode des moindres carrs sont
ceux qui minimisent la quantit :
o les r
i
() sont les rsidus au modle, i.e. les carts entre les points de
mesure y
i
et le modle f (x;).
S() peut tre considr comme une mesure de la distance quadratique
entre les donnes exprimentales et le modle thorique qui prdit ces
donnes.
La prescription des moindres carrs commande que cette distance soit
minimale.
6
Sa grande simplicit fait que cette mthode est trs couramment utilise de
nos jours en sciences exprimentales.
Une application courante est le lissage des donnes exprimentales par une
fonction empirique (fonction linaire, polynomes ou splines).
Cependant son usage le plus important est probablement la mesure de
quantits physiques partir de donnes exprimentales.
Dans de nombreux cas, la quantit que lon cherche mesurer nest pas
observable et napparat quindirectement comme paramtre dun modle
thorique f (x, ).
Dans ce dernier cas de figure, il est possible de montrer que la mthode des
moindres carrs permet de construire un estimateur de , qui vrifie certaines
conditions doptimalit.
Par ailleurs, dans tous les cas, les estimateurs obtenus sont extrmement
sensibles aux points aberrants: on traduit ce fait en disant quils sont non
robustes. Plusieurs techniques permettent cependant de robustifier la
mthode.
7
Rgression linaire
Une rgression linaire est l'ajustement d'une loi linaire du type
y = x +
sur des mesures indpendantes, fonction d'un paramtre connu x.
Ce type de situation se rencontre par exemple lorsque l'on veut calibrer un
appareil de mesure simple (ampremtre, thermomtre) dont le
fonctionnement est linaire.
y est alors la mesure instrumentale (dviation d'une aiguille, nombre de pas
d'un ADC, ...) et x la grandeur physique qu'est cens mesurer l'appareil,
gnralement mieux connue, si l'on utilise une source de calibration fiable.
La mthode des moindres carrs permet alors de mesurer la loi de
calibration de l'appareil, d'estimer l'adquation de cette loi aux mesures de
calibration (i.e. dans le cas prsent, la linarit de l'appareil) et de propager
les erreurs de calibration aux futures mesures effectues avec l'appareil
calibr.
8
Les donnes suivent la loi figure en
pointills et sont affectes d'erreurs
gaussiennes.
L'ajustement dtermin (courbe rouge) est le
meilleur estimateur de la pente et de
l'ordonne l'origine compte tenu de la
quantit d'information contenu dans les
points de mesure.
Ajustement d'un modle de type
y = a x + b
par la mthode des moindres carrs
9
Rgression linaire: calcul des coefficients
La prescription des moindres carrs s'crit pour ce type de modle:
( ) ( ) ( )

= =
= =
N
i
i i
N
i
i i
x y x f y S
1
2
1
2
; | o u
Le minimum de cette expression est trouv quand les deux drives
partielles S/ et S/ sont gales zro:
( )( )
( )( )

=
=
= =
c
c
= =
c
c
N
i
i i
N
i
i i i
x y
S
x x y
S
1
1
0 1 2
0 2
| o
|
| o
o
Ce qui donne le systme dquations suivantes:


= =
= = =
= +
= +
N
i
i
N
i
i
N
i
i i
N
i
N
i
i i
y x
y x x x
1 1
1 1 1
2
| o
| o
10
Ce systme dquations:
peut tre crit en forme matricielle:
ce qui donne la solution:
(
(
(
(

=
(

(
(
(
(

=
=
=
= =
N
i
i
N
i
i i
N
i
i
N
i
i
N
i
i
y
y x
x
x x
1
1
1
1 1
2
1
|
o


= =
= = =
= +
= +
N
i
i
N
i
i
N
i
i i
N
i
N
i
i i
y x
y x x x
1 1
1 1 1
2
| o
| o
(
(
(
(

(
(
(
(

=
(

=
=
=
= =
N
i
i
N
i
i i
N
i
i
N
i
i
N
i
i
y
y x
x
x x
1
1
1
1 1
2
1
1
|
o
11
Rgression linaire: un algorithme de calcul pratique
Si on dfini les sommes suivantes:
les coefficients et sont ensuite calculs par:
N N XY
N XX
N Y
N X
y x y x y x S
x x x S
y y y S
x x x S
+ + + =
+ + + =
+ + + =
+ + + =
...
...
...
...
2 2 1 1
2 2
2
2
1
2 1
2 1
N
S S
S S S N
S S S N
X Y
X X XX
Y X XY
o
|
o

=
12
Rgression linaire cas particulier: calcul de la pente si on suppose (ou
impose) le passage de la droite par zro
La droite cherche est du type y = o x .
La prescription des moindres carrs s'crit pour ce type de modle:
( ) ( ) ( )

= =
= =
N
i
i i
N
i
i i
x y x f y S
1
2
1
2
; o u
Le minimum de cette expression est trouv quand la drive partielle S/
est gale zro:
( )( )

=
= =
c
c
N
i
i i i
x x y
S
1
0 2 o
o
Ce qui donne:
XX
XY
N
i
i
N
i
i i
N
i
i i
N
i
i
S
S
x
y x
y x x = = =

=
=
= =
1
2
1
1 1
2
o o donc et
13
Evaluation de lcart-type par rapport la rgression
Diagramme avec barres derreurs
rgression linaire
y = 0.6364x + 0.5455
-2
0
2
4
6
8
10
12
0 5 10 15
X
Y
y
Linaire (y)
14
Problme
On souhaite tester diffrentes formes de rgressions linaires sur l'ensemble des
points donns dans le tableau suivant:
x=
1 3 4 6 8 9 11 14
y=
1 2 4 4 5 7 8 9
1. par minimisation de la somme des carrs des carts sur les ordonnes.
2. par minimisation de la somme des carrs des carts sur les ordonnes et en
forant la droite passer par l'origine
Faire lexercice avec Excel mais sans utiliser loption courbe de tendance
Dterminer les coefficients des droites de rgression correspondantes aux
diffrents critres mentionns et les reprsenter sur un graphe avec galement
les points figurant dans le tableau.
Evaluer ensuite lcart-type des carts rsiduels et tracer le diagramme avec les
barres derreur.
Vrifier quon obtient les mmes rsultats avec loption courbe de tendance
15
Rgressions curvilinaires
Dans de nombreux problmes, une relation nette apparat entre les variables
tudies, mais cette relation nest pas linaire.
Il peut alors tre utile de procder l'ajustement d'une courbe de rgression
au nuage de points observs.
Deux problmes distincts se posent alors:
1. le choix de l'quation de la courbe (donc choix d'un certain type de
fonction),
2. la dtermination des paramtres intervenant dans cette quation.
Il existe des rgressions polynomiales, exponentielles, logarithmiques,.
16
Rgressions curvilinaires avec Excel
17
18
Le coefficient de dtermination R
Le coefficient de dtermination value la comparaison des valeurs
estimes par la rgression aux valeurs relles et varie entre 0 et 1.
Un coefficient de dtermination gal 1 indique une corrlation
parfaite de l'chantillon (aucune diffrence entre les valeurs y
estimes et relles).
A l'inverse, un coefficient de dtermination gal 0 (zro) indique
que l'quation de rgression ne peut servir prvoir une valeur y.
19
Problme
Dterminer avec Excel les coefficients A et B de la loi
y = Ax
B
pour lensemble des points suivants:
20
21
Ajustement d'un modle linaire
Un modle f(x;) est linaire, si sa dpendance en est linaire.
Un tel modle
o les
k
sont n fonctions quelconques de la variable x.
Un tel cas est trs courant en pratique: tous les types de rgressions
proposs par Excel son linaires sauf la puissance.
Plus gnralement tout modle polynomial est linaire, avec

k
(x) = x
k
.
Aussi, de trs nombreux modles utiliss en sciences exprimentales
sont des dveloppement polynomiaux sur des bases fonctionnelles
classiques (splines, bases de Fourier, bases d'ondelettes, etc.).
22
Dans le cas le plus gnral on trouve que les u
min
qui minimisent les carts
entre une fonction linaire
et une srie de donnes y
i
(x
i
), sont trouvs par lexpression matricielle
avec les dfinitions suivantes:
La matrice J est appele matrice jacobienne du problme. C'est une matrice
rectangulaire, de dimension N x n, avec gnralement N >> n.
Elle contient les valeurs des fonctions de base
k
pour chaque point de mesure.
La matrice diagonale West appele matrice des poids: elle prends en compte
le fait que chaque valeur de y
i
peut tre affect dun cart type diffrent.
Si ce nest pas le cas, Wpeut tre remplac par la matrice unit.
23
Ajustement d'un polynme linaire
Le cas d'ajustement dun polynme d'ordre k un ensemble de n points de
mesures donns par les couples (x
i
, y
i
) admet des mthodes de solution
assez simples mettre en uvre.
Dfinissons le polynme recherch comme:
Les inconnues sont les valeurs des a
k
.
Il faut donc disposer de k+1 quations.
Multiplions successivement la relation prcdente par x
1
, x
2
, x
k
, on
obtient le systme dquations suivantes:
y x a x a x a x a x a
k
k
= + + + + + ... ..........
3
3
2
2
1
1
0
0
k k k
k
k k k k
k
k
k
k
k
k
x y x a x a x a x a x a
x y x a x a x a x a x a
x y x a x a x a x a x a
y x a x a x a x a x a
= + + + + +
= + + + + +
= + + + + +
= + + + + +
+ + + +
+
+
... ..........
.. ..........
... ..........
... ..........
... ..........
3
3
2
2
1
1 0
2 2 5
3
4
2
3
1
2
0
1 1 4
3
3
2
2
1
1
0
3
3
2
2
1
1
0
0
24
On crit ces k+1 relations pour tous les n points P
i
, de coordonnes x
i
, y
i
,
puis l'on somme toutes les quations par catgorie.
On obtient ainsi:
(
(
(
(
(
(
(
(
(

=
(
(
(
(
(
(

(
(
(
(
(
(
(
(
(

=
=
=
= =
+
=
+
=
=
+
= = =
= = =
n
i
k
i i
i
n
i
i
n
i
i
k
n
i
k
i
n
i
k
i
n
i
k
i
n
i
k
i
n
i
k
i
n
i
i
n
i
i
n
i
i
n
i
k
i
n
i
i
n
i
i
x y
x y
y
a
a
a
x x x x
x x x x
x x x n
1
1
1
1
0
1
2
1
2
1
1
1
1
1
1
3
1
2
1
1
1 1
2
1
1
.....
....
....
....
.....
..... ..... ..... ..... .....
..... ..... ..... ..... .....
.....
.....
25
Enfin les valeurs a
o-k
sobtiennent par la solution de lquation
matricielle suivante:
(
(
(
(
(
(
(
(
(

(
(
(
(
(
(
(
(
(

=
(
(
(
(
(
(

=
=
=
= =
+
=
+
=
=
+
= = =
= = =
n
i
k
i i
i
n
i
i
n
i
i
n
i
k
i
n
i
k
i
n
i
k
i
n
i
k
i
n
i
k
i
n
i
i
n
i
i
n
i
i
n
i
k
i
n
i
i
n
i
i
k
x y
x y
y
x x x x
x x x x
x x x n
a
a
a
1
1
1
1
2
1
2
1
1
1
1
1
1
3
1
2
1
1
1 1
2
1
1
1
0
.....
....
1
.....
..... ..... ..... ..... .....
..... ..... ..... ..... .....
.....
.....
....
....
26
Problme
Ajuster une parabole (polynme dordre 2) par les points suivants:
x
-4.1 -3.2 -1.8 -1 0 0.95 2.1 2.9 4.0
y
26 15.2 8.1 3.9 1.8 3.7 7.7 16 24.5
Faire lexercice avec
1. Excel
2. Matlab, par la fonction polyfit
27
Cette quation peut s'crire aussi:
ou:
avec:
2 2
2 2 y x c by ax + = + +
2 2 2
) ( ) ( R b y a x = +
2 2 2 2 2
) ( 2 2 y x b a R by ax + = + +
Soit un cercle de rayon R dont l'quation est donne par:
2 2 2
b a R c =
Ajustement d'un cercle
28
on obtient:
2 2
2 2 y x c by ax + = + +
Les inconnues sont
a, b, les coordonnes x,y du centre
c qui donnera R, rayon du cercle recherch
Il faut donc disposer de 3 quations.
En multipliant une fois par x et une fois par y la relation:
3 2 2
2 3 2
2 2
2 2
y y x y c by axy
xy x x c bxy ax
+ = + +
+ = + +
et
29
On crit ces trois relations pour tous les N points P
i
, de coordonnes x
i
,
y
i
, puis l'on somme toutes les quations par catgorie.
On obtient ainsi:
Ajustement d'un cercle par la mthode des moindres carrs
On a donc labor les trois relations suivantes:
3 2 2
2 3 2
2 2
2 2
2 2
2 2
y y x y c y b axy
xy x x c xy b x a
y x c y b x a
+ = + +
+ = + +
+ = + +



+ = + +
+ = + +
+ = + +
i i
i i
i
i
i
i
i
i i i
i i i
i i i
i
i i i
i
i
i
i
i
i
i
i
i
i
y y x y c y b y x a
y x x x c y x b x a
y x N c y b x a
3 2 2
2 3 2
2 2
2 2
2 2
2 2
30
Scrit sous forme matricielle:



+ = + +
+ = + +
+ = + +
i i
i i
i
i
i
i
i
i i i
i i i
i i i
i
i i i
i
i
i
i
i
i
i
i
i
i
y y x y c y b y x a
y x x x c y x b x a
y x N c y b x a
3 2 2
2 3 2
2 2
2 2
2 2
2 2
(
(
(
(
(

+
+
+
=
|
|
|
.
|

\
|

(
(
(
(
(

i
i i
i
i
i i
i i i
i
i
i
i
i
i
i
i
i
i i
i
i
i
i i
i
i
i
i
i
i
y y x
y x x
y x
c
b
a
y y y x
x y x x
N y x
3 2
2 3
2 2
2
2
2
2
Le systme dquations:
31
Ajustement d'un cercle par la mthode des moindres carrs
Enfin les valeurs de 2a, 2b, c sobtiennent par la solution de lquation
matricielle:
(
(
(
(
(

+
+
+

(
(
(
(
(

=
|
|
|
.
|

\
|






i
i i
i
i
i i
i i i
i
i
i
i
i
i
i
i
i
i i
i
i
i
i i
i
i
i
i
i
i
y y x
y x x
y x
y y y x
x y x x
n y x
c
b
a
3 2
2 3
2 2
2
2
1
2
2
32
Problme
Dterminer (avec Matlab) le rayon R et les coordonnes du centre C
du cercle des moindres carrs passant parmi les points dont les
coordonnes polaires sont les suivantes:
R (mm) 83 64 50 54 70 88 93 91
u () 0 45 90 135 180 225 270 315
33
Plus de 2 variables:
Ajustement d'un plan un ensemble de points de
coordonnes x
1
y
1
z
1
, x
2
y
2
z
2
, ... x
n
y
n
z
n
Dans le cas des problmes comportant plus de deux variables, le
processus de rsolution est le mme que pour deux variables.
Si par exemple, il existe une relation entre les variables x, y et z, celle-ci
peut tre exprime l'aide de l'quation suivante:
Cette quation reprsente un plan dans un systme de coordonnes trois
dimensions.
c by ax y x f z + + = = ) , (
34
35
Ajustement d'un plan par la mthode des moindres carrs
36
(
(
(
(
(

(
(
(
(
(

=
|
|
|
.
|

\
|

i
i
i
i i
i
i i
i
i
i
i
i
i
i
i
i
i i
i
i
i
i i
i
i
z
z y
z x
n y x
y y y x
x y x x
c
b
a
1
2
2
Enfin les valeurs de a, b, c pour le plan
sobtiennent par:
c by ax y x f z + + = = ) , (