Mag RLM

Introduction
Prsentation du modle
Mthode des moindes carrs
Proprits des moindres carrs
Tests
Rgression linaire multiple

Frdric Bertrand et Myriam Maumy1
1 IRMA,
Universit Louis Pasteur

Strasbourg, France
Master 1re Anne 23-03-2009
Frdric Bertrand et Myriam Maumy
Introduction
Tests
Rgression linaire simple

Exemple
Affiner le modle
Problme : tude de la concentration dozone dans lair.

Modle : La temprature (v.a. X ) et la concentration
dozone (v.a. Y ) sont lies de manire linaire :
Y = 0 + 1 X + .
Observations : n = 10 mesures de la temprature et de
la concentration dozone.
But : Estimer 0 et 1 afin de prdire la concentration
dozone connaissant la temprature.
Introduction
Tests

Exemple
Affiner le modle
Introduction
Tests

Exemple
Affiner le modle
Souvent la rgression linaire est trop simpliste. Il faut alors

utiliser dautres modles plus ralistes mais parfois plus
complexes :
Utiliser dautres fonctions que les fonctions affines comme
les fonctions polynmiales, exponentielles,
logarithmiques. . .
Considrer plusieurs variables explicatives.
Exemple : La temprature et la vitesse du vent
Introduction
Tests

Vision pratique
Le principe de la rgression linaire multiple est simple :

Dterminer la variable explique Y .
Exemple : La concentration dozone.
Dterminer (p 1) variables explicatives X1 , . . ., Xp1
Exemple : X1 temprature, X2 vitesse du vent. . .
Il ne reste plus qu appliquer un modle linaire :
Y = 0 + 1 X1 + + p1 Xp1 +
Introduction
Tests

Vision pratique
Dans un chantillon de n individus, on mesure yi , xi,1 , . . ., xi,p1

pour i = 1 . . . n.
Observations Y X1
1
y1 x1,1
2
y2 x2,1
..
..
..
.
.
.
n
yn xn,1
. . . Xp1
. . . x1,p1
. . . x2,p1
..
..
.
.
. . . xn,p1
Remarque : Les variables xi,j sont fixes tandis que les

variables yi sont alatoires.
Introduction
Tests
Mthode
Version matricielle
Les calculs
Cas p = 2
Exemple avec le logiciel R
But :
Estimer les paramtres 0 , . . ., p1 du modle de rgression

et ce de manire optimale.
Mthode : La mthode des moindres carrs. Cette mthode
revient minimiser la quantit suivante :
n
X

2
yi 0 + 1 xi,1 + + p1 xi,p1
.
i=1
Introduction
Tests
Le systme peut se rcrire :
y1
1 x1,1
..
..
..
..
. = .
.
.
yn
y
1 xn,1
X
Mthode
Version matricielle
Les calculs
Cas p = 2
x1,p1
0
1
..
.
..
. + ..
.
p1
n
xn,p1
Vecteur des rsidus : = y y = y X.

Remarque : Les variables y et X sont mesures tandis que
lestimateur est dterminer.
La mthode des moindres carrs consiste trouver le vecteur
qui minimise kk2 = t .
Introduction
Tests
kk2 =
Mthode
Version matricielle
Les calculs
Cas p = 2

y X^ y X^
= t yy t t Xy t yX + t t XX
= t yy 2t t Xy + t t XX
car t t Xy est un scalaire. Donc il est gal sa transpose.

La drive par rapport est alors gale :
2t Xy + 2t XX.
Introduction
Tests
Mthode
Version matricielle
Les calculs
Cas p = 2
Problme : On cherche qui annule cette drive. Donc

on doit rsoudre lquation suivante :
t
XX = t Xy.
Solution : On trouve aprs avoir invers la matrice t XX (il

faut naturellement vrifier que t XX est carre et inversible
cest--dire quaucune des colonnes qui compose cette
matrice ne soit proportionnelle aux autres colonnes)
= (t XX)1t Xy.
Introduction
Tests
Mthode
Version matricielle
Les calculs
Cas p = 2
Retrouvons les rsultats de la rgression linaire simple (p = 2)

P

P
n
x
y
t
t
P 2i
.
;
Xy = P i
XX = P
xi yi
xi
xi
Donc :
t
( XX)
=
=
P 2
P
1
x
xi
i
P
P 2
P 2
xi
n
n xi ( xi )

P 2
1
xi /n x
P
.
2
x
1
(xi x )
Introduction
Tests
Finalement on retrouve bien :
0
1
Mthode
Version matricielle
Les calculs
Cas p = 2
P 2
P
xi x xi yi
P
(xi x )2
P
x y nx y
Pi i
(xi x )2
ce qui correspond aux estimateurs de la rgression linaire

simple que nous avons dj rencontrs dans le cours 1.
Introduction
Tests
> a <- lm(max03

> summary(a)
Call :
lm(formula = max03
Mthode
Version matricielle
Les calculs
Cas p = 2
T12 + VX)
T12 + VX)
Residuals :
Min 1Q Median 3Q Max
-47.860 -10.561 5.119 10.645 26.506
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 36.6520 26.5324 1.381 0.210
T12 2.6623 1.4202 1.875 0.103
VX 0.5431 0.7775 0.699 0.507
Residual standard error : 24.78 on 7 degrees of freedom
Multiple R-Squared : 0.3351, Adjusted R-squared : 0.1452
F-statistic : 1.764 on 2 and 7 DF, p-value : 0.2396
Introduction
Tests
la Pythagore
Coefficient de dtermination
Rsultats prliminaires :
P
y
= t yy
yi2 = yi yi ou (forme matricielle) t y

P
P
yi = yi
Proprit des moindres carrs :

P
P
P
(yi y )2 =
(yi y )2 +
(yi yi )2
SCtot
=
SCreg
+
SCres
Introduction
Tests
la Pythagore
Introduction
Tests
la Pythagore
Le coefficient de dtermination est dfini par :

R2 =
SCreg
.
SCtot
Intuitivement ce coefficient de dtermination quantifie la

capacit du modle expliquer les variations de Y .
Si R 2 est proche de 1 alors le modle est proche de la
ralit.
Si R 2 est proche de 0 alors le modle explique trs mal la
ralit. Il faut alors trouver un meilleur modle.
Introduction
Tests
Hypothses pour les tests

Estimation de 2
Tests dhypothses
On fait les hypothses suivantes :

y = X +
o le vecteur alatoire suit une loi multinormale qui vrifie les
hypothses suivantes :
E[] = 0
Var [] = 2 In ,
o 2 est la variance de la population et In est la matrice
identit de taille n.
Introduction
Tests

Estimation de 2
Tests dhypothses
Ceci implique que :

E[y] = X
Var [y] = 2 In .
On peut alors dmontrer, sous ces hypothses :
= . Ce qui signifie que est un estimateur sans biais
E[]
= 2 (t XX)1 .
Var []
Il reste un problme : Estimer la variance 2 qui est a priori
une quantit inconnue.
Introduction
Tests

Estimation de 2
Tests dhypothses
Un estimateur sans biais de la variance 2 est dfini par :

P
SCtot SCreg
(yi yi )2
SCres
2
s =
=
=
,
np
np
np
o
n est le nombre dindividus/dobservations,
p est le nombre de variables explicatives.
On appelle la quantit (n p) le nombre de degrs de libert.
Introduction
Tests

Estimation de 2
Tests dhypothses
But : Tester lhypothse nulle

H0 : j = bj
pour j = 0, . . . , p 1
contre lhypothse alternative

H1 : j 6= bj
pour j = 0, . . . , p 1.
Introduction
Tests

Estimation de 2
Tests dhypothses
Mthode :
Calculer la statistique
tobs =
j bj
s(j )
o s2 (j ) est llment diagonal dindice j de s2 (t XX)1 .

Si lhypothse nulle H0 est vraie, alors tobs suit une loi de
Student avec (n p) degrs de libert.
Introduction
Tests

Estimation de 2
Tests dhypothses
Valeur critique : t(/2,np) le (1 /2)-quantile dune loi de

Student avec (n p) degrs de libert (cf table de la loi de
Student).
On rejette lhypothse nulle H0 si |tobs | t(/2,np) .
Cas particulier : Tester si j = 0 pour un certain j.
Si lhypothse nulle H0 : j = 0 est acceptable alors la
variable Xj nest pas significative au sein du modle. On peut
simplifier le modle, . . .et recommencer !

Mag RLM

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Mag RLM

Diunggah oleh

Hak Cipta:

Format Tersedia

Introduction

Rgression linaire multiple

Universit Louis Pasteur

Master 1re Anne 23-03-2009

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Rgression linaire simple

Problme : tude de la concentration dozone dans lair.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Frdric Bertrand et Myriam Maumy

Rgression linaire simple

Rgression linaire multiple

Rgression linaire simple

Souvent la rgression linaire est trop simpliste. Il faut alors

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Rgression linaire multiple

Le principe de la rgression linaire multiple est simple :

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Rgression linaire multiple

Dans un chantillon de n individus, on mesure yi , xi,1 , . . ., xi,p1

Remarque : Les variables xi,j sont fixes tandis que les

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Estimer les paramtres 0 , . . ., p1 du modle de rgression

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Le systme peut se rcrire :

Vecteur des rsidus : = y y = y X.

Rgression linaire multiple

car t t Xy est un scalaire. Donc il est gal sa transpose.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Problme : On cherche qui annule cette drive. Donc

Solution : On trouve aprs avoir invers la matrice t XX (il

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Retrouvons les rsultats de la rgression linaire simple (p = 2)

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Finalement on retrouve bien :

ce qui correspond aux estimateurs de la rgression linaire

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

> a <- lm(max03

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

yi2 = yi yi ou (forme matricielle) t y

Proprit des moindres carrs :

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Le coefficient de dtermination est dfini par :

Intuitivement ce coefficient de dtermination quantifie la

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Hypothses pour les tests

On fait les hypothses suivantes :

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple