chapitre 1 définition d'un modèle de régression

Dans ce chapitre introduit la notion de modèle linéaire par la version la plus

élémentaire : expliquer X Après avoir expliciter les hypothèses nécessaires et
les termes du modèle, les notions d’estimation des paramètres du modèle

Définition du modèle de régression linéaire

Le modèle de régression linéaire simple est une variable dépendante expliquée
par une seule variable indépendante mise sous forme mathématique suivante :

Y i =b 1 +b 2 X i +e t i = 1 n

 X i est une variable aléatoire observée appelée régresseur

 Y i est une variable aléatoire observée, appelée variable à expliquer
 b 1 et b 2 sont des paramètres réels inconnus appelés paramètres de
régression
 les e i sont des variables aléatoires indépendantes, appelées erreurs ou
bruits,

Les hypothèses relatives à ce modèle sont les suivantes

 E (e i ) = 0 ’erreur est centrée

 var (e ) = E (e ) =j
i i
2 2
variance constante
 b 1 et b 2 sont constants,

estimation des paramètres par la méthode des Moindres

Carrés
On appelle estimateurs des Moindres Carrés minimisant la quantité
n
S (b 1 ,b 2 ) = å ( y i - b 1 - b 2 x i )
i =1

Calcul des estimateurs de b 1 et b 2

La fonction de deux variables S est une fonction quadratique et sa
minimisation ne pose aucun problème,

b 1 = y - b 2x
n
å (x
i =1
i -x )( y i - y )
b2= n 2
å (x
i =0
i -x )
Preuves. La première méthode consiste à remarquer que la fonction S (b 1 ,b 2 )
est strictement convexe, donc qu’elle admet un minimum en un unique point

(b ,b ) lequel est déterminé en annulant les dérivées partielles de S . On

1 2

obtient les “équations normales”

ìdS n
ï = - 2å y i - b 1 - b 2 x i = 0
( )
ïd b 1 i =1
í
ïdS n
ï = - 2å x i y i - b 1 - b 2 x i = 0
( )
ïî d b 2 i =1

La première équation donne :

n n
b 1n +b 2 å x i =å y i
i =1 i =1

où x et y sont comme d’habitude les moyennes empiriques des x i et des

y i . La seconde équation donne :
n n n
b 1å x i +b 2 å x =å x i y i i
2

i =1 i =1 i =1

et en remplaçant b 1 par son expression

n n n
å
i =1
xi yi - å xi y
i =1
å (x
i =1
i -x )( y i - y )
b2= n n
= n 2
å
i =1
x - å xi x
i
2

i =1
å(
i =0
xi - x )
La consistance de la méthode d estimation
Théorème 1 (Estimateurs sans biais)

b 1 et b 2 sont des estimateurs sans biais de b 1 et b 2

Preuve

1 æn ö
E b1( ) ( = E y - b 2 x = E y - E b 2 x = E çå y i ÷ - b 2 x
) () ( )
n è i =1 ø

1 æn ö
E çå b 1 +b 2 x i ÷ - b 2 x =b 1 - b 2 x i +b 2 x i =b 1
n è i =1 ø
æn ö æn ö
ç å x i - x y i - y ÷ E çå x i - x y i - y ÷
( )( ) ( )( )
= E çç i =1 n ÷ = è i =1 ø
E b ( ) 2
çç å
2 ÷
÷ å
n 2

è i =0
xi - x ÷
ø ( i =0
xi - x ) ( )
n n n
å (x
i =1
i )
- x E (yi ) å (x
i =1
i -x ) (b 0 +b 1x i ) å (x
i =1
i )
- x b 1x i
= n 2
= n 2
= n 2
=
å (x
i =0
i -x ) å (x
i =0
i -x ) å (x
i =0
i -x )
n n 2

=
å (x
i =1
i ) (
- x b 1 xi - x ) =b å (x - x )
1
i =0
i
=b 1
n 2 n 2
å (x
i =0
i -x ) å (x - x )
i =0
i

Théorème 1.2 (Variances et covariance)

 æ ö
ç 2 ÷ 2
1 x
= çç + n ÷s s
var b 1 ( ) çç n å x i - x
2 ÷
÷
2
var b ( ) =å 2 n 2

è i =0
( ) ÷
ø i =0
(x i -x )
Preuve
2

( ) (
var b 1 = var y - b 2 x = var y + x ) ( ) ( ) var (b ) 2

æ ö
2 2 ç 2 ÷
s s 1 x
= çç + n ÷s
2
=
n
+ x() n 2
çç n å x i - x
2 ÷
2

å (x
i =0
i -x ) è i =0
( ) ÷
÷
ø
æn ö
çå x i - x y i - y ÷
( )( )
( )
var b 2 = var çç i =1 n 2
÷
÷
çç
è
å
i =0
xi - x ÷
÷
ø ( )
1 æn ö
= var çå x i - x ( )( yi - y ÷ )
æn 2ö
2
è i =1 ø
çå ( xi - x ÷ )
è i =0 ø
n 2
å (x
i =1
i ) var ( y - y ) = s
-x i 2
=
æ ö 2 n 2
å (x
n
çå ( x - x ) ÷
è i =0 ø
i
2

i =0
i -x )
2
s x
cov b 1 ,b ( 2 ) =- n
å (x
2

i =0
i -x )
Preuve
 2

(
cov b 1 ,b 2 ) (
= cov y - b 2 x ,b 2 ) (
= cov y ,b 2 ) ( ) cov (b ,b )
- x 2 2

2
= cov y ,b ( 2 ) ( ) var (b )
- x 2

la covariance entre y et b 2 s’écrit

æ n ö
ç å xi - x yi - y ÷ ( )( )
cov y ,b ( 2 ) = cov çç y , i =1 n 2
÷
÷
çç
è
å
i =0
xi - x ÷
÷
ø ( )
1 æn ö
= n
cov çå x i - x ( )( )
yi - y ;y ÷
2
è i =1 ø
å(
i =0
xi - x )
1 æn ö
= n
cov çå i x - x y i ; y ÷= ( )
2
è i =1 ø
å(
i =0
xi - x )
1 æn n ö
= n
cov çå x i - x y i ; å y i ÷ ( )
nå
2
è i =1 ø
i =0
( xi - x ) i =0

1 n
= n 2 å (x i ) (
- x cov y i ; y j )
nå x i - x ( ) j ;i =0

i =0

On a
 (
cov y i ; y j = E) ( (
( y i - Ey i ) y j - Ey j )) = E (e ie i) =s 2
d ij

Donc

( )
cov y ,b 2 = 0

2 2
cov (b ,b ) = cov ( y ,b ) - ( x ) var (b ) = - ( x ) var (b )
1 2 2 2 2

2
s x
cov (b ,b ) = -1 2 n 2
å x -x i =0
( i )
Théorème 1.3 (Gauss-Markov)
Parmi les estimateur sans biais linéaires en Y les estimateurs b 1 et b 2 variance
minimale.