Anda di halaman 1dari 13

Université Paris 1 Panthéon-Sorbonne

UFR 02

Introduction à l’économétrie
Documents de travaux dirigés

Magistère ETE 1ère année


Année universitaire 2014-2015

Antoine Terracol
TD N° 1
Exercice 1 ! !
0 1
On observe les vecteurs y = et x = . On veut contruire un modèle linéaire incluant
1 2
un terme constant où y représente la variable dépendante et x la variable explicative
1. Écrire le modèle sous forme matricielle. Quelle est la taille de l’échantillon ?
2. Calculez les paramètres du modèle en minimisant le somme des carrés des résidus.
−1
3. La formule des moindres carrés est donnée par β̂ = (X 0 X) X 0 y. Appliquez cette
formule pour retrouver les résultats de la question précédente.
4. Donnez le vecteur résiduel dans les deux cas.

Exercice 2
Calculez, pour chacun des cas suivants, l’estimateur des moindres carrés et précisez à
chaque fois la taille des matrices du modèle linéaire avec constante.
   
−1 1
1. y =  1  et x = 2
   

2 2
     
0 1 1
2. y = 1
 , x 1 =

 −1 
 et x 2 =

 −1 

1 2 0
     
0 1 1
3. y = 1, x1 =  2  et x2 =  0 
     

1 −1 −1
Exercice 3
On observe les données de prix et de consommation suivantes :

Table 1 – Prix et consommation


Prix 0.77 0.74 0.72 0.73 0.76 0.75 1.08 1.81 1.39 1.20 1.17
Consommation 2.57 2.50 2.35 2.30 2.25 2.20 2.11 1.94 1.97 2.06 2.02

La régression de la consommation sur le prix et une constante donne les résultats


suivants : β̂0 = 2.691124 et β̂1 = −0.479529. Le nuage de points et la droite de régression
sont représentés sur le graphique suivant

1
Consommation

2.6

2.4

2.2

1.8 Prix
0.8 1 1.2 1.4 1.6 1.8

1. Écrire le modèle sous forme matricielle


2. Représenter graphiquement les résidus estimés. Les calculer pour les deux dernières
observations.
3. À quoi est égale la somme des résidus estimés ? Pourquoi ?

2
TD N° 2 :
Exercice 1
Soient a et x deux vecteurs dans RK et A une matrice symétrique de dimension K × K.
Soit également B une matrice de dimension n × K.
∂a0 x ∂x0 Ax
1. Démontrer que ∂x
= a et que ∂x
= 2Ax
0
2. Démontrer que B B est une matrice symétrique, semi-définie positive. Sous quelles
conditions est-ce que B 0 B est définie positive ?
3. Soit le modèle linéaire
y = Xβ + 
où y ∈ Rn , β ∈ RK et où X est une matrice de plein rang colonne.
Quel est le rang de X ? Déterminer la formule des moindres carrés en minimisant
la somme des carrés des résidus.

Exercice 2
Soit le modèle linéaire
y = Xβ + 
où y ∈ Rn , β ∈ RK et où X est une matrice de plein rang.
On veut déterminer la projection de y sur l’espace engendré par les colonnes de X.
1. Quand est-ce que deux vecteurs de Rn sont orthogonaux ?
2. soit 1 le vecteur constant (contenant uniquement des 1) dans Rn . Sous quelle condi-
tion un vecteur z ∈ Rn est-il orthogonal à 1 ?
3. Définir l’espace engendré par les colonnes de X, noté C (X)
4. Soit ŷ = X β̂ la projection orthogonale de y sur C (X). Déterminez β̂.
5. Soit PX une matrice telle que ŷ = PX y. Quelle est la dimension de PX ? Calculez
PX 0 , PX 2 , PX X, PX (y − ŷ), (In − PX )0 , (In − PX )2 , (In − PX ) X et PX (In − PX ).
Quels sont les rangs et la trace de PX et In − PX ?
6. si k = 1 et X = 1, calculez PX , In − PX et ŷ. Déterminez e = y − ŷ
7. Donnez l’expression de la norme euclidienne kzk d’un vecteur de Rn
Dans la suite de l’exercice, on supposera que 1 ∈ X
8. Soit ȳ la moyenne empirique des éléments de y. On considère le vecteur ȳ = ȳ1.
Démontrer l’égalité suivante en vous servant du théorème de Pythagore :

ky − ȳk2 = kŷ − ȳk2 + ky − ŷk2

9. On définit le coefficient de détermination R2 comme étant


kŷ − ȳk2
R2 =
ky − ȳk2

Montrez que 0 ≤ R2 ≤ 1

3
TD N° 3 :
Exercice 1
Soit le modèle
yi = a + bxi + i , i = 1 . . . n
où i est une variable aléatoire telle que E [i |x] = 0 ; Var (i |x) = σ 2 ∀i et Cov (i , j ) =
0 ∀i 6= j
Soient â et b̂ les estimateurs des MCO de a et b.
1. Écrire le modèle sous forme matricielle.
2. Représentez graphiquement le modèle.
3. Calculez â et b̂ en utilisant la formule des moindres carrés
4. Montrer que la droite de régression passe par le point (x, y).
5. Donner l’expression de la somme des carrés des résidus
6. Définir le concept de décomposition de la variance et dérivez sa formule.
7. Donner l’expression du R2 du modèle
8. Est-ce que â et b̂ sont des cosntantes ou des variables aléatoires ? Dans le second
cas, donner l’expression de leurs deux premiers moments.

Exercice 2
On considère le modèle suivant, dont on suppose les résultats connus :

yi = a + bxi + i , i = 1 . . . n (1)

On considère ensuite les modèles suivants :

yi = a2 + b2 zi + 2i , i = 1 . . . n avec zi = 3xi (2)

wi = a3 + b3 xi + 3i , i = 1 . . . n avec wi = 3yi (3)

wi = a4 + b4 zi + 4i , i = 1 . . . n (4)

yi = a5 + b5 vi + 5i , i = 1 . . . n avec vi = 2xi − 1 (5)

yi = a6 + b6 x̃i + 6i , i = 1 . . . n avec x̃i = xi − x (6)


1. Dans chacun des modèles (2) à (6), exprimer les valeurs suivantes en fonction de
celles du modèle (1) : résidus estimés, SCR, variance expliquée, SCE, R2 , coefficients
estimés.
2. Que pensez vous du modèle (7) suivant ?

yi = a7 + b7 xi + c7 vi + 7i , i = 1 . . . n (7)

4
TD N° 4 :
Exercice 1
On considère le modèle linéaire
y = Xβ + 
avec y ∈ Rn , β ∈ RK et X est une matrice de plein rang.
Soit la décomposition suivante :
 
X = X1 X 2

et !
β1
β=
β2
Soient les projecteurs orthogonaux PX sur C (X) et PXi sur C (Xi ). Soient également
MX = In − PX et MXi = In − PXi
1. Calculez PX PXi , PX MXi , MX MXi , PXi X et MXi X
2. Soient β̂1 et β̂2 les estimateurs des MCO de β1 et β2 dans la régression de y sur
X. Donnez les relations qui existent entre β̂1 et β̂2 .
3. Soient β̂10 l’estimateur MCO de β̂1 dans la régression de y sur X1 et β̂20 l’estimateur
MCO de β̂2 dans la régression
! de
! y sur X2 . Donnez une condition nécessaire et
0
β̂1 β̂1
suffisante pour que 0
=
β̂2 β̂2
4. Démontrez que la régression de y sur X et la régression de MX1 y sur MX1 X2
donnent le même estimateur pour β2 et le même vecteur résiduel e.
5. Démontrez que la régression de y sur X et la régression de y sur MX1 X2 donnent
le même estimateur pour β2 mais des vecteurs résiduels différents.
!
  a
6. Si X = 1 W et β = , déterminez l’estimateur des MCO de b à l’aide du
b
théorème de Frisch-Waugh-Lovell.

5
TD N° 5 :
Exercice 1
Soit le modèle linéaire
y = Xβ + 
avec y ∈ Rn , β ∈ RK et X est une matrice de plein rang. On suppose E [|X] = 0 et
Var (|X) = σ 2 In .
1. Calculer E [y|X] et Var (y|X).
2. Démontrer que β̂ est sans biais.
3. Soit e le vecteur des résidus estimés. Calculez E [e|X] et Var (e|X).
4. Soit s2 = e0 e. Que représente s2 ? Calculer
 
E [s2|X].
5. Calculer Var β̂ , la matrice de variance-covariance de β̂.
6. Démontrer que β̂ est l’estimateur ayant la matrice de variance-covariance la plus
petite dans la classe des estimateurs linéaires sans biais.
Exercice 2

Soit le modèle linéaire


y = Xβ + 
avec y ∈ Rn , β ∈ Rk et X est une matrice de plein rang. On suppose E [|X] = 0 et
0 p
Var (|X) = σ 2 In . On suppose également que XnX −→ Q où Q est inversible.
X0 p
1. Démontrer que n
−→ 0
2. Calculer la limite asymptotique de β̂, plim β̂.

6
TD N° 6 :
Exercice 1
Soit y un vecteur de Rn suivant une loi normale multivariée d’espérance µ et de matrice
de variance-covariance Σ :
y ∼ Nn (µ, Σ)
1. Quelles sont les dimensions de µ et de Σ ?
2. Soit A une matrice de dimension m×n de plein rang, et b un vecteur de Rn . Donner
la loi de Ay + b.
3. On admet que si les variables aléatoires i sont i.i.d. N (0, 1) pour i = 1 . . . n, alors
Pn 2 2
i=1 i ∼ χ(n) .
Quelle est la loi de de (y − µ)0 Σ−1 (y − µ) ?
Pour la suite du TD, on se sert du théorème suivant :

Théorème 1 (Théorème de Cochran)


Soit y ∼ Nn (µ, σ 2 In ) et L1 ⊕ L2 ⊕ · · · ⊕ Lp une décomposition de Rn en sous espaces
orthogonaux de dimension r1 , r2 , . . . , rp tels que pi=1 rp = n. Les projections orthogonales
P

P1 y, P2 y, . . . , Pp y de y sur L1 , L2 , . . . , Lp sont des vecteurs aléatoires gaussiens indépen-


i.i.d.
dants, et pour chaque i = 1 . . . , p on a σ12 kPi yk2 ∼ χ2(ri )

4. Soient y ∼ Nn (µ, σ 2 In ) et X une matrice une matrice n × (K + 1) de plein rang.


Soit PX la matrice de projection sur C (X) et soit MX = In − PX . Démontrer que
PX y et MX y sont indépendants, et que kPX yk2 et kMX yk2 le sont également.
5. Quelle est la loi de kPX yk2 et de kMX yk2 ?
6. On admet que si  ∼ N (0, 1), que s ∼ χ2(ν) et que  ⊥⊥ s, alors

q
s
∼ T(ν)
ν

i.i.d.
Soit ȳ la moyenne empirique de n variables aléatoires yi ∼ N (0, σ 2 ), et soit σ̂ 2 la
variance empirique. Démontrez que
√ ȳ
n ∼ T(n−1)
σ̂

7. On admet que si s1 ∼ χ2(ν1 ) , s2 ∼ χ2(ν2 ) et s1 ⊥⊥ s2 alors

s1 /ν1
∼ F(ν1 ,ν2 )
s2 /ν2
kPX yk2
Quelle est la loi de kMX yk2
?

7
Exercice 2
Soit le modèle linéaire
y = Xβ + 
avec y ∈ Rn , β ∈ RK+1 et X est une matrice de plein rang. On suppose |X ∼ N (0, σ 2 In ).
On considère que ce modèle est le modèle « vrai » ayant généré les données.
1. Quelle est la loi de β̂|X ?
(n−K−1)σ̂ 2 e0 e
2. Quelle est la loi de σ2
|X où σ̂ 2 = n−K−1
?
(n−K−1)σ̂ 2
3. Montrez que β̂k et σ2
sont des variables aléatoires indépendantes
β̂k −βk
4. En déduire la loi de σ̂β̂
où σ̂βk est l’écart-type estimé de β̂k
k

5. Construire un intervalle de confiance au niveau 1 − α pour βk


6. Construire une procédure de test de niveau α pour le jeu d’hypothèses
(
H0 : βk = b
H1 : βk 6= b

8
TD N° 7 :
Exercice 1
Parmi les spécifications suivantes ; quelles sont celles qui peuvent être estimées à l’aide d’un
modèle linéaire ?
y = ax + b (1)

y = ax2 + b (2)

y = ax2 + bx + c (3)

y = a3x + b (4)

c
y= (5)
1 + ae−bx

y = x2 + ax + b (6)

y = a ln (x) + 5 (7)

y = abx cz (8)

a
y= +b (9)
x−1

y = a ln (x) + b5z + c (10)


Exercice 2

Soit le modèle linéaire


y = Xβ + 
avec y ∈ Rn , β ∈ RK+1 et X est une matrice de plein rang. On suppose E [|X] = 0
et Var (|X) = σ 2 In . On considère que ce modèle est le modèle « vrai » ayant généré les
données. !
  γ
Soient les décompositions X = Z W et β = à partir desquelles on peut
δ
réécrire le modèle « vrai » comme

y = Zγ + W δ + 

On s’intéresse ensuite au modèle suivant :

y = Zγ + ν

9
1. À quelle condition a-t-on E [ν|Z] = 0 ?
2. On suppose que Z et W sont orthogonaux. Montrer que l’estimateur des MCO de
γ dans la régression de y sur Z est sans biais.
3. Si Z et W ne sont pas orthogonaux, montrer que l’estimateur des MCO de γ dans
la régression de y sur Z est biaisé.

Exercice 3
Soit le modèle linéaire
y = Xβ + 
avec y ∈ Rn , β ∈ RK et X est une matrice de plein rang. On suppose E [|X] = 0 et
Var (|X) = σ 2 In . On considère que ce modèle est le modèle « vrai » ayant généré les
données.
On considère la régression suivante :

y = Xβ + Zγ +  avec E [|X, Z] = 0
1. Calculer les estimateurs de β dans la régression de y sur X et dans la régression de
y sur X et Z, notés respectivement β̂1 et β̂2 .
2. β̂2 est-il biaisé ?
 
3. Calculer Var β̂2 |X, Z .
   
4. Comparer Var β̂1 |X, Z et Var β̂2 |X, Z

10
TD N° 8 :
Exercice 1

Soit le modèle linéaire


y = Xβ + 
avec y ∈ Rn , β ∈ RK+1 et X est une matrice de plein rang. On suppose E [|X] = 0 et
Var (|X) = σ 2 In .
Soit R une matrice p × (K + 1) et q un vecteur de taille q. On souhaite imposer la
contrainte suivant à l’estimateur de β :

Rβ = q

1. Déterminer l’estimateur de β en minimisant la somme des carrés des résidus sous


la contrainte.
2. Trouver une relation qui relie la différence entre les résidus estimés du modèle
contraint et du modèle non contraint et la différence des estimateurs dans les deux
modèles.
3. Mettre les contraintes suivantes sous la forme Rβ = q :
(a) β1 = 0
(b) β1 = β2
(c) β1 = β2 = · · · = βK = 0
(d) β1 + β2 = 1

Exercice 2
Soit le modèle linéaire
y = Xβ + 
avec y ∈ Rn , β ∈ RK+1 et X est une matrice de plein rang. On suppose |X ∼ N (0, σ 2 In ).
Soit R une matrice constante de dimensions p × K + 1 où p ≤ K + 1 ; et q un vecteur
constant de Rp
1. Calculer E [y|X] et Var (y|X)
2. Déterminer les lois de y|X, de β̂|X ainsi que SCR|X où SCR est la somme des
carrés des résidus.
 
3. Soit σ̂β̂k la racine carrée de l’élément (k + 1, k + 1) de Var
d β̂|X . Démontrer que,

sous l’hypothèse nulle H0 : βk = 0, alors β̂k /σ̂β̂k ∼ T(n−K−1)


4. Déterminer la loi de Rβ̂ − q
5. En utilisant Rβ̂ − q, trouvez une forme quadratique qui suit une χ2 sous Hc : Rβ =
q. Est-il possible d’utiliser cette statistique pour un test ? En utilisant la loi de
Fisher, trouver un ratio de formes quadratiques qui est estimable.

11
6. Soit SCRc la somme des carrés des résidus du modèle contraint, et SCRnc celle du
modèle non contraint. Calculer la loi de
(SCRc − SCR) /p
sous Hc
SCR/ (n − K − 1)

7. On désire tester H0 : βi = 0 contre H1 : βi 6= 0 pour i = 1, . . . , K. Calculer la


statistique du test ainsi que sa loi. Expliquez la notion de p-value.
8. Mêmes question pour le test de H0 : Rβ = q contre H1 : Rβ 6= q

12