J. M. Rojo Abun
Instituto de Economa y Geografa
Madrid, II-2007
ndice
I.
II.
III.
IV.
V.
VI.
VII.
VIII.
INTRODUCCIN...................................................................................................2
EL MODELO DE REGRESIN LINEAL MLTIPLE.........................................5
HIPTESIS..............................................................................................................6
ESTIMACIN DE LOS PARMETROS POR MNIMOS CUADRADOS.........7
VARIANZA RESIDUAL.......................................................................................11
CONTRASTE DE REGRESIN..........................................................................13
COEFICIENTE DE DETERMINACIN R2........................................................16
DIAGNOSIS Y VALIDACIN DE UN MODELO DE REGRESIN LINEAL
MLTIPLE............................................................................................................17
VIII.1. Multicolinealidad..................................................................................................17
VIII.2. Anlisis de residuos..............................................................................................18
VIII.3. Valores de influencia (leverage)...........................................................................20
VIII.4. Contrastando las hiptesis bsicas........................................................................21
VIII.5. Homocedasticidad................................................................................................22
VIII.6. Errores que deben de evitarse...............................................................................23
IX.
X.
I.
Introduccin
En el capitulo anterior se ha estudiado el modelo de regresin lineal simple,
donde se analizaba la influencia de una variable explicativa X en los valores que toma
otra variable denominada dependiente (Y).
En la regresin lineal mltiple vamos a utilizar ms de una variable explicativa;
esto nos va a ofrecer la ventaja de utilizar ms informacin en la construccin del
modelo y, consecuentemente, realizar estimaciones ms precisas.
Al tener ms de una variable explicativa (no se debe de emplear el trmino
independiente) surgirn algunas diferencias con el modelo de regresin lineal simple.
Una cuestin de gran inters ser responder a la siguiente pregunta: de un vasto
conjunto de variables explicativas: x1, x2, , xk,
la variable dependiente Y.
En definitiva, y al igual que en regresin lineal simple, vamos a considerar que
los valores de la variable dependiente Y han sido generados por una combinacin lineal
de los valores de una o ms variables explicativas y un trmino aleatorio:
y b0 b1 x1 b2 x2 ... bk xk u
Los coeficientes son elegidos de forma que la suma de cuadrados entre los
valores observados y los pronosticados sea mnima, es decir, que se va a minimizar la
varianza residual.
Esta ecuacin recibe el nombre de hiperplano, pues cuando tenemos dos
variables explicativas, en vez de recta de regresin tenemos un plano:
Linear Regression
sexo
mujer
mujer
mujer
mujer
mujer
mujer
mujer
mujer
estatura l_roxto
X1
158
152
168
159
158
164
156
167
X6
39
38
43
40
41
40
41
44
pie
l_brazo
a_espald
d_crneo
peso
X2
36
34
39
36
36
36
36
37
X3
68
66
72.5
68.5
68.5
71
67
73
X4
43
40
41
42
44
44.5
36
41.5
X5
55
55
54.5
57
57
54
56
58
Y
43
45
48
49
50
51
52
52
En base a estos datos, vamos a construir un modelo para predecir el peso de una
persona (Y). Esto equivale a estudiar la relacin existente entre este conjunto de
variables x1 ,..., x5 y la variable peso (Y).
II.
estatura
pie
l_brazo
a_espald
d_craneo
III.
Hiptesis
Para realizar un anlisis de regresin lineal mltiple se hacen las siguientes
V (ui ) 2
c) Independencia: las perturbaciones aleatorias son independientes entre s:
E (ui u j ) 0, i j
normal:
U N (0, 2 )
IV.
varianza residual:
Min ( y j y j ) 2
Donde:
y j b0 b1 * x1,1 b2 * x2, j ...bk * xk , j
.
.
un y n y n
u1
u
2
y y
.
u .
.
yn b0 b1 * x1,n b2 * x2,n b3 * x3,n ... bk * xk ,n
u n
Por lo tanto:
y1
y
2
1
1
x1,1
x1, 2
yn
.
.
.
.
.
.
xk ,1
xk , 2
xk ,n
x1,n
b0
b
1
* . y X *b
.
bk
Es decir:
(b) ( y j y j ) 2 u * u
Por lo tanto:
(b) ( y j y j ) 2 u * u y * y y * x * b b * x * y b * x * x * b
(b) ( y X * b) * ( y X * b)
2 * X * Y 2 * X * X * B
b
b
Igualando a cero y despejando:
X *Y X * X * B
y si X * X es matriz no singular y por lo tanto tiene inversa, tenemos:
X *Y X * X * B
Multiplicando por ( X * X ) 1
( X * X ) 1 X * Y ( X * X ) 1 X * X * B
( X * X ) 1 X * Y I * B
B ( X * X ) 1 * X * Y
Adems
X *Y X * X * B
X *Y X * X * B 0
X * (Y X * B) 0
X *U 0
Es decir, los residuos obtenidos del modelo estimado por mnimos cuadrados no
van a estar correlacionados con las variables explicativas.
Nota
Es importante observar que si las variables explicativas X estn muy
correlacionadas entre si, la matriz ( X * X ) va a tener el determinante con valor cero o
muy cercano a cero.
Si hay al menos una variable que puede ser expresada como combinacin lineal
del resto (ingresos mensuales, ingresos anuales) el determinante de esta matriz es cero y
dicha matriz ser singular y por lo tanto no tendr inversa.
Si no hay variables que sean combinacin lineal de las dems, pero estn
fuertemente correlacionadas, el determinante no ser cero pero tendr un valor muy
prximo a cero; este caso va a producir una inestabilidad en la solucin del estimador,
en general, se va a producir un aumento en su varianza.
En estos casos se impone la utilizacin de un mtodo de seleccin de variables
explicativas.
A los problemas provocados por la fuerte correlacin entre las variables
explicativas se les llama multicolinealidad.
10
V.
Varianza residual
Al igual que en el caso de regresin lineal simple, vamos a descomponer la
(y
y ) 2 ( y i y ) 2 ( yi y i ) 2
11
SY2
VT
n 1
S R2
VNE
n (k 1)
Tabla resumen
Suma de cuadrados
VT
( y y)
VE
( y y )
VNE
Grados de libertad
n-1
k-1
( y y)2
n-k-1
12
SY2
VT
n 1
S R2
VNE
n k 1
VI.
Contraste de regresin
Como estamos sacando conclusiones de una muestra de un conjunto mucho ms
amplio de datos, a veces este conjunto ser infinito, es obvio que distintas muestras van
a dar distintos valores de los parmetros.
Un caso de especial inters es asignar una medida de probabilidad a la siguiente
afirmacin o hiptesis:
H 0 b1 b2 ... bk 0
Nota
La hiptesis nula es que todos los coeficientes menos b0 son nulos y la
hiptesis alternativa o complementaria es que existe al menos uno que es distinto de 0,
puede haber varios que sean nulos, pero al menos existe uno distinto de cero.
Se denomina contraste de regresin al estudio de la posibilidad de que el modelo
de regresin sea nulo, es decir, los valores de las variables explicativas X no van a
influir en la variable Peso.
13
VE
12
2
VNE
n2 ( k 1)
2
Por tanto:
VE
VNE
n (k 1)
VE
F1, n ( k 1)
S R2
14
15
VII.
Coeficiente de determinacin R2
Vamos a construir un coeficiente (estadstico) que mida la bondad del ajuste del
modelo. Si bien la varianza residual ( S R2 ) nos indica cmo estn de cerca las
estimaciones respecto de los puntos, esta varianza est influida por la varianza de la
variable dependiente, la cual, a su vez, est influida por su unidad de medida. Por lo
tanto, una medida adecuada es la proporcin de la varianza explicada (VE) entre la
varianza total (VT); de este modo, definimos el coeficiente de determinacin R 2 :
R2
VE VT VNE
VNE
1
VT
VT
VT
Por ser cociente de sumas de cuadrados, este coeficiente ser siempre positivo.
Si todos los puntos estn sobre la recta de regresin, la varianza no explicada
ser 0, y por lo tanto:
R2
VE
0
1
1
VT
VT
Este coeficiente es muy importante pues determina qu porcentaje (en tantos por
uno) de la varianza de la variable dependiente es explicado por el modelo de regresin.
En general, se pueden clasificar los valores de R 2 de la siguiente manera:
Menor de 0.3
Muy malo
0.3 a 0.4
Malo
0.4 a 0.5
Regular
0.5 a 0.85
Bueno
Mayor de 0.85
Sospechoso
16
Regression
Residual
Total
Sum of
Squares
3485,401
775,265
4260,667
df
6
20
26
Mean Square
580,900
38,763
F
14,986
Sig.
,000a
17
Coefficientsa
Model
1
tabla
el
se
valor
(Constant)
estatura
pie
l_brazo
a_espald
d_crneo
l_roxto Longitud
de rodilla a tobillo
Unstandardized
Coefficients
B
Std. Error
-133,261
43,985
-,354
,445
2,187
1,248
,821
,621
1,067
,660
1,093
,922
-,003
Standardized
Coefficients
Beta
,841
-,283
,489
,317
,335
,157
t
-3,030
-,796
1,752
1,323
1,616
1,186
Sig.
,007
,435
,095
,201
,122
,250
-,001
-,004
,997
Collinearity Statistics
Tolerance
VIF
,072
,117
,159
,212
,517
13,882
8,574
6,307
4,724
1,933
,212
4,724
En
muestra
de
esta
los
1 R2
Donde la variable correspondiente entra como variable dependiente y el resto de
las variables explicativas actan como regresoras.
A la vista de estos resultados, la variable estatura esta provocando problemas de
multicolinealidad.
Es interesante observar que si bien el contraste de regresin es significativo,
ninguna de las variables explicativas lo es.
Los residuos son variables aleatorias que siguen (?) una distribucin normal.
Los residuos tienen unidades de medida y, por tanto no se puede determinar si es grande
o pequeo a simple vista.
18
Zui
ui
1
*
1 hii
SR
Se considera que un residuo tiene un valor alto, y por lo tanto puede influir
negativamente en el anlisis, si su residuo estandarizado es mayor de 3 en valor
absoluto.
Zui 3
Para evitar la dependencia entre numerador y denominador de la expresin
anterior, tambin se utilizan los residuos estudentizados.
SZui
ui
1
*
1 hii
S (i ) R
Residuals Statisticsa
Predicted Value
Residual
Std. Predicted Value
Std. Residual
Minimum
23,9527
-31,69022
-1,860
-,939
Maximum
138,1509
117,84905
2,627
3,492
19
Mean
71,2963
,00000
,000
,000
Std. Deviation
25,44848
29,60339
1,000
,877
N
27
27
27
27
Podemos observar que hay un caso que tiene un residuo anormal, pues su valor
tipificado es 3.49.
20
1
( xi x ) 2
l (i ) (1
)
n
s x2
Este estadstico mide la distancia de un punto a la media de la distribucin.
Valores cercanos a 2/n indican casos que pueden influir negativamente en la
estimacin del modelo introduciendo un fuerte sesgo en el valor de los estimadores.
N
Normal Parameters a,b
Most Extreme
Differences
Mean
Std. Deviation
Absolute
Positive
Negative
Kolmogorov-Smirnov Z
Asymp. Sig. (2-tailed)
ZRE_1
Standardized
Residual
27
,0000000
,87705802
,117
,117
-,105
,609
,852
21
VIII.5. Homocedasticidad
La hiptesis de homocedasticidad establece que la variabilidad de los residuos es
independiente de las variables explicativas.
En general, la variabilidad de los residuos estar en funcin de las variables
explicativas, pero como las variables explicativas estn fuertemente correlacionadas con
la variable dependiente, bastara con examinar el grfico de valores pronosticados versus
residuos al cuadrado.
22
23
IX.
Eliminacin progresiva.
Introduccin progresiva.
24
X.
Ejemplo 1
Statistics
Valid
Missing
Mean
Median
Std. Deviation
Skewness
Std. Error of Skewness
Kurtosis
Std. Error of Kurtosis
Minimum
Maximum
estatura
27
0
168,7963
168,0000
10,22089
,173
,448
-1,016
,872
152,00
189,00
peso
27
0
63,8889
65,0000
12,80124
,187
,448
-,658
,872
43,00
91,00
25
pie
27
0
38,9815
39,0000
2,86384
,303
,448
-,855
,872
34,00
45,00
l_brazo
27
0
73,4815
73,0000
4,93707
,427
,448
-,605
,872
66,00
83,00
a_espald
27
0
45,8519
46,0000
4,02113
-,249
,448
,075
,872
36,00
53,00
d_crneo
27
0
57,2407
57,0000
1,84167
,178
,448
-,740
,872
54,00
61,00
l_roxto
Longitud
de rodilla
a tobillo
27
0
43,0926
43,0000
3,15630
,632
,448
1,044
,872
38,00
52,00
Model Summaryb
Model
1
R
,904a
R Square
,818
Adjusted
R Square
,763
Std. Error of
the Estimate
6,22602
DurbinWatson
2,274
Regression
Residual
Total
Sum of
Squares
3485,401
775,265
4260,667
df
6
20
26
Mean Square
580,900
38,763
F
14,986
Sig.
,000a
26
Coefficientsa
Model
1
(Constant)
estatura
pie
l_brazo
a_espald
d_crneo
l_roxto Longitud
de rodilla a tobillo
Unstandardized
Coefficients
B
Std. Error
-133,261
43,985
-,354
,445
2,187
1,248
,821
,621
1,067
,660
1,093
,922
-,003
Standardized
Coefficients
Beta
,841
-,283
,489
,317
,335
,157
t
-3,030
-,796
1,752
1,323
1,616
1,186
Sig.
,007
,435
,095
,201
,122
,250
-,001
-,004
,997
Collinearity Statistics
Tolerance
VIF
,072
,117
,159
,212
,517
13,882
8,574
6,307
4,724
1,933
,212
4,724
Residuals Statisticsa
Predicted Value
Residual
Std. Predicted Value
Std. Residual
Minimum
44,1230
-8,21203
-1,707
-1,319
Maximum
88,5975
11,34415
2,134
1,822
27
Mean
63,8889
,00000
,000
,000
Std. Deviation
11,57816
5,46058
1,000
,877
N
27
27
27
27
R
,850a
,891b
R Square
,722
,794
Adjusted
R Square
,711
,777
Std. Error of
the Estimate
6,88269
6,05049
DurbinWatson
2,120
ANOVAc
Model
1
Regression
Residual
Total
Regression
Residual
Total
Sum of
Squares
3076,382
1184,285
4260,667
3382,065
878,602
4260,667
df
1
25
26
2
24
26
Mean Square
3076,382
47,371
F
64,942
Sig.
,000a
1691,032
36,608
46,192
,000b
t
-4,569
8,059
-5,376
3,219
2,890
Sig.
,000
,000
,000
,004
,008
Coefficientsa
Model
1
2
(Constant)
pie
(Constant)
pie
a_espald
Unstandardized
Coefficients
B
Std. Error
-84,173
18,421
3,798
,471
-87,250
16,228
2,213
,687
1,415
,490
Standardized
Coefficients
Beta
,850
,495
,444
28
Collinearity Statistics
Tolerance
VIF
1,000
1,000
,363
,363
2,753
2,753
Collinearity Diagnosticsa
Model
1
2
Dimension
1
2
1
2
3
Eigenvalue
1,997
,003
2,995
,004
,001
Condition
Index
1,000
27,778
1,000
27,747
50,270
Variance Proportions
(Constant)
pie
a_espald
,00
,00
1,00
1,00
,00
,00
,00
,83
,02
,22
,17
,98
,78
Residuals Statisticsa
Predicted Value
Residual
Std. Predicted Value
Std. Residual
Minimum
43,3520
-10,25595
-1,801
-1,695
Maximum
87,3214
12,53056
2,055
2,071
29
Mean
63,8889
,00000
,000
,000
Std. Deviation
11,40524
5,81312
1,000
,961
N
27
27
27
27
F
re
q
u
n
c
y
H
i
s
t
o
g
r
a
m
D
e
p
n
d
e
t
V
a
r
i
b
l
e
:
p
s
o
8
6
4
2
M
e
a
n
=
1
,
9
E
1
5
S
t
d
.
D
v
.
0
6
0-2R
N
2
7
-e
1
0
1
2
3
g
rs
io
n
S
ta
n
d
rize
d
R
e
s
id
u
a
l
30
31