3.

Regresion Lineal Simple

EYP2305 - A N ALISIS DE R EGRESI ON

Clase 5

Primer Semestre 2016

Prof. Ana Mara Alvarado C.

EYP1016
 3. Regresion Lineal Simple

3. R EGRESI ON L INEAL S IMPLE

EYP1016
 3. Regresion Lineal Simple Definicion

Regresion Lineal Simple

Definicion
Sea X una variable no aleatoria medida sin error. Sea Y una variable
aleatoria tal que
Y N(0 + 1 X , 2 )
con 0 , 1 , 2 desconocidos. Se dice que Y tiene una Regresion
Lineal Simple en X .

EYP1016
 3. Regresion Lineal Simple Definicion

Ejemplo 1:
Se esta interesado en estudiar la dureza de paneles de partculas en
funcion de la temperatura a la que son confeccionadas. Se dispone
de un diseno experimental de 18 observaciones realizadas a 6
temperaturas diferentes.

EYP1016
 3. Regresion Lineal Simple Definicion

Ejemplo 2:
Se esta interesado en estudiar la presion ambiental en funcion de la
temperatura de ebullicion del agua (notar el sentido de la relacion).
Se dispone de 17 mediciones tomadas a distintas altitudes.

EYP1016
 3. Regresion Lineal Simple Definicion

Metodo de Mnimos Cuadrados

Supongamos que queremos encontrar la mejor recta. Una opcion

es encontrar la Recta de Mnimos Cuadrados, es decir aquella
recta que minimiza la suma de los cuadrados de las distancias entre
las observaciones y la recta, en el eje vertical.

EYP1016
 3. Regresion Lineal Simple Definicion

Metodo de Mnimos Cuadrados

b0 , b1 = argmin S(0 , 1 )
Xn
= argmin (Yi E0 ,1 (Yi ))2
i=1
n
X
= argmin (Yi 0 1 Xi )2
i=1

EYP1016
 3. Regresion Lineal Simple Definicion

Metodo de Mnimos Cuadrados

La minimizacion se encuentra resolviendo
n n
S X X
= 0 = nb0 + b1 Xi = Yi
0
i=1 i=1
n n n
S X X X
= 0 = b0 Xi + b1 Xi2 = Xi Yi
1
i=1 i=1 i=1
| {z }

Despejando, se obtienen los estimadores de mnimos cuadrados

P P P
i X i Yi i Xi i Yi /n
b1 = P 2 P 2
i Xi ( i Xi ) /n
b0 = Y b1 X

Falta verificar que es un mnimo.

EYP1016
 3. Regresion Lineal Simple Definicion

Metodo de Mnimos Cuadrados

Notas:
1. Si definimos
n
X n
X
Sxx = (Xi X )2 Sxy = (Yi Y )(Xi X )
i=1 i=1

Entonces
Sxy
b1 =
Sxx
2. El punto (X , Y ) pertenece a la recta de mnimos cuadrados
puesto que
Y = b0 + b1 X
3. Definimos
ei = Yi Y
bi

EYP1016
 3. Regresion Lineal Simple Definicion

Precision de la Recta Estimada

La variacion de los datos en torno a la media, puede descomponerse

como
Yi Y = (Yi Y bi Y )
bi ) + (Y

EYP1016
 3. Regresion Lineal Simple Definicion

Precision de la Recta Estimada

Sumando y elevando al cuadrado a ambos lados, se obtiene:

n
X n
X n
X
2 bi Y )2 + bi )2
(Yi Y ) = (Y (Yi Y
i=1 i=1 i=1
SCT = SCReg + SCE

Donde:
SCT: Suma de Cuadrados Totales.
SCReg: Suma de Cuadrados de la Regresion.
SCE: Suma de Cuadrados de los Errores.

Debemos mostrar que el termino cruzado es igual a cero.

EYP1016
 3. Regresion Lineal Simple Definicion

Precision de la Recta Estimada

Notemos que:
2
Sxy
SCReg = b12 Sxx =
Sxx

EYP1016
 3. Regresion Lineal Simple Definicion

Recta de Maxima Verosimilitud

La funcion de log-verosimilitud de los datos es
n
n 2 1 X
log L(0 , 1 ) = log 2 (Yi 0 1 Xi )2
2 2
i=1
n 1
= log 2 2 S(0 , 1 )
2 2
Las ecuaciones de maximizacion son
log L 1 S
= =0
0 2 2 0
log L 1 S
= 2 =0
1 2 1
log L
= 0
2

EYP1016
 3. Regresion Lineal Simple Definicion

Recta de Maxima Verosimilitud

De las ecuaciones anteriores obtenemos

b0MV = b0
bMV
1 = b1
1 b b
b2,MV
= S(0 , 1 )
n
Notas:
Falta verificar que es un maximo.
Las rectas de Mnimos Cuadrados y de Maxima Verosimilitud
coinciden.
El metodo de Mnimos Cuadrados no entrega estimacion para
2.

EYP1016
 3. Regresion Lineal Simple Definicion

Recta de Maxima Verosimilitud

Los estimadores b0 y b1 tiene distribucion Normal (por que?). Se

puede demostrar por propiedades de esperanza y varianza, que sus
medias, varianzas y covarianzas estan dadas por
2
!
2 1 X
E(b0 ) = 0 Var (b0 ) = +
n Sxx

1
E(b1 ) = 1 Var (b1 ) = 2
Sxx
X
cov (b0 , b1 ) = 2
Sxx

EYP1016
 3. Regresion Lineal Simple Definicion

Recta de Maxima Verosimilitud

Se puede demostrar que

SCE
2n2
2
es decir  
SCE
= 2
n2
Luego,
SCE
b2 =

n2
es un estimador para 2 . Luego, la varianza de los coeficientes
estimados puede estimarse reemplazando 2 por este valor.
Se desprende que el estimador de Maxima Verosimilitud de 2 es
sesgado.

EYP1016
 3. Regresion Lineal Simple Definicion

Recta de Maxima Verosimilitud

Por otra parte, tambien se puede demostrar que

SCReg
21,
2
para cierto parametro de no centralidad. Ademas, esta cantidad es
independiente de
SCE
2
Por lo tanto
SCReg
F = F(1,n2,)
SCE/n 2

EYP1016
 3. Regresion Lineal Simple Definicion

Tabla ANOVA

Esta informacion se resume en la tabla ANOVA:

Fuente de g.l. Sumas de Medias TestF

Variacion Cuadrados (SC) Cuadraticas (MC)
MCReg
Regresion 1 SCReg MCReg = SCReg F = MCE

Error n2 SCE MCE = SCE/n 2

Total n1 SCT

EYP1016
 3. Regresion Lineal Simple Definicion

Ejemplo:
Consideremos el ejemplo de la dureza versus la temperatura.
Obetenemos:
X X X
Xi = 945 Yi = 1307.21 Xi Yi = 69307.75
i i i
X X
Xi2 = 50925 Yi2 = 95344.84 n = 18
i i

Sxx = 1312.5 Syy = 411.6182 Sxy = 679.225

De esta forma:
Sxy
b1 = = 0.52
Sxx
b0 = Y b1 X = 45.45

EYP1016
 3. Regresion Lineal Simple Definicion

Ejemplo:

SCReg = b12 Sxx = 351.5022

SCT = Syy = 411.6182

= R 2 = 0.85 corr (X , Y ) = 0.92

EYP1016
 3. Regresion Lineal Simple Definicion

Ejemplo:

SCE SCT SCReg

b2 =
= = 3.76
n2 n2

X2
 
2 1
V ar (0 ) =
b b b + = 8.1
n Sxx
1
Va b2
br (b1 ) = = 0.0029
Sxx

EYP1016
 3. Regresion Lineal Simple Definicion

Ejemplo:

Fuente de g.l. Sumas de Medias TestF

Variacion Cuadrados (SC) Cuadraticas (MC)
Regresion 1 351.5 351.5 93.5

Error 16 60.1 3.76

Total 17 411.6

EYP1016