Preparado por: Irene P.

Valdez y Alfaro
CP SI
xi yi
2.95 18.5
3.2 20
3.4 21.1
3.6 22.4
3.2 21.2
2.85 15
3.1 18
2.85 18.8
3.05 15.7
2.7 14.4
2.75 15.5
3.1 17.2
3.15 19
2.95 17.2
2.75 16.8
45.6 270.8
REGRESIN LINEAL SIMPLE
El anlisis de regresin es una tcnica estadstica para investigar la relacin
funcional entre dos o ms variables, ajustando algn modelo matemtico.
La regresin lineal simple utiliza una sola variable de regresin y el caso ms
sencillo es el modelo de lnea recta. Supngase que se tiene un conjunto de n
pares de observaciones (x
i
,y
i
), se busca encontrar una recta que describa de la
mejor manera cada uno de esos pares observados.
y = 8.1185x - 6.6269
R
2
= 0.7185
10
12
14
16
18
20
22
24
2.6 2.7 2.8 2.9 3 3.1 3.2 3.3 3.4 3.5 3.6
Xi (variable independiente o regresiva)
V
a
r
i
a
b
l
e

r
e
s
p
u
e
s
t
Preparado por: Irene P. Valdez y Alfaro
Se considera que la variable X es la variable
independiente o regresiva y se mide sin error,
mientras que Y es la variable respuesta para cada
valor especfico x
i
de X; y adems Y es una variable
aleatoria con alguna funcin de densidad para cada
nivel de X.
i
x Y
( )
i
x Y E
( )
i
x Y f
y
i
Preparado por: Irene P. Valdez y Alfaro
Modelo lineal simple :
x1 xi xn
( )
i i
x x Y E
1 0
+
( )
i
x Y f
i i i
x y + +
1 0
Regresin Lineal Simple
Los
i
se suponen errores aleatorios con distribucin normal,
media cero y varianza
2
;
0
y
1
son constantes desconocidas
(parmetros del modelo de regresin)
i i i
x y + +
1 0
Si la recta de regresin es:
X Y
1 0
+
Cada valor y
i
observado para un x
i
puede considerarse como el valor
esperado de Y dado x
i
ms un error:
Preparado por: Irene P. Valdez y Alfaro
Mtodo de Mnimos Cuadrados
para obtener estimadores de
0
y
1
Consiste en determinar aquellos estimadores de
0
y
1
que
minimizan la suma de cuadrados de los errores
i
; es decir,
los estimadores y de
0
y
1
respectivamente deben
ser tales que:

n
i
i
1
2

+ +

n
i
i
n
i
i
i i
i i i
x y
x y
x y
1
2
1 0
1
2
1 0
1 0
) (


Del modelo lineal simple:
de donde:
elevando al cuadrado:
sea mnima.
0

Preparado por: Irene P. Valdez y Alfaro

Al derivar se obtiene un
sistema de dos ecuaciones
denominadas ecuaciones
normales:
0 ) (
0 ) (
1
2
1 0
1
1
2
1 0
0

n
i
i
n
i
i
x y
x y

Segn el mtodo de mnimos cuadrados, los

estimadores de
0
y
1
debe satisfacer las
ecuaciones:

n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i
y x x x
x n y
1 1
2
1
1
0
1
1 0
1


n
x
x
n
x y
y x
x y
n
i
i
n
i
n
i
i
n
i
i
n
i
i i
i
2
1
1
2
1 1
1
1
1 0

(
,
\
,
(
j

(
,
\
,
(
j

(
,
\
,
(
j

Cuya solucin es:
Ahora, el modelo de regresin lineal simple ajustado
(o recta estimada) es:
x y
1 0

+
Preparado por: Irene P. Valdez y Alfaro
n
x
x
n
x y
y x
n
i
i
n
i
n
i
i
n
i
i
n
i
i i
i
2
1
1
2
1 1
1
1

(
,
\
,
(
j

(
,
\
,
(
j

(
,
\
,
(
j

Con respecto al numerador y denominador de B

1
suelen expresarse
como S
xy
y S
xx
respectivamente:
xx
xy
S
S

Puede demostrarse que:

( )

(
,
\
,
(
j

n
i
i
n
i
i
n
i
xx
x x
n
x
x S
i
1
2
2
1
1
2

(
,
\
,
(
j

(
,
\
,
(
j

n
i
i i
n
i
i
n
i
i
n
i
i i xy
y x x
n
x y
y x S
1
1 1
1
) (
y
Preparado por: Irene P. Valdez y Alfaro
Por otro lado puede demostrarse que los estimadores de
0
y
1
son
insesgados con varianzas:
( )
xx
S
V
2
1

( )
]
]
]
,

,
+
xx
S
x
n
V
2
2
0
1

y
respectivamente.
Como
2
(la varianza de los errores
i
) es en general desconocida, para estimarla
definimos el residuo como: y la suma de cuadrados del error
como:
i i i
y y e

n
i
i E
e SS
1
2
que al sustituir tambin puede expresarse como:
( )

n
i
i i E
y y SS
1
2

xy yy E
S S SS
1

( )

n
i
i yy
y y S
1
2
donde:
i
y

Sea
( )
2 2

1
2

n
SS
n
y y
MS
E
n
i
i i
E
Entonces: ( )
2

E
MS E
E
MS
2

Preparado por: Irene P. Valdez y Alfaro

Con lo anterior, las varianzas estimadas de
( )
xx
E
S
MS
V
1


( )
]
]
]
,

,
+
xx
E
S
x
n
MS V
2
0
1


y
son respectivamente:
1 0

Lo que permite efectuar pruebas de hiptes y calcular intervalos
de confianza sobre los parmetros de regresin
0
y
1
.
Adems, si se cumplen los supuestos de que los
i
se distribuyen
normalemte con media cero y varianza
2
, entonces, los estadsticos
xx
E
S
MS
T
1 1

]
]
]
,

,
+

xx
E
S
x
n
MS
T
2
0 0
1

y
tienen cada uno distribucin t de Student con n-2 grados de libertad.
Preparado por: Irene P. Valdez y Alfaro
Un caso de particular inters es probar la hiptesis:
0 :
0 :
1 1
1 0

H
H
Ya que si la pendiente es igual cero, entonces puede significar o que la
variacin de X no influye en la variacin de Y, o que no hay regresin
lineal entre X y Y.
Por otro lado, si la pendiente es diferente de cero, entonces existir algn
grado de asociacin lineal entre las dos variables, es decir, la variabilidad
de X explica en cierta forma la variabiliad de Y (aunque no implica que no
pueda obtenerse un mejor ajuste con algn polinomio de mayor grado en
X).
Nota: si se utilizara en lugar de una recta, una curva con grado mayor a 1
en X pero grado 1 en los coeficientes de X, la regresin sigue siendo lineal,
ya que es lineal en los parmetros de regresin p.ej. Y=
o
+
1
x+
2
x
2
Preparado por: Irene P. Valdez y Alfaro
Estimacin de intervalos de confianza en torno a la lnea de regresin:
BANDAS DE CONFIANZA
x1 x0
xn
( )
0 1 0 0 0

x x Y E y +
Recta estimada
de regresin
xi
Para un punto especfico x
0
Preparado por: Irene P. Valdez y Alfaro
( )
0 1 0 0 0

0
x x Y E y
y
+
Estimacin de la respuesta media para un x
0
especfico:
( )
( )
]
]
]
,

,

+
xx
o
S
x x
n
y V
2
2
0
1

( )
( )
]
]
]
,

,

+
xx
o
E
S
x x
n
MS y V
2
0
1

tiene distribucin normal, por lo que:

0

y
) (

0
o
y
y V
y
tiene distribucin T de Student con n-2 grados de libertad, por lo
que los lmites de confianza superior e inferior para la respuesta
media dado x
0
estn dados por:
) (

2 , 2 / 0 o n
y V t y

Graficando los limites de confianza superior e inferior de para cada punto x
i
de
X pueden dibujarse las bandas de confianza para la recta de regresin.
Puede observarse que la amplitud del intervalo de confianza es mnima cuando
mientras que es mayor en los extremos de los valores observados de X.
x x
0
0

Preparado por: Irene P. Valdez y Alfaro

Prediccin de nuevas observaciones
Ntese que
0

y es la respuesta media para los valores de x

i
seleccionados para
encontrar la recta de regresin; sin embargo, frecuentemente es de inters
predecir la respuesta futura para un x
a
dado seleccionado posteriormente.

Sea
a
Y la observacin futura en
a
x x ., ;
a
Y es una variable aleatoria con
varianza
2
y por otro lado, la varianza de
a a
x y
1 0

+ es ( )
( )
]
]
]
]
,
,

,

+ +
xx
a
E a
S
x x
n
MS y V
2
1
1