Modelo de Regresin Mltiple

La ecuacin que describe como la variable

dependiente est relacionada con las variables
independientes x1, x2, . . . xp y un trmino de error es:
y = b0 + b1x1 + b2x2 + . . . + bpxp + e

donde:

b0, b1, b2, . . . , bp son los parmetros, y

e es una variable aleatoria llamada
trmino del error

Ecuacin de Regresin Mltiple

La ecuacin que describe como el valor medio de y est
relacionado con x1, x2, . . . xp es:
E(y) = b0 + b1x1 + b2x2 + . . . + bpxp

Ecuacin Estimada de Regresin Mltiple

y^ = b0 + b1x1 + b2x2 + . . . + bpxp
Una muestra aleatoria es utilizada para calcular los
estadsticos muestrales b0, b1, b2, . . . , bp que son
utilizados como estiamdores puntuales de los
parmetros b0, b1, b2, . . . , bp.

Proceso de Estimacin
Modelo de Regresin Mltiple

E(y) = b0 + b1x1 + b2x2 +. . .+ bpxp + e

Ecuacin de Regresin Multiple
E(y) = b0

+ b1x1 + b2x2 +. . .+ bpxp

b0, b1, b2, . . . , bp son parmetros

Datos muestrales:
x1 x2 . . . xp y
. .
. .
. .
. .

desconocidos

b0, b1, b2, . . . , bp

Proporcionan las
estimaciones de

b0 , b1 , b2 , . . . , b p

Clculo de la ecuacin de
regresin mltiple estimada

y b0 b1 x1 b2 x2 ... bp x p
b0, b1, b2, . . . , bp son
estadsticos muestrales

Mtodo de Mnimos Cuadrados

Criterio de Mnimos Cuadrados

min ( y i y i )2

Interpretando los Coeficientes

En el anlisis de regresin multiple se interpreta cada
coeficiente de regresin de la siguiente manera:
bi representa un estimado del cambio en y
correspondiente a un incremento de 1 unidad
en xi cuando todas las otras variables independientes se
mantienen constantes.
Ejemplo: Una zapatera obtuvo la siguiente ecuacin de regresin estimada en la que se
relacionan las ventas contra la inversin en inventario y los gastos en publicidad.
= 25 + 101 + 82

donde
x1 = inversin en inventario (en miles de $)
x2= gasto en publicidad (en miles de $)
y = ventas (en miles de $)
a) Estime las ventas resultantes si la inversin en inventario es de $15 000 y el
presupuesto para publicidad es de $10 000.
b) Interprete b1 y b2 en esta ecuacin de regresin estimada.

Coeficiente de Determinacin Mltiple

Relacin entre STC, SCR, SCE
STC = SCR + SCE
2
2
2

(
y

y
)
(
y

y
)
(
y

y
)
+
=
i
i
i i

donde:

STC = suma total de cuadrados

SCR = suma de cuadrados debido a la regresin
SCE = suma de cuadrados debido al error

Coeficiente de Determinacin Mltiple

Ajustado
R2 = SCR/STC

SCE (n k 1)
R 1
STC (n 1)
2
a

n 1
R 1 (1 R )
n k 1
2
a

Supuestos del modelo

El error e es una variable aleatoria con media cero.

La varianza de e , denotada por 2, es la misma para

todos los valores de las variables independientes.
Los valores de e son independiente.
El error e es una variable aleatoria distribuida normalmente y refleja la desviacin entre el valor de y el valor
esperado de y dado por b0 + b1x1 + b2x2 + . . + bpxp.

Prueba de Significancia
En una regresin lineal simple, las pruebas F y t llevan a la misma
conclusin.
En una regresin mltiple, las pruebas F y t tienen propsitos
diferentes.

Prueba F

La prueba F es usada para determinar si existe una relacin

significativa entre la variable dependiente y el conjunto de todas las
variables independientes.
La prueba F se le conoce como prueba de significancia global.

Prueba t

Si la prueba F indica que hay significancia global, la prueba t es usada

para determinar si cada una de las variables independientes es
significativa.
Una prueba t individual es realizada para cada una de las variables
independientes en el modelo.
Llamamos a cada una de estas pruebas t como una prueba de
significancia individual.

Prueba de Significancia: Prueba F

Hiptesis

H 0 : b1 = b2 = . . . = bk = 0
Ha: Uno o ms de los parmetros
es distinto de cero.

Estadstico de Prueba

F = CRM/ECM

Regla de Rechazo

Rechazar H0 si el valor-p < a o

si F > Fa ,donde Fa est basada
en una distribucin F con k g.l.
en el numerador y n - k - 1 g.l.
en el denominador.

Forma general de la tabla ANOVA para la

regresin lineal multiple
Fuente de
variacin

Suma de
cuadrados

Grados
de
libertad

Cuadrado medio

Regresin

SCR

CMR = SCR/k

F=CMR/
ECM

Error

SCE

n-k1

ECM = SCE/(n-k-1)

Total

STC

n-1

Valor-p

Prueba de Significancia: Prueba t

Hiptesis

H0 : bi 0
H a : bi 0

Estadstico de Prueba t
Regla de Rechazo

bi
sbi

Rechazar H0 si el valor-p < a o

si |t| > |ta|donde ta
est basada en una distribucin t
con n - k - 1 grados de libertad.

Ejercicio:
The Wall Street Journal realiz un estudio acerca de los gastos que
realizan las mejores universidades en el basquetbol. Una parte de los
datos se lista a continuacin e incluye algunas escuelas (School), los
ingresos (Revenue) en millones de $, el porcentaje de victorias (%
Wins) y el sueldo del entrenador (Salary) en millones de $ de 39 de los
mejores programas de basquetbol de Estados Unidos (The Wall Street
Journal, 11-12 de marzo de 2006).
a) Desarrolle la ecuacin de regresin estimada para predecir el sueldo
del entrenador dados los ingresos generados por el programa y el
porcentaje de victorias.
b) Use la prueba F para determinar la significancia global de la relacin.
Cul es su conclusin empleando 0.05 como nivel de significancia?
c) Utilice la prueba t para determinar la significancia de cada una de las
variables independientes. Cul es su conclusin con un nivel de
significancia de 0.05?

Ejercicio:
En el ejercicio 4 se proporcion la siguiente ecuacin de regresin estimada
que relaciona las ventas contra la inversin en inventario y los gastos de
publicidad.
= 25 + 101 + 82
Los datos para desarrollar este modelo provienen de 10 tiendas; con esta
informacin, la STC= 16 000 y la SCR = 12 000.
a) Calcule R2 para la ecuacin de regresin estimada.
b) Calcule 2 .
c) Este modelo parece explicar gran parte de la variabilidad de los datos?
Explique.

Multicolinearidad
El trmino multicolinearidad se refiere a la correlacin entre las
variables independientes.
Cuando las variables independientes estn altamente
correlacionadas (digamos, |r | > .7), no es posible determinar por
separado el efecto de cualquiera de las variables independientes
sobre la variable dependiente
Debe hacerse todo lo posible para evitar incluir variables
independientes que estn altamente correlacionadas.
La fuerte multicolinealidad da como resultado grandes varianzas
y covarianzas de los estimadores de coeficientes de regresin ()
obtenidos por MC.
La multicolinealidad tiende tambin a producir estimadores de
que son demasiado grandes en valor absoluto.

Mtodo de deteccin de la multicolinealidad:

Factores de inflacin de la varianza
1
VIFj
1 R 2j
Rj es el coeficiente de determinacin mltiple obtenido haciendo la
regresin de xj sobre las dems VI.

Los factores VIF mayores que 5 implican problemas graves de

multicolinealidad.

Variables Independientes cualitativas

En muchas situaciones debemos trabajar con variables
independientes cualitativas como gnero (masculino, femenino)
mtodo de pago (cash, cheque, tarjeta), etc.
Por ejemplo, x2 puede representar gnero donde x2 = 0 indica
masculino y x2 = 1 indica femenino.
En este caso, x2 es llamado variable ficticia o indicadora.
Si una variable cualitativa tiene k niveles, k 1 variables ficticias
son requeridas, donde cada variable ficticia es codificada como
0 o 1.

Ejercicio:
Se brinda la informacin de los meses transcurridos desde el ltimo
servicio (Months Since Last Service), del tipo de reparacin (Type of
Repair), mecnica (Mechanical) o elctrica (Electrical), los gerentes
presentan una lista con los tcnicos (Repairperson) que realizaron el
servicio, con el objetivo de estimar el tiempo de reparacin.
a) Por ahora ignore los meses transcurridos desde el ltimo servicio y el
tcnico asignado. Obtenga la ecuacin de regresin lineal simple estimada
para predecir el tiempo que se requiere para la reparacin (y) dado el tipo
de reparacin (x2). Recuerde que x2=0 si sta es mecnica y x2= 1 si es
elctrica. La ecuacin obtenida en el inciso proporciona un buen ajuste a
los datos observados? Explique.
b) Por ahora ignore los meses transcurridos desde el ltimo servicio y el
tipo de reparacin. Obtenga la ecuacin de regresin lineal simple
estimada para predecir el tiempo necesario para la reparacin dado el
tcnico que realiz el servicio. Sea x3=0 si ste fue realizado por Bob Jones,
y x3=1 si lo realiz Dave Newton. La ecuacin obtenida proporciona un
buen ajuste a los datos observados? Explique.

c) Obtenga la ecuacin de regresin estimada para predecir el tiempo

que requiere una reparacin dados los meses transcurridos desde la
ltima efectuada, el tipo de reparacin y el tcnico que realiz el
servicio.
d) Con un nivel de significancia de 0.05 Es estadsticamente
significativo agregar la variable x3, el tcnico que realiz el servicio?