Introdução
Análise de regressão é uma metodologia estatística que utiliza a relação entre duas ou
mais variáveis quantitativas (ou qualitativas) de tal forma que uma variável pode ser
predita a partir da outra ou outras. Exemplos:
A população de bactérias pode ser predita a partir da relação entre
população e o tempo de armazenamento.
Concentrações de soluções de proteína de arroz integral e absorbâncias
médias corrigidas.
Relação entre textura e aparência.
Temperatura usada num processo de desodorização de um produto e cor do
produto final.
A porcentagem de acerto ou, então, bytes transferidos, podem estar
relacionados com o tamanho da cache (bytes), para um determinado tipo de
pré-carregamento.
1
Número de acessos ao disco (disk I/O) e o tempo de processamento para
vários programas.
A performance de um procedimento remoto foi comparado em dois
sistemas operacionais: UNIX e ARGUS. A métrica utilizada foi o tempo
total transcorrido, o qual foi avaliado para vários tamanhos de arquivos de
dados.
Y f (X ) (1)
2
O caso mais simples de regressão é quando temos duas variáveis e a relação
entre elas pode ser representada por uma linha reta Regressão linear
simples.
Cenário
3
Como sabemos os dados podem ser obtidos a partir de duas situações:
1) dados experimentais: as observações X e Y são planejadas como o resultado de um
experimento, exemplo:
• X = tamanhos de cache e Y = porcentagem de acerto
• X= doses de starter (microorganismos [bactérias lácticas]) , Y= tempo de maturação do salame
tipo italiano.
Nesse exemplo, os valores de X estão sob controle do pesquisador, ou seja, ele escolheu as doses
e observou o resultado, Y.
2) dados observacionais: observa-se os valores de X e Y, nenhuma delas sob controle, exemplo:
• população de coliformes e população de staphilococus;
• média das alturas de plantas numa área e produção.
• O tempo para criptografar um registro com k-byte usando uma técnica para este fim foi
avaliado. X = tamanhos de registros tomados aleatoriamente e Y = tempo.
4
Problema prático: os valores observados de Y (e algumas vezes
de X) não são exatos. Devido a variações biológicas, de
amostragem e de precisão das medidas e outros fatores, só
podemos observar valores de Y (e possivelmente de X) com algum
erro. Assim, com base numa amostra de valores (X,Y) a exata
relação entre X e Y é mascarada pelos erros aleatórios.
X Fixo vs Aleatório:
• Dados experimentais: Geralmente X (doses, tempo, tamanho
da cache) é determinado pelo pesquisador X é fixo. Y está
sujeito à variações físicas, biológicas, tipos de objetos numa
página da Web, usuários, de amostragem, de medidas Y é
uma variável aleatória.
• Dados observacionais: geralmente X e Y são variáveis
aleatórias.
5
A distribuição normal bivariada
10
Modelo de regressão linear simples
(Sem especificação da distribuição de
probabilidades para o erro)
Considere o modelo com uma variável preditora e que a função de regressão é linear. O modelo é
dado por:
Yi 0 1 X i i
(2)
i 1,2,..., n
11
Onde:
12
Características do modelo:
constante
aleatório
1. Yi é uma v.a.(Yi 0 1 X i i )
2. E(Yi ) E ( 0 1 X i i ) i 0 1 X i
3. 2 (Yi ) 2 ( 0 1 X i i ) 2 ( i ) 2 (variância constante)
4. Yi e Y j não são correlacio nados
13
A figura mostra a distribuição de Y para vários valores de X. Mostra onde cai a observação Y1.
Mostra que o erro é a diferença entre Y1 e E(Y1). Observe que as distribuições de
probabilidade apresentam a mesma variabilidade.
14
Resumo da situação: para qualquer valor Xi, a média de Yi é i = 0 + 1Xi. As médias estão
sobre a linha reta para todos os valores de X. Devido aos erros aleatórios, os valores de Yi se
distribuem ao redor da reta.
15
Outro exemplo.
Porcentagem de acerto 44,45
42,10
44,68
46,99
46,26
48,82
50,66
47,68
52,44
53,21
51,85
55,38
16
Média:
E(Y)=27,836+0,00006423X
17
Significado dos parâmetros do modelo de regressão linear simples
yi = 0 + 1xi
y
x=1
1 y
x
0
x x+1
Equação de regressão:
yˆ 4 ,763.107 27 ,649 x
19
y
=4,7
63e
7-2
7,6
49*x
+ep
s
4
,6
e7
4
,4
e7
4
,2
e7
4
e7
3
,8
e7
BYTESTRANSFERIDOS
3
,6
e7
3
,4
e7
3
,2
e7
3
e7
2,2
e5 2
,6
e5 3
e5 3
,4
e5 3
,8
e5 4
,2
e5
T
AMANH
O D
ACACH
E
Equação de regressão:
yˆ 6,87 0,261x
Faça o gráfico dos pontos e da reta ajustada. Você acha que o modelo adotado é razoável?
21
Observações:
• um modelo de regressão pode conter duas ou mais variáveis preditoras (X1, X2,...,Xp-1);
• o modelo de regressão não precisa ser uma linha reta:
Y 0 1 X 2 X 2
Chama-se modelo quadrático ou de 20 grau, cuja figura é uma parábola. Esse modelo, embora não
seja uma linha reta, continua sendo um modelo linear nos parâmetros. O método que será discutido
para o modelo de regressão linear simples aplica-se diretamente aos demais modelos lineares nos
parâmetros.
22
Outro exemplo: o tempo de coleta de lixo (garbage collection time) para um
particular algoritmo foi mensurado para diversos valores de heap size.
Sc
atte
rplo
t(G
ARBAGE.ST
A10
v*1
0c)
y
=13
21
,4
83
-2
,2
08
*x
+0,0
01
*x
^2+
ep
s
6
00
5
00
4
00
3
00
GARBAGECOLLECTIONTIME
2
00
1
00
0
40
0 6
00 8
00 1
00
0 1
20
0 1
40
0 1
60
0
H
EAPSIZ
ES
23
• Modelo não linear nos parâmetros. Exemplo: modelo de crescimento logístico, onde X é o
tempo.
1
Y 1 2e 3X
É necessário estudar métodos para modelos não lineares.
24
Modelos de regressão alternativos
Yi 0 X 0 1 X 1 i onde X 0 1
Uma outra alternativa é usar para a v. preditora os desvios (Xi-Média(X)) ao invés
de Xi. Para não modificarmos o modelo (2), escrevemos:
Yi 0 1 ( X i X ) 1 X i
Yi 1 ( X i X ) i
*
0
0 1 X
*
0
25
Estimação da função de regressão
Denotamos as observações (Xi,Yi) para a primeira repetição como (X1,Y1), para a segunda como
(X2,Y2), e para a i-ésima como (Xi,Yi), com i=1,2,..,n.
Exemplo: uma pesquisadora está estudando o comportamento de Staphilococcus aureus (Y) em
frango, mantido sob condições de congelamento doméstico (-18oC) ao longo do tempo (X) (dias).
Tempo 0 7 14 21 28 35
População 3,114 3,568 2,845 3,079 2,699 2,663
Yi 0 1 X i i i 1,.., n
Desejamos ajustar o modelo, estimando os parâmetros 0 e 1.
e3
5
,5
4
,5
e1
VALOR
3
,5
e2
2
,5
e5
1
,5
2 6 1
0 1
4 1
8 2
2
ID
ADE
27
Estimadores de mínimos quadrados
Os valores de 0 e 1 que minimizam o critério Q podem ser obtidos diferenciando-se (10) em
relação a 0 e 1 , portanto, obtemos:
n
Q
0 2 (Yi 0 1 X i )
i 1
n
Q
1 2 X i (Yi 0 1 X i )
i 1
28
n
2 (Yi b0 b1 X i ) 0
i 1
n
2 X i (Yi b0 b1 X i ) 0
i 1
(Y b
i 1
i 0 b1 X i ) 0
n
X (Y b
i 1
i i 0 b1 X i ) 0
n n
Y nb
i 1
i 0 b1 X i 0
i 1
Fazendo-se as derivadas
parciais de segunda ordem,
n n n indicará que um mínimo foi
X Y b X
i 1
i i 0
i 1
i b1 X i2 0
i 1
encontrado com os estimadores
b 0 e b 1.
Y
i 1
i nb0 b1 X i
i 1
n n n
i i 0 i 1 i
X Y
i 1
b X b X 2
i 1 i 1
29
As equações normais podem ser resolvidas simultaneamente para b0 e b1(estimadores pontuais):
b1 ( X i X )(Yi Y )
( X i X )2
b0 1n Yi b1 X i Y b1 X
X Y
b1
XY n
2
X 2 X
n
30
Exemplo: a pesquisadora deseja encontrar o modelo de regressão da
porcentagem de acertos sobre o tamanho da cache.
31
b1 ( X i X )( Yi Y )
2408500
0 ,0000642
i ( X X ) 2 3750000000 0
32
33
Saída do Statistica:
34
Exemplo: a pesquisadora deseja encontrar o modelo de regressão do tempo
sobre a população de bactérias.
b1 ( X i X )(Yi Y )
16,199
-0,018890
i ( X X ) 2 857, 5
Segundo, o teorema diz que os estimadores b0 e b1 são mais precisos (isto é, as suas distribuições
amostrais tem menor variabilidade) do que quaisquer outros estimadores pertencentes a classe
dos estimadores não tendenciosos que são funções lineares das observações Y1, Y2,...,Yn. Os
estimadores b0 e b1 são tais funções lineares das observações. Considere, por exemplo, b 1,
b1 ( X i X )(Yi Y )
( X X ) 2 kiYi
( X i X )Yi
i ( X X ) 2
i
( Xi X )
ki
( X i X )2
Como ki são constantes (pois Xi são constantes conhecidas), b1 é uma combinação linear
de Yi e, assim, é um estimador linear. Da mesma forma, b0 também é um estimador
linear. Entre todos os estimadores lineares não tendenciosos, b0 e b1 tem menor
variabilidade (demonstração adiante) em repetidas amostras nas quais os níveis de X são
constante. 37
Estimação pontual da resposta média
Estimação da função de regressão
A média do modelo de regressão linear é dada por:
E (Y ) 0 1 X
Yˆ b0 b1 X
Onde Y (chapéu) é o valor estimado da função no nível X da variável preditora.
A resposta média (E(Y)), corresponde a média da distribuição de probabilidade de Y no nível X
da variável preditora. Pode-se demonstrar, como uma extensão do teorema de Gauss-Markov
que Y (chapéu) é um estimador não tendencioso de E(Y), com variância mínima dentro da
classe dos estimadores lineares não tendenciosos. Temos:
Yˆi b0 b1 X i i 1,2,..., n
38
Exemplo: para os dados de porcentagem de acerto na cache, os
valores estimados da função de regressão são dados por:
Yˆ 27 ,83633 0 ,0000642X
Suponha que estejamos interessados na porcentagem média
de acerto na cache para X=300.000 bytes (muitas amostras
com 300.000 bytes sob as mesmas condições que a equação
foi estimada); a estimativa pontual vale:
39
Saída do Statistica:
40
Exemplo: para os dados de staphilococcus aureus em frango, os valores estimados da função de
regressão são dados por:
Yˆ 3,325 0,019 X
Suponha que estejamos interessados na população média (muitas amostras com 21 dias de
armazenamento sob as mesmas condições que a equação foi estimada) de bactérias para
X=21 dias de armazenamento; a estimativa pontual vale:c
0* 0 1 X é dado por :
b0* b0 b1 X (Y b1 X ) b1 X Y
Temos: Yˆ Y b1 ( X X )
Exemplo: obter o valor ajustado para X=300.000 bytes de
cache..
Exemplo: para os dados de staphilococcus aureus em frango
obter o valor ajustado para X1=0 dia de armazenamento..
42
Resíduos
ei Yi Yˆi
Vemos que o resíduo para o primeiro caso, exemplo de
pop. de Staphilococcus, saída do statistica, é dado por:
0
,3
0
para os dados de
staphilococcus aureus
em frango
0
,1
5
Resíduos
0
,0
0
-0
,1
5
Re
gre
ssion
-0
,3
0
-5 0 5 1
0 1
5 2
0 2
5 3
0 3
5 4
0 9
5% c
onfid
.
TEMPO 44
R
awre
sid
ua
lsv
s.TAMANH
OC
R
awre
sid
ua
ls=-,0
00
0+0
,0
00
0*TAMANH
OC
C
orre
la
tio
n: r=,0
00
00
3
0
RESÍDUOS
-1
-2
Re
gre
ssion
-3
2,2
e5 2
,6
e5 3
e5 3
,4
e5 3
,8
e5 4
,2
e5 9
5% c
onfid
.
TAMANH
O D
ACACH
E
45
Propriedades do modelo ajustado: Yˆ b0 b1 X
n
1. e ( Y b
i 1
i i 0 b1 X i ) Yi nb0 b1 X i 0
6. Ŷ Y b1( X X ) Y b1 ( X X ) Y (para X X)
( a linha de regressão sempre passa pelo ponto (X;Y ) )
46
Estimação da variância (2)
A variância, 2, dos erros, i, no modelo de regressão (2) precisa ser estimado para obter uma
indicação da variabilidade da distribuição de probabilidade de Y. Necessário para inferências.
Lembrete: a variância de cada observação Yi para o nosso modelo de regressão é 2, a mesma de
cada i.
Precisamos calcular a soma de quadrados de desvios, considerando que cada Yi veêm de diferentes
distribuições de probabilidade com diferentes médias que dependem do nível de Xi; as médias são
estimadas por Yi(chapéu). Assim os desvios são os resíduos:
ei Yi Yˆi
A soma de quadrados do erro (resíduo), SQE, é dada por:
n n
SQE (Yi Yˆi ) 2 ei2
i 1 i 1
Dois graus de liberdade são perdidos para estimar os parâmetros 0 e 1. O quadrado médio do
erro é dado por (QME):
QME SQE
n2
SQE 25,7385
com 12 - 2 10 graus de liberdade, assim
QME 25,7385 / 10 2,57385
Estimativa de é 2,57385 1,6043% (desvio padrão)
(Desvio padrão da distribuiç ão de Y para qualquer X)
48
Modelo de regressão com erros normais
Para construir intervalos de confiança e fazer testes de hipóteses nós devemos
considerar alguma distribuição de probabilidade para os i. Uma distribuição
que tem um apelo prático e teórico bastante grande é a distribuição normal e
que será utilizada neste curso.
O modelo de regressão é dado por:
Yi 0 1 X i i i 1,.., n
Como assumimos para o modelo de regressão que os erros são normalmente distribuídos, a
suposição que os erros i não são correlacionados, feita no modelo inicial, transforma-se na
suposição de independência no modelo com distribuição normal.
O modelo implica que Yi são variáveis aleatórias independentemente distribuídas segundo uma
normal com média E(Yi)=0+ 1Xi e variância 2. Para cada valor Xi, podemos pensar em todos
os valores possíveis de Yi e sobre a sua variabilidade. Esta suposição diz que, seja qual for o
valor de Xi, a variabilidade nos possíveis valores de Y é a mesma.
Para cada valor Xi, podemos pensar que todos os valores assumidos por Y podem ser bem
representados por uma distribuição normal.
50
Estimação dos parâmetros pelo método da máxima
verossimilhança
Como foi especificado uma distribuição de probabilidades para os erros podemos obter
estimadores para 0, 1 e 2 pelo MMV.
O método de máxima verossimilhança determina como estimativas de máxima verossimilhança,
os valores de 0, 1 e 2 os quais produzem o maior valor para a verossimilhança.
Em geral, a densidade de uma observação Yi para o modelo de regressão com erros normais,
utilizando o fato de que E(Yi)=0+ 1Xi e variância 2 é dada por :
fi 1
2
exp 2
1 Yi 0 1 X i
2
51
n
L( 0 , 1 , ) ( 212 )1 / 2 exp 21 2 (Yi 0 1 X i ) 2
2
i 1
n
( 2πσ12 )n/ 2 exp 2σ1 2 (Yi β0 β1 X i )2
i 1
Devemos encontrar valores de 0, 1 e 2 que maximizam a função de verossimilhança L,
calculando-se as derivadas parciais de L com respeito a 0, 1 e 2 e igualando cada derivada
parcial a zero e resolvendo o sistema de equações obtido. Podemos trabalhar com logeL ao invés de
L, pois ambos são maximizadas para os mesmos valores de 0, 1 e 2 :
(log e L) 1
1
2
X (Y
i i 0 1 X i )
(log e L) n 1
2
2 2 2 4
(Y i 0 1 X i ) 2
52
Agora, fazemos as derivadas parciais iguais a zero, substituindo 0, 1 e 2 pelos estimadores
ˆ0 , ˆ1 e ˆ 2
Obtemos:
(Y ˆ ˆ X ) 0
i 0 1 i
X (Y ˆ ˆ X ) 0
i i 0 1 i
2
(Yi ˆ 0 ˆ1 X i )
n ˆ 2
As duas primeiras equações são idênticas as equações normais encontradas pelo método de
mínimos quadrados. O MMV produz um estimador viesado para 2.
n 53
Comentários:
1) como os estimadores de máxima verossimilhança de 0,e 1 são os mesmos do método
de mínimos quadrados, eles tem as mesmas propriedades de todos os estimadores de
mínimos quadrados:
a) são não viesados;
b) tem variância mínima entre todos os estimadores lineares não tendenciosos;
além disso, os estimadores de máxima verossimilhança b0 e b1 para o modelo de
regressão com erros normais tem outras propriedades desejáveis:
c) são consistentes;
lim P(| ˆ | ) 0 0
n
d) são suficientes;
Testes de hipóteses:
0 e 1 são os parâmetros;
Xi são constantes conhecidas, fixas.
i são independentes com distribuição N(0, 2).
55
Inferências para 1
encontrar intervalos de confiança para 1
fazer testes de hipóteses com relação a 1, por exemplo:
H 0 : 1 0 Não há associação
H a : 1 0 entre X e Y.
Para realizar inferências sobre 1, precisamos conhecer a distribuição amostral de b1, o estimador
pontual de 1.
Distribuição amostral de b1
b1 (i X X i) 2
O estimador pontual é dado por:
( X X )(Y Y )
i
A distribuição amostral de b1 refere-se aos diferentes valores de b1 que seriam obtidos com
muitas amostras para um mesmo nível da variável preditora X (constante).
56
Normalidade: a normalidade da distribuição amostral de b1 segue do fato de que b1 é uma
combinação linear dos Yi.Os Yi são independentes, com distribuição normal. Uma combinação linear
de variáveis aleatórias independentes, com distribuição normal, também tem distribuição normal.
b1 i( X X i)2
( X X )( Y Y ) E (b1 ) E kiYi ki E (Yi )
i
E (b1 ) ki ( 0 1 X i )
b1 i ( Xi X )2 i
( X X )Y ( X X )Y
i E (b1 ) ki 0 ki 1 X i
b1 i ( Xi X)2 i
( X X )Y Y ( X X )
i E (b1 ) 0 ki 1 ki X i
b1 ( Xi X )2i E (b1 ) 1 (não viesado)
( X X )Y
i
b1 kiYi Pois,
ki ( Xi X ) k 0 i
( Xi X )
k X 1
2
i i (Demonstre )
Portanto, ki são funções de Xi que são valores
fixos.
57
Variância:
k Y k
2
(b1 )
2 2 2 2
(Yi ) X X
i i i
ki Xi X 2
2
2 (b1 ) ki2 2 i
2 (b1 ) 2 ki2 i
1
2 2
2
2
k X X
X i X
i
2 (b1 ) 2 1
X i X 2 ki2
1
X i X
2
s 2 (b1 ) QME
X i X
2
58
Nota:
Na seção propriedades dos estimadores de mínimos quadrados dissemos que b1 tem a
menor variância entre todos os estimadores lineares não tendenciosos da forma
Zero (Verifique)
2 (b1 ) 59
Finalmente, temos: 2 ( ˆ1 ) 2 (b1 ) 2 di2
Observamos que a menor variância do estimador (ˆ1 ) é obtida quando di 0 .Isto
2
ocorre quando todos os di=0, isto implica que ci ki. Assim, o estimador de mínimos
quadrados b1 tem variância mínima entre todos os estimadores lineares não tendenciosos.
Teorema: b1 1
s ( b1 ) ~ t(n - 2) para o modelo (3)
Demonstração:
b1 1
Podemos escrever a estatística como: s ( b1 )
( b1 ) ( b1 )
O numerador é uma variável normal padrão z. Para o denominador, temos:
60
QME
s 2 ( b1 )
2
( X i X )2 QME
SQE
n 2
2 ( n2) ~
SQE (2n2 )
( b1 )
2
2
2 ( n2)
( X i X )2
Teorema: para o modelo (3),
SQE/2 é distribuído como
Portanto, b1 1 z 2 com n-2 gl e é
s ( b1 ) ~ 2 ( n 2 ) independente de b0 e b1.
( n2 )
61
Intervalo de confiança para 1
Desde que (b1-1)/s(b1) tem distribuição t,podemos fazer a seguinte afirmação probabilística:
b1 t (1 / 2; n 2)s(b1 )
Exemplo: considere os dados de população de Staphilococcus aureus, a pesquisadora deseja
encontrar o intervalo para 1 com confiança de 95%.
s 2 (b1 ) QMR
0 , 0659
0,0000769
(X X ) 2 857, 5
s (b1 ) 0,008772
t (0,975;4) 2,776 Usar software
0,019 2,776(0,008772) 1 0,019 2,776(0,008772)
0,0434 1 0,0623 Muito importante
s 2 ( b1 ) QMR
2 ,5738
0 ,000000000068635
( X X )2 3750000000 0
s( b1 ) 0 ,0000083
t ( 0 ,975 ;10 ) 2 ,228 Usar software
0 ,0000642 2 ,228( 0 ,0000083 ) 1 0 ,0000642 2 ,228( 0 ,0000083 )
0 ,0000457 1 0 ,0000827 Muito importante
Hipóteses:
H 0 : 1 0
H a : 1 0
65
Exemplo: a pesquisadora deseja saber se existe regressão linear
entre a porcentagem de acertos na cache e o tamanho da cache,
ou seja, se 10 ou não.
66
Exemplo: a pesquisadora deseja saber se existe regressão linear
entre população de bactérias e o tempo de armazenamento, ou
seja, se 10 ou não.
t
* 0 ,0000642 0
0 ,0000083 7 ,735
O valor de t de tabela vale: t(0,975;10)=2,228, como |7,735| é maior
do que 2,228 rejeita-se a hipótese nula e concluímos que existe uma
associação linear entre a porcentagem de acertos na cache e o
tamanho da cache.
68
Exemplo: para os dados de população de Staphilococcus
aureus, com =0,05, b1=-0,019 e s(b1)=0,008772, temos:
0, 0190
t
*
0, 008772 2,166
O valor de t de tabela vale: t(0,975;4)=2,776, como |-2,166| é menor
do que 2,776 aceita-se a hipótese nula e concluímos que não existe
uma associação linear entre a população de Staphilococcus aureus e
o tempo de armazenamento.
70
* * Com o uso do Statistica, para os dados de porcentagem de
acerto na cache, encontrar a probabilidade de se rejeitar a
hipótese nula, quando ela é verdadeira.
71
Saída do Statistica: dados de populações de Staphilococcus a diferença verificada entre -2,166 e -
2,15351 é devido à aproximações nos cálculos.
* * Com o uso do Statistica, encontrar a probabilidade de se rejeitar a hipótese nula, quando ela é
verdadeira. Atenção: verificar se o
P(| t | 2,166) 0,0962 software dá o valor p para
P(t 2,166) p(t 2,166) 0,04812 0,04812 0,09624 o teste uni ou bilateral
72
Teste unilateral:
O pesquisador deseja, por exemplo, testar se 1 é negativo,
controlando o nível de significância =0,05.
H 0 : 1 0
H a : 1 0
Regra de decisão:
Se t* t ( ; n 2 ), não rejeita - se H 0
Se t* t ( ; n 2 ), rejeita - se H 0
Valor p P t t* 73
Nas publicações, indicar o nível descritivo juntamente com o valor
da estatística teste. Podemos realizar o teste estatístico para
qualquer nível de significância , comparando o nível descritivo
com o valor desejado de .
H 0 : 1 10
H a : 1 10
Onde 10 é um valor diferente de zero.
74
A estatística teste é dada por:
b1 10
t
s b1
Critério do teste:
75
Inferências para 0
Só tem interesse quando os níveis de X incluem X=0 (o que é raro).
Distribuição amostral de b0
O estimador pontual b0 é dado por:
b0 Y b1 X
A distribuição amostral de b0 refere-se aos valores diferentes de b0 que seriam obtidos com
diferentes amostras para o mesmo valor de X (constante).
A distribuição amostral de b0 é normal
Média:
E (b0 ) 0
Variância: 2
(b0 ) n ( X X )2
1 2 X2
i
(Demonstração próxima página)
E( b0 ) E( Y b1 X ) E( Y ) E( b1 X )
Y XE( b1 ) 0 1 X X1
0 (cqd).
77
Intervalo de confiança para 0
b0 t (1 / 2; n 2)s(b0 )
Exemplo: para os dados de Staphilococcus, como temos tempo=0 (X=0), podemos estar
interessados em encontrar o IC para 0.
X 2 1 17,52
s (b0 ) QME n
2 1
2
0,0659 857,5 0,0345
( X i X ) 6
s(b0 ) 0,1858
t (0,975;4) 2,776
3,3252 2,776(0,1858) 0 3,3252 2,776(0,1858)
2,8094 0 3,8410
Como o intervalo de confiança não inclui o valor zero (0), rejeitamos a hipótese:
H0 : 0 0
Ha : 0 0
78
Estimação intervalar para E(Yh)
Freqüentemente, numa análise de regressão, deseja-se estimar a
média de uma ou mais distribuições de probabilidade de Y.
Exemplo: No estudo da relação entre o tamanho da cache (X) e
porcentagem de acerto (Y), a porcentagem média de acerto para
tamanhos maiores de cache pode ser de interesse. Outro exemplo,
um agrônomo pode estar interessado na produção média para
diversas doses de um nutriente, com o objetivo de encontrar a dose
ótima.
Xh representa o nível da variável preditora para a qual se deseja
estimar a resposta média.
A resposta média para X=Xh é representada por: E(Yh)
Yˆh b0 b1 X h 79
Distribuição amostral de Y(chapéu)h
• Média
80
• Variância
Para obter 2(Y(chapéu)h), primeiro mostraremos que b1 e Y não são correlacionados e sob o
modelo de regressão com erros normais, independentes:
(b1; Y ) 0
Definimos:
Y 1n Yi b1 kiYi ki Xi X
( X i X )
2
Através do teorema A.32 (Neter et al., página 668, 1996) com ai=1/n e ci=ki e lembrando que
Yi são variáveis aleatórias independentes:
(Y ; b1 ) ( )ki (Yi )
1
n
2 2
n k i 0
Para a demonstração da variância de Y(chapéu)h vamos utilizar o modelo:
Yi 0* 1 ( X i X ) i
81
2 (Yˆh ) 2 (Y b1 ( X h X ))
2 (Yˆh ) 2 (Y ) ( X h X ) 2 2 (b1 )
(Y e b1 são independen tes; X n e X constantes )
2 (Yi )
(b1 ) 2
(Y ) n
2 2 2
( X h X )2 n
2 (Yˆh ) n ( X h X ) 2 2
2
( X i X )2
ˆ 2 1 ( X h X )2
(Yh ) n ( X X ) 2
2
i
Distribuição amostral de (Yˆh E(Yh )) / s(Yˆh )
Yˆh E (Yh )
s (Yˆ )
~ t (n 2)
h
Yˆh t (1 / 2; n 2)s(Yˆh )
82
Exemplo: vamos encontrar um intervalo com confiança de 95% para E(Yh) para tamanho de
cache X=300.000 bytes. Temos:
Yˆ300000
27 ,83633 0 ,0000642 ( 300000 ) 47 ,10
s ( Yˆ ) 2 ,5738
2
h
1
12 0 ,25738
( 300000 325000 )2
3750000000 0
s( Yˆ ) 0 ,5073263
h
45 ,9697 E( Y 300000
) 48 ,2303
Interpretação: temos 95% de confiança que a porcentagem média de acertos, com 300.000 bytes
de tamanho de cache, está entre 45,9697 e 48,2003%. Um intervalo com boa precisão.
Exercício: encontrar o intervalo com confiança de 95% para E(Yh) para tamanho de cache
X=200.000. Compare as amplitudes dos intervalos.
83
Exemplo: para os dados de população de bactérias, vamos encontrar um intervalo com
confiança de 95% para E(Yh) para tempo X=14 dias. Temos:
Exercício: encontrar o intervalo com confiança de 95% para E(Yh) para tempo X=0.
Compare as amplitudes dos intervalos.
84
Predição de uma nova observação
Exemplo: 1) a pesquisadora deseja predizer a porcentagem de acertos
na cache para um tamanho de cache igual a 375.000 bytes; 2) a
pesquisadora deseja predizer a população de bactérias para um tempo
específico igual a 15 dias.
Portanto, desejamos predizer uma nova observação, Y, vista como
resultado de um novo ensaio, independente dos ensaios nos quais
análise de regressão foi feita.
Notação: denotamos o nível de X para o novo ensaio como Xh e a
nova observação em Y como Yh(novo). Assumimos que o modelo de
regressão continua válido para a nova observação.
A diferença entre estimar uma resposta média, E(Yh) e fazer a
predição de uma nova observação, Yh(novo), é que no primeiro caso
estimamos a média da distribuição de Y. Agora, vamos predizer uma
resposta individual da distribuição de Y. 85
Intervalo de predição para Yh(novo)
Os limites de predição para uma nova observação Yh(nova) para um dado Xh são obtidos através do
do seguinte teorema :
Yh ( novo) Yˆh
s ( pred ) ~ t (n 2)
Isto para o modelo de regressão com erros normais.
Note que a estatística usa Y(chapéu)h no numerador ao invés de E(Yh). O desvio padrão estimado,
s(pred), é obtido como segue:
A diferença no numerador, Yh(novo) - Y(chapéu)h, pode ser visto como um erro de predição, com
Y(chapéu)h sendo a melhor estimativa pontual do valor da nova observação, Yh(novo) . A variância
desse erro pode ser obtida considerando que a nova observação e as n observações, sobre as quais
Y(chapéu)h está baseada, são independentes. Considerando o teorema A.31b (Neter et. Al., página
668, 1996), temos:
2 ( pred ) 2 (Yh ( novo) Yˆh ) 2 (Yh ( novo) ) 2 (Yˆh ) 2 2 (Yˆh )
s 2 ( pred )) QME s 2 (Yˆh ) (estimador não tendencioso)
( X h X )2
s ( pred ) QME 1 n ( X X ) 2
2 1
i
O intervalo fica: Yˆh t (1 / 2; n 2)s( pred ) 86
Exemplo: suponha que um novo tamanho de cache seja Xh=375000 bytes,e que a pesquisadora
deseja construir um intervalo de predição com 95% de confiança para Y375000(novo).
Interpretação: podemos afirmar com 95% de confiança que o valor predito de população de
bactérias, para tempo igual a 15 dias, está entre 2,2677 e 3,8123 ufc/cm2.
88
Faixa de confiança para a equação de regressão
Útil para verificar o ajuste da equação de regressão.
A faixa de confiança (1-) para a equação da reta correspondente ao modelo de regressão com
erros normais tem dois limites para qualquer nível de Xh, cujos valores são dados por:
Yˆh Ws (Yˆh )
W 2 2 F (1 ;2, n 2)
Distribuição de F,
Yˆ b b X
h 0 1 h
com 2 gl no
numerador e n-2 no
denominador, com
ˆ ( X h X )2
s (Yh ) QME n ( X X ) 2
2 1 grau de confiança 1-
i
Calcula-se os valores dos limites para diversos níveis de Xh e após faz-se o gráfico.
89
Sc
atte
rp
lo
t (C
ACH
E.STA9
v*1
2c
)
y
=27
,8
36
+6
,4
23
e-5
*x
+ep
s
5
8
5
6
5
4
5
2
5
0
4
8
PORCENTAGEMDEACERTO
4
6
4
4
4
2
4
0
2,2
e5 2
,6
e5 3
e5 3
,4
e5 3
,8
e5 4
,2
e5
TAMANH
O D
ACACH
E
91
Partição da soma de quadrados total
Yi Y ( Yˆi Y ) ( Yi Yˆi )
Desvio Desvio da Desvio em
total equação torno da
ajustada em equação
torno da média ajustada
Yi
•
E
T
R
Y
X Xi 92
n n
Demonstração: iˆ ˆ 2
(Y Y ) (Y Y ) (Yi Y i ) 2
i 1 i 1
(Yˆ Y )
n
i
2
(Yi Yˆi ) 2 2(Yˆi Y )(Yi Yˆi )
i 1
n n n
(Yˆ Y ) (Y Yˆ )
i 1
i
2
i 1
i i
2
2 (Yˆi Y )(Yi Yˆi )
i 1
n n n
2 (Yˆi Y )(Yi Yˆi ) 2 Yˆi (Yi Yˆi ) 2Y (Yi Yˆi ) 0
i 1 i 1 i 1
n n n
(Y
i 1
Y ) i
(Yˆ Y )2
i i
(Y Yˆ
i 1
) 2 2
i 1
n
Soma de quadrados total: SQT (Yi Y ) 2
i 1
n
Soma de quadrados do erro (ou resíduo): SQE (Yi Yˆi ) 2
i 1
n
Soma de quadrados da regressão: SQR (Yˆi Y ) 2
i 1
93
(Parte da variabilidade de Yi que está associada com a regressão)
Graus de liberdade
A SQT tem n-1 graus de liberdade; um grau de liberdade é perdido devido a restrição de que a soma
dos desvios em torno da média é zero. De outra forma: um grau de liberdade é perdido porque a
média da amostra é usada para estimar a média populacional.
A SQE tem n-2 graus de liberdade. Dois graus de liberdade são perdidos pois dois parâmetros são
estimados para obter Y(chapéu)i.
A SQR tem 1 grau de liberdade. Dois g.l. estão associados com a regressão (2 parâmetros); um deles
é perdido devido a restrição: (Yˆi Y ) 0.
Quadrados médios
A soma de quadrados dividida pelos graus de liberdade é chamada de quadrado médio.
QMR SQR
QME SQE QMT (SQT
n 1)
1 ( n 2)
94
Tabela da análise de variância
Tabela da análise de variância para regressão linear simples
Causas de variação Soma de quadrados Graus de liberdade Quadrado médio
Regressão SQR 1 SQR/1
Erro SQE n-2 SQE/(n-2)
Total SQT n-1
SQTNC Yi 2
Tabela da análise de variância para regressão linear simples
Causas de variação Soma de quadrados Graus de liberdade Quadrado médio
Regressão SQR 1 SQR/1
Erro SQE n-2 SQE/(n-2)
Total SQT n-1
2
Correção para a média SQ(devido a média)=nY 1
SQTNC= Y
2
Total não corrigido i n
95
Exercício: obtenha para os dados de porcentagem de acertos na cache a SQR e o QMR.
Teorema 2.11 (página 49, Neter et al., 1996) diz que: SQE / ~ (n 2)
2 2
E ( SQE
2
)n2
E ( SQE
n2 ) E (QME ) 2
(O QME é estimador imparcial)
Para encontrar a E(QMR), partimos de:
SQR b12 ( X i X )
2
E( b ) 1 1
( b )
2
1
2
Xi X
2
E( b )
2
1
2
Xi X
2 2
1
E( SQR ) E( b ) ( X X ) 2
1 i
2
E( SQR ) 2
Xi X 2 ( X X )
1
2
i
2
E( SQR ) ( X X ) 2 2
1 i
2
E( SQR
1 ) E( QMR ) ( X X ) 2 2
1 i
2
Teste F para 1
H 0 : 1 0
Na análise de variância testa-se as seguintes hipóteses:
H a : 1 0
Vamos considerar a distribuição amostral de F* quando a hipótese nula for verdadeira, isto é,
sob H0.
Teorema de Cochran: se as n observações Yi são identicamente distribuídas de acordo com
uma distribuição normal com média e variância 2 e a soma de quadrados total é
decomposta em k somas de quadrados SQr , cada uma com glr graus de liberdade, então, os
termos SQr/ 2 , são variáveis independentemente distribuídas como 2 com glr graus de
liberdade se:
k
gl
i 1
r n 1
Na tabela da ANOVA a SQT foi decomposta em duas somas de quadrados (SQR e SQE) e os
seus graus de liberdade são aditivos.
Sob H0, de modo que os Yi tem distribuição normal com a mesma média =0 e mesma
variância 2 , SQE/2 e SQR/2 são variáveis independentemente distribuídas como 2.
1) Modelo completo
Este modelo é considerado adequado para os dados e chama-se modelo completo ou sem
restrição (superparametrizado). No caso de regressão linear simples temos:
Yi 0 1 X i i Modelo completo
2) Modelo reduzido
Vamos considerar as hipóteses:
Modelo reduzido:
H 0 : 1 0 Sob H0
Yi 0 i
H a : 1 0 101
A soma de quadrados do erro do modelo reduzido (SQE(R)), é dada por:
3) Teste estatístico
Devemos comparar as duas somas de quadrados dos erros.
Mais parâmetros
Conclusão: se a SQE(C) não é muito menor do que a SQE(R), indica que o modelo reduzido é
adequado, isto é, não rejeita-se H0.
102
O teste estatístico é dado por:
F* SQE( R ) SQE( C )
glr glc SQEglc(C ) ~ F (1 ; glr glc , glc )
Decisão:
H 0 : 1 0
H a : 1 0
F* 180 ,4284 25 ,7385
1110 25 ,7385
10 154 ,6899
2 ,57385 60 10
, **
.
103
Exercício: para os dados de pop. de staphilococcus,
verifique se as hipóteses:
H 0 : 1 0
H a : 1 0
F
* 0 ,569885 0 ,263908
5 4 0 ,263908
4 0 ,305977
0 ,065977 4,64 . NS
104
Medidas descritivas do grau de associação linear
entre X e Y.
Coeficiente de determinação (r2) r SQT 1 SQT
2 SQR SQE
0 r2 1
Interpretação: é o quanto da variabilidade total dos dados é explicada pelo modelo de regressão.
Quanto maior o r2 mais a variação total de Y é reduzida pela introdução da v. preditora X no modelo.
Y
Y r2=0
r2=1
Yˆ b0 b1 X
Yˆ Y
X
X A v. X não ajuda na redução da
A variável preditora X é responsável por toda variação de Yi com a Reg. Linear 105
a variação nas observações Yi.
Coeficiente de correlação (r)
r r2
1 r 1
Exemplo: para os dados de porcentagem de acertos na cache, temos:
106
Interpretações errôneas dos coeficientes de determinação e
correlação:
1) Um alto coeficiente de correlação indica que predições úteis
podem ser feitas. Isto não é necessariamente correto. Observe
se as amplitudes dos intervalos de confiança são grandes, isto
é, não são muito precisos.
2) Um alto coeficiente de correlação indica que a equação de
regressão estimada está bem ajustada aos dados. Isto também
não é necessariamente correto (veja figura a seguir).
3) Um coeficiente de correlação próximo de zero indica que X
e Y não são correlacionadas. Idem (veja figura a seguir).
107
108