1.

2 Estimao dos Parmetros do Modelo

Supondo que a relao linear entre as variveis Y e X satisfatria, podemos estimar a linha de regresso e resolver alguns problemas de inferncia. O problema de estimar os parmetros e o mesmo que ajustar a melhor reta em um grfico de disperso, como na Figura 1.2.1. O Mtodo dos Mnimos Quadrados uma eficiente estratgia de estimao dos parmetros da regresso e sua aplicao no limitada apenas s relaes lineares.

Figura 1.2.1: Representao da Reta de Regresso.

1.2.1 Mtodo dos Mnimos Quadrados

O primeiro passo na anlise de regresso obter as estimativas e dos parmetros do modelo. Os valores dessas estimativas sero obtidos a partir de uma amostra de n pares de valores (xi,Yi), i=1,...,n que correspondem a n pontos em um grfico, como na Figura 1.2.1. No mtodo de Mnimos Quadrados, no necessrio conhecer a forma da distribuio dos erros. Suponha que traada uma reta arbitrria passando por esses pontos. No valor da varivel explicativa, o valor predito por esta reta , enquanto o valor observado . Os desvios (erros) entre estes dois valores

, que corresponde a distncia vertical do ponto reta arbitrria. O objetivo estimar os parmetros e de modo que os desvios ( ) entre os valores observados e estimados sejam mnimos. Isso equivale a minimizar o comprimento do vetor de erros, . Uma forma de obter essas estimativas o Mtodo de Mnimos Quadrados. Este mtodo consiste em minimizar a soma dos quadrados dos desvios L, como na expresso abaixo

A potncia necessria, pois a soma dos desvios nula, isto , Para encontrarmos estimativas para os parmetros, vamos minimizar (1.2.1.1) em relao aos parmetros e . Para isto, derivamos-a em relao aos parmetros e . Assim,

Substituindo e por e , para indicar valores particulares dos parmetros que minimizam L, e igualando as derivadas parciais a zero, obtemos

Simplificando, obtemos as equaes denominadas Equaes Normais de Mnimos Quadrados.

Para encontrarmos os valores de e que minimizam L, resolvemos o sistema de equaes dado em (1.2.1.2). Considerando a primeira equao de (1.2.1.2) obtemos que,

ou seja,

em que respectivamente.

so as mdias de x e da varivel Y,

Desta forma, substituindo (1.2.1.3) na segunda equao de (1.2.1.2) temos que,

Ento,

e portanto, conclumos que

Podemos tambm escrever

Os valores de e assim determinados so chamados Estimadores de Mnimos Quadrados (EMQ). O modelo de regresso linear simples ajustado ento

sendo que um estimador pontual da mdia da varivel Y para um valor de , ou seja,

Notao: Considerando n pares de valores observados (x1,y1),...,(xn,yn),

As quantidades e so as mdias amostrais de x e y. J as quantidades e so as somas dos quadrados dos desvios das mdias e a soma dos produtos cruzados dos desvios de x e y. Desta forma, as estimativas de mnimos quadrados de desta notao so: e , em termos

Exemplo 1.2.1 Voltando "Motivao 1", em que queramos determinar os valores de temperatura em que otimizam a dureza do material, encontramos as estimativas dos parmetros e pelo Mtodo dos Mnimos Quadrados.
clique aqui para efetuar o download dos dados utilizados nesse exemplo

Soluo: As mdias amostrais das variveis temperatura (X) e dureza (Y) so, respectivamente,

Alm disso, na Tabela 1.2.1, apresentamos os valores de x2, y2 e xy para cada observao i, i=1,...,20. Observao 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Soma Mdia Temperatura (x) Dureza (y) 220 137 220 137 220 137 220 136 220 135 225 135 225 133 225 132 225 133 225 133 230 128 230 124 230 126 230 129 230 126 235 122 235 122 235 122 235 119 235 122 4.550 2.588 227,5 129,4 48.400 48.400 48.400 48.400 48.400 50.625 50.625 50.625 50.625 50.625 52.900 52.900 52.900 52.900 52.900 55.225 55.225 55.225 55.225 55.225 1.035.750 18.769 18.769 18.769 18.496 18.225 18.225 17.689 17.424 17.689 17.689 16.384 15.376 15.876 16.641 15.876 14.884 14.884 14.884 14.161 14.884 335.594 30.140 30.140 30.140 29.920 29.700 30.375 29.925 29.700 29.925 29.925 29.440 28.520 28.980 29.670 28.980 28.670 28.670 28.670 27.965 28.670 588.125

Tabela 1.2.1: Dados da Motivao 1. Assim, encontramos as somas de quadrados

Logo, as estimativas dos parmetros

so, respectivamente

Portanto, o modelo ajustado dado por Pelos valores das estimativas, temos que a cada aumento da Temperatura, temos um decrscimo de 1,032 na Dureza.

1.2.2 Resduos
A diferena entre o valor observado e o correspondente valor ajustado dado pela expresso (1.2.1.4), chamada de resduo e denotada por ,

Essa medida importante j que por meio dela verificamos o ajuste do modelo. 1.2.2.1 Algumas propriedades do ajuste de mnimos quadrados (i) A soma dos resduos sempre nula.

(ii) A soma dos valores observados

igual a soma dos valores ajustados

(iii) A reta de regresso de mnimos quadrados passa pelo ponto fato,

. De

com

. Assim, a reta de regresso ajustada dada por

Logo,

e portanto, temos que a reta ajustada passa por

(iv) A soma dos resduos ponderado pelo correspondente valor da varivel regressora sempre nula.

(v) A soma dos resduos ponderado pelo correspondente valor ajustado sempre zero.

1.2.3 Estimador da varincia residual

Assim como os parmetros e , a varincia dos termos do erro precisa ser estimada. Isto necessrio j que inferncias a respeito da funo de regresso e da predio de Y requerem uma estimativa de . Consideremos os resduos dado em (1.2.2.1). Desta forma, definimos a Soma de Quadrados dos Resduos (Erros),

No utilizamos a soma dos resduos uma vez que em (i),

Como demonstrado em "Propriedades dos Estimadores", SQE um estimador viciado de , isto ,

Desta forma, um estimador no viciado para

dado por

em que QME o Quadrado Mdio dos Erros (Resduos). Considerando n pares de valores observados (x 1,y1),...,(xn,yn), podemos escrever

como visto em "Propriedades dos Estimadores", em que e respectivamente pelas expresses (1.2.1.6) e (1.2.1.7). Portanto,

so dados

Daremos mais detalhes para a Soma de Quadrados dos Erros (SQE) e para o Quadrado Mdio dos Erros (QME) em "Anlise de Varincia".

Exemplo 1.2.2

Obter um estimador no viesado para a varincia residual do exemplo da "Motivao 1".

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Soluo: Temos que

J vimos que

ento

Usando o Software Action obtemos os seguintes resultados:

1.5 Anlise de Varincia

Para avaliarmos a significncia do modelo como um todo utilizamos a anlise de varincia (ANOVA). Para isso, consideremos o "Modelo de Regresso Linear Simples" com a suposio de que os erros tem distribuio Normal. A anlise de varincia baseada na decomposio da soma de quadrados e nos graus de liberdade associados a varivel resposta Y. Em palavras, o desvio de uma observao em relao mdia pode ser decomposto como o desvio da observao em relao ao valor ajustado pela regresso mais o desvio do valor ajustado em relao mdia, isto , podemos escrever como

1.5.1 Soma de Quadrados

Elevando cada componente de (1.3.1) ao quadrado e somando para todo o conjunto de observaes, obtemos

em que

Desta forma, escrevemos

em que decompomos a Soma de Quadrados Total em Soma de Quadrados da Regresso e Soma de Quadrados dos Erros. Prova:

Notemos que

Como visto em "Algumas propriedades do ajuste de mnimos quadrados",

Desta forma,

e portanto,

1.5.2 Partio dos Graus de Liberdade

Assim como h uma decomposio da soma de quadrados total, existe uma decomposio dos graus de liberdade associados (abreviados por gl). A decomposio a seguinte:

gl da SQT: (n-1); gl da SQR: 1; gl da SQE: (n-2).

1.5.3 Quadrado Mdio

A diviso da soma de quadrados pelos respectivos graus de liberdade o quadrado mdio. A relao da decomposio da variabilidade no existe mais nesse caso.

Como visto em "Propriedades dos Estimadores",

Alm disso,

Desta forma,

e portanto,

1.5.4 Tabela de Anlise de Varincia

Resumidamente temos:
Fonte Regresso GL 1 Soma de Quadrados Quadrado Mdio

Resduo

Total

Tabela: ANOVA

1.5.5 Teste F
Considerando o Modelo de Regresso Linear Simples, a anlise de regresso estabelece um teste para avaliar o parmetro , isto , testar as hipteses

Seja

e consideremos o seguinte teorema: Teorema de Cochran Sejam . Ento variveis aleatrias independentes com distribuio

Se tivermos

em que graus de liberdade, tal que

so somas de quadrados, cada um com

ento obtemos que Sob

e so independentes para qualquer . Ento, segue pelo teorema de Cochran que

com as distribuies Qui-Quadradas

independentes.

Desta forma, propomos a estatstica do teste

Como uma proporo de duas variveis graus de liberdade, segue que .

, cada uma dividida pelos seus

Uma motivao, baseada nas esperanas dos quadrados mdios sugere que valores grandes de levem a e valores de prximos de 1 levem a . Logo, rejeitamos com um nvel de significncia se . Outra maneira analisar o p_valor. Neste caso, rejeitamos se

Na tabela a seguir apresentamos a tabela ANOVA com a Estatstica do Teste F.

Fonte Regress o Resduo GL 1 Soma de Quadrados Quadrado Mdio

Total

Tabela: Anlise de significncia usando ANOVA. Exemplo 1.5.1 Construir a tabela da ANOVA para o exemplo dado na "Motivao 1".
clique aqui para efetuar o download dos dados utilizados nesse exemplo

Soluo:

Assim,

A tabela da ANOVA ento, dada por

Fonte Regresso Resduo Total GL 1 18 19 Soma de Quadrados 665,64 41,16 706,80 Quadrado Mdio

Tabela: Anlise de significncia usando ANOVA. Para Logo, , obtemos que

Alm disso,

Portanto, rejeitamos com um nvel de confiana de e conclumos que a varivel explicativa tem correlao com a varivel resposta. Interpretao do P-valor Obtemos um nvel de significncia (ou P-valor) para o teste F, por exemplo, comparando o valor com o quantil da distribuio F, A maioria dos programas computacionais, que ajustam modelos de regresso incluem o clculo do na tabela ANOVA. Quando o p-valor aproximadamente zero significa que, se a hiptese nula for verdadeira, a chance de F exceder o valor observado praticamente nula. Esta uma evidncia muito forte, contra O p-valor uma probabilidade condicional de observar um valor da

estatstica computada, nesse caso

como maior do que o valor observado,

sob Um p-valor pequeno fornece evidncias contra Em algumas res de pesquisa, adotado um nvel de significncia fixo para examinar o p-valor. Por exemplo, se fixarmos um nvel de significncia ( ), ento poderemos dizer que uma hiptese nula rejeitada a este nvel, quando o p-valor menor do que esse nvel. A escolha mais comum para 0,05, isto significa que quando verdadeira encontraremos evidncias contra essa hiptese em aproximadamente 5% dos elementos da amostra. Denominamos significncia estatstica a observao de um P-valor suficientemente pequeno, porm essa significncia necessita de outros mtodos para ser determinada, alm do P-valor.

Usando o Software Action temos os seguintes resultados: