Regresso no linear

Modelos de regresso linear e no linear

Modelos de regresso linear
At o presente momento do curso, consideramos modelos lineares nos parmetros.
Por exemplo:
1) Modelo linear geral:

Yi 0 1 X i1 ... p 1 X i , p 1 i

1) Modelo polinomial:

Yi 0 1 X i1 2 X i
2
i1

1) Modelo com variveis transformadas:

log10 Yi 0 1 X i1 2 exp( X i 2 ) i
Os modelos lineares, podem ser escritos, na forma:

Yi f (X i , ) i
Onde Xi o vetor de observaes das variveis preditoras para o i-simo
caso:

1
X
i1

Xi

X i , p 1
o vetor dos parmetros, e f(Xi,) representa o valor esperado E(Yi), o qual
para o modelo linear :
'

f ( X i , ) Xi

Nos modelos lineares, o problema de estimao dos parmetros, cai no problema

de resolver um sistema de equaes lineares com relao aos coeficientes de
regresso desconhecidos. Existe uma soluo nica e, portanto, obtemos uma
forma analtica de estimao dos parmetros. Esta forma a mesma para
qualquer modelo e qualquer conjunto de dados.
Alm disso, como os coeficientes so combinaes lineares das observaes,
pela teoria estatstica, demonstra-se que a distribuio amostral dos coeficientes
de regresso segue uma distribuio t, assim, podemos realizar os testes de
hipteses, calcular os intervalos de confiana para esses coeficientes.

Modelos de regresso no linear

Existe, entretanto, muitas situaes nas quais no desejvel, ou mesmo
possvel, descrever um fenmeno atravs de um modelo de regresso linear.
Ao invs de se fazer uma descrio puramente emprica do fenmeno em
estudo, pode-se, a partir de suposies importantes sobre o problema
(freqentemente dadas atravs de uma ou mais equaes diferenciais),
trabalhar no sentido de obter uma relao terica entre as variveis
observveis de interesse. O problema, diferentemente do caso linear, que os
parmetros entram na equao de forma no linear, assim, ns no podemos
simplesmente aplicar frmulas para estimar os parmetros do modelo.

Outra vantagem dos modelos no lineares obter parmetros que so

facilmente interpretveis.
Em muitas situaes, necessita-se menos parmetros nos modelos no lineares
do que nos lineares, isto simplifica e facilita a interpretao.
Os modelos no lineares podem ser escritos como:

Yi f ( Xi , ) i
f(Xi, ) uma funo no linear; os erros, i, tem mdia zero, varincia
constante, e no so correlacionados. Assume-se que os erros apresentam
distribuio normal, so independentes e com varincia constante. o vetor
de parmetros do modelo.
Dois exemplos de modelos no lineares.
1) Modelo exponencial

Yi 0 exp( 1 X i ) i (1)

0 e 1so os parmetros do modelo; Xi so constantes conhecidas (varivel

preditora) e i so os termos do erro, independentes, com distribuio normal
de mdia 0 (zero) e varincia 2.

Diferenciando f com respeito a 0 e 1 obtemos (usando MAPPLE):

f
0

exp( 1X)

f
1

0 Xexp( 1X)

Como estas derivadas envolvem pelo menos um dos parmetros, o modelo

reconhecido como no linear.
Um modelo exponencial mais geral:

Yi 0 1 exp( 2 X i ) i

(2)

Veja figura.

Scatterplot

y:=100-50*exp(-2*x)
110
100

E(X)

90
80
70
60
50

0,0

0,5

1,0

1,5

2,0

2,5

3,0

3,5

Estes modelos exponenciais so muito utilizados em estudos de crescimento,

onde a taxa de crescimento num dado tempo X proporcional a quantidade de
crescimento restante (final) que ocorre com o aumento do tempo, e 0 representa
o crescimento mximo

2) Modelo logstico

Yi

0
1 1 exp( 2 X i )

(3)

i so os termos do erro, independentes, com distribuio normal de mdia 0

(zero) e varincia 2. A funo esperada :

0
1 1 exp( 2 X i )

f ( X, )

y:=10/(1+20*exp(-2*x))
12
10

E(Y)

8
6
4
2
0
-2
-0,5

0,0

0,5

1,0

1,5
X

2,0

2,5

3,0

3,5

O modelo logstico
muito usado para
variveis qualitativas.
Exemplo: acertos na
cache (acerta/no
acerta). Neste caso, os
erros no tem mais
distribuio normal
com varincia
constante.

Alguns aspectos do uso de modelos no lineares:

os modelos no lineares tem uma base terica, os parmetros dos modelos
fornecem um maior conhecimento sobre o fenmeno em estudo do que os
modelos lineares.
os modelos no lineares, geralmente fornecem um bom ajuste, com menos
parmetros do que os modelos lineares.
A transformao de um modelo no linear em um modelo linear nos
parmetros, se por um lado facilita o processo de ajuste, implica em fazer
suposies no realsticas sobre o termo dos erros (distribuio normal com
varincia constante); alm disso, perde-se informao sobre os erros padres
dos parmetros originais.
Alm disso, existem modelos que so intrinsicamente no lineares, isto , no
podem ser linearizados por transformao.
Embora vamos usar variveis contnuas como variveis independentes, no h
razo para que as variveis independentes, nos modelos no lineares, sejam
contnuas. Ao contrrio, podemos fazer uso de variveis dummy para indicar a
presena ou ausncia de um grupo, ou codificar diferenas entre indivduos
(dados de medidas repetidas).

 Estimao de modelos no lineares, um bom exemplo de que a despeito de

se obter os resultados no computador, no significa que os resultados sejam
corretos ou razoveis.

A forma geral do modelo no linear

Yi f ( X i , ) i
X i1
X
i2
Xi .
( q x 1)

.
X iq

(4)

0

1
.
(p x 1)

.
p 1

Onde f(Xi, ) a funo esperada para o i-simo caso.

Estimao dos parmetros

Mtodos: Mnimos quadrados
Mxima verossimilhana
Importante: nos modelos no lineares no possvel encontrarmos formas
analticas para os estimadores de mnimos quadrados ou mxima
verossimilhana. Ao invs, mtodos numricos devem ser usados
juntamente com os mtodos referidos e, isto, requer clculos
computacionais intensivos. Sempre usamos softwares computacionais.

Exemplo
Um administrador de um hospital deseja ajustar um modelo de regresso para
estimar o tempo de recuperao depois que o paciente saiu do hospital devido
a uma doena grave. A varivel preditora o nmero de dias que o paciente
ficou hospitalizado (X), e a varivel resposta um ndice de prognstico para
o tempo de recuperao (Y), onde, valores grandes indicam um bom
prognstico. A seguir temos os dados e o diagrama de disperso:

10

Dados para pacientes com doena grave.

Pacientes
Dias hospitalizados
i
Xi
1
2
2
5
3
7
4
10
5
14
6
19
7
26
8
31
9
34
10
38
11
45
12
52
13
53
14
60
15
65

Prognstico (ndice)
Yi
54
50
45
37
35
25
20
16
18
13
8
11
8
4
6

11

Scatterplot
60

Prognstico (ndice)

50
40
30
20
10
0
-10

10

20

30

40

50

60

70

Dias hospitalizado

Encontrou-se na literatura que a relao entre a varivel preditora e a varivel

resposta segue o modelo:

Yi 0 exp( 1 X i ) i
Onde os i so os termos dos erros, independentes, com distribuio normal de
mdia 0 (zero) e varincia 2 (constante). Precisamos estimar os parmetros 0
e 1 .

12

Mtodo de mnimos quadrados na

regresso no linear
Como no modelo de regresso linear geral, o critrio de mnimos
n
quadrados :

Q (Yi f ( X i , )) 2

(5)

i 1

O critrio Q deve ser minimizado com respeito aos parmetros de regresso

no linear 0, 1,..., p-1 para obter as estimativas de mnimos quadrados.
Mtodos: 1) procura numrica e 2) equaes normais de mnimos quadrados.
A diferena com a regresso linear que a soluo das equaes normais
usualmente requer um mtodo numrico iterativo, pois a soluo analtica
geralmente no pode ser encontrada.

13

Exemplo: para os dados de pacientes com doena grave, a funo

esperada :

f ( X , ) 0 exp( 1 X )

O critrio Q dado por:

Q (Yi 0 exp( 1 X i ))

i 1

Mtodo da mxima verossimilhana:

Vamos considerar que os erros i so independentes, normalmente
distribudos com varincia constante. A funo de mxima verossimilhana
dada por:

1
1

L( , 2 )
exp

2 2
( 2 2 ) n / 2

exp(

X
)
i 0
1 i

i 1

Maximizar esta funo com relao aos parmetros, idntico a minimizar o

somatrio na parte do expoente, portanto, chega-se aos mesmos estimadores com
os dois mtodos.

14

Soluo das equaes normais

Para obter as equaes normais para um modelo no linear

Yi f ( X i , ) i
Precisamos minimizar o critrio Q
n

Q (Yi f ( X i , )) 2
i 1

com respeito aos parmetros 0, 1,..., p-1-. As derivadas parciais de Q

com respeito aos k :
n
f ( X i , )
Q
2(Yi f ( X i , ))

k i 1

15

Igualando-se as derivadas parciais a zero e, substituindo-se k por gk

(estimativas de mnimos quadrados), obtemos o sistema de equaes normais
(p equaes, k=0,1,...,p-1):

f ( X i , )
Yi

i 1
k

i 1

f ( X i , )
f ( X i , g)

(6)

Onde g o vetor das estimativas de mnimos quadrados gk:

g0
g
1
g .
( p x 1)

g p -1

As equaes normais (6) so no lineares nas estimativas dos parmetros gk,

portanto, difceis de serem resolvidas. Dessa forma, vamos precisar de mtodos
numricos para obter uma soluo das equaes normais iterativamente.

16

Exemplo: para os dados de pacientes com doena grave, a funo

esperada para o i-simo caso :

f ( X i , ) 0 exp( 1 X i )

As derivadas parciais j foram mostradas anteriormente. Substituindo-se 0 e

1 pelas estimativas de mnimos quadrados g0 e g1, as equaes normais (6)
so dadas por:

Y exp( g X ) g exp( g X ) exp( g X ) 0

Y g X exp( g X ) g exp( g X ) g X exp( g X ) 0
i

Procedendo-se a algumas simplificaes, obtemos:

Y exp( g X ) g exp(2 g X ) 0
Y X exp( g X ) g X exp(2 g X ) 0
i

So equaes no lineares nas estimativas dos parmetros, assim, mtodos

numricos devem ser empregados(mtodos iterativos).

17

Mtodo de Gauss-Newton (Procura numrica

direta Direct numerical search)
Na maioria dos problemas com modelos no lineares, mais prtico encontrar
as estimativas de mnimos quadrados por procedimentos de procura numrica
direta do que, inicialmente, obter as equaes normais e, ento, usar mtodos
numricos para encontrar a soluo dessas equaes iterativamente.
O mtodo de Gauss-Newton, tambm conhecido como mtodo da
linearizao, usa uma expanso em srie de Taylor para aproximar o modelo
de regresso no linear com termos lineares e, ento, aplica mnimos
quadrados ordinrio para estimar os parmetros. Iteraes desses passos
geralmente conduzem a uma soluo para o problema de regresso no linear.
O mtodo de Gauss-Newton inicia dando-se valores iniciais aos parmetros 0,
1,..., p-1, denotados por:

g0( 0 ) , g1( 0 ) ,..., g (p0)1

Esses valores iniciais podem ser obtidos de estudos anteriores, conhecimentos

tericos ou por uma grade de valores que minimize (5).

18

Com os valores iniciais dos parmetros, aproximamos a funo esperada f(Xi, )

para os n casos por termos lineares da expanso em srie de Taylor, de primeira
ordem, em torno dos valores iniciais gk(0). Obtemos para o i-simo caso:

f ( X i , )
f (Xi , ) f (Xi , g )

k 0
k

( 0)

p 1

( k g k( 0) )

(7)

g(0 )

Aqui g(0) o vetor dos valores iniciais dos parmetros. Observe que as
derivadas, assim como a f, so avaliadas em k=gk(0).
Fazendo-se:

f i 0 f ( X i , g (0) )

k( 0 ) ( k g k( 0 ) )
f ( X i , )

Dik( 0 )

(7.A)

g ( 0 )

19

Podemos reescrever a aproximao (7) como:

p 1

f ( X i , ) f i ( 0 ) Dik( 0 ) k( 0 )

(8)

k 0

E uma aproximao para o modelo (4)

Yi f ( X i , ) i
dada por:

p 1

Yi f i ( 0 ) Dik( 0 ) k( 0 ) i

(9)

k 0

Passando fi(0) para o lado esquerdo e, denotando a diferena Yi- fi(0) por Yi(0),
p 1
temos:

Yi ( 0 ) Dik( 0 ) k( 0 ) i

i 1,2,...,n

(10)

k 0

Observe que chegamos a uma aproximao para um modelo de regresso

linear.

20

Cada coeficiente de regresso k(0) representa a diferena entre os

verdadeiros parmetros da regresso e as estimativas iniciais dos
mesmos. Assim, os coeficientes de regresso representam uma correo
que deve ser feita nos coeficientes de regresso iniciais. O propsito de
ajustar o modelo de regresso linear (10) estimar os coeficientes de
regresso k(0) e usar essas estimativas para corrigir as estimativas iniciais
dos parmetros de regresso.
O modelo (10) na forma matricial fica:

Y ( 0 ) D( 0 )( 0 )

Y( 0)
nx1

Y1 f1( 0 )

( 0)
Yn f n

D( 0 )
nxp

(11)

D10( 0 ) ... D1(,0p)1

.

( 0)

( 0)
Dn 0 ... Dn , p 1
21

 0( 0 )
.

(0)

( p x 1)

.
.

(0)

p 1

1
.

.
( n x 1)
.

n

Observe as similaridades entre o modelo de regresso linear :

Y X
A matriz D faz o papel da matriz X:

DX
Podemos, portanto, estimar os parmetros (0) pelo mtodo de mnimos
quadrados ordinrios:

b (0) ( D ( 0)' D ( 0 ) ) 1 D ( 0)'Y ( 0 )

Usar um programa de computador que faa regresso mltipla, porm no

esquecer de especificar que no desejamos o intercepto.

22

Ns, ento, usamos estas estimativas de mnimos quadrados para obter os

coeficientes de regresso estimados corrigidos gk(1) por meio de (7.A):

g k(1) g k( 0) bk( 0)
Onde gk(1) representa a estimativa corrigida de k no fim da primeira iterao.
Na forma matricial, temos:
g(1) g ( 0) b ( 0)
(11.A)
Neste ponto, ns podemos verificar se os coeficientes de regresso corrigidos
representam uma melhoria na direo apropriada. Denotaremos o critrio Q,
calculado nos coeficientes de regresso iniciais g(0), por SQE(0), ou seja,

SQE

(0)

(Yi f ( Xi , g )) (Yi f i ( 0) ) 2
i 1

(0)

i 1

23

No final da primeira iterao, os coeficientes de regresso corrigidos so g(1).

Denotaremos o critrio Q, calculado nos coeficientes de regresso g(1), por
SQE(1), ou seja,

SQE

(1)

(Yi f ( Xi , g )) (Yi fi (1) ) 2

i 1

(1)

i 1

Se o algoritmo de Gauss-Newton est na direo correta, SQE (1) dever ser menor
do que SQE(0), pois os coeficientes de regresso no passo (1) devero ser melhores.
O mtodo de Gauss-Newton repete o procedimento como foi descrito, com g(1)
sendo, agora, usado como valores iniciais. Isto resulta num novo conjunto de
estimativas corrigidas, representadas por g(2), e teremos um novo critrio SQE(2). O
processo iterativo continua at que as diferenas entre sucessivas estimativas dos
coeficientes g(s+1)-g(s) e/ou a diferena entre sucessivas soma de quadrados de erros
SQE(s-1)-SQE(s) tornam-se desprezveis. As estimativas finais dos coeficientes de
regresso so representadas por g e a soma de quadrado dos erros por SQE.

24

Exemplo: para os dados de pacientes com doena grave, a funo :

Yi 0 exp( 1 X i ) i
Usando o PROC NLIN do SAS, vamos fazer a anlise estatstica dos dados. O
programa :
data doenca;
input obs dias
datalines;
1.000
2.000
2.000
5.000
3.000
7.000
4.000
10.000
5.000
14.000
6.000
19.000
7.000
26.000
8.000
31.000
9.000
34.000
10.000 38.000
11.000 45.000
12.000 52.000
13.000 53.000
14.000 60.000
15.000 65.000
;

indice;
54.000
50.000
45.000
37.000
35.000
25.000
20.000
16.000
18.000
13.000
8.000
11.000
8.000
4.000
6.000

proc print data=doenca; run;

proc nlin data=doenca method=gauss maxiter=20;
parms a=56.6646
b=-0.03797;
model indice = a*exp(b*dias);
der.a=exp(b*dias);
der.b=a*dias*exp(b*dias);
output out=doencaou p=predito r=residuo;
run;

Os valores iniciais de a e b, foram obtidos atravs de

uma regresso linear simples do modelo:

ln Y ln 0 1 X

25

Output do SAS:
Non-Linear Least Squares Iterative Phase
Method: Gauss-Newton
Iter
A
B
Sum of Squares
0
56.664600
-0.037970
56.086713
1
58.557844
-0.039533
49.463830
2
58.605484
-0.039585
49.459304
3
58.606531
-0.039586
49.459300
4
58.606565
-0.039586
49.459300
NOTE: Convergence criterion met.
Non-Linear Least Squares Summary Statistics
Source

DF Sum of Squares

Mean Square

Regression
Residual
Uncorrected Total

2
13
15

12060.540700
49.459300
12110.000000

6030.270350
3.804562

(Corrected Total)

14

3943.333333

Parameter
A
B

Estimate

Asymptotic
Std. Error

58.60656517
-0.03958645

1.4721603058
0.0017112939

Asymptotic 95 %
Confidence Interval
Lower
Upper
55.426158088 61.786972243
-0.043283475 -0.035889427

26

Scatterplot

y:=58,6065*exp(-0,03959*x)
110
90

ndice

70
50
30
10
-10

-10

10

20

30

40

50

60

70

Dias

SQErro
49, 4593
r 2 1 SQTotal

0,9875 98,78%
Corrigdo
3943,333

27

Exerccio: vamos considerar os dados de pacientes com doena grave.

Aplicar a transformao logartmica e obter as estimativas iniciais dos
coeficientes de regresso.
A funo resposta :

Yi 0 exp( 1 X i ) i

Aplicando o logaritmo, obtemos:

log Yi log 0 1 X i

Podemos aproximar o modelo exponencial pelo modelo linear:

Yi ' 0 1 X i i

onde :

Yi ' log Yi

0 log 0
1 1

28

Com o uso do PROC IML do SAS obtemos:

proc iml;
reset print;
Y={54, 50, 45, 37, 35, 25, 20, 16, 18, 13, 8, 11, 8, 4, 6};
X={1 2, 1 5, 1 7, 1 10, 1 14, 1 19, 1 26, 1 31, 1 34, 1 38, 1 45, 1 52,
1 53, 1 60, 1 65};
YT=log(Y);
XLX=X`*X;
XLXinv=inv(xlx);
b=XLXinv*x`*yt;

b0=4,0371

b1=-0,03797

g 0( 0) exp(b0 ) 56,6646
g1( 0) b1 0,03797

29

A soma de quadrados do erro no passo zero, SQE(0), requer o clculo da

funo de regresso no linear

f ( X, ) 0 exp( 1 X i )

(12)

para cada caso, utilizando os valores iniciais. Por exemplo, para o primeiro
caso, onde X1=2, obtemos:

f ( X1, g ( 0) ) f1( 0) g 0( 0) exp( g1( 0) X 1 )

56,6646 * exp(-0,03797(2)) 52,5208
Para os 15 casos, temos:

f(0) =

52.520821
46.866338

/* valores iniciais */

43.439088
38.76236
33.300409
27.542208
21.11386
17.462918
15.58283
13.387075
10.262533
7.8672587
7.574139
5.8063357
4.8023226

g00=56.6646; g10=-0.03797;
X2=X[1:15,2];
/* funcao de regresso

*/

f=g00*exp(g10*X2);

30

Para o primeiro caso, Y1=54, portanto, o desvio da resposta esperada :

Y1( 0) Y1 f1( 0) 54 52,5208 1,4792

Y =
(0)

1.4791792
3.133662
1.5609122
-1.76236
1.6995911
-2.542208
-1.11386
-1.462918
2.4171698
-0.387075
-2.262533
3.1327413
0.425861
-1.806336
1.1976774

Y0=Y-f;
/* soma de quadrados do erro no
passo zero */
SQE0=Y0`*Y0;

A soma de quadrados do erro no passo zero, SQE(0), vale:

SQE ( 0) (Yi fi ( 0) ) (Yi ( 0) ) 2
1,4795 2 ... 1,1977 2 56,0869

31

Para obter as estimativas dos coeficientes corrigidos, precisamos calcular

D(0). Para obter esta matriz, precisamos das derivadas parciais da funo de
regresso (12) calculadas em = g(0).
Para ilustrar, vamos tomar o caso 1, para o qual X1=2. Assim, o valor das
derivadas parciais em g(0) so:
( 0)
D10
exp( g1( 0) X 1 ) exp(0,03797(2)) 0,92687
( 0)
D11
g 0( 0) X 1 exp( g1( 0) X 1 ) 56,6646( 2) exp(0,03797(2)) 105,0416

D(0) =

0.9268718
0.8270832
0.7666001
0.6840666
0.5876757
0.4860567
0.3726111
0.3081804
0.2750011
0.2362511
0.1811101
0.138839
0.1336662
0.1024685
0.08475

105.04164
234.33169
304.07361
387.6236
466.20573
523.30196
548.96035
541.35047
529.81623
508.70884
461.81398
409.09745
401.42937
348.38014
312.15097

/*derivadas parciais calculadas em g(0)*/

D0_0=exp(g10*X2);
D1_0=g00*X2#exp(g10*X2);
D0=D0_0||d1_0;

32

Agora, podemos obter as estimativas de mnimos quadrados b(0), fazendo a

regresso de Y(0) sobre as 2 variveis X na matriz D(0). Continuando com o
nosso programa no IML do SAS obtemos:
b(0) =

1.893244
-0.001563

b0=inv(D0`*D0)*D0`*Y0;

Usando 11.A, obtemos os coeficientes de regresso corrigidos g(1):

g (1) g (0) b (0)
56,6646 1,8932

0,001563
0,03797

58,5578

- 0,03953

/* novas estimativas corrigidas

g0=g00//g10;
g1=g0+b0;

Aqui, chegamos ao final da primeira iterao com:

g 0(1) 58,5578 g1(1) 0,03953

A soma de quadrados residual na primeira iterao vale:

33

*/

SQE

(1)

(1) 2

(Yi f i )
i 1

= 49.46383

f1=g1[1,1]*exp(g1[2,1]*X2);
Y1=Y-f1;
/* soma de quadrados do erro na iteracao 1 */
SQE1=Y1`*Y1;

Observe que houve uma reduo nas somas de quadrados dos resduos.
Continuao do exerccio: Faa as prximas trs iteraes, verifique se foi
encontrado o critrio de convergncia ((SQE(s)-SQE(s-1)) <0,0001) e escreva o
modelo.

34

proc iml;
reset print;
Y={54, 50, 45, 37, 35, 25, 20, 16, 18, 13, 8, 11, 8, 4, 6};
X={1 2, 1 5, 1 7, 1 10, 1 14, 1 19, 1 26, 1 31, 1 34, 1 38, 1 45, 1 52, 1 53, 1 60, 1 65};
YT=log(Y);
XLX=X`*X;
XLXinv=inv(xlx);
b=XLXinv*x`*yt;
/* valores iniciais */
g00=56.6646; g10=-0.03797;
X2=X[1:15,2];
f=g00*exp(g10*X2);
Y0=Y-f;
/* soma de quadrados do erro no passo zero */
SQE0=Y0`*Y0;
/* derivadas parciais calculadas em g(0)
*/
D0_0=exp(g10*X2);
D1_0=g00*X2#exp(g10*X2);
D0=D0_0||d1_0;
b0=inv(D0`*D0)*D0`*Y0;
/* novas estimativas corrigidas - iteracao 1 */
g0=g00//g10;
g1=g0+b0;
f1=g1[1,1]*exp(g1[2,1]*X2);
/* residuos da iteracao 1 */
Y1=Y-f1;
/* soma de quadrados do erro na iteracao 1 */
SQE1=Y1`*Y1;
/*********************fim da iteracao 1 ****************/

35

/* derivadas parciais calculadas em g(1)

*/

D0_1=exp(g1[2,1]*X2);
D1_1=g1[1,1]*X2#exp(g1[2,1]*X2);
D1=D0_1||d1_1;
/* estimativas corrigidas na iteracao 2 */
b1=inv(D1`*D1)*D1`*Y1;
/* novas estimativas corrigidas - iteracao 2 */
g2=g1+b1;
f2=g2[1,1]*exp(g2[2,1]*X2);
/* residuos da iteracao 2

*/

Y2=Y-f2;
/* soma de quadrados do erro na iteracao 2 */
SQE2=Y2`*Y2;
/***********fim da iteracao 2 *******************/

36

/* derivadas parciais calculadas em g(2)

D0_2=exp(g2[2,1]*X2);
D1_2=g2[1,1]*X2#exp(g2[2,1]*X2);
D2=D0_2||d1_2;
/* estimativas corrigidas na iteracao 3 */
b2=inv(D2`*D2)*D2`*Y2;
g3=g2+b2;
f3=g3[1,1]*exp(g3[2,1]*X2);
/* residuos da iteracao 3 */
Y3=Y-f3;
/* soma de quadrados do erro na iteracao 3
SQE3=Y3`*Y3;
/************fim da iteracao 3 */
/* derivadas parciais calculadas em g(3)
D0_3=exp(g3[2,1]*X2);
D1_3=g3[1,1]*X2#exp(g3[2,1]*X2);
D3=D0_3||d1_3;
/* estimativas corrigidas na iteracao 4 */
b3=inv(D3`*D3)*D3`*Y3;
g4=g3+b3;
f4=g4[1,1]*exp(g4[2,1]*X2);
/* residuos da iteracao 4 */
Y4=Y-f4;
/* soma de quadrados do erro na iteracao 4
SQE4=Y4`*Y4;
/************fim da iteracao 4 */

*/

*/
*/

*/

37

Comentrios:
1) A escolha das estimativas iniciais no mtodo de Gauss-Newton muito
importante, pois uma m escolha pode resultar num nmero muito grande de
iteraes at convergir; pode convergir num mnimo local, ou, mesmo, no
convergir. Bons valores iniciais pode levar a um mnimo global, quando existir
vrios mnimos locais.

SQE

b(0)

b(1)

38

2) Para o mtodo de Gauss-Newton ou similares, uma boa prtica utilizar um

outro conjunto de valores iniciais e verificar se chega-se ao mesmo resultado.
3) Algumas propriedades vlidas para os modelos lineares, no so para os
modelos no lineares. Por exemplo, a soma dos resduos no necessariamente
igual a zero; a soma dos quadrados do erro mais a soma dos quadrados da
regresso, no necessariamente igual a soma dos quadrados total.
Consequentemente, o coeficiente de determinao pode no ser uma
estatstica descritiva importante para os modelos no lineares.

Inferncia sobre os parmetros na regresso

no linear
Na anlise de regresso no linear com erros normais, os estimadores de
mnimos quadrados ou de mxima verossimilhana, para qualquer tamanho de
amostra, no tem distribuio normal, no so imparciais e no tem varincia
mnima.
As inferncias sobre os parmetros da regresso, no caso no linear,
geralmente so baseadas na teoria das grandes amostras.

39

Esta teoria mostra que os estimadores (de mnimos quadrados ou mxima

verossimilhana) para os modelos de regresso no linear com erros normais, quando
o tamanho da amostra grande, apresentam distribuio aproximadamente normal,
so aproximadamente no tendenciosos, e aproximadamente varincia mnima.

Estimativa de 2
SQE
QME

n p

(Y Y )
i

n p

(Y f ( X , g))

n p

g o vetor das estimativas finais dos parmetros; para os modelos de

regresso no linear, o QME no um estimador no tendencioso de 2,
porm, o vis pequeno se o tamanho da amostra for grande.

Teoria das grandes amostras

Teorema: para i independentes N(0,2) e o tamanho da amostra n
razoavelmente grande, a distribuio amostral de g aproximadamente normal.
O valor esperado do vetor de mdias aproximadamente:

E( g)

(13)

40

Uma aproximao da estimativa da matriz de varincia-covarincia dos

coeficientes de regresso dada por:

s2 (g) QME (D'D) 1

D a matriz de derivadas parciais calculada nas estimativas finais, g.

Quando a teoria de grandes amostras aplicvel?

Orientaes:
o processo iterativo converge rapidamente;
calcular algumas medidas: medidas de curvatura de Bates e Watts, medida de
vcio de Box;
estudos de simulao, por exemplo, amostragem Bootstrap verifica se as
distribuies amostrais das estimativas dos parmetros de regresso no linear
so aproximadamente normal, se as varincias das distribuies amostrais so
prximas das varincias para o modelo linearizado, e se o vis em cada
estimativa dos parmetros pequeno.

41

Algumas medidas usadas quando os resultados da teoria das grandes amostras

no se aplica:
Usar outra parametrizao do modelo
Fazer intervalos de confiana Bootstrap
Aumentar o tamanho da amostra

42

Intervalo de confiana para os parmetros

De acordo com o teorema 13, temos:

gk k
~ t ( n p ) k 0,1,2,..., p - 1
s( gk )

(14)

Onde t(n-p) a varivel com distribuio t com (n-p) graus de liberdade. De (14)
obtemos:

g k t (1 / 2; n p ) s( g k )

Onde t(1-/2;n-p) o (1-/2)100 percentil da distribuio t com (n-p) graus

de liberdade.

Exemplo: vamos considerar os dados de pacientes com doena grave.

Desejamos estimar 1 com um intervalo de 95% de confiana. Temos:

t (0.975;13) 2,160
g1 0,03959
s( g1 ) 0,00171

0,0433 1 0,0359

43

Conclumos, com aproximadamente 95% de confiana, que 1est entre

-0,0433 e -0,0359.

Teste de hipteses

H0 : k k0
Ha : k k0

Onde k0 um valor especfico de k. O teste estatstico :

gk k 0
t
s( gk )
*

Regra de deciso:

Se | t* | t (1 / 2; n p ), aceita - se H 0 , cc rejeita - se.

Exemplo: vamos considerar os dados de pacientes com doena grave.

Desejamos testar as hipteses:

H 0 : 0 54
H a : 0 54

44

t*
O valor p :

58,6065 54
3,13
1,472

P(| t | 3,13) 0,007973

Portanto, rejeitamos a hiptese nula.

45