Mnimos Quadrados

1 Reviso de lgebra Linear

Nesta seo relembramos alguns on eitos de lgebra linear que sero empregados no

desenvolvimento da teoria aqui apresentada e que fa ilitaro a ompreenso da mesma.

Lembramos que se trata apenas de uma pequena reviso, assim, maiores detalhes sobre os

on eitos empregados podem ser en ontrados nos livros de lgebra linear.

Denio 1.1 (Espao Vetorial) Um espao vetorial V um onjunto que possui deni-

das as operaes de soma e de produto (multipli ao por es alar perten ente a R) e fe hado
om respeito a elas. Essas operaes devem satisfazer, para quaisquer , R e u, v, w V ,

as seguintes propriedades:

omutatividade: u + v = v + u;
asso iatividade: (u + v) + w = u + (v + w) e ()v = (v);
elemento neutro: existe um vetor 0 V, tal que v+0 = 0+v = v para todo v V;

inverso aditivo: para ada vetor vV existe um vetor v V , tal que v + v =

v + (v) = 0;

distributiva: ( + )v = v + v e (u + v) = u + v ;
multipli ao por 1: 1.v = v .
Denio 1.2 (Subespao Vetorial) Um subespao vetorial de V um sub onjunto S
V que satisfaz as seguintes propriedades:

0 S;

se u, v S ento u + v S;

se vS ento, v S , para todo R.

Teorema 1.1 Todo subespao vetorial um espao vetorial.

Denio 1.3 (Conjunto L.I.) Seja um onjunto X = {1 , 2 , . . . n } V . X linear-

mente independente (L.I.) se 1 1 + 2 2 + . . . + n n = 0 = 1 = . . . = n = 0.

Denio 1.4 (Base de Espao Vetorial) Uma base de um espao vetorial V um on-

junto V L.I., = {1 , . . . , n }, que gera V. Isto , todo vetor v V es rito, de forma

ni a, omo ombinao linear dos elementos de , ou seja, v = 1 1 + . . . + n n .

1
Teorema 1.2 Se um espao vetorial V admite uma base om n elementos ento todas as

bases de V tm o mesmo nmero de elementos. Esse nmero hamado dimenso de V.

Denio 1.5 (Dimenso) A dimenso de um espao vetorial V (dim(V )) o nmero

mximo de elementos L.I. nele ontido.

Teorema 1.3 Todo espao vetorial de dimenso n< tem uma base.

Denio 1.6 Se para qualquer onjunto de vetores de V sempre possvel a har um vetor

L.I. dele, ento dizemos que dim(V ) = +.

Exer io 1.1 Prove que a dim(Rn ) = n.

Exemplo 1.1 Seja V = Pk , em que Pk o onjunto dos polinmios de grau k, V um

espao vetorial?

Sim, V um espao vetorial, pois seja P (x), Q(x) Pk , dados por:

P (x) = a0 + a1 x + . . . + ak1 xk1 + ak xk ,

Q(x) = b0 + b1 x + . . . + bk1 xk1 + bk xk ,

ento

(P + Q)(x) = (a0 + b0 ) + (a1 + b1 )x + . . . + (ak + bk )xk ,

assim, (P + Q)(x) Pk . Seja R

(P )(x) = a0 + a1 x + . . . + ak xk ,

ento (P )(x) Pk . Portanto Pk fe hado para as operaes de soma e multipli ao por

um es alar R. Deixamos omo exer io a demonstrao das seguintes propriedades: o-

mutatividade, asso iatividade, elemento neutro, inverso aditivo, distributividade

e multipli ao por 1.

Exemplo 1.2 Demonstrar que a dim(Pk ) = k + 1.

Lema 1.4 Se q C(R) e xq(x) = 0(x) = q(x) = 0(x).

Demonstrao: q(x) 6= 0(x) = x tal que q(x ) 6= 0. Ento x 6=

Suponhamos que

6 0 = xq(x) 6= 0(x) ou x = 0, assim q(x) =

0 = x q(x ) = 6 0 s em x = 0 ento q(x) no
linear.

2
 1
0 n

1 n1
PSfrag repla ements

0 1

Figura 1: Ilustrao das funes i , om i = 0, . . . , n

Exemplo 1.3 V C 0 [0, 1] o onjunto das funes i denidas em [0, 1], ontnuas e li-
Seja

neares por partes nesse intervalo, que a ada sub-intervalo (0, h) (h, 2h), (2h, 3h), . . . , (nh, 1),
1
essas funes perten em a P1 ( onjunto dos polinmios de grau 1 ) em que h = e N o
N
nmero total de sub-intervalos. (ver Figura 1).

Sabemos que o onjunto C 0 [0, 1] um espao vetorial (deixamos a demonstrao dessa

armao omo exer io). Se demonstrarmos que V um subespao de C 0 [0, 1], pelo Teo-

rema 1.1 teremos que V um espao vetorial.

Em prin pio, veri amos fa ilmente que o elemento neutro 0(x) C 0 [0, 1] tambm

perten e a V, 0(x) est denido em [0, 1], ontnuo e linear por partes em
uma vez que

ada sub-intervalo (ih, (i + 1)h) om i = 0, . . . , n 1.

Resta demonstrarmos que V fe hado para as operaes de soma e produto por es alar.

Para isso vamos onsiderar f, g V e provar que f + g V , om , R. Pelo Exemplo

1.1 temos que

f + g|(ih,(i+1)h) P1 i = 0, . . . , n 1.

Assim f + g V , V fe hado para soma e para o produto por es alar, ento V

0
subespao de C [0, 1] e portanto V um espao vetorial.

A dim(V ) = n + 1 (deixamos omo exer io essa armao), assim, vamos denir uma

base = {0 , . . . , n }.

(
1 hx , x (0, h)
0 (x) =
0, aso ontrrio.

x
x (0, h)

h
,
x
1 (x) = 1 x (h, 2h)
h
,


0, aso ontrrio.

3
Para um determinado i = 0, . . . , n, denotando Ii = (ih, (i + 1)h) temos
xxi1

hi1
, x Ii1
xi+1 x
i (x) = hi
, x Ii


0, aso ontrrio.

Proposio 1.5 = {0 , . . . , n} base de V .

Demonstrao: Ini ialmente, vamos demonstramos que se 0 0 + . . . + n n = 0, om

i R, ento i = 0 para i. Sabemos que

(
1, i=j
i (xj ) = ij
0, i 6= j.

em que ij denominado delta de Krone ker. Assim

0 0 (xi ) + . . . + i i (xi ) + . . . + n n (xi ) = 0 = i i (xi ) = 0 = i = 0.

| {z } | {z } | {z }
0 1 0

Assim, = {0 , . . . , n } L.I.. Portanto = {0 , . . . , n } base.

Pn
Seja v V , queremos es rever v = i=0 i i de forma ni a. Lembramos que v
P
C [0, 1] e que o interpolada de v (Iv ) dada por Iv = ni=0 v(xi )i . Como v V , temos que
0

Iv = v . Assim, podemos es rever v de forma ni a tomando i = v(xi ).

Denio 1.7 (Semi-Norma) Seja V um espao vetorial. Uma funo N : V R que

satisfaz as seguintes desigualdades

N (v) 0, v V, (1)

N (v + w) N (v) + N (w), (2)

para v, w V , dita semi-norma em V.

Denio 1.8 (Norma) Se N satisfaz as propriedade (1)-(2) e o ni o elemento de V tal

que N (v) = 0 seja v = 0, ento N uma norma em V, om N (v) = ||v||.

Exer io 1.2
Ra
Provar que N (v) = b
|v(x)|dx uma norma em C 0 [0, 1].

Exer io 1.3 Se N norma em V e S subespao de V, ento N norma em S.

Corolrio 1.6
Ra
b
|v(x)|dx norma em Pk .
qR
Exer io 1.4 Provar que N (x) =
a
b
|v(x)|2 dx uma norma em C 0 [a, b].

Exer io 1.5
pPm
x1 , x2 , . . . , xm , N (v) = 2 N
Sejam os pontos distintos e i=1 [v(x)] .

semi-norma em Pk k ? N norma em Pk k m 1.

4
Denio 1.9 (Distn ia) Seja D : V xV R, D distn ia se :

D(v, w) = D(w, v) v, w
D(v, w) 0 v, w
D(v, z) D(v, w) + D(w, z) v, w, z
D(v, w) = 0 v = w.

Teorema 1.7 Se N norma, ento D(v, w) = N (v w) a distn ia.

Denio 1.10 (Produto Es alar) Seja C : V XV R, C produto es alar se:

C bilinear, ou seja,

C(v, w + z) = C(v, w) + C(v, z)

C(v + w, z) = C(v, z) + C(w, z),

, R v, w, z V .

C simtri a

C(v, w) = C(w, v).

C denida positiva, isto ,

C(v, v) 0 v e C(v, v) = 0 se, e s se v = 0.

Notao: C(v, w) = (v, w).

p
Proposio 1.8 Se C produto es alar, ento N (v) = C(v, v) norma.

Exer io 1.6 C(v, w) =

Ra
b
v(x)w(x)dx produto es alar em C 0 [a, b]?

Exer io 1.7 C(v, w) =

Pm
i=1 v(xi )w(xi ) produto es alar em Pk se k m 1?

2 Mnimos Quadrados
2.1 Introduo

O nosso objetivo prin ipal onsiste em en ontrar a soluo para o seguinte problema.

O problema: Seja f uma funo e seja V um espao vetorial de funes de dimenso n. Seja

(., .) um produto es alar. Queremos determinar o elemento F V que o mais prximo

de f no sentido da distn ia denida por (., .).

Como resposta, re orremos aos pro essos matemti os que resolvem tal problema e um

dos mais utilizados o Mtodo dos Mnimos Quadrados. De forma geral, esse tipo de

aproximo onsiste em en ontrar a funo F que melhor se aproxima de f, ou que melhor

se ajusta a um onjunto de pontos dis retos dado. Pode ser empregada em problemas em 1

dimenso ou em vria dimenses. Nas prximas sesses apresentamos esse mtodo e os seus

pontos prin ipais.

5
2.2 O Mtodo dos Mnimos Quadrados

Nesta sesso apresentamos o Mtodo dos Mnimos Quadrados e os pontos prin ipais da

teoria para o seu desenvolvimento

Supomos que (., .) um produto es alar em W = V + span{f }, em que span{f } o

onjunto das ombinaes lineares de f.

Notao:

span{g1 , g2 , . . . , gk } = {v = 1 g1 + 2 g2 + . . . + k gk , 1 , . . . , k R},
V + span{f } = {g : g = v + f, om v V }.

Exer io 2.1 W = V + span{f } um espao vetorial?

Supomos tambm que 1 , . . . , n uma base de V . O teorema que apresentamos a seguir

a base do Mtodo de Mnimos Quadrados.

Teorema 2.1 A soluo F existe e ni a. F se es reve omo

F = 1 1 + 2 2 + . . . + n n

e os oe ientes satisfazem as equaes normais, dadas por

A = b, (3)

om

1 (1 , 1 ) . . . (1 , n ) (f, 1 )
.. .. ..
=

. , A= . , b= .
n (n , 1 ) . . . (n , n ) (f, n )

em que A denominada matriz de Gramm e simtri a, no singular e denida positiva

(todos os seus autovalores so positivos). Tambm, f F V ( omo ilustrado na Figura

2 ), isto , (f F , v) = 0, v V , o que impli a

que F a projeo ortogonal de f sobre

V.

PSfrag repla ements

f F
f

0 F V

Figura 2: f F V

6
 Apresentamos, a seguir, algumas denies, proposies e lemas importantes que sero

utilizados na demonstrao do Teorema 2.1.

Denio 2.1 (Matriz Singular) Uma matriz M singular se v 6= 0 tal que M Rnn ,
Mv = 0.

Proposio 2.2 As seguintes armaes so equivalente:

M no singular;

det(M) 6= 0;

O sistema Mx = z admite uma ni a soluo, qualquer que seja z Rn ;

N Rnn tal que MN = NM = I .

Lema 2.3
J() = (f, f ) 2bT + T A.

Demonstrao:
J() = (f 1 1 . . . n n , f 1 1 . . . n n )
= (f, f ) 2(f, 1 1 + . . . + n n ) + (1 1 + . . . + n n , 1 1 + . . . + n n )
= (f, f ) 2bT + T A.

Lema 2.4
2bT + T A + ( )T A = 0

Demonstrao:
bT = T b
( )T A = T A
2bT + T A + ( )T A = 2 T (A b) = 0
| {z }
0

Demonstrao do Teorema 2.1: Vamos onsiderar a funo distn ia a f ao quadrado,

denida por

J : V R
J(F ) = (f F, f F )

7
em que F deveria minimizar J. Vamos es rever F = 1 1 + . . . + n n ,

J(1 , . . . , n ) = (f 1 1 2 2 . . . n n , f 1 1 2 2 . . . n n )
= (f, f ) 21 (1 , f ) + 12 (1 , 1 ) + 21 2 (1 , 2 ) + . . . + 21 n (1 , n )
22 (2 , f ) + 22 (2 , 2 ) + 22 3 (2 , 3 ) + . . . + 22 n (2 , n )
. . . 2n (n , f ) + n2 (n , n ),

assim,

J
= 2(1 , f ) + 2(1 , 1 )1 + 2(1 , 2 )2 + . . . + 2(1 , n )n
1
J
= 2(2 , f ) + 2(1 , 2 )1 + 2(2 , 2 )2 + . . . + 2(2 , n )n
2
..
.
J
= 2(n , f ) + 2(1 , n )1 + 2(2 , n )2 + . . . + 2(n 1, n )n ,
n
e ento
J

1
.
J = .. = 2(A b) (4)
J
n
.

Seja 1 , . . . , n o ponto onde J = 0. Por (4), esse ponto satisfaz as equaes normais (3).

Vejamos agora que A no singular. Seja tal que A = 0 = T A = 0,

1 A11 1 + 1 A12 2 + . . . + 1 A1n n +

2 A21 1 + 2 A22 2 + . . . + 2 A2n N +
+...+
+ . . . + n Ann n = 0
1 (1 , 1 1 + 2 2 + . . . + n n ) +
2 (2 , 1 1 + 2 2 + . . . + n n ) +
+...+
n (n , 1 1 + 2 2 + . . . + n n ) = 0

(1 1 + 2 2 + . . . + n n , 1 1 + 2 2 + . . . + n n ) = 0 =
|{z} v = 0.
| {z } | {z }
v v produto es alar

1 1 + 2 2 + . . . + n n = 0 =
|{z} 1 = 2 = . . . = n = 0.
{i } base

8
 Provaremos agora que se tal que v 6= 0 tal que Av = v , ento > 0.
Vejamos que v T Av = v T v . Agora

v T Av = (v1 1 + . . . + vn n , v1 1 + . . . + vn n ) > 0,

uma vez que v 6= 0 e {i } base, por outro lado

v T v = v12 + v22 + . . . + v1n

2
> 0,

pois v 6= 0, assim
v T av
= > 0.
vT v
Resta ainda provar que denida
por J( ) = 0 um mnimo.

Es olhemos uma direo 6= 0 e onsideramos o onjunto de pontos + t , em que

j(t) = J( + t),

assim

j(t) = (f, f ) 2bT ( + t) + ( + t)T A( + t)

= (f, f ) 2bT + ( )T A + t(2bT + T A + ( )T A) +t2 T A.
| {z } | {z }

Dist. at a origem - Lema 2.2 j (t=0)=J( )=0

Para demonstramos que J( ) = 0 mnimo pre isamos mostrar que j (0) = 0 e que

j (0) > 0, assim,

j (0) = 2bT + T A + ( )T A = 0

omo demonstrado no Lema 2.3 e

j (0) = 2 T A = 2(1 1 + . . . + n n , 1 1 + . . . + n n ) > 0,

portanto um mnimo.

Podemos utilizar outro enfoque para demonstrar que mnimo, para isso pre isamos

do teorema seguinte.

Teorema 2.5 Seja J(1 , . . . , n ) uma funo C 2 (Rn ), ento um ponto = (1 , . . . , n )

o mnimo lo al de J se J( ) = 0 e se a matriz Hessiana de J , dada por

2
J 2J 2J
2 1 2
1 n
2 1 .. ..

J 2J
. .
2 1 22
HJ = . . .

.. .. . .. ..

2
J 2
J 2
J
n 1 n 2
2 n

avaliada em denida positiva.

9
 Apli ando este teorema, determinamos HJ , ou seja ,

2J
= 2(1 , 1 )
12
.
..

2J
= 2(1 , 2 )
1 2
..
.

assim HJ = 2A. Como A denida positiva, HJ tambm .

Exer io 2.2 Provar que (F , i ) = (f, i )

Atravs do exer io anterior podemos nalizar a demonstrao do Teorema 2.1 demons-

trando que (f F , v) = 0, v V . Deixamos essa demonstrao omo exer io.

Em resumo, o Mtodo dos Mnimos Quadrados introduzido pelo Teorema 2.1 dado

por:

O Mtodo: Seja f uma funo. O elemento F V que o mais prximo de f

no sentido da distn ia denida por (., .) em W , dado por

F = 1 1 + 2 2 + . . . + n n ,
em que os oe ientes satisfazem as equaes normais, dadas por A = b e
portanto so determinados atravs do seguinte sistema:

(1 , 1 ) . . . (1 , n ) 1 (f, 1 )
.. .. ..
. . = .
(n , 1 ) . . . (n , n ) n (f, n )
A seguir apresentamos um exemplo de apli ao do Mtodo dos Mnimos Quadrados.

Exemplo 2.1 Seja f (x) = ex e V = {F : F (x) = 1 + 2 x}, em que a base denida por

1 (x) = 1
2 (x) = x.

Vamos onsiderar o produto es alar denido por

Z 1
(v, w) = v(x)w(x)dx,
0

queremos determinar F = 1 1 + 2 x, para isso resolvemos as equaes normais A = b,

em que A determinada por
Z 1
(1 , 1 ) = 1 1 dx = 1
0
Z 1
1
(1 , 2 ) = 1 x dx =
0 2
Z 1
1
(2 , 2 ) = x x dx =
0 3

10
e b, por

Z 1
(1 , f ) = 1 ex dx = e1 = 1.7182
0
Z 1
(2 , f ) = x ex dx = 1.
0

Obtemos, assim

! ! !
1
1 2
1 1.78182
1 1
=
2 3
2 1

Resolvendo A = b, temos 1 = 0.783 e 2 = 1.690, portanto

F (x) = 0.783 + 1.690x.

Agora vamos determinar a interpolada de f (If ), dada por

If (x) = a1 + a2 x.

Determinamos os oe iente a1 e a2 fazendo om que If assuma os mesmos valores de

f em zero e um. Assim

If (x) = 1 + 1.87172x.
A Figura 3 ilustra a ompao entre f (x), F e fI .

f(x)
Interpolada
F*(x)
2

0 0,5 1
x

Figura 3: Comparao entre f (x), F e a funo interpolativa a f.

11
 Vamos al ular e omparar D(f, F ) om D(f, If ). A distn ia de F a f dada por:

s
Z 1
D(f, F ) = [f (x) F (x)]2 dx
0
h i 21
= (f 1 1 2 2 , f 1 1 2 2 )
h
= (f, f ) 21 (f, 1 ) 22 (f, 2 )
i 21
+(1 )2 (1 , 1 ) + 21 2 (1 , 2 ) + (2 )2 (2 , 2 )
= 0, 008.

A distn ia de If a f dada por

s
Z 1
D(f, If ) = [f (x) If ]2 dx
0
h i1
x 2 2
= e (1 + 1.87172x)]

Atravs do mtodo de mudana de varivel e integrao por partes, determinamos que

D(f, If ) = 0, 430. Portanto D(f, F ) < D(f, If ).

Consideremos agora o seguinte produto es alar denido em dois pontos

(v, w) = v(0)w(0) + v(1)w(1).

Assim, A determinada por (1 , 1 ) = 2, (1 , 2 ) = 1, (2 , 2 ) = 1 e b, por (f, 1 ) =
1 + e, (f, 2 ) = e. Obtemos, ento
! ! !
2 1 1 1+e
=
1 1 2 e

resolvendo A = b, temos 1 = 1 e 2 = e1 = 1, 7182 e

F (x) = 1 + 1, 7182x,

portanto F = If .
Considerando um produto vetorial denido em trs pontos, por exemplo,

(v, w) = v(0)w(0) + v(1/2)w(1/2) + v(1)w(1).

teremos uma proximao por mnimos quadrados no sentido deste produto es alar (deixamos

essa armao omo exer io), porm no teremos a interpolada de f denida em trs

pontos. Assim, podemos armar que o Mtodo dos Mnimos Quadrados uma generalizao

para a interpolada de f.

12
2.3 Restries e Transformaes

Nesta subseo apresentamos a forma om a qual o Mtodo dos Mnimos Quadrados

apli ado em problemas que apresentam alguma restrio sobre F. Em seguida apresentamos

algumas onsideraes sobre problemas que envolvem transformaes lineares na apli ao

do mtodo.

2.3.1 Restries
Vamos nos on entrar em problemas que apresentam alguma restrio sobre F , para isso
vamos onsiderar o seguinte problema:

-Seja a funo f (x) tal que f (x) = 1 se x < 3 e f (x) = 3 se x > 3. Cal ular a melhor apro-

ximao F (x), F (x) P1 , dessa funo (sem restrio), no sentido dos mnimos quadrados,

no intervalo (0, 4).

f(x)
3

27/8

F*

3/8

3 4

Figura 4: Comparao entre f (x) e F (x).

Para isso, denimos

p
D(v, w) = (v w, v w) = ||v w||
Z 4
(v, w) = v(x)w(x)dx
0
s
Z 4
||v w|| = [v(x) w(x)]2 dx
0

Determinamos uma base 1 (x) = 1 e 2 (x) = x,

! !
(1 , 1 ) (2 , 1 ) (f, 1 )
A= e b=
(2 , 1 ) (2 , 2 ) (f, 2 )

13
Temos que

Z 4
(1 , 1 ) = 1 1 dx = 4
0
Z 4
(1 , 2 ) = 1 x dx = 8
0
Z 4
64
(2 , 2 ) = x x dx =
0 3
Z 4 Z 3 Z 4
(f, 1 ) = f (x)1dx = 1 1 dx + 3 1 dx = 6
0 0 3
Z 4 Z 3 Z 4
(f, 2 ) = f (x)xdx = 1 x dx + 3 x dx = 15
0 0 3

Resolvendo as equaes normais A = b om = (1 , 2 ), dadas por

(
41 + 82 = 6
64
81 + = 15,
3 2

3 9
obtemos 1 = 8
e 2 = 16
. Portanto

3 9
F (x) = + x.
8 16
Agora, queremos en ontrar a funo F mais prxima a f no sentido de (., .) dentre os

polinmios de grau 1 que satisfazem a restrio F (4) = 3. Para isso pre isaremos do Lema

seguinte.

Lema 2.6 G a melhor aproximao a uma funo f dentre as ombinaes lineares

1 1 + 2 2 + . . . n n se e s se H = G + a melhor aproximao a f + den-

tre as funes da forma + 1 1 + 2 2 + . . . n n .

Exer io 2.3 Demonstrar o lema anterior.

Aproximamos f (x) por

f (x) a1 + bx (5)

sob restrio

a + 4b = 3, (6)

apresentamos duas t ni as distintas para determinar f (x).

T ni a 1
Essa t ni a onsiste nos seguintes passos:

14
 1. Eliminar os oe ientes
Neste aso, vamos eliminar o oe ientes b, assim de (6) temos

3a
b = ,
4
substituindo em (5), obtemos

3a
f (x) a + x; (7)
4

2. Isolar oe ientes

De (7) temos

3  x
f (x) x +a 1 ;
4
|{z} 4

3. Transformar
3  x
f (x) x |{z}
a 1 ;
| {z 4 } 4
1 | {z }
f +=g 1

4. Identi ar e
x
1 = a 1 = 1 ,
4
assim a dim(V ) = 1;

5. Resolver A1 = b
 Z 4
x 2 4
A = (1 , 1 ) = 1 dx =
0 4 3
Z 3  Z 4 
3 x 3 x 1
b = (g, 1) = 1 x 1 dx + 3 x 1 dx = ;
0 4 4 3 4 4 4

6. Soluo
3
1 = b/A = 16
, portanto F dada por

3 3  x
F (x) = x + 1 .
4 16 4

No ontexto dessa t ni a, temos a denio e o teorema que seguem.

Denio 2.2 Um onjunto V uma variedade linear se, dado um elemento qualquer de

V o onjunto

W = {v = F , F V}
um espao vetorial. Diz-se que V a variedade linear paralela a W por (ver Figura 5).

15
 f

0
w F

V
F* F

Figura 5: Comparao entre f (x) e F (x).

Teorema 2.7 Nessas ondies ! melhor aproximao F V a f , em que F a projeo

ortogonal de f sobre V , isto , (f F , v) = 0, v W e F = + 1 1 + . . . n n , onde

1 , . . . , n a base de W e 1 , . . . , n a soluo de A = b, em que

(1 , 1 ) ... (f , 1 )
.. ..
A= . e b= .
... (n , n ) (f , n )

Exer io 2.4 Demonstrar o teorema anterior.

T ni a 2 (Multipli adores de Lagrange)

Essa t ni a onsiste em determinar o mnimo de

J() = (f 1 1 . . . n n , f 1 1 . . . n n )
= (f, f ) 2bT + T A

om restries sobre .
Vamos onsiderar as seguintes restries lineares
(
31 44 = 7
= B = c (8)
23 + 2 = 32

em que a matriz B possui m linhas e n olunas, om m sendo o nmero de restries lineares.

B e c so dados, respe tivamente, por
! !
3 0 0 4 0 . . . 7
B= c= . (9)
0 1 2 0 0 ... 32

Teorema 2.8 O mnimo de J sobre Rn onsiderando as restries (que sempre existe

pelo teorema anterior, desde que as restries sejam lineares) ponto de sela ( , ) do

Lagrangiano

1
(, ) = J() + T (B c)
2

16
em que Rm . no sentido de que

( , ) = 0 i = 1, 2, . . . , n
i

( , ) = 0 j = 1, 2, . . . , n
j

Corolrio 2.9 Sejam as equaes

b + A + B T = 0
B c = 0,

rees revendo, temos

(
A + B T = b
B = c

..
A . BT b

...
...
... = ...
..
B . 0 c

Esse sistema simtri o mas tem autovalores negativos (a matriz no denida positiva).

Se as restries so L.I., a matriz total invertvel.

Para uma melhor ompreenso dessa t ni a, vamos apli -la no exemplo seguinte.

Exemplo 2.2 Sejam as equaes normais, sem restries:

(
41 + 82 = 6
81 + 64 = 15
3 2

Consideremos a seguinte restrio: 1 + 42 = 3, assim, rees revendo o sistema temos

! !
4 8 6
A= b=
8 64 3
15

B = (1 4) c = (3)

41 + 82 + 1
= 6
64
81 + 3 2 + 41 = 15


1 + 42 = 3,
3 45
resolvendo este sistema, temos 1 = 16
, 2 = 64
e = 38 .

17
 x

Figura 6: Aproximao feita om logaritmo.

2.3.2 Consideraes sobre transformaes no lineares

Vamos onsiderar um onjunto de pontos que lembra uma Gaussiana ( omo ilustrado

na Figura 6) e vamos ajust-lo por uma Gaussiana.

A Gaussiana ao mximo A, de largura entrado no ponto z dada por

xz 2
Ae( ),

assim,

xz 2
f (x) Ae( ).

Apli ando ln em ambos os membros desta relao, temos

 2
xz
ln f (x) lnA

 2
  
z 2z 1
ln f (x) lnA 2 |{z} x
1 + 2 |{z} 2
x2 .

|{z} 2 |{z}
| {z } 1 | {z } 3
1 2 3

Consideremos o produto es alar

m 2
X xz

(v, w) = v(xi )w(xi )Wi = 1 , 2 , 3
= A , z , = F (x) = Ae
.
i=1

Dis usso:
Em es ala logartmi a, F a que melhor aproxima em f (ver Figura 7), mas em es ala

analti a F pode no se aproximar bem de f. Uma possvel soluo seria aumentar os pesos

nos pontos onde f maior (neste aso).

2.4 Sistemas Lineares In ompatveis

Nesta subseo empregamos o Mtodo dos Mnimos Quadrados na resoluo de sistemas

lineares in ompatveis. Para isso vamos onsiderar dois problemas, denominados, Problema

18
 2
ln f

ln f
ln F*

0 1 2 3 4
x

Figura 7: Comparao entre lnf (x) e lnF (x).

e Outro problema. Tambm onsideraremos o seguinte sistema

21 + 2 = 3

4
1 2 = 3
(10)


1 + 2 = 2

21 + 32 = 4.
Problema: Seja M uma matriz de m linhas en olunas (mxn) e d Rm . Queremos dar
um sentido ao problema M = d, onde Rn (x(1) , x(2) , . . . , x(m) ) e forne er uma resposta
.
Outro problema: Seja um onjunto de m pontos em Rn , no qual foi medida uma funo
f (x1 , x2 , . . . , xn ) obtendo-se os valores de f1 , f2 , . . . , fm . Determinar a melhor aproximao

de f entre as funes da forma

F (x1 , x2 , . . . , xn ) = 1 x1 + 2 x2 + . . . + n xn .

Soluo do outro problema: A soluo = (1 . . . n )T vai minimizar a distn ia.

Es olhemos ento o produto es alar

m
X
(v, w) = v(x(k) )w(x(k) )Wk ,
k=1

om ele, a distn ia de 1 1 + . . . + n n funo f dada por

m
X
2 (k)
||f (1 1 + . . . + n n )|| = Wk (fk 1 x1 . . . n x(k)
n )
2

k=1

e o mnimo dado pela soluo de A = b, em que

m
X (k) (k)
(A)i,j = (i , j ) = Wk xi xj
k=1
m
X (k)
(b)i = (f, i ) = Wk fk xi .
k=1

19
 Voltando ao sistema (10). Seja m=4 e sejam os pontos

(1) (1)
x(1) = (x1 , x2 ) = (2, 1) f1 = 3
(2) (2)
x(2) = (x1 , x2 ) = (4, 1) f2 = 3
(3) (3)
x(3) = (x1 , x2 ) = (1, 1) f3 = 2
(4) (4)
x(4) = (x1 , x2 ) = (2, 3) f4 = 4

em que F = 1 x1 + 2 x2 .
A soluo do outro problema minimiza
||f 1 x1 2 x2 ||2 = W1 (3 21 2 )3 + W2 (3 41 + 2 )2
+W3 (2 + 1 2 )2 + W4 (4 + 21 32 )2

Portanto, a soluo do outro problema nos forne e uma pseudo-soluo que minimiza

a norma do vetor M d = R() (resduo), dada por

v
u m
uX
||R()|| = t R2 Wk . k
k=1

Podemos ainda simpli ar as ontas. A relao entre os dois problemas onsiderados :

(1) (1)
M11 . . . M1n x1 . . . xn
.. ..
. = .
(m) (m)
Mm1 . . . Mmn x1 . . . xn
em que
(k)
xi = Mki
e

fk = dk .
Isso impli a que a matriz do sistema

m
X
Ai,j = Wk Mki Mkj (11)
k=1

em que wk so pesos xos e maiores que zero. Ai,j denida por (11) equivalente a

A = M T W M,

em que

W1 ... 0


0 . . . Wm

20
e

m
X
(b)i = Wk dk Mki b = M T W d
k=1

Essa dis usso um esboo da demonstrao do teorema seguinte.

Teorema 2.10 M Rmxn , m > n, d Rn . O vetor que minimiza a norma de M d

sob o produto es alar (em Rm )
m
X
(v, s) = Wk vk sk
k=1

em que Wk so pesos xos e maiores que zero, a soluo de A = b om A = M T W M

T T T
e b = M W d, ou seja, a soluo de M W M = M W d. . Se o rank(M) = n = A

denida positiva e portanto est bem denido (existe e ni o).

Para uma melhor ompreenso, apresentamos o exemplo seguinte.

Exemplo 2.3 Vamos onsiderar o sistema (10), es olhendo Wk = 1, k = 1, 2, 3, 4. Assim

W =I e

! 2 1 !
2 4 1 2 4 1 25 9
A = MT M =

=
1 1 1 3 1 1 9 12
2 3
e

! 3 !
2 4 1 2 3 8
b = MT d =

=
1 1 1 3 2 14
4

assim, as equaes normais so dadas por

(
251 92 = 8

91 + 122 = 14.

Resolvendo este sistema, obtemos 1 = 1.013 e 2 = 1.926.

Exer io 2.5 Considerando a pseudo soluo , al ular o resduo.

Exer io 2.6 Considerando o exemplo anterior, fazer w2 = 100, re al ular e omparar

om a soluo determinada no mesmo exemplo.

21
 > CN Cp r
1 CN 1 Cp1 r1
2 CN 2 Cp2 r2
. . . .
. . . .
. . . .

Tabela 1: Con entrao de nitrognio e fsforo.

Cp

CN

Figura 8: Comparao entre f (x) e F (x).

2.5 Mnimos Quadrados Mveis

Vamos onsiderar que os valores de uma funo r (o ritmo de res imento de uma ba -

tria) foram medidos em um onjunto de m valores de on entrao de nitrognio CN e de

fsforo Cp , omo ilustrados na Tabela 1 e na Figura 8.

Para os valores dados CN A , CpA queremos

 forne er uma estimativa do valor de r no
r  r 
ponto A e de suas derivadas , . Para isso, vamos apli ar o Mtodo dos Mnimos
CN  Cp 
A A

Quadrados. Ou seja, vamos aproximar a funo r medida por outra funo R e responder

r  R 
rA = R (CN A , CpA ), =
CN A CN A
Para isto, pro uramos R dentre as funes

R(CN , Cp ) = a + bCN + cCp + . . . = 1 1 + 2 2 + 3 3

em que 1 = a 1 = 1, 2 = b 2 = CN e 3 = c 3 = Cp e onsideramos o produto

P
es alar (v, w) = m
k=1 Wk vk wk .
A seguir, apresentamos um algoritmo para soluo desse problema.

Dados: CN [i], Cp [i], r[i], i = 1, . . . , m, CN A , CpA , W [1], W [2], . . . , W [M].

Programa: A = 0, b = 0.

22
 Para k = 1, . . . , m

A[1][1] + = W [k] 1 1
A[1][2] + = W [k] 1 CN [k]
A[1][3] + = W [k] 1 Cp [k]
A[2][2] + = W [k] CN [k] CN [k]
A[2][3] + = W [k] CN [k] Cp [k]

A[3][3] + = W [k] Cp [k] Cp [k]

b[1] + = W [k] r[K] 1
b[2] + = W [k] r[K] CN [k]
b[3] + = W [k] r[K] Cp [k]

end for

solve(A, b); R (CN , Cp ) = 1 + 2 CN + 3 Cp

print:  As estimativas desejadas so rA =  1 + 2 CN A + 3 CpA
r 
 = 2 ,
CN 
A
r 
 = 23
Cp 
A
O truque fazer os pesos dependerem da distn ia do ponto A. Vamos onsiderar , e

assim, para al ular W [k], temos.

for k = 1, . . . , m

W [k] = exp(((CN [k] CN A )2 (Cp [k] CpA)2 )/ 2 ).

2.6 Mnimos Quadrados Mveis em Espaos de Sobolev

Temos uma funo u C 2 [a, b] e queremos aproxim-la por funes de um espao V, em

que V = {funes ontnuas lineares por partes}.

1
0 n

1 n1
PSfrag repla ements

0 1

Figura 9: Ilustrao das funes i , om i = 0, . . . , n

23
 A base de V = {i } onstituda por funes que valem 1 no ponto xi e zero nos outros

pontos. Como produto es alar, vamos utilizar o produto do espao de Sobolev H 1 (a, b)
Z a

(v, w) = [v(x)w(x) + v (x)w (x)]dx.
b
2
Comparar om o produto de L (a, b), que simplesmente
Z a
(v, w) = v(x)w(x)dx
b

A melhor aproximao de U , U (x) = 1 1 (x) + . . . + n n (x) tem por oe ientes a

soluo de A = b, onde
Z b

Ai,j = [i (x)j (x) + i (x)j (x)]dx
a
Z b

bi = [u(x)i (x) + u (x)i (x)]dx
a

Lema 2.11 Seja u C 2 [a, b] e seja uma funo ontnua que de lasse C 1 em ada

sub-intervalo (x1 , x2 ), (x2 , x3 ), . . ., ento

Z b Z b

u (x) (x)dx = u (b)(b) u (a)(a) u (x)(x)dx.
a a

Demonstrao:
Z b XZ xk +1

u (x) (x)dx = u (x) (x)dx
a k xk
X Z xk +1

= u (xk+1 )(xk+1 ) u (xk )(xk ) u (x)(x)dx.
k xk

Pelo lema anterior, temos

Z b

bi = u (b)i (b) u (a)i (a) + [u(x) u (x)]i (x)dx.
a

Agora, suponhamos que u des onhe ida e soluo de

(
u + u = g(x)

u (a) = u (b) = 0
1
em que g(x) = e x2 +2 log(x4 + x2 ) e

Z b
bi = 0 0 + g(x)i (x)dx.
a
Temos assim, o Mtodo de Galerkin. Trata-se de um tipo de aproximao para equaes

diferen iais par iais atravs do mtodo de elementos nitos.

Como motivao, deixamos omo exer io a apli ao do Mtodo de Galerkin na reso-

luo da equao diferen ial par ial a ima.

24