Aproximacion mediante Mnimos Cuadrados

BAIN053 Metodos Numericos.

Noviembre, 2015

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Introduccion

Una alternativa para aproximar una funcion, en lugar de resolver

un problema de interpolacion en que buscamos un polinomio que
pase por los puntos {(xk , f (xk ))}nk=0 , es encontrar una curva que
se aproxime globalmente a estos datos sin pasar necesariamente
por cada uno de los puntos.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Introduccion

Una alternativa para aproximar una funcion, en lugar de resolver

un problema de interpolacion en que buscamos un polinomio que
pase por los puntos {(xk , f (xk ))}nk=0 , es encontrar una curva que
se aproxime globalmente a estos datos sin pasar necesariamente
por cada uno de los puntos.

Consideremos el conjunto de datos {(xk , yk )}nk=0 . Podemos

ajustar una recta de la forma y = a + bx que se aproxime mejor a
estos datos en el sentido de que minimice la distancia a cada uno
de los puntos.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Siguiendo esta idea, debemos encontrar las constantes a y b tales
que

max |yi (a + bxi )|

0in

sea mnimo.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Siguiendo esta idea, debemos encontrar las constantes a y b tales
que

max |yi (a + bxi )|

0in

sea mnimo.

Dada las dificultades tecnicas para resolver este problema es que se

plantea el problema alternativo de encontrar los valores de a y b
que minimicen la suma de los cuadrados de los errores:
n
X
E(a, b) = (yi (a + bxi ))2
i=0

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

En general, podemos buscar un polinomio de grado m < n,
Xm
p(x) = ak xk tal que
k=0

n n m
!2
X 2
X X
k
E(a0 , ..., am ) = (yi p(xi )) = yi ak x
i=0 i=0 k=0

sea mnimo.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

En general, podemos buscar un polinomio de grado m < n,
Xm
p(x) = ak xk tal que
k=0

n n m
!2
X 2
X X
k
E(a0 , ..., am ) = (yi p(xi )) = yi ak x
i=0 i=0 k=0

sea mnimo.
Para obtener un mnimo debemos analizar los puntos crticos de E,
es decir, aquellos puntos (a0 , ..., am ) tales que

E 
= 0,
aj a0 ,...,am

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

En general, podemos buscar un polinomio de grado m < n,
Xm
p(x) = ak xk tal que
k=0

n n m
!2
X 2
X X
k
E(a0 , ..., am ) = (yi p(xi )) = yi ak x
i=0 i=0 k=0

sea mnimo.
Para obtener un mnimo debemos analizar los puntos crticos de E,
es decir, aquellos puntos (a0 , ..., am ) tales que

E 
= 0,
aj a0 ,...,am
o equivalentemente
m n n
xki xjj = yi xjj ,
X X X
ak j = 0, ..., n.
k=0 i=0 i=0

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

De este modo, el problema se reduce a encontrar a0 , ..., am
solucion del sistema de ecuaciones lineales cuya representacion
matricial es:

n n n n n
P
1
P
xi
P
x2i ...
P
xm a0 P
yi
i
i=0 i=0 i=0 i=0 i=0
n n n n
n

a1
x2i x3i xm+1
P P P P P
xi ... i yi xi
i=0 i=0 i=0 i=0 i=0
=

n n n n n
a2

x2i x3i x4i xm+2 yi x2i
P P P P P
... i

i=0 i=0 i=0 i=0 i=0
.. .. .. .. .. ..
.
. . . .
.

n n n n
n

xm xm+1 xm+2 x2m yi xm
P P P P P
i i i ... i i
i=0 i=0 i=0 i=0 am i=0

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Ejemplo

Aproximar por un polinomio cuadratico la tabla de datos:

xk 1 0 1 2 3 4 5
yk 3 6 7 6 3 2 9

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Aun cuando el metodo de los mnimos cuadrados usando
polinomios, es un procedimiento muy empleado, a veces es
apropiado suponer que los datos estan relacionados de otra forma
y las funciones escogidas pueden ser no lineales en los parametros
a0 , a1 , . . . , am .

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Aun cuando el metodo de los mnimos cuadrados usando
polinomios, es un procedimiento muy empleado, a veces es
apropiado suponer que los datos estan relacionados de otra forma
y las funciones escogidas pueden ser no lineales en los parametros
a0 , a1 , . . . , am .

Para aplicar el metodo de los mnimos cuadrados, es necesario

efectuar una linealizacion del problema efectuando algunas
transformaciones convenientes.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

1) y = aebx , a > 0.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

1) y = aebx , a > 0.
n 
X 2
Aqu: E(a, b) = yk aebxk
k=0

n 

X  
bxk
E ebxk = 0

yk ae

=0


a


k=0


n 

E
X
bxk
 

=0 axk ebxk = 0

b yk ae



k=0

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

1) y = aebx , a > 0.
n 
X 2
Aqu: E(a, b) = yk aebxk
k=0

n 

X  
bxk
E ebxk = 0

yk ae

=0


a


k=0


n 

E
X
bxk
 

=0 axk ebxk = 0

b yk ae



k=0

sistema al que generalmente no se le puede encontrar solucion

exacta.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Si tomamos logaritmo natural:

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Si tomamos logaritmo natural:

ln y = ln a + bx
Y = a0 + bx, con Y = ln y, a0 = ln a.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Si tomamos logaritmo natural:

ln y = ln a + bx
Y = a0 + bx, con Y = ln y, a0 = ln a.

aparece un problema lineal en las incognitas a0 y b, con datos:

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Si tomamos logaritmo natural:

ln y = ln a + bx
Y = a0 + bx, con Y = ln y, a0 = ln a.

aparece un problema lineal en las incognitas a0 y b, con datos:

xk x0 x1 . . . xn
ln yk ln y0 ln y1 . . . ln yn

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

2) y = axb , con a, x > 0.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

2) y = axb , con a, x > 0.
n 
X 2
Aqu: E(a, b) = yk axbk
k=0
n
X  
E b b


yk axk x k =0
=0


a


k=0


n 

E

X
b

b

=0

b



yk axk ax k ln x k =0
k=0

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

2) y = axb , con a, x > 0.
n 
X 2
Aqu: E(a, b) = yk axbk
k=0
n
X  
E b b


yk axk x k =0
=0


a


k=0


n 

E

X
b

b

=0

b



yk axk ax k ln x k =0
k=0

y se obtiene un sistema como el anterior.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Como antes:

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Como antes:
ln y = ln a + b ln x
Y = a0 + bX, con Y = ln y, X = ln x, a0 = ln a.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Como antes:
ln y = ln a + b ln x
Y = a0 + bX, con Y = ln y, X = ln x, a0 = ln a.

aparece un problema lineal en las incognitas a0 y b, con datos:

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Como antes:
ln y = ln a + b ln x
Y = a0 + bX, con Y = ln y, X = ln x, a0 = ln a.

aparece un problema lineal en las incognitas a0 y b, con datos:

ln xk ln x0 ln x1 . . . ln xn
ln yk ln y0 ln y1 . . . ln yn

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

3) y = abx , con a, b > 0.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

3) y = abx , con a, b > 0.

Si tomamos logaritmo natural:

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

3) y = abx , con a, b > 0.

Si tomamos logaritmo natural:

ln y = ln a + x ln b
Y = a0 + b0 x, con Y = ln y, a0 = ln a, b0 = ln b.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

3) y = abx , con a, b > 0.

Si tomamos logaritmo natural:

ln y = ln a + x ln b
Y = a0 + b0 x, con Y = ln y, a0 = ln a, b0 = ln b.

aparece un problema lineal en las incognitas a0 y b0 , con

datos:

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

3) y = abx , con a, b > 0.

Si tomamos logaritmo natural:

ln y = ln a + x ln b
Y = a0 + b0 x, con Y = ln y, a0 = ln a, b0 = ln b.

aparece un problema lineal en las incognitas a0 y b0 , con

datos:
xk x0 x1 . . . xn
ln yk ln y0 ln y1 . . . ln yn

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

 1
4) y = .
a + bx

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

 1
4) y = .
a + bx

1
Y = a + bx, con Y = .
y

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

 1
4) y = .
a + bx

1
Y = a + bx, con Y = .
y

xk x0 x1 . . . xn

1 1 1 1
...
yk y0 y1 yn

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Ejemplo:

Se han tomado tres muestras de la viscosidad [centipoise] de un

cierto petroleo en funcion de la temperatura T [ K]:

T 261.15 283.15 311.15

50.1 10.0 4.9

El modelo mas apropiado para la viscosidad es

= 0 T K .

Determinemos 0 y K por mnimos cuadrados.

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

La funcion a minimizar sera
3
X
E(0 , K) = (i 0 TiK )2 ,
i=1

esta expresion es complicada de manipular, sin embargo, podemos

ajustar la expresion equivalente

ln() = ln(0 ) + K ln(T ),

lo que corresponde a una linealizacion de los datos. En tal caso, la
expresion a minimizar es
3
X
E(0 , K) = (ln(i ) ln(0 ) K ln(Ti ))2 ,
i=1

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

 3 3 3
E X X X
= 0 ln(0 ) 1+K ln(Ti ) = ln(i )
0
i=1 i=1 i=1

3 3 3
E X X X
= 0 ln(0 ) ln(Ti )+K [ln(Ti )]2 = ln(i ) ln(Ti )
K
i=1 i=1 i=1

Aplicando logaritmo natural a nuestros datos, tenemos:

ln(T ) 5.5651 5.6460 5.7403

ln() 1.6292 2.3026 1.5892

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

Tenemos entonces el sistema,

3 ln(0 ) + 16.9513K = 7.8058

16.9513 ln(0 ) + 95.7981K = 43.9049

cuya solucion es

ln(0 ) = 74.0793 0 = e74.0793 = 1.48671032 y K = 12.6499

Por lo tanto, la ecuacion buscada es

= 1.4867 1032 T 12.6499

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados

BAIN053 Metodos Numericos. Aproximacion mediante Mnimos Cuadrados