Bac
hilleres:
Gómez Osnel C.I: 19.864.140
López Noreidy C.I: 17.576.664
Sección: SIN-701
1
Método de Newton
2
Reseña histórica
Método de Newton
3
Aplicación y Descripción
f( xk ), f ’( xk ) y f ”( x
k ). Entonces
es posible construir una función
cuadrática a partir del desarrollo de
Taylor:
Implementación
Para la implementación de este método es necesario calcular la primera y
segunda derivada de la función como derivadas direccionales, obteniendo
un valor escalar, de la siguiente manera,
4
Donde d es el vector unitario de la dirección de descenso
Observaciones:
1) La dirección del Método de Newton:
−x ≤λx k −x λ <1
2
xk+1
para
5
[
d ( x ) = ∇2 f ( x) ] −1
∇f t ( x )
Donde ~
f es la aproximación cuadrática de f en x.
Minimizar f ( x)
Tal que
x ∈Rn
f ( x ) = x t Qx
1 1
Q =
1 10
x 0 = (10,1) t
Correcciones:
1) Introducir búsqueda lineal
a) La dirección puede no ser de descenso.
b) El orden de convergencia puede ser menor de 2.
2) Modificar la matriz del sistema lineal.
6
Resuelve iterativamente un sistema de ecuaciones no lineales
f1 ( x1 , ; xn ) = 0
f 2 ( x1 , , xn ) = 0
Aproxima la función no lineal por una función lineal en
f n ( x1 , , xn ) = 0
cada punto (iteración), utilizando la expansión en serie
de Taylor de primer orden.
f ( x k + p k ) ≈ f ( x k ) + ∇f ( x k ) t p k
f ( x*) ≈ f ( x k ) + ∇f ( x k ) t p k = 0
p k = −∇f ( x k ) −T f ( x k )
x k +1 = x k + p k = x k − ∇f ( x k ) −T f ( x k )
Jacobiano de la función
∇f ( x ) T = (∇f 1 ( x ) ∇f 2 ( x) ∇f n ( x) T )
f 1 ( x1 , x 2 ) = 3x1 x 2 + 7 x1 + 2 x 2 − 3 = 0
f 2 ( x1 , x 2 ) = 5 x1 x 2 − 9 x1 − 4 x 2 + 6 = 0
∂ f1 ∂ f 2
∂ x1 ∂ x1 3x2 + 7 5x2 − 9
∇ f 1 xx 2),( = =
∂ f1 ∂ f2 3x1 + 2 5x1− 4
∂ x2 ∂ x2
7
−T
x2+ x2− 9573 3x1 2 1 xxx −++ 327
xk+1 xk−=
x 1+ x1− 4523 5x1 2 1 xxx 2+−− 649
1
Suponemos como punto inicial x0 =
2
8
−T −T
3x+75−93x+7 2−31 14 −.375
x1=0− =− =
22 12
9
0
x8 =
1. 5
Y las funciones toman el valor (0)
Ejemplo (I)
f ( x, y ) = ( x − 2) 2 + ( y −1) 2
(2 xk − )2 2 0
∇ f (xk , yk ) = ∇ f (xk , yk ) =
2
(2 yk − 1) 0 2
∇2 f ( x k ) p k = −∇f ( x k )
10
−T
2 • − 4 0. 5 • − 4 2
pk=− =− =
• 2 − •0.5−21
Calculamos αk
F´( α )=0
10 α -10=0
α =1
El Siguiente punto x k +1 = x k + α k p k = (2,1)
11
La dirección de Movimiento p k = (0,0)
Ejemplo (II)
12
Método de Gradiente
O
Método de Cauchy
Reseña Histórica
13
Augustin-Louis Cauchy
14
Del tomo primero de su Résumé des Leçons données a l’École Royale
Polytechnique, sur le Calcul Infinitésimal (1823) hemos seleccionado la
Tercera Lección consagrada a las derivadas de las funciones de una
variable y el Método del Gradiente o Método de Cauchy.
• Principio General:
Si no se satisface, volver a 2.
15
*Válido para optimizar funciones que son diferenciables
continuamente dos veces.
• Ejemplo: f(x,y) =
Punto de
partida:
Dirección de máximo
Decrecimiento es:
Llegado al mínimo:
16
• Volver al paso 1 con :
Ejemplo (I)
f ( x, y ) = ( x − 2) 2 + ( y −1) 2
min min F (a ) = f ( x k + αp k )
α >0
17
2( x k − 2)
pk = − ∇ f (xk , yk ) = −
2(yk − )1
Tomando como punto inicial x k = (0,0)
F ´(α) = 0
40α − 20 = 0
α = 0 .5
Ejemplo (II)
f ( x, y ) = 8 x 2 + 3 xy + 7 y 2 − 25 x + 31 y − 29
min F (α ) = f ( x k + α . p k )
α
18
min F (α ) = 8(−4 + 77α ) 2 + 3(−4 + 77α )(4 − 75α ) + 7( 4 − 75α ) 2 − 25(−4 + 77α ) + 31( 4 − 75α ) − 29
α
Entonces
Derivamos
F ´(α) = 0
138964α − 11554 = 0
α = 0.0831
19
Ejemplo (III)
20
21
Método de Métrica Variable
* Método de Davidon-Fletcher-Powell
*Método de Broyden-Fletcher-Goldfarb-Shanno
22
* Método Cuasi-Newton
Método de Davidon-Fletcher-Powell
23
Método de Broyden-Fletcher-Goldfarb-Shanno
Existe una gran similitud entre los esfuerzos actuales por mejorar los
métodos de métrica variable y aquellos que buscan mejorar los métodos
de gradiente conjugado. Por tanto, mucho de lo descrito en métodos de
gradiente conjugado aplica también para los métodos de métrica variable.
24
búsquedas lineales. Pareciera ser que un método de métrica variable con
terminación cuadrática pero sin la necesidad de búsquedas lineales
costosas seria robusto y rápido en funciones generales. Goldfarb (1977)
se cuenta entre los que han explorado esta promisoria línea de
investigación.
25
Shanno & Phua (1978) proporcionan numerosos resultados que favorecen
el uso del método de Broyden-Fletcher-Goldfarb-Shanno.
Método Cuasi-Newton
26
Método de Powell
27
Reseña Historia
28
necesitando una estructura tan estricta como la exigida por otros
similares.
Aplicación
∂2V
→ →
u A v = 0 , donde Aij =
∂x i ∂x j
29
Bibliografía
30
*Dr. Gonzalo Hernández Oliva, Métodos Clásicos de Optimización para
Problemas
No-Lineales sin Restricciones, UChile - Departamento de Ingeniería
Matemática (2006)
31