Nonlinear Programming

Metode Steepest-Descent.

Afina Azizah (M0112002), Endra Pratama (M0112030), Nury Ardillah (M0112065) Jurusan Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sebelas Maret

Metode Steepest-Descent (Cauchy)

Sun dan Yuan [4] dalam bukunya menuliskan bahwa metode steepest descent adalah salah satu metode minimisasi yang paling mudah dan paling mendasar untuk optimasi tanpa kendala. Ketika digunakan dalam gradien negatif sesuai arahnya yang menurun, metode ini juga disebut sebagai metode gradien. Misalkan ( ) kontinu dan terturunkan di dekat , dan gradien ( ) 0. Dari ekspansi Taylor diketahui bahwa jika = , maka arah yang memenuhi < 0 disebut arah descent sedemikian sehingga ( ) < ( ). Dengan memperbaiki nilai , diperoleh nilai yang lebih kecil dari nilai adalah nilai fungsi menurun yang lebih cepat. Dengan pertidaksamaan Cauchy-Schwaertz diperoleh bahwa nilai adalah yang terkecil jika dan hanya jika = . Dengan adalah arah dari steepest descent. Bentuk iterasi metode steepest descent adalah Algoritma. Metode Steepest Descent = . , ( )= ( )+( ) + ( ),

Step 0. Misalkan 0 < 1 adalah toleransi penghentian iterasi. Diberikan sebuah Step 1. Jika
titik awal

Step 2. Menetukan faktor panjang langkah Step 3. Menghitung Step4.

= ( .

, stop;jika tidak

. Tetapkan

= 0.

) = min (

sedemikian sehingga );

Oleh Rao [3] dijelaskan bahwa kegunaan dari vekror gradien negatif sebagai arah untuk meminimumkan pertama kali ditemukan oleh Cauchy pada 1847. Dalam metode Cauchy dimulai dari nilai awal dan diulang sepanjang arah steepest descent hingga diperoleh nilai optimum. Metode steepest descent dapat diringkas dalam step : 1. Mulai dengan sembarang titik , iterasi = 0. 2. Menentukan arah pencarian sebagai = ( ). 3. Menentukan langkah optimal dalam arah dan menentukan = + . 4. Menguji keoptimalan titik . Jika optimal iterasi dihentikan, jika tidak ke step 5.

+ 1, kembali ke Step 1.

Nonlinear Programming
5.

Metode steepest descent tampak menjadi teknik terbaik untuk meminimumkan fungsi tanpa kendala ketika setiap pencarian dimensi-satu diawali dengan arah yang paling baik. Namun, berdasarkan kenyataannya, arah steepest descent bersifat lokal, sehingga metode ini tidak sepenuhnya efektif dalam berbagai masalah. Contoh 1. Minimumkan ( , ) = 4 4 +2 dengan titik awal = 2 dan toleransi 3 = 0.05

= + 1, lalu ke step 2.

(Peressini, Sullivan, and Uhl [2]).

Penyelesaian:

Gambar 1. Plot3D dari ( , ) = 4

+2

Gambar 2. ContourPlot dari ( , ) = 4 Untuk ( , ) = 4 ( , )= 8 4 4 + 4 4 +2 , diperoleh

+2

Nonlinear Programming Iterasi 1,

= 2 , 3 =

4 ( )= , 4 ( ) = (

Untuk menentukan ditentukan panjang langkah dari meminimumkan = 10 32 + 32 + )= 2 4 + 3 4 = (2 4 , 3 4 )

4 = ( ) = 4

( ) = 32 + 64 ( ) = 0 ( ) = 64 > 0

32 + 64 = 0

= 0.5
Jadi,

4 ( ) ( )= , = 5.65685 > 4

2 4 0 ( )= 0.5 = 3 4 1

Iterasi 2,
=

4 ( )= , 4 ( ) = (

0 , 1

= = ( ) = )= 4 4

Untuk menentukan ditentukan panjang langkah dari meminimumkan = 2 32 + 160 + 0 4 + 1 4 = (4 , 1 4 )

( ) = 32 + 320 ( ) = 0 ( ) = 320 > 0

32 + 320 = 0

= 0.1
Jadi,

( )=

0.4 , ( ) = 0.72111 > 0.6

( )=

0 4 0.4 0.1 = 1 4 0.6

Nonlinear Programming Iterasi 3,

= = 0.8 = ( ) = 0.8 )=

0.8 ( )= , 0.8 ( ) = (

0.4 , 0.6

Untuk menentukan ditentukan panjang langkah dari meminimumkan = 0.4 1.28 + 1.28 + 0.4 0.8 + 0.6 0.8

= (0.4 0.8 , 0.6 0.8 )

( ) = 1.28 + 2.56 ( ) = 0 ( ) = 2.56 > 0

1.28 + 2.56 = 0

= 0.5
Jadi,

( )=

0.8 , ( ) = 0.8 > 0.8 = = ( ) = )=

0.4 0.8 0 ( )= 0.5 = 0.6 0.8 0.2

Iterasi 4,
=

0.8 ( )= , 0.8 ( ) = (

0 , 0.2

Untuk menentukan ditentukan panjang langkah dari meminimumkan = 0.04 1.28 + 6.4 + 0 0.8 + 0.2 0.8 = (0.8 , 0.2 0.8 )

0.8 0.8

( ) = 1.28 + 12.8 ( ) = 0 ( ) = 12.8 > 0

1.28 + 12.8 = 0

= 0.1
Jadi,

( )=

0 0.8 0.08 0.1 = 0.2 0.8 0.12 4

Nonlinear Programming
( )=

0.16 , ( ) = 0.16 > 0.16 = = ( ) = )= 0.16 0.16

Iterasi 5,
=

( )=

0.08 , 0.12

Untuk menentukan ditentukan panjang langkah dari meminimumkan ( ) = ( = 0.016 0.0512 + 0.0512 + 0.08 0.16 + 0.12 0.16

0.16 , 0.16

= (0.08 0.16 , 0.12 0.16 )

( ) = 0.0512 + 0.1024 ( ) = 0 ( ) = 0.1024 > 0

0.0512 + 0.1024 = 0

= 0.5
Jadi,

( )=

2 dan toleransi 3 = 0.05 diperoleh nilai pendekatan minimum di titik ( , ) = (0, 0.04) dengan (0, 0.04) = 0.0032. Dari hasil iterasi ( , ) = 4 Contoh 2. 4 +2 dengan nilai pendekatan awal = Minimumkan pendekatan awal ( , )= + 2 + 4 + 4 dengan metode steepest descent dengan nilai 0 = dan = 0.1 (Antoniou and Lu [1]). 0

0 , ( ) = 0.04 < , stop. 0.04

0.08 0.16 0 ( )= 0.5 = 0.12 0.16 0.04

Penyelesaian:

Gambar 3. Plot3D dari ( , ) =

+2

+4 +4

Nonlinear Programming

Gambar 3. ContourPlot dari ( , ) = Untuk ( , ) = ( , )= 4+2 4+4 +2 + 4 + 4 , diperoleh

+2

+4 +4

Iterasi 1,
=

4 ( )= , 4 ( ) = (

0 , 0

Untuk menentukan ditentukan panjang langkah dari meminimumkan = 32 + 48 + )= 0 4 + 0 4 = (4 , 4 )

4 = ( ) = 4

( ) = 32 + 96 ( ) = 0 1 3 ( ) = 96 > 0

32 + 96 = 0

=
Jadi,

( )=

0 0

4 = 4

Nonlinear Programming
( )= = , ( ) =

= 1.8856 >

Iterasi 2,
=

( )=

Untuk menentukan ditentukan panjang langkah dari meminimumkan ( ) = ( = + )= 4 3 + 4 3 4 3 4 3 = 4 4 4 4 , + 3 3 3 3

= ( ) =

( ) = ( ) = 0 1 3 ( ) =

32 >0 3

32 32 + 9 3

16 32 16 + 3 9 3

=
Jadi,

32 32 + =0 9 3

( )= , ( ) = = ,

( )=

= 0.6285 >

Iterasi 3,
=

Nonlinear Programming
( )= , = ( ) =

Untuk menentukan ditentukan panjang langkah dari meminimumkan ( ) = ( = + )= 16 9 + 8 9 4 9 4 9

( ) = ( ) = 0 1 3 ( ) =

32 >0 27

32 32 + 81 27

160 32 16 + 27 81 27

16 4 8 4 , 9 9 9 9

=
Jadi,

32 32 + =0 81 27

= = ,

( )=

( )=

, ( ) =

= 0.2095 >

Iterasi 4,
=

( )=

Untuk menentukan ditentukan panjang langkah dari meminimumkan ( ) = ( + )= 52 27 + 28 27 4 27 4 27

= ( ) =

Nonlinear Programming
=

( ) = ( ) = 0 1 3 ( ) =

32 >0 243

32 32 + 729 243

1456 32 16 + 243 729 243

52 4 28 4 , + 27 27 27 27

=
Jadi,

32 32 + =0 729 243

( )= , ( ) =

1.9753 0.9876

( )=

0 dan 0 toleransi = 0.1 diperoleh nilai pendekatan minimum di titik ( , ) = (1.9753, 0.9876) dengan (1.9753, 0.9876) = 5.9991. Dari hasil iterasi ( , )= +2 +4 +4 dengan nilai pendekatan awal = Referensi. [1] Antoniou, Andreas and Wu-Sheng Lu. (2007). Practical Optimization: Algorithms and Engineering Applications. Springer, USA.

= 0.0698 > .

[2] Peressini, A. L., F. E. Sullivan, and J. J. Uhl, Jr. (1988). The Mathematics of Nonlinear Programming. Springer, USA. [3] Rao, Singiresu S. (2009). Engineering Optimization, Theory and Practice. John Wiley & Sons, New Jersey. [4] Wenyu Sun and Yuan, Ya-Xiang. (2006). Optimization Theory and Methods, Nonlinear Programming. Springer, USA.