11/29/2016

Metode
• Steepest Descent
• Newton
Multivariable • Marquardt
Gradient-based search
Angga Akbar Fanani, ST., MT

3 4

Perbedaan Direct Search dengan Gradient Search

• Menggunakan gradient untuk menentukan arah

Steepest Descent
pencarian Metoda steepest descent (atau Cauchy method) teknik yang paling sederhana (simplest example of a gradient

• Berbeda dengan direct search yang hanya mengevaluasi based method) untuk minimasi fungsi dengan multivariables.

nilai fungsi Berikut formula yang digunakan:

• Menggunakan step size untuk menentukan besarnya
xk+1=xk-αf(xk),
perpindahan/pergerakan
dimana :

α : parameter step-length (menentukan besarnya pergerakan, bilangan positif 0 <α<1 ),

f(xk) : arah pergerakan,

f : fungsi obyektif yang diminimasi,

xk : titik sekarang

Di sini arah pergerakan adalah negatif dari gradient

Langkah metode Steepest Descent Contoh (min)

1. Tentukan x0,
 (10e-5)
2. Hitung f(xk)
3. Periksa apakah ||sum(f(xk))|| ≤ ?
Jika tidak teruskan, jika ya berhenti
Temukan α yang meminimumkan f(xk-αf(xk)
Secara analitik α ditemukan dengan mencari turunan f(xk-αf(xk) =0,
atau ditetapkan fixed(mis α=0.01)
Hitung xk+1=xk-αf(xk),
4. k=k+1 kembali ke 3.

1
 11/29/2016

7 8
Contoh
,
df
dx 2
 1  2 x1  2 x 2
df
dx 1
 1  2 x 2  4 x1 Latihan
Lakukan 2 iterasi, mulai dari x0=[1,5]
• Lakukan 2 iterasi dengan α tetap = 0.01.
Iterasi 1
Pada titik x0 akan didapatkan f(x0)=[15,11], dan f(x0)=33.
• Bagaimana hasilnya? Bandingkan nilai f setelah 2
x1=x0-α[15 ,11]=[1 ,5]- α[15, 11]=[1- 15α, 5-11α] iterasi.
f(x1)= (1-15) - (5-11) + 2(1-15)(5-11)+ 2(1-15)2+ (5-11)2
df/d= -346+1802=0 , =0.1920
x1=[ 1- 15α, 5-11α]= [-1.88, 2.888]
f(x1)= -0.2175.

Iterasi 2
x2=[-1.88, 2.888]- αf(x1)
f(x1)= [-0.744 , 1.016]
x2 = [-1.88+0.744 α, 2.888-1.016 α],
f(x2)= (-1.88+.744α)-(2.888-1.016α) +2(-1.88+.744α) (2.888-1.016α) + 2(-1.88+.744α)2 +(2.888-1.016 α)2
df/d = -1.5858 + 1.255α = 0
α= 1.2635
x2=[-0.9399 , 1.6042]

f(x2)= -1.2194  Kita lihat bahwa dalam 2 iterasi terjadi penurunan nilai fungsi.

9 10

Diskusi Diskusi
• Untuk fixed α , Apa yang terjadi jika α terlalu besar? • Bagaimana teknik ini diterapkan untuk kasus maksimasi?
Cepat pergerakannya tetapi ada risiko local • xk+1=xk + αf(xk) (steepest ascent)
minimum/global minimum terlewati • Atau ubah fungsi maksimasi dengan minimasi ( dikalikan -1)
selanjutnya ikuti algoritma steepest descent untuk minimasi.
• Jika α terlalu kecil, slow menuju titik optimal, tetapi
sangat besar kemungkinan menemukan titik optimal.