Program Studi Statistika

Optimisasi
Multivariat
Komputasi Statistika
(Sesi 12)
Pokok Bahasan

01 Univariat
- Prosedur Iteratif
- Konvergensi
- Aproksimasi

Multivariat
02 - Prosedur Iteratif
- Konvergensi
- Aproksimasi
 Metode Optimisasi

• Newton Method
• Fisher’s Scoring
• Newton Like Method
• Gauss Newton
• Nelder Mead Algorithm
Metode Newton
Optimisasi Multivariat
 Metode Newton
●
Prosedur:
– Tentukan nilai awal x(0)
– Temukan turunan pertama g’(x(0)) dan turunan kedua g’’(x(0))
– Update nilai x dengan persamaan x(t+1) = x(t) – g’’(x(t))-1 g’(x(t))

Dalam optimisasi multivariat

Kita mencari nilai optimum dari suatu fungsi
g berdimensi p yaitu vektor
x = (x1 , . . . , xp )T .
Suatu iterasi t, menunjukkan penaksir
optimum pada x(t) = (x1 , . . . , xp(t) )T
 Kriteria Konvergensi
●
Absolute Convergence
p
D (u , v )=∑ |ui −v i|
i=1
●
Root Sum of Square Convergence

√
p
D (u , v )= ∑ (ui−v i)
2

i=1
 Metode Newton
#Optimisasi Metode Newton
Contoh 1

Cari solusi untuk fungsi berikut

menggunakan metode Newton

3 2
g ( x 1 , x 2)=2 X −6 X 1 X 2 +3 X
1 2
 Penaksiran Maksimum Likelihood
●
Penaksiran maksimum likelihood (MLE) adalah suatu metode
untuk menaksir parameter (θ) dengan cara memaksimumkan
fungsi likelihood (L) (biasanya menggunakan fungsi log-likelihood
(l)) pada θ.
●
Metodenya disebut Newton-Rhapson Iteration
θ(t+1) = θ(t) – l’’(θ(t))-1 l’(θ(t))
l’’(θ(t)) disebut matriks Hessian
l’(θ(t)) disebut vektor skor/vektor gradien
 Contoh 2:
●
Misalkan θ = (r, λ) adalah parameter dari
Distribusi Gamma. Fungsi log-likelihood adalah

Taksir θ menggunakan MLE

 Metode Newton
#Optimisasi Metode Newton-Rhapson
Contoh 2

Cari penaksir parameter Gamma

Metode Fisher’s Scoring
Optimisasi Multivariat
 Metode Fisher’s Scoring
●
Prosedur:
– Tentukan nilai awal θ(0)
– Temukan g ’(θ(0)) dan matriks information I(θ(0))
– Update θ dengan θ(t+1) = θ(t) + I(θ(t))-1 g’(θ(t))

Apabila optimisasi dari g merupakan MLE,

Matriks −l ’’(θ) dalam Metode Newton-Rhapson
dapat digantikan dengan I(θ). Dalam hal ini
I(θ(t)) adalah ekspektasi turunan kedua
(Matriks Informasi Fisher) pada θ(t)
Metode Newton Like
Optimisasi Multivariat
 Newton-Like Method
●
Persamaan Newton secara umum

(t +1) (t ) (t ) −1 (t)
x =x −( M ) g ' ( x )
●
Dengan M adalah matriks Hessian g''() matriks
simetriks berukuran p x p.
●
Matriks M dapat diganti dengan pendekatan
matriks lain yang bersesuaian
 Metode Newton-Like
●
Metode Ascent
– M(t)
= -I, untuk semua t dengan I adalah
matriks identitas

●
Discrete Newton
– M(t) = M, untuk semua t
 Metode Newton-Like
●
Quasi Newton
(t +1) (t ) (t) (t ) (t)
M =M +c v (v )'

(t) (t ) (t) (t )
●
dengan v = y −M z
(t ) 1
c = (t ) (t)
(v )' z
Fungsi dalam R
Optimisasi Multivariat
 Fungsi dalam R
●
Fungsi 'optimize(f, lower, upper)' untuk
mengoptimalkan fungsi f dalam interval lower dan
upper

●
Fungsi 'optim' untuk metode optimasi
menggunakan Quasi-Newton disebut juga BFGS
(Broyden, Fletcher, Goldfarb and Shanno)
 Tugas
Soal 1
Perhatikan fungsi berikut 1. Buat plot fungsinya
2. Tentukan interval
(titik a dab b)
3. Gunakan metode
Carilah titik yang optimisasi
a. memaksimumkan fungsi tersebut
b. meminimumkan fungsi tersebut
 Tugas
Soal 2
1. Cari titik yang memaksimumkan fungsi berikut
1. Buat plot fungsinya
2. Tentukan interval
(titik a dab b)
2. Cari titik yang meminimumkan fungsi berikut 3. Gunakan metode
dalam interval [-π, 5π] optimisasi
Hatur Nuhun
bertho@unpad.ac.id