ESTIMATION METHOD

PENDUGAAN PARAMETER ARIMA MENGGUNAKAN METODE MOMENT, METODE KUADRAT TERKECIL, MAXIMUM LIKELIHOOD
PENDAHULUAN

 Tujuan : mengestimasi parameter model ARMA (p,q).

 Parameter yang diestimasi : 𝛟 = (𝜙1 , 𝜙2 , … , 𝜙𝑝 );𝐸 𝑍𝑡 = 𝜇; 𝜽 =
(𝜃1 , 𝜃2 , … , 𝜃𝑞 );𝜎𝑎2 = 𝐸(𝑎𝑡2 ) dari model :

 Dimana: merupakan n deret waktu

yang stasioner dari data asli atau setelah ditransformasi yang sesuai;
𝑎𝑡 ~𝑖𝑖𝑑 𝑁(0, 𝜎𝑎2 ) white noise
METODE ESTIMASI PARAMETER

 Tahap estimasi parameter model dilakukan setelah identifikasi model

 salah satu tujuan identifikasi model adalah untuk menetapkan model sementara atau model tentativ atau
menetapkan orde AR sementara.
 Tiga metode estimasi parameter:

(1) metode moment

(2) Metode Kuadrat terkecil
(3) metode maximum likelihood
METODE MOMEN

 Metode yang paling mudah untuk diterapkan, dimana penaksiran parameter berdasarkan sifat-sifat ACF
dan PACF proses AR
 Autokovarian (𝛾𝑘 ) antara variabel 𝑍𝑡 dan 𝑍𝑡−𝑘 merupakan momen di sekitar rata-rata yaitu :

𝛾𝑘 = 𝐸 𝑍𝑡 − 𝐸 𝑍𝑡 𝑍𝑡−𝑘 − 𝐸 𝑍𝑡−𝑘 = 𝐸(𝑍𝑡 𝑍𝑡−𝑘 )

Karena 𝐸 𝑍𝑡 = 𝐸 𝑍𝑡−𝑘 = 0
METODE MOMEN

 Model AR(p):

 Persaman Yule Walker

METODE MOMEN
 Dengan menggantikan 𝜌𝑘 dengan 𝜌𝑘 maka akan diperoleh
𝜙1 , 𝜙2 , … , 𝜙𝑝 sbb:
METODE MOMEN

 Setelah diperoleh 𝜙1 , 𝜙2 , … , 𝜙𝑝 , maka dihasilkan :

CONTOH METODE MOMEN PADA AR(1)

 Model AR(1):
 Dari penduga Yule-Walker, diperoleh :
CONTOH METODE MOMEN PADA AR(2)

 Model AR(2): (𝑍𝑡 −𝜇) = 𝜙1 (𝑍𝑡−1 −𝜇) + 𝜙2 (𝑍𝑡−2 −𝜇) + 𝑎𝑡

 Persamaan Yule-Walker untuk p=2, diperoleh :
𝜌1 = 𝜙1 +𝜙2 𝜌1
𝜌2 = 𝜙1 𝜌1 + 𝜙2
 Dari penduga Yule-Walker, diperoleh :
𝜌1 (1 − 𝜌2 ) 𝜌2 − 𝜌12
𝜙1 = 2 ; 𝜙2 =
1 − 𝜌1 1 − 𝜌12
𝜎𝑎2 = 𝛾0 (1 − 𝜙1 𝜌1 − 𝜙2 𝜌2 − ⋯ − 𝜙𝑝 𝜌𝑝 )
CONTOH METODE MOMEN PADA MA(1)

 Model MA(1):
 Estimasi parameter :

 Metode momen peka terhadap nilai pembulatan, tidak direkomendasikan

untuk model nonstasioner atau noninvertible
METODE KUADRAT TERKECIL
Asumsi dasar pada error yang harus dipernuhi dalam metode kuadrat terkecil pada model regresi

Adalah :
1. Rata-rata nol E(et)=0
2. Ragam konstan 𝐸 𝑒𝑡2 = 𝜎𝑒2
3. Tidak ada autokorelasi 𝐸 𝑒𝑡 , 𝑒𝑘 = 0 untuk 𝑡 ≠ 𝑘
4. Tidak ada autokorelasi dengan variable predictor 𝑋𝑡 ; 𝐸 𝑋𝑡 , 𝑒𝑘 = 0
Metode kuadrat terkecil pada model regresi:

Estimasi parameter model deret waktu dengan metode kuadrat terkecil melanggar asumsi yang ke-4 karena
𝑋𝑡 merupakan variable stokastik yang seringkali berkorelasi dengan et
METODE KUADRAT TERKECIL (ORDINAY LEAST SQUARE/OLS)
Metode OLS adalah suatu metode untuk mencari penduga parameter regresi dengan cara meminimumkan
jumlah kuadrat galat (selisih antara nilai aktual dan ramalan)
Model AR(p):
(𝑍𝑡 −𝜇) = 𝜙1 (𝑍𝑡−1 −𝜇) + 𝜙2 (𝑍𝑡−2 −𝜇) + ⋯ + 𝜙𝑝 (𝑍𝑡−𝑝 −𝜇) + 𝑎𝑡

Model AR(p) ini dapat dipandang sebagai model regresi dengan 𝑍𝑡−1 , 𝑍𝑡−2 , … , 𝑍𝑡−𝑝 sebagai variable prediktor,
𝑍𝑡 sebagai variable respon, 𝜇, 𝜙1 ,…, 𝜙𝑝 sebagai parameter , 𝑎𝑡 sebagai galat atau error
METODE KUADRAT TERKECIL
Jumlah kuadrat galat pada model AR(p) sebagai berikut:
𝑛 2
S 𝜇, 𝜙1 , … , 𝜙𝑝 = 𝑡=𝑝+1 𝑎𝑡
𝑛
2
= (𝑍𝑡 −𝜇) −𝜙1 (𝑍𝑡−1 −𝜇) − ⋯ − 𝜙𝑙 (𝑍𝑡−𝑙 −𝜇) + ⋯ + 𝜙𝑝 (𝑍𝑡−𝑝 −𝜇)
𝑡=𝑝+1

Meminimumkan S 𝜇, 𝜙1 , … , 𝜙𝑝 dengan cara menurunkan terhadap parameter-parameternya dan

disamadengankan nol.

(1) diturunkan terhadap 𝜇

𝜕 𝑛
S 𝜇, 𝜙1 , … , 𝜙𝑝 = 2 𝑡=𝑝+1 (𝑍𝑡 −𝜇) −𝜙1 (𝑍𝑡−1 −𝜇) − … − 𝜙𝑙 (𝑍𝑡−𝑙 −𝜇) + ⋯ + 𝜙𝑝 (𝑍𝑡−𝑝 −𝜇) (−1 + 𝜙1 +. . +𝜙𝑝 )
𝜕𝜇

𝑛 𝑛 𝑛

𝑍𝑡 − 𝜙1 𝑍𝑡−1 − ⋯ − 𝜙𝑝 𝑍𝑡−𝑝 − (𝑛 − 𝑝)(1 − 𝜙1 −. . −𝜙𝑝 ) 𝜇 = 0

𝑡=𝑝+1 𝑡=𝑝+1 𝑡=𝑝+1
METODE KUADRAT TERKECIL
𝑛 𝑛 𝑛

𝑍𝑡 − 𝜙1 𝑍𝑡−1 − ⋯ − 𝜙𝑝 𝑍𝑡−𝑝 − (𝑛 − 𝑝)(1 − 𝜙1 −. . −𝜙𝑝 ) 𝜇 = 0

𝑡=𝑝+1 𝑡=𝑝+1 𝑡=𝑝+1

𝑛
𝑡=𝑝+1 𝑍𝑡 − 𝜙1 𝑛𝑡=𝑝+1 𝑍𝑡−1 − ⋯ − 𝜙𝑝 𝑛
𝑡=𝑝+1 𝑍𝑡−𝑝
𝜇=
(𝑛 − 𝑝)(1 − 𝜙1 −. . −𝜙𝑝 )

Karena untuk n yang besa berlaku :

𝑛 𝑛 𝑛
𝑡=𝑝+1 𝑍𝑡 𝜙1 𝑡=𝑝+1 𝑍𝑡−1 𝜙𝑝 𝑡=𝑝+1 𝑍𝑡−𝑝
≈ ≈⋯≈ ≈𝑍
(𝑛 − 𝑝) 𝑛−𝑝 𝑛−𝑝
Sehingga:
(1 − 𝜙1 −. . −𝜙𝑝 )𝑍
𝜇= =𝑍
(1 − 𝜙1 −. . −𝜙𝑝 )
 METODE KUADRAT TERKECIL

(2) diturunkan terhadap 𝜙𝑙

𝜕 𝑛
S 𝜇, 𝜙1 , … , 𝜙𝑝 = 2 𝑡=𝑝+1 (𝑍𝑡 −𝜇) −𝜙1 (𝑍𝑡−1 −𝜇) − 𝜙2 (𝑍𝑡−2 −𝜇) + ⋯ + 𝜙𝑝 (𝑍𝑡−𝑝 −𝜇) (−1 (𝑍𝑡−𝑙 − 𝜇))
𝜕𝜙𝑙

𝑛 𝑛 𝑛 𝑛

(𝑍𝑡 −𝑍) (𝑍𝑡−𝑙 − 𝑍) − 𝜙1 (𝑍𝑡−1 −𝑍) (𝑍𝑡−𝑙 − 𝑍) − ⋯ 𝜙𝑙 (𝑍𝑡−1 −𝑍)2 − . . −𝜙𝑝 (𝑍𝑡−𝑝 −𝑍) (𝑍𝑡−𝑙 − 𝑍) = 0
𝑡=𝑝+1 𝑡=𝑝+1 𝑡=𝑝+1 𝑡=𝑝+1

𝑛 2
dibagi dengan 𝑡=𝑝+1(𝑍𝑡−1 −𝑍) =𝛾0 >0, diperoleh

𝑛 𝑛 𝑛 2 𝑛
𝑡=𝑝+1(𝑍𝑡 −𝑍) (𝑍𝑡−𝑙 − 𝑍) − 𝜙1 𝑡=𝑝+1(𝑍𝑡−1 −𝑍) (𝑍𝑡−𝑙 − 𝑍) − ⋯ 𝜙𝑙 𝑡=𝑝+1(𝑍𝑡−1 −𝑍) − . . −𝜙𝑝 𝑡=𝑝+1(𝑍𝑡−𝑝 −𝑍) (𝑍𝑡−𝑙 − 𝑍)
𝑛
𝑡=𝑝+1(𝑍𝑡−1 −𝑍)2
METODE KUADRAT TERKECIL

diperoleh penduga untuk 𝜙𝑙 sebagai berikut:

𝜙1 𝜌𝑙−1 + 𝜙2 𝜌𝑙−2 + ⋯ + 𝜙𝑝 𝜌𝑙−𝑝 = 𝜌𝑙

untuk l=1,2,…,p diperoleh system persamaan Yule-Walker sampel sebagai berikut:

𝜙1 𝜌0 + 𝜙2 𝜌1 + ⋯ + 𝜙𝑝 𝜌𝑝−1 = 𝜌1
𝜙1 𝜌1 + 𝜙2 𝜌0 + ⋯ + 𝜙𝑝−1 𝜌𝑝−2 = 𝜌2
dst
𝜙1 𝜌𝑝−1 + 𝜙2 𝜌𝑝−2 + ⋯ + 𝜙𝑝 𝜌0 = 𝜌𝑝

Jika diselesaikan, akan dperoleh penduga yang sama dengan metode momen
METODE KUADRAT TERKECIL
Untuk p =1 (AR(1) :

𝜙1 = 𝜌1

untuk p = 2 (AR(2) :

𝜌1 (1 − 𝜌2 ) 𝜌2 − 𝜌12
𝜙1 = ; 𝜙2 =
1 − 𝜌12 1 − 𝜌12
METODE KUADRAT TERKECIL
Model deret waktu AR(1) :

Metode estimasi dengan kuadrat terkecil biasa (OLS) :

Estimasi parameter model deret waktu dengan metode kuadrat terkecil melanggar asumsi yang ke-4 karena
𝑋𝑡 merupakan variable stokastik yang seringkali berkorelasi dengan et
METODE KUADRAT TERKECIL
Jika : et = at . Dimana et white noise dengan rata-rata nol dan ragam konstan 𝜎𝑎2. Jika 𝜙 <1 maka Zt
merupakan AR(1) dengan 𝜙 merupakan estimator yang tak bias secara asimtorik dan konsisten
Jika : et = (1-𝜃𝐵)at . Dimana at white noise dengan rata-rata nol dan ragam konstan 𝜎𝑎2 , maka Zt merupakan
MA(1) dengan 𝜙 merupakan estimator yang tak bias secara asimtorik dan konsisten
Model ARMA(1,1) :

Terdapat Autokorelasi antara error dan variable prediktor lag, sehingga melanggar asumsi OLS yang ke-3 dan
ke-4. Pada ARMA (1,1) :

𝜙 bukan merupakan estimator yang konsisten bagi 𝜙

LATIHAN (BUKU WEI HAL 158)