Forecasting dengan Metode ARIMA

LO5002 METODE STATISTIKA

Minggu 6

1
Mengapa analisis time series penting?
• Meregresikan satu variabel terhadap variabel lain yang keduanya diukur secara
periodik (time series data), cenderung menghasilkan korelasi (r) yang sangat
tinggi. Tetapi, ini hanyalah satu bentuk dari spurious regression (regresi palsu)
• Time series data dapat bersifat stationary atau nonstationary. Data yang
nonstationary adalah problematik karena dapat menghasilkan spurious
regression dan autocorrelation.
• Time series data sering digunakan sebagai dasar forecasting. Namun, validitas
hasil forecasting hanya dapat dicapai jika mengetahui proses penghasilan data
(data generating process) yang digunakan sebagai dasar forecasting

2
Beberapa Definisi:
Proses Stokastik
• Proses stokastik adalah sebuah kumpulan variabel random yang
terurut dalam garis waktu
• Variabel random Y, jika dicatat secara kontinyu terhadap waktu
dituliskan sebagai Y(t). Namun, jika dicatat pada titik-titik waktu
tertentu (diskrit) dituliskan sebagai Yt
• Sebuah proses stokastik dikatakan stasioner jika mean dan variansi
konstan sepanjang waktu dan nilai kovariansi antara dua periode
waktu tergantung hanya pada jarak waktu antara dua periode
tersebut dan tidak tergantung waktu aktual di mana perhitungan
kovariansi tersebut dilakukan

3
Beberapa Definisi:
Purely random (white noise) process
• Sebuah proses stokastik disebut sebagai purely random (white noise)
process, jika proses tersebut memiliki rataan nol, variansi konstan,
dan tidak berkorelasi secara serial.
• Pada model regresi linier standar, kita mengasumsikan ut merupakan
hasil dari white noise proses karena ut diasumsikan memenuhi ut 
IIDN (0, 2)

4
Beberapa Definisi:
Random walk model
• Random walk model (RWM) merupakan salah satu time series nonstasioner
• Terdapat dua jenis RWM:
- RW without drift
Yt = Yt-1 + ut
E(Yt) = Y0
Var(Yt) = t2
- RW with drift
Yt =  + Yt-1 + ut
E(Yt) = Y0 + t.
Var(Yt) = t2

5
Beberapa Definisi:
Contoh Random walk model

RW without drift RW with drift

6
Beberapa Definisi:
Unit Root Stochastic Process
• Pada persamaan:
Yt = Yt-1 + ut
• jika  = 1, maka persamaan di atas akan menjadi RWM without drift. Maka, istilah
nonstationarity, random walk, dan unit root sering dianggap sinonim.
• Tapi, jika || < 1 dan ut adalah white noise maka time series di atas akan menjadi
stasioner dengan E(Yt) = 0 dan var(Yt) = 1/(1- 2)

7
 Beberapa Definisi:
Difference Stationary Process (DSP)
• Pada persamaan:
Yt = β1+ β2t + β3 Yt-1 + ut
• Dimana ut adalah white noise dan t diukur kronologis.
• Pada persamaan di atas, jika β1= 0, β2 = 0, dan β3 = 1 maka persamaan tersebut akan
menjadi RWM without drift
Yt = Yt-1 + ut
• Selanjutnya, jika diarrange ulang:
ΔYt = Yt - Yt-1 = ut
• Persamaan baru ini menjadi stasioner (mengapa?). Dengan demikan RWM without
drift adalah difference stationary process (DSP)

8
Beberapa Definisi:
Stochastic trend
• Pada persamaan :
Yt = β1+ β2t + β3 Yt-1 + ut
• jika β1  0, β2 = 0, dan β3 = 1 maka persamaan tersebut akan menjadi RWM with
drift
Yt = β1+ Yt-1 + ut
• Selanjutnya, jika diarrange ulang:
ΔYt = Yt - Yt-1 = β1+ ut
• Persamaan baru ini menjadi stasioner (mengapa?) dengan β1 trend. Trend ini
disebut sebagai stochastic trend

9
Ilustrasi:
Deterministic vs Stochastic Trend

• Stochastic trend pada grafis di atas diperoleh dari simulasi data dengan persamaan:
Yt = 0.5 + Yt-1 + ut, di mana ut berdistribusi normal baku
• Sedangkan deterministic trend pada grafis di atas diperoleh dari simulasi data
dengan persamaan Yt = 0.5 t + ut
10
Integrated Stochastic Process
• RWM merupakan kasus khusus dari satu kelas proses stokastik yang
lebih general, yang disebut dengan integrated process
• RWM without drift merupakan proses nonstasioner tetapi turunan
pertamanya (first difference) adalah stasioner. Karenanya, RWM
without drift disebut dengan integrated of order 1 atau I(1)
• Secara umum, jika sebuah time series membutuhkan d kali
diturunkan (differenced) sehingga mencapai stasioner, maka time
series tersebut disebut dengan integrated of order d.
• Sebuah time series Yt of order d dituliskan sebagai Yt  I(d)

11
Fenomena Spurious Regression (1)
• Diberikan dua buah random walk:
Yt = Yt-1 + ut
Xt = Xt-1 + vt
• di mana ut dan vt berdistribusi normal baku dan nilai inisial untuk X dan
Y adalah nol.
• Kemudian dibangkitkan secara random nilai untuk ut dan vt untuk t=
1,…,500 sehingga didapat nilai Yt dan Xt untuk t= 1,…,500
• Selanjutnya dilakukan regresi Yt dan Xt
• Pertanyaan: bagaimana hubungan Yt dan Xt ? Bagaimana seharusnya
korelasi antara Yt dan Xt ?

12
Fenomena Spurious Regression (2)
• Output hasil regresi Yt dan Xt:

• Fenomena ini disebut dengan spurious regression (Yule, 1926)

dan fenomena mengejutkan ini menjadi peringatan agar kita
berhati-hati dalam meregresikan time series

13
Pengujian Stationarity
• Pengujian stationarity dari sebuah time series dapat dilakukan dengan
menggunakan metode:
1. Grafis
2. Autocorrelation Function (ACF) dan correlogram
3. Unit root test

14
Autocorrelation Function (ACF) dan correlogram
• Autocorrelation Function (ACF) pada lag k didefinisikan sebagai:

Untuk mengestimasi ACF dapat digunakan rumus berikut:

Dengan mem-plot ACF dari sample terhadap k, kita akan mendapatkan

correlogram 15
Contoh ACF

16
 Pengujian Statistik ACF
• Menurut Bartlett, jika sebuah time series benar-benar random, maka sample
autocorrelation kira-kira akan berdistribusi:

• Artinya, 95% white noise akan menghasilkan autokorelasi dalam selang

+ 1.96/ 𝑛
• Selain itu dapat digunakan statistik Box-Pierce Q:

• Statistik Q akan berdistribusi chi-square dengan degree of freedom m

• Contoh data sebelumnya

• Probabilitas chi-square > 5,62 pada d.o.f 10 adalah > 0,1 sehingga simpulkan white noise
17
 Partial Autocorrelation Function (PACF)
• PACF digunakan untuk melihat efek dari Yt dan Yt-k saat efek dari lag 1 s.d k-1 dihilangkan.
• PACF dapat diperoleh dari estimasi bk pada persamaan berikut:

• Persamaan di atas disebut juga auto regressive (AR)

• Contoh correlogram untuk PACF dari data sebelumnya

18
 Autoregressive (AR)
• Persamaan autoregressive dapat dituliskan:

• Istilah AUTO regressive didapat dari fakta bahwa Yt diregresikan terhadap dirinya sendiri di
masa silam
• Sifat autoregresi:
1. Asumsi independensi error akan dilanggar (why?)
2. Menentukan p dalam persamaan AR tidak selalu mudah

19
 Moving Average (MA)
• Moving average pada ARIMA didefinisikan sebagai persamaan regresi Yt terhadap error
persamaan pada periode sebelumnya:

• Perhatian: istilah moving average di sini jangan dirancukan dengan istilah moving average
di metode smoothing!
• Moving average di sini timbul dari Yt bisa dipandang sebagai rata-rata terbobot dari error
periode t-1 s.d t-q

20
 Contoh AR orde 1
• Dapat ditulis sebagai: ARIMA (1,0,0) atau AR(1)
• Persamaannya:

• Sebagai contoh simulasi untuk 1 = 0,7

21
 Contoh MA orde 1
• Dapat ditulis sebagai: ARIMA (0,0,1) atau MA(1)
• Persamaannya:

• Sebagai contoh simulasi untuk 1 = 0,7

22
Contoh AR(2) dan MA(2)

23
 Identifikasi ARIMA
• First step: identify outlier and transform data to achieve stationarity in variance
• Second step: identify stationarity in mean, identification I component
• Identification AR(p) or MA(q) from ACF and PACF using this guide:

24
Transformasi Nonstationary Time Series
• Jenis transformasi yang dilakukan tergantung pada apakah
prosesnya mengikuti DSP atau TSP
• Jika prosesnya DSP, transformasi cukup dilakukan dengan
menghitung first differences dari time series tersebut
• Jika prosesnya TSP, transformasi dilakukan dengan
meregresikan terhadap waktu dan kemudian mengambil
residualnya:

• Residual yang diperoleh akan stasioner dan disebut dengan

detrended time series
• Jika DSP kita perlakukan sebagai TSP, maka terjadi
underdifferencing, dan sebaliknya terjadi overdifferencing.

25