TAHAP PEMBENTUKAN MODEL ARIMA

KONSEP DASAR
ARIMA
 STASIONER
Kondisi stasioner terdiri atas dua hal, yaitu:
1. Stasioner dalam rata-rata
Jika kondisi stasioner dalam rata-rata tidak terpenuhi
diperlukan proses pembedaan (differencing)
𝑧𝑡 = 1 − 𝐵 𝑑 𝑍𝑡
𝑑 : orde differencing
𝐵 : Backshift operator (operator mundur) yang didefinisikan dengan 𝐵 𝑑 𝑍𝑡 = 𝑍𝑡−𝑑

Proses differencing pada orde pertama merupakan

selisih antara data ke-t dengan data ke t-1, yaitu:
∆𝑍𝑡 = 𝑍𝑡 − 𝑍𝑡−1
Sedangkan bentuk differencing orde kedua adalah:
∆2 𝑍𝑡 = ∆𝑍𝑡 − ∆𝑍𝑡−1 = 𝑍𝑡 − 𝑍𝑡−1 − 𝑍𝑡−1 − 𝑍𝑡−2
= 𝑍𝑡 − 2𝑍𝑡−1 + 𝑍𝑡−2
 STASIONER
2. Stasioner dalam varians
Jika kondisi stasioner dalam varians tidak terpenuhi,
Box & Cox memperkenalkan transformasi pangkat
(power transformation):
𝜆
𝜆 𝑍𝑡 −1
𝑍𝑡 =
𝜆
Dengan melihat λ=0 yang berkorespondensi dengan
transformasi logaritma, dinotasikan sbb:
𝜆
𝜆 𝑍𝑡 −1
lim 𝑇 𝑍𝑡 = lim 𝑍𝑡 = lim = ln 𝑍𝑡
𝜆→0 𝜆→0 𝜆→0 𝜆
 STASIONER
2. Stasioner dalam varians

Nilai λ Transformasi
1
-1,0
𝑍𝑡
1
-0,5
𝑍𝑡
0,0 ln 𝑍𝑡
0,5 𝑍𝑡
1,0 𝑍𝑡
 STASIONER
2. Stasioner dalam varians
Ketentuan untuk menstabilkan variansi:
a) Transformasi hanya boleh dilakukan untuk deret data
yang positif
b) Transformasi dilakukan sebelum melakukan differencing
dan pemodelan derete waktu
c) nilai λ dipilih berdasarkan SSE dari deret hasil
transformasi. Nilai SSE terkecil memberikan hasil
variansi paling konstan
𝑛
2
𝑆𝑆𝐸 𝜆 = 𝑍𝑡 𝜆 − 𝜇
𝑡=1
d) Transformasi tidak hanya menstabilkan varians, tetapi
juga dapat menormalkan distribusi
STASIONER
Data stasioner terbagi menjadi dua, yaitu:
1. Stasioner kuat (strickly stasioner)

 Data dikatakan stasioner kuat jika distribusi

gabungan dari Zt1,Zt2,…,Ztn sama dengan
distribusi gabungan dari Zt1+t,Zt2+t,…,Ztn+k
untuk setiap t1,t2,…,tn dan k.
2. Stasioner lemah (weakly stasioner)

 Data dikatakan stasioner lemah jika rata-

rata hitung data konstan, dan
autokovariansnya merupakan fungsi dari lag
STATIONARY AND NONSTATIONARY
TIME SERIES
Stationer

Nonstationer
THE FIRST DIFFERENCES: ZT = Y2T – Y2T-1

Nonstationer

Differences

Stationer
 SAMPLE AUTOCORRELATION FUNCTION
(ACF)
Untuk data series Z1, Z2, …, Zn :
 ACF UNTUK DATA STASIONER
dies down
1 (exponential)
1 cuts off

0 0
8 Lag k 8 Lag k
no
oscillation
-1 -1

dies down dies down

1 (exponential) 1 (sinusoidal)

0 0
8 Lag k 8 Lag k

-1 oscillation -1
DYING DOWN FAIRLY QUICKLY VERSUS EXTREMELY
SLOWLY

1 Dying down fairly quickly stationary time

series (usually)

0 Lag k
8

-1

Dying down extremely slowly nonstationary time

1 series (usually)

0 Lag k
8

-1
 SAMPLE PARTIAL AUTOCORRELATION FUNCTION
(PACF)

Untuk data series Z1, Z2, …, Zn : Corr(Zt,Zt-k|Zt-1,…,Zt-k+1)

 CALCULATION OF PACF AT LAG 1, 2 AND 3

The sample partial autocorelations at lag 1, 2 and 3

are:
 MINITAB OUTPUT OF STATIONARY TIME SERIES

ACF PACF

Dying down fairly quickly Cuts off after lag 2

 MINITAB OUTPUT OF NONSTATIONARY TIME SERIES

ACF PACF

Dying down extremely slowly Cuts off after lag 2

 EXPLANATION OF ACF … [MINITAB OUTPUT]

+  +


 t/2 . se(rk)  t/2 . se(rk)

 GENERAL THEORETICAL ACF AND PACF OF ARIMA
MODELS

Model ACF PACF

MA(q): moving average of order q Cuts off Dies down
after lag q
AR(p): autoregressive of order p Dies down Cuts off
after lag p
ARMA(p,q): mixed autoregressive- Dies down Dies down
moving average of order (p,q)
AR(p) or MA(q) Cuts off Cuts off
after lag q after lag p
No order AR or MA No spike No spike
(White Noise or Random process)
 THEORETICALLY OF ACF AND PACF OF FIRST-
ORDER MOVING AVERAGE MODEL OR MA(1)

The model
Zt =  + at – 1 at-1
 Invertibility condition : –1 < 1 < 1

Theoretically of ACF Theoretically of PACF

THEORETICALLY OF ACF AND PACF OF FIRST-ORDER
MOVING AVERAGE MODEL OR MA(1) … [GRAPHICS
ILLUSTRATION]

ACF PACF

ACF PACF
 SIMULATION EXAMPLE OF ACF AND PACF OF FIRST-
ORDER MOVING AVERAGE MODEL OR MA(1) … [GRAPHICS
ILLUSTRATION]
 THEORETICALLY OF ACF AND PACF OF SECOND-
ORDER MOVING AVERAGE MODEL OR MA(2)

The model
Zt =  + at – 1 at-1 – 2 at-2
 Invertibility condition : 1 + 2 < 1 ; 2  1 < 1 ; |2| < 1

Theoretically of ACF Theoretically of PACF

Dies Down (according to a

mixture of damped exponentials
and/or damped sine waves)
THEORETICALLY OF ACF AND PACF OF SECOND-ORDER
MOVING AVERAGE MODEL OR MA(2) … [GRAPHICS ILLUSTRATION]
… (1)

ACF PACF

ACF PACF
THEORETICALLY OF ACF AND PACF OF SECOND-ORDER
MOVING AVERAGE MODEL OR MA(2) … [GRAPHICS ILLUSTRATION]
… (2)

ACF PACF

ACF PACF
SIMULATION EXAMPLE OF ACF AND PACF OF SECOND-ORDER
MOVING AVERAGE MODEL OR MA(2) … [GRAPHICS
ILLUSTRATION]
EXAMPLE: IDENTIFICATION STEP [STATIONARY, ACF AND
PACF]

ACF Stationer time series PACF

Dies down Cuts off after lag 2

[sinusoidal]
PENDUGAAN
PARAMETER
1. Metode Momen
2. Metode Least Square (Conditional
Least Square)
3. Metode Maximum Likelihood
1. METODE MOMEN

Taksiran parameter berdasarkan

hubungan pada:
𝑛
𝑡=1 𝑍𝑡
𝜇=𝑍=
𝑛
dan
𝜌𝑘 = 𝑟𝑘
1. METODE MOMEN
Persamaan Yule Walker
k  1, 2,...., p; 0  1,   k   k
1  1  2 1  ...   p  p 1
 2  1 1  2  ...   p  p  2
. . . . . . . . . .
 p  1  p 1  2  p  2  ...   p

Karena nilai ρ1,ρ2,…,ρp tidak diketahui, koefisien

tersebut diganti dengan penaksirnya, yaitu
r1,r2,…,rp
1. METODE MOMEN
A. Parameter AR
Persamaan Yule Walker dapat dipecah untuk
𝜙1 , 𝜙2 , … , 𝜙𝑝 untuk memperoleh taksiran awal model
AR. Melalui prosedur tersebut, diperoleh nilai taksiran
parameter model AR(1)
𝜙1 = 𝑟1
Untuk model AR(2), persamaan Yule Walker akan
menghasilkan:
𝜌1 = 𝜙1 + 𝜙2 𝜌1
𝜌2 = 𝜙1 𝜌1 + 𝜙2
Sehingga diperoleh taksiran parameter model AR(2)
𝑟1 1 − 𝑟2
𝜙1 =
1 − 𝑟12
𝑟2 − 𝑟12
𝜙2 =
1 − 𝑟12
1. METODE MOMEN
B. Parameter MA
Untuk model MA(1) persamaan Yule Walker akan
menghasilkan:
−𝜃1
𝜌1 =
1 + 𝜃12
Sehingga diperoleh taksiran parameter model MA(1):
−1 ± 1 − 4𝑟12
𝜃1 =
2𝑟1
Untuk model MA(2) persamaan Yule Walker akan
menghasilkan:
−𝜃1 − 𝜃1 𝜃2
𝜌1 =
1 + 𝜃12 + 𝜃22
−𝜃2
𝜌2 =
1 + 𝜃12 + 𝜃22
2. METODE LEAST SQUARE
Model AR(1):
Zt      Zt 1     at
Bentuk persamaan Least Square:

S   ,    a =   Zt       Zt 1   
T T 2
2
t
t 2 t 2

Diperoleh taksiran parameter:

  Zt  Z  Zt 1  Z 
T

ˆ  t 2
  Zt 1  Z 
T 2

t 2
2. METODE LEAST SQUARE
Model MA(1):
Zt  at   at 1 at  Zt   at 1
a0  0
a1  z1
a2  z2   a1
a3  z3   a2
. . . . .
aT  zT   aT 1
Tentukan nilai  yang me min imumkan persamaan
T
S*     at2
t 1
3. METODE MAXIMUM LIKELIHOOD
Model AR(1)
Z t  1 Z t 1  a t
Z t    1 Z t 1     a t
Z t  1  1   1 Z t 1  a t
Z t   0  1 Z t 1  a t
Dimana:  0  1  1 

a t ~ IIND 0,  a2 
Fungsi kepadatan peluang untuk data pertama:
 Z1   0 / 1  1 2 
f Z1 :  0 , 1 , a  
1
2
Exp   
2 a2 / 1  1 

 2 a / 1  1 
2 2 

3. METODE MAXIMUM LIKELIHOOD
Model AR(1)
Fungsi kepadatan peluang untuk data kedua:
 Z1   0  1 Z1 2 
 1  
f Z 2 :  0 , 1 , a 
2 
Exp 
 
2 2
a  2 a2 
Fungsi likelihood untuk model AR(1) dapat diperoleh
dengan mengalikan seluruh fungsi kepadatan peluang
sbb:
LZ1 , Z 2 ,..., Z T :  0 , 1 ,  a2   f Z1 :  0 , 1 ,  a2 .f Z 2 :  0 , 1 ,  a2 ....f Z T :  0 , 1 ,  a2 

LZ1 , Z 2 ,..., Z T :  0 , 1 ,    f Z1 :  0 , 1 ,  . f Z t :  0 , 1 ,  a2 

T
2 2
a a
t 2

Misalkan :
3. METODE MAXIMUM LIKELIHOOD
Model AR(1)
Misalkan:
        
 
2
1 Z / 1
f Z1 :  0 , 1 , a2  Exp   1 2 0 1   A dan
2 a2 / 1  1 

 2 a / 1  
 2
1  

 ~

 1 
2
   Z t   0   Z
1 t 1  2

  Exp   t  2   B maka
 2 2   2  2 
 a   a

 
 
L Z1 , Z 2 ,.., Z T :  0 , 1 ,  a2  A.B
3. METODE MAXIMUM LIKELIHOOD
Model AR(1)
Persamaan tsb dapat dilakukan dengan
mentransformasikan ke dalam bentuk persamaan
logaritma menjadi:
   ln f    ln  f  Z :  , , 
T
L 0 , 1 ,  a2 Z1 : 0 , 1 ,  a2 t 0 1
2
a
t 2

Z1  0 / 1  1    
2
 T  1  T  1
1
2
1
2
2
  
  ln  2   ln  a / 1  1 
2

2 a2 / 1  12

2
ln  2  
  2
ln  a2  
1 T
 
2  t
Z   0   Z
1 t 1  2

2 a t 2

    T  1 ln 2  T  1 ln  2  
T
ln  f Z t :  0 , 1 ,  2 1

 t 0 1 t 1
Z     Z  2

2 a2
a a
2 2 t 2
PEMERIKSAAN
DIAGNOSTIK
1. Uji kesignifikanan parameter
2. Uji kesesuaian model
 2. UJI KESIGNIFIKANAN PARAMETER

t-values and prob-values for testing parameter model

ARIMA

Parameters
ARIMA
model estimates
 2. UJI KESESUAIAN MODEL
a) Uji sisa white noise

ACF of
residual

b) Uji kenormalan sisaan

PERAMALAN
 THE GENERAL [NONSEASONAL] ARIMA(P,D,Q) MODELS

 The Model is

 where

is an appropriate pre-
differencing transformation

Do not need
pre-differencing
Yt = Original transformation
Data
FORECASTING OF ARIMA(P,D,Q) MODEL

 Forecasting of AR(1) model

or

 Forecasting of MA(1) model

 EXAMPLE: ARIMA(1,0,1) MODEL

Yt = Original
Data
 The Model is
Zt = Yt

 where

and

Therefore,
 EXAMPLE: ARIMA(1,0,1) MODEL … [OTHER CALCULATION]

Yt = Original
 The Model is Data

Zt = Yt

p=1 d=0 q=1

Therefore,
 EXAMPLE: ARIMA(1,1,1) MODEL … [NONSTATIONARY MODEL]

Yt = Original
Data
 The Model is
Zt = Yt – Yt-
1
 where

and

Therefore,

Mean (Zt)
PEMILIHAN
MODEL TERBAIK
KRITERIA PEMILIHAN MODEL
Berdasarkan pada residual
AIC M   n ln ̂ a2  2M

Akaike’s AIC

SBC( M )  n ln ˆ a2  M ln n
Schwart’z SBC
Criterion

  1
 1   , p  0
  n
CAT  p   
Parzen’s CAT p  
 1  1  1  , p  1, 2,3,...
Criterion n j 1  ˆ j
2
ˆ 2p 
  
CONTOH PENERAPAN
EXAMPLE 1: DAILY READINGS OF VISCOSITY OF CHEMICAL
PRODUCT XB-77-5 [BOWERMAN AND O’CONNELL, PG. 471]
EXAMPLE 1: IDENTIFICATION STEP [STATIONARY, ACF AND
PACF]

ACF PACF
Stationer time series

Dies down Cuts off after lag 2

[sinusoidal]
 EXAMPLE 1: ESTIMATION AND DIAGNOSTIC
CHECK STEP

Estimation
and Testing
parameter

Diagnostic
Check (white
noise residual)
EXAMPLE 1: DIAGNOSTIC CHECK STEP … [NORMALITY TEST OF
RESIDUALS]
EXAMPLE 1: FORECASTING STEP [MINITAB
OUTPUT]
CALCULATION: FORECASTING (FITS AND FORECAST)
[CONTINUED]
EXAMPLE 2: WEEKLY SALES OF ULTRA SHINE TOOTHPASTE (IN
UNITS OF 1000 TUBES) [BOWERMAN AND O’CONNELL,
PG. 478]

t Yt t Yt t Yt
1. 235.000 31. 551.925 61. 846.962
2. 239.000 32. 557.929 62. 853.830
3. 244.090 33. 564.285 63. 860.840
4. 252.731 34. 572.164 64. 871.075
5. 264.377 35. 582.926 65. 877.792
… … … … … …
… … … … ... …
26. 517.237 56. 805.844 86. 996.291
27. 524.349 57. 815.122 87. 1003.100
28. 532.104 58. 822.905 88. 1010.320
29. 538.097 59. 930.663 89. 1018.420
30. 544.948 60. 839.600 90. 1029.480
EXAMPLE 2: IDENTIFICATION STEP [STATIONARITY AND
ACF]

Dying down
extremely slowly
ACF

Nonstationary
time series
EXAMPLE 2: IDENTIFICATION STEP … DIFFERENCE [WT = YT – YT-
1]

Stationary
Wt  AR(1)
time series
or
Yt 
ARI(1,1)

ACF PACF

Dies down Cuts off after lag 1

 EXAMPLE 2: ESTIMATION AND DIAGNOSTIC
CHECK STEP

Yt = 3.0232 + 0.6591 Yt-1 + at

Estimation
and Testing
parameter

Diagnostic
Check (white
noise residual)
EXAMPLE 2: DIAGNOSTIC CHECK STEP … [NORMALITY TEST OF
RESIDUALS]
EXAMPLE 2: FORECASTING STEP [MINITAB
OUTPUT]
COMPARISON: ARIMA VERSUS TREND ANALYSIS

ARIMA(1,1,0)
MSE = 7.647
PLOT COMPARISON: ARIMA VERSUS TREND ANALYSIS

ARIMA(1,1,0)
MSE = 7.647

Trend Analysis
MSE = 598.212
Forecast
comparison
PLOT RESIDUAL COMPARISON: ARIMA VERSUS TREND
ANALYSIS

ARIMA(1,1,0)
MSE = 7.647

Trend Analysis
MSE = 598.212