Ekonometrika

Program Studi Statistika

Semester Ganjil 2011

DR. Rahma Fitriani, S.Si., M.Sc

 Regresi Linier Berganda
 Satu peubah respon (endogen)
 Beberapa peubah penjelas (eksogen)
 Dinotasikan dalam matriks

Y  Xβ  u
1 X 21 X 31 ... X k1 
Y1  1 X 22 X 32 ... Xk2  1   u1 
     u   

Y   X  1 X 23 X 33 ... X k3 β 
   
   
Yn        k  un 
1 X 2n X 3n ... X kn 
n 1 nk k 1 n 1
Penduga OLS
 Penduga yang meminimumkan Jumlah kuadrat galat
(RSS), dalam notasi matriks:

RSS  uˆ uˆ
 
RSS  Y  Xβ Y  Xβˆ
ˆ 
 
 Y  βˆ X Y  Xβˆ 
 YY  βˆ XY  YXβˆ  βˆ XXβˆ
 YY  2YXβˆ  βˆ XXβˆ
Penduga OLS
 RSS akan minimum pada nilai penduga yang merupakan
solusi dari turunan pertama RSS yang disamadengankan
nol
RSS
 2X Y  2X Xβˆ  0
ˆ
XXβˆ  XY
ˆβ   XX  1 XY

PENDUGA OLS
Asumsi-asumsi pada regresi linier
berganda
 Sama dengan semua asumsi pada regresi linier sederhana,
dengan tambahan:
 Tidak ada hubungan linier sempurna di antara dua atau lebih peubah
penjelas (eksogen)

 Dengan terpenuhinya asumsi maka penduga OLS akan bersifat:

 Linier: fungsi linier dari peubah respons (endogen)
 Tidak bias: nilai harapan penduga adalah nilai parameter
 Konsisten: untuk n→∞, penduga menuju nilai parameter yang
sebenarnya, dan ragam penduga →0
 Ragam yang paling kecil di antara semua penduga yang mungkin
 BLUE: Best Linear Unbiased Estimators

DR. Rahma Fitriani, S.Si., M.Sc

Struktur Ragam Peragam dari Penduga


ˆ ˆ  ˆ 
var β  E β   β  


   XX 
2 1

 Matriks berukuran k × k
 Ragam (variance) pada diagonal utama
 Peragam (covariance) selainnya
Goodness of Fit dari garis Regresi Berganda
 R2 pada regresi linier sederhana tidak dapat dipakai untuk
membandingkan dua model dengan jumlah peubah eksogen
yang berbeda.

 Ketika jumlah peubah X ditambah:

 Proporsi keragaman Y yang terjelaskan oleh X akan selalu meningkat.
 R2 akan selalu meningkat seiring jumlah X, tanpa melihat penting
tidaknya penambahan X dalam model.

 Digunakan adjusted R2,

 Adjusted: disesuaikan terhadap jumlah peubah eksogen X yang
digunakan
Adjusted R2

JK Regresi JK Galat
R 
2
 1
JK Total JK Total

 Dengan penyesuaian terhadap jumlah peubah eksogen

JK Galat/ n-k  JK Galat   n-1

adjusted R  1 
2
 1
JK Total/  n-1 JK Total   n-k 

 Adjusted R2 dapat digunakan untuk memilih model mana yang terbaik

berdasarkan jumlah peubah eksogen yang dipakai.
 Terbaik: Adjusted R2 → 1
Kriteria lain untuk Pemilihan Model
 Beberapa kriteria digunakan, AIC, FPE, SBC, HQC
 Semua memberikan penalti terhadap JK Galat:
 Semakin banyak peubah eksogen semakin besar penaltinya

 Model terbaik (berdasarkan jumlah peubah eksogen) dipilih dari

nilai terkecil kriteria-kriteria tersebut.

 Harapan: model terbaik mempunyai nilai terkecil untuk semua

kriteria
 Tidak selalu terjadi akibat bobot yang berbeda

 AIC: lebih banyak digunakan pada data deret waktu

 Kriteria lain untuk Pemilihan Model
 JK Galat  2 k n
Akaike Information AIC   e
Criterion
 n 
 JK Galat  n  k
Finite Prediction FPE   
Error  n nk

 JK Galat  k n
Schwarz Bayesian SBC   e
Criterion n
 

 JK Galat 
 ln n  n
Hannah and Quinn 2k

Criterion
HQC  
 n 
Beberapa Uji Hipotesis Pada Regresi
Berganda
 Uji keberartian koefisien secara individu
 Uji t (sama dengan uji t pada kasus regresi linier sederhana)

 Uji keberartian koefisien secara simultan

 Uji F

 Uji linear restriction:

 Uji hubungan linier antara dua atau lebih koefisien: uji F atau uji Wald (pengembangan uji t)

 Uji untuk penambahan atau pengurangan peubah eksogen

 Uji F atau Uji chi square dengan Likelihood Ratio

 Semua uji merupakan perbandingan dari unrestricted model (menggunakan semua

peubah eksogen) dan restricted model
 Jika perbedaan tidak nyata maka restriction tidak berarti secara statistik.
 Model unrestricted lebih baik digunakan.
Uji F
 Hipotesis nol: restricted model valid
 Menduga restricted model dan unrestricted model
 Memperoleh JK Galat untuk restricted model dan JK Galat
untuk unrestricted model, dan menghitung statistik uji F.

F
 JKG R  JKGU  /  kU  k R 
~ F k
JKGU /  n  kU  U  k R ,n  kU 

JKGR: JK galat restricted model

JKGU: JK galat unrestricted model
kU: jumlah peubah eksogen (termasuk konstanta) pada
unrestricted model
kR: jumlah peubah eksogen (termasuk konstanta) pada
restricted model
Penggunaan uji F untuk Uji keberartian
koefisien peubah X secara bersama-sama
 Uji goodness fit secara keseluruhan

 Pada dua model

 Unrestricted: menggunakan semua peubah eksogen
 Restricted: hanya menggunakan konstanta (super restricted model)
U : Yi  β1  β2 X 2i  β3 X 3i  β4 X 4i  β5 X 5i  ut
R : Yi  β1  ut

H 0 :  2   3   4  5  0

H1 : paling sedikit salah satu i  0, i  2,,5

  Dari pendugaan masing-masing model diperoleh JKG U dan JKGR
 kU =k= 5
 kR = 1
 Terdapat hubungan khusus untuk JKG R

JKGR   u    Yi  1  ˆ1  Y
2 2
i

  Yi  Y 
2
 JKTotalU

F
 JKG R  JKGU  /  kU  k R 

 JKTotal U  JKGU  /  k  1
JKGU /  n  kU  JKGU /  n  k 
JKRegresiU /  k  1

JKGU /  n  k 
 JKRegresiU /  k  1 JK Regresi JKG
F R 
2
 1
JKGU /  n  k  JK Total JK Total
JKRegresiU JKRegresiU JKTotal U
R /  k  1
2
JKGU

JKTotal U

JKGU
F ~ F k 1,n k 
1  R  /  n  k 
2
JKRegresiU 1
  JKGU
JKTotal U JKTotalU
1
R 
2

1  R2
 R2 diperoleh dari model unrestricted. Jika R2 → 1 maka F akan
bernilai besar/nyata secara statistik.
 Jika F nyata secara statistik (dari p value), maka terdapat cukup
bukti untuk mendukung keberartian model (unrestricted)
Uji Chi-Square dengan Likelihood Ratio
 Perbandingan likelihood dua model, restricted dan
unrestricted
 Unrestricted model: menggunakan semua peubah eksogen
(sejumlah k)
 Restricted model: terdapat beberapa peubah yang tidak
digunakan atau ditambahkan (sejumlah m)
 Hipotesis nol: beberapa parameter bernilai nol
 Menggunakan statistik uji chi-square:

LR  2 lR  lu  ~  m2
Contoh Penggunaan uji Chi-Square untuk
menguji pengurangan peubah eksogen
 Unrestricted Model:

U : Yi  β1  β2 X 2i  β3 X 3i  β4 X 4i  β5 X 5i  ui
 Restricted Model:

R : Yi  β1  β2 X 2i  β3 X 3i  ui
H 0 :  4  5  0
H1 : paling sedikit salah satu i  0, i  4,5
 Fungsi likelihood dari model regresi:

l   ,   
2 1 n  1 Y  Yˆ
exp  i i   2

 
1  1
exp  

Yi  Yˆi  2


i 1  2  2 
2

  n 2  n
 2 2 

 Fungsi likelihood dari model restricted:

 1  Yi  1   2 X 2i   3 X 3i  2 
l  1 ,,  3 ,  2  
1
exp  
n  2
n
  2  2


 Fungsi likelihood dari model unrestricted:

 1  Yi  1   2 X 2i   3 X 3i   4 X 4i   5 X 5i  2 
l  1 ,  ,  5 ,   1
2
exp  
n  2
n
  2  2

 Statistik uji chi-square dihitung berdasarkan dua fungsi likelihood
tersebut:

LR  2 lR  lu  ~  m2   22

 Jika statistik uji tersebut nyata secara statistik, maka akan cukup
bukti untuk mendukung hipotesis alternatif:
 Peubah eksogen X4 dan X5 tidak perlu dihilangkan dari model
Uji Wald (pengembangan Uji t)
 Pengujian linear restriction
 Misalkan:
Yi  β1  β2 X 2i  β3 X 3i  ui

 Dengan hipotesis bahwa koefisien-koefisien tsb mempunyai

hubungan linier, misalkan:

H 0 : β2  β3  1

   
βˆ2 ~ N  2 , var βˆ2 , βˆ3 ~ N  3 , var βˆ3 
βˆ2  βˆ3 ~ N     , var  βˆ
2 2 2  βˆ  
3
 Ragam dari jumlah dua penduga tersebut:

     
var βˆ2  βˆ3  var βˆ2  var βˆ3  2 cov βˆ2 , βˆ3  
 Dengan sifat tersebut, dapat dilakukan uji t, berdasarkan hipotesis
nol:
H 0 : β2  β3  1

t
 βˆ  β 
ˆ β  β 

 βˆ
 βˆ3  1
2  ~ t n 3
     
2 3 2 3


var βˆ  βˆ
2 3  var βˆ2  var βˆ3  2 cov βˆ2 , βˆ3

 Uji ini tidak direkomendasikan, terutama jika linear restriction

melibatkan lebih dari 2 parameter
Uji F untuk pengujian Linear Restriction
 Pengujian linear restriction
 Misalkan:
Yi  β1  β2 X 2i  β3 X 3i  ui Unrestricted model

 Dinyatakan sebagai unrestricted model

 Dengan hipotesis bahwa koefisien-koefisien tsb mempunyai hubungan

linier, misalkan:
H 0 : β2  β3  1
 Modifikasi dari unrestricted model:

Yi  β1  β2 X 2i  1  β2  X 3i  ui
 Yi  β1  β2 X 2i  1  β2  X 3i  ui
Yi  X 3i  β1  β2  X 2i  X 3i   ui

 Lakukan transformasi pada peubah endogen dan eksogen:

Restricted
Yi *  β1  β2 X 2i *  ui model

Yi *  Yi  X 3i X 2i *  X 2i  X 3i
 Dari pendugaan masing-masing model diperoleh JKGU dan
JKGR
 kU =3
 kR = 2

F
 JKGR  JKGU  /  kU  k R   JKGR  JKGU 

JKGU /  n  kU  JKGU /  n  3

 Jika statistik uji F ini nyata maka cukup bukti untuk menolak
hipotesis tentang hubungan linier yang ada
 Selainnya maka hubungan linier dapat diterima
Interpretasi Koefisien Pada Multiple
Regression
Contoh kasus:
 Observasi pada 900 karyawan suatu perusahaan
 Hubungan antara gaji (wage) dan
 lama tahun pendidikan (educ),
 tahun pengalaman kerja (exper),
 lama tahun bekerja di perusahaan yang sama (tenure)
 Digunakan model log lin:
 Perubahan Gaji dalam persen
 Perubahan Gaji bebas satuan
Output Software
 Model 1: OLS, using observations 1-900
 Dependent variable: l_WAGE

 coefficient std. error t-ratio p-value

 ---------------------------------------------------------
 const 5.52833 0.112795 49.01 8.70e-256 ***
 EDUC 0.0731166 0.00663568 11.02 1.44e-026 ***
 EXPER 0.0153578 0.00342531 4.484 8.29e-06 ***
 TENURE 0.0129641 0.00263073 4.928 9.90e-07 ***

 Mean dependent var 6.786164 S.D. dependent var 0.420312

 Sum squared resid 135.2110 S.E. of regression 0.388465
 R-squared 0.148647 Adjusted R-squared 0.145797
 F(3, 896) 52.14758 P-value(F) 4.53e-31
 Log-likelihood -424.0434 Akaike criterion 856.0868
 Schwarz criterion 875.2964 Hannan-Quinn 863.4250

 Log-likelihood for WAGE = -6531.59

  Uji statistik bagi koefisien-koefisien nyata, secara serempak
maupun masing-masing
 Model berarti secara statistik, walaupun R 2 kecil

 Secara teori ekonomi:

 Tingkat Pendidikan berhubungan positif dengan gaji
 Pengalaman kerja berhubungan positif dengan gaji
 Masa kerja berhubungan positif dengan gaji

^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE

(0.113)(0.00664) (0.00343) (0.00263)

n = 900, R-squared = 0.149

(standard errors in parentheses)
 Interpretasi Masing-masing koefisien

^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE

(0.113)(0.00664) (0.00343) (0.00263)

n = 900, R-squared = 0.149

(standard errors in parentheses)

 Semua tanda koefisien bersesuaian dengan teori ekonomi

 1 tahun peningkatan tingkat pendidikan meningkatkan gaji sebesar 7.31%
dengan menganggap peubah bebas lainnya konstan
 1 tahun bertambahnya pengalaman kerja meningkatkan gaji sebesar 1.54%
dengan menganggap peubah bebas lainnya konstan
 1 tahun bertambahnya masa kerja di perusahaan meningkatkan gaji sebesar
1.3% dengan menganggap peubah bebas lainnya konstan