Anda di halaman 1dari 40

MULTIPLE REGRESI

Dwi Martani

1/26/2010 Statistik untuk Bisnis 8 1


Masalah dalam multiple regresi

 Multicollinearity Analysis
 Auto-Correlations
 Heteroskedastisitas
 Dummy Variable
 Outlier Test
 Analysis MLR

1/26/2010 Statistik untuk Bisnis 8 2


Multikolinearitas

1/26/2010 Statistik untuk Bisnis 8 3


Multicollinearity

 Dikenalkan oleh Frisch


 Terdapat hubungan linear di antara variabel-
variabel bebas dalam model regresi
 Perfect multicollinearity / hubungannya
sempurna.
 Multicollinearity tidak sempurna/ Ada
hubungan tetapi tidak sempurna
 Variabel-variabel dikatakan orthogonal jika
variabel-variabel tersebut tidak berkorelasi

1/26/2010 Statistik untuk Bisnis 8 4


Hakekat Multicollinearity
 Multikollinearitas pada hakekatnya adalah fenomena
sampel. Sampel tidak memenuhi asumsi dasar
mengenai ketidaktergantungan di antara variabel
bebas yang masuk dalam model
 Multikolinearitas adalah persoalan derajat (degree)
dan bukan persoalan jenis (kind). Bukan
mempersoalkan apakah korelasi variabel bebas
positif atau negatif tetapi merupakan persoalan
korelasi di antara variabel bebas.
 Mutikolinearitas adalah masalah yang timbul
berkaitan dengan adanya hubungan linear di antara
variabel bebas. Semakin tinggi hubungannya
semakin terlihat moltikolinearitas.
1/26/2010 Statistik untuk Bisnis 8 5
Penyebab Multikolinearitas

 Sifat dari variabel berubah bersama-sama


sepanjang waktu.
 Penghasilan, tabungan, investasi, konsumsi,
kesempatan kerja cenderung meningkat pada
masa makmur dan menurun pada masa
depresi.
 Penggunaan nilai lag dari variabel bebas
tertentu dalam model regresi
 Multikolinearitas hampir terjadi di semua
model ekonomi
1/26/2010 Statistik untuk Bisnis 8 6
Akibat Multikolinearitas
 Penaksir-penaksir dengan menggunakan OLS tidak bisa
ditentukan terutama jika moltikolinearitasnya sempurna
 Hasil estimasi tetap tidak bias
 Varian dan kovarian (standard error) dari penaksir-penaksir
menjadi besar hingga tak terhingga (molt. Sempurna). Standard
error akan menjadi besar sehingga potensi kesalahan tipe II
(tidak menolak hipotesis yang salah) akan meningkat.
 R2 tinggi namun tidak satu pun (sangat sedikit) koefisien regresi
yang signifikan secara statistik.
 Nilai R2 dan F yang tidak berkolinearitas tidak berpengaruh oleh
munculnya kolinearitas
 Taksiran parameter OLS dan standard error akan sensitif
terhadap perubahan dalam data / sampel.

1/26/2010 Statistik untuk Bisnis 8 7


Ilustrasi

 Y = a + b1X1 + b2X2 + e
 Y = -367,83 + 0,5113 X1 + 0,0427 X2
se (1,0307) (0,0942)
t 0,496 0,453
R2 = 0,835
 Y = a + b1X1 + e
 Y = -471,43 + 0,9714X1
se (1,157)
t 6,187
R2 = 0,861

1/26/2010 Statistik untuk Bisnis 8 8


Pengujian untuk mendeteksi
Multikolinearitas
 Koefisien korelasi antar variabel tinggi
 Beberapa peneliti secara arbitrer menentukan
0,8 dan tinggi kolinearitasnya jika nilainya
lebih tinggi dari 0,8.
 High Variance Inflation Factors (VIF)
 VIF adalah estimasi seberapa besar
multikolinearitas meningkatkan varian pada
suatu koefisien estimasi sebuah variabel
 Multikolinearitas dikatakan berat jika nilai VIF
melebihi 10
1/26/2010 Statistik untuk Bisnis 8 9
Perbaikan Multikolinearitas

 Membiarkan saja
 Multikolienaritas tidak akan selalu mengurangi
nilai t.
 Perbaikan multikolinearitas perlu
dipertimbangkan hanya apabila
konsekuensinya menyebabkan nilai t tidak
signifikan atau estimasi regresi menjadi tidak
reliabel.
 Menghapuskan variabel dapat
membahayakan karena muncul bias
spesifikasi

1/26/2010 Statistik untuk Bisnis 8 10


Perbaikan Multikolinearitas

 Menghapus variabel yang berlebihan


 Cara menghapus dengan melihat R2 dan t,
variabel yang dihapus adalah yang dapat
meningkatkan R2 dan t-nya variabel lain yang
masih ada.
 Dukungan teori, mana variabel yang paling
mempengaruhi

1/26/2010 Statistik untuk Bisnis 8 11


Perbaikan Multikolinearitas - contoh

 Menghapus variabel yang berlebihan


 Cara menghapus dengan melihat R2 dan t,
variabel yang dihapus adalah yang dapat
meningkatkan R2 dan t-nya variabel lain yang
masih ada.
 Dukungan teori, mana variabel yang paling
mempengaruhi

1/26/2010 Statistik untuk Bisnis 8 12


Perbaikan Multikolinearitas contoh
 Y = a + b1X1 + b2X2 + e
 Y = -367,83 + 0,5113 X1 + 0,0427 X2
se (1,0307) (0,0942)
t 0,496 0,453
R2 = 0,835
 Y = a + b1X1 + e
 Y = -471,43 + 0,9714X1
se (1,157)
t 6,187
R2 = 0,861
 Y = a + b2X2 + e
 Y = -199,44 + 0,08876X2
se (0,01443)
t 6,153
R2 = 0,860

1/26/2010 Statistik untuk Bisnis 8 13


Perbaikan Multikolinearitas

 Transformasi variabel motikolinearitas


 Membentuk sebuah kombinasi dari variabel-
variabel moltikolinearitas.
 Contoh dibentuk X3 = X1 + x2
 Melakukan transformasi persamaan menjadi
persamaan beda pertama (first difference
equation)
 Dibentuk ΔXt = Xt – Xt-1

1/26/2010 Statistik untuk Bisnis 8 14


Perbaikan Multikolinearitas

 Memperbesar ukuran sampel


 Data yang lebih besar akan memungkinkan
hasil estimasi yang lebih akurat daripada data
uanelih sedikit, karena ukuran data yang lebih
besar secara normal akan mengurangi varian
koefisien estimasi yang akibatnya akan
menurunkan moltikolinearitas.
 Misal dengan melakukan pool data 
mengumpulkan kombinasi data cross section
dengan data times series

1/26/2010 Statistik untuk Bisnis 8 15


Perbaikan Multikolinearitas

 Memperbesar ukuran sampel


 Data yang lebih besar akan memungkinkan
hasil estimasi yang lebih akurat daripada data
uanelih sedikit, karena ukuran data yang lebih
besar secara normal akan mengurangi varian
koefisien estimasi yang akibatnya akan
menurunkan moltikolinearitas.
 Misal dengan melakukan pool data 
mengumpulkan kombinasi data cross section
dengan data times series

1/26/2010 Statistik untuk Bisnis 8 16


Otokorelasi

1/26/2010 Statistik untuk Bisnis 8 17


Otokorelasi

 Otokorelasi merupakan pelanggaran asumsi


klasik 
 pengamatan-pengamatan yang berbeda tidak
terdapat korelasi antara error term
 Otokorelasi terjadi pada kebanyakan pada
serangkaian data times series
 Error term pada pada satu periode waktu
secara sistematis tergantung pada error term
pada periode waktu yang lain

1/26/2010 Statistik untuk Bisnis 8 18


Otokorelasi murni
 Otokorelasi murni  asumsi klasik yang menyatakan bahwa
tidak ada korelasi antar error term pada periode pengamatan
yang berbeda dilanggar dalam sebuah persamaan yang telah
terspesifikasi dengan benar
 Otokorelasi urutan pertama (first order autocorrelation) 
pengamatan error term saat ini merupakan suatu fungsi
pengamatan error term sebelumnya.
 Et = pEt-1 + e
 Besarnya p menggambarkan kekuatan otokorelasi
 -1 < p < 1
 Otokorelasi urutan kedua (second order autocorrelation)
 Et = p1Et-1 + p2Et-2+ e

1/26/2010 Statistik untuk Bisnis 8 19


Otokorelasi positf dan negatif

 Otokorelasi positif p>0


 Error term cenderung memiliki arah yang
sama dari satu periode waktu ke periode
waktu berikutnya
 Otokorelasi negatif
 Error term memiliki kecenderungan berubah
tanda dari negatif ke positif dan seterusnya
saling berganti tanda pada pengamatan-
pengamatan.

1/26/2010 Statistik untuk Bisnis 8 20


Otokorelasi tidak murni

 Otokorelasi tidak murni  otokorelasi yang


disebabkan oleh kesalahan spesifikasi seperti
menghilangkan variabel yang penting atau bentuk
fungsi yang salah
 Error term pada persamaan yang tidak terspesifikasi
dengan benar didalamnya termasuk efek variabel
penting yang dihilangkan.
 Memperbaiki otokorelasi tidak murni dengan mencoba
untuk menemukan variabel yang dihilangkan sehingga
bentuk fungsi menjadi benar.
 Y = b0 + b1X1 + b2X2 + Et
 Y = b0 + b1X1 + Et* dimana Et* = b2X2 + Et
1/26/2010 Statistik untuk Bisnis 8 21
Konsekuensi Otokorelasi

 Otokorelasi murni tidak menyebabkan bias


koefisien-koefisen estimasi
 Sifat OLS adalah minimum varian bagi
estimator-estimator tidak bias linear
 Otokorelasi meningkatkan varian padda
distribusi koefisien estimasi
 Otokorelasi menyebabkan OLS menaksir
terlalu rendah atas Standard error koefisien

1/26/2010 Statistik untuk Bisnis 8 22


Pengujian Otokorelasi

 Uji Durbin Watson secara umum digunakan


untuk menguji otokorelasi
 Statistik d Durbin Watson digunakan untuk
menentukan otokorelasi urutan pertama pada
error term.
 Asumsi Durbin Watson:
 Model regresi melibatkan intersep
 Otokorelasi adalah otokorelasi urutan pertama
 Model regresi tidak lagi memasukkan variabel
dependen sebagai variabel independen

1/26/2010 Statistik untuk Bisnis 8 23


Statistik durbin Watson

 Formula
t

∑ (E t − E t −1 ) 2
d = 2
t

∑ (E
1
t )2

 Otokorelasi memiliki nilai ekstrim positif d=0


Et = Et-1 maka Et – Et-1 = 0, d=0
 Otokorelasi memiliki nilai ekstrim negatif d=4
Et = - Et-1 maka Et – Et-1 = 2, substitusikan
dalam persamaan diperoleh d≈4
 Tidak ada otokorelasi d = 2

1/26/2010 Statistik untuk Bisnis 8 24


Pengujian Statistik Durbin Watson

 Pengujian Durbin Watson tidak biasa digunakan


dalam dua hal :
 Tidak pernah menguji hipotesis dari sisi negatif
karena Otokorelasi negatif dari nilai residual sulit
diterangkan secara teoritas baik dalam analisis
ekonomi dan bisnis. Keberadaannya sering
merupakan otokorelasi tidak murni yang
disebabkan oleh kesalahan spesifikasi.
 Uji Durbin Watson tidak tersimpulkan, selain ada
area diterima dan tidak diterima ada area tidak
tersimpulkan

1/26/2010 Statistik untuk Bisnis 8 25


Pengujian Statistik Durbin Watson

 Tahap pengujian :
 Cari nilai residu dengan OLS dan hitung statistik d
 Menentukan ukuran sampel dan jumlah variabel
independen kemudian lihat dalam tabel statistik
Durbin Watson untuk mendapatkan nilai kritis d
yaitu dUpper dan dLower
 Hipotesis H0: p <= 0 ; H1 : p > 0
d > dL tolak ho
d < dU tidak tolak ho
dL< d < dU tidak dapat disimpulkan


1/26/2010 Statistik untuk Bisnis 8 26


Durbin Watson

 Durbin Watson tidak membedakan


otokorelasi murni dan tidak murni
 Otokorelasi negatif memandakan suatu
isyarat bahwa otokorelasi adalah tidak murni
 Jika korelasinya murni maka GLS digunakan
untuk memperbaiki

1/26/2010 Statistik untuk Bisnis 8 27


Heteroskedastisitas

1/26/2010 Statistik untuk Bisnis 8 28


Heteroskedastisitas

 Asumsi OLS adalah varian residual bersifat


homoskedastis atau bersifat konstan.
 Varian resisul tidak konstan 
heteroskedastisitas.
 Heteroskedastisitas sering terjadi pada data
cross section.
 Error term terdistribusi normal dengan variab
tidak konstan meliputi semua pengamatan.
 Varian error berkorelasi dengan variabel
independen
1/26/2010 Statistik untuk Bisnis 8 29
Penyebab Heteroskedastisitas

 Data dari satu atau lebih variabel


mengandung nilai dengan jarak (range) yang
lebar antara data paling kecil dengan data
yang paling besar.
 Perbedaan laju pertumbuhan antara variabel
dependen dan independen signifikan pada
periode pengamatan untuk data times series.
 Dalam data sendiri terdapat
heteroskedastisitas

1/26/2010 Statistik untuk Bisnis 8 30


Konsekuensi Heteroskedastisitas

 Koefisien tetap tidak bias namun nilai


koefisien berfluktuasi tajam jika model
diperbaharui dengan menambah data atau
sampel yang berbeda.
 Estimasi menjadi tidak akurat

1/26/2010 Statistik untuk Bisnis 8 31


Mendeteksi Heteroskedastisitas

 Banyak cara untuk mendeteksi


Heteroskedastisitas diantaranya ;
 Gambar grafik nilai residu
 Jika dalam plot grafik nilai residu membentuk
pola yang makin meningkat (menjauhi nol)
dengan semakin meningkatnya variabel
independen
 Uji godlfeld Quant
 Uji Park

1/26/2010 Statistik untuk Bisnis 8 32


Cara mengatasi Heteroskedastisitas

 Mentransformasi data dengan suatu faktor


yang tepat  GLS
 Mentransformasi data dalam bentuk translog
 Membagi variabel dengan nilai tertentu
 Melogaritmakan variabel tersebut (logVar)

1/26/2010 Statistik untuk Bisnis 8 33


Dummy Variabel

1/26/2010 Statistik untuk Bisnis 8 34


Variabel Dummy

 Variabel dummy digunakan untuk


menjelaskan variabel kualitatif terutama
variabel dummy yang bersifat ada atau tidak
ada.
 Misal pria dan wanita; kulit hitam dan putih;
 Variabel dummy sering disebut variabel
indikator, variabel kategorik, variabel kualitatif
atau variabel dikotomi
 Variabel dummy hanya memiliki dua nilai 0
dan 1

1/26/2010 Statistik untuk Bisnis 8 35


Variabel Dummy

 Variabel dummy akan mempengaruhi nilai


konstanta untuk observasi yang nilai dummy 1.
 Variabel dummy dapat digunakan untuk
mengukur perubahan suatu fungsi sepanjang
waktu yaitu dengan memasukkan tahun
sebagai dummy variabel.
 Variabel dummy dapat digunakan dalam
analisis musiman dengan memasukkan
variabel dummy kuartal

1/26/2010 Statistik untuk Bisnis 8 36


Variabel Dummy - Interaksi

 Variabel dapat digunakan untuk mengukur


perubahan slope jika variabel dummy tersebut
diinteraksikan dengan variabel independen.
 Contoh Y = a + b1X1 + b2D1
Y = a + b1X1 + b2(X1*D1)
untuk D=0  Y = a + b1X1
untuk D=1  Y = a + (b1+b2)X1
 Pencantuman variabel dummy harus dapat
dipastikan bahwa pengaruhnya akan mempengaruhi
konstanta atau slope

1/26/2010 Statistik untuk Bisnis 8 37


Dummy sebagai dependen Variabel
 Jika variabel terikat memiliki sifat kualitatif maka
variabel dummy dapat mewakilinya sebagai variabel
terikat :
 Faktor yang menentukan penugasan audit diterima
atau tidak
 Faktor yang mempengaruhi seorang direksi
diperpanjang masa tugasnya
 Kelemahan dari fungsi ini
 Variabel error tidak terdistribusi secara normal
 Asumsi homoskedastisitas tidak valid
 Predicted value dari variabel terikat dapat keluar dari
interval 0 sampai dengan 1  cara mengatasinya
dengan model logit
1/26/2010 Statistik untuk Bisnis 8 38
OUTLIER
 Outlier adalah data yang sangat ekstrem: sangat
besar atau sangat kecil.
 Data dikatakan sangat ekstrem “biasanya digunakan”
ukuran 3 standard deviasi.
 Jika terdapat outlier maka langkah yang dilakukan
adalah membuang data tersebut
 Dengan sistem dapat ditentukan batas outlier yang
dikehendaki oleh peneliti, sehingga data yang
dimasukkan dalam regresi hanyalah data yang tidak
mengandung outlier.
 Penghapusan data harus dilakukan dengan hati-hati
karena justru dapat menghilangkan karakteristik dari
sampel

1/26/2010 Statistik untuk Bisnis 8 39


1/26/2010 Statistik untuk Bisnis 8 40