MULTIPLE REGRESI

Dwi Martani

1/26/2010 Statistik untuk Bisnis 8 1

Masalah dalam multiple regresi

Multicollinearity Analysis

Auto-Correlations

Heteroskedastisitas

Dummy Variable

Outlier Test

Analysis MLR

1/26/2010 Statistik untuk Bisnis 8 2

 Multikolinearitas

1/26/2010 Statistik untuk Bisnis 8 3

Multicollinearity

Dikenalkan oleh Frisch

Terdapat hubungan linear di antara variabel-
variabel bebas dalam model regresi

Perfect multicollinearity / hubungannya
sempurna.

Multicollinearity tidak sempurna/ Ada
hubungan tetapi tidak sempurna

Variabel-variabel dikatakan orthogonal jika
variabel-variabel tersebut tidak berkorelasi

1/26/2010 Statistik untuk Bisnis 8 4

Hakekat Multicollinearity

Multikollinearitas pada hakekatnya adalah fenomena
sampel. Sampel tidak memenuhi asumsi dasar
mengenai ketidaktergantungan di antara variabel
bebas yang masuk dalam model

Multikolinearitas adalah persoalan derajat (degree)
dan bukan persoalan jenis (kind). Bukan
mempersoalkan apakah korelasi variabel bebas
positif atau negatif tetapi merupakan persoalan
korelasi di antara variabel bebas.

Mutikolinearitas adalah masalah yang timbul
berkaitan dengan adanya hubungan linear di antara
variabel bebas. Semakin tinggi hubungannya
semakin terlihat moltikolinearitas.
1/26/2010 Statistik untuk Bisnis 8 5
Penyebab Multikolinearitas

Sifat dari variabel berubah bersama-sama

sepanjang waktu.

Penghasilan, tabungan, investasi, konsumsi,
kesempatan kerja cenderung meningkat pada
masa makmur dan menurun pada masa
depresi.

Penggunaan nilai lag dari variabel bebas
tertentu dalam model regresi

Multikolinearitas hampir terjadi di semua
model ekonomi
1/26/2010 Statistik untuk Bisnis 8 6
Akibat Multikolinearitas

Penaksir-penaksir dengan menggunakan OLS tidak bisa
ditentukan terutama jika moltikolinearitasnya sempurna

Hasil estimasi tetap tidak bias

Varian dan kovarian (standard error) dari penaksir-penaksir
menjadi besar hingga tak terhingga (molt. Sempurna). Standard
error akan menjadi besar sehingga potensi kesalahan tipe II
(tidak menolak hipotesis yang salah) akan meningkat.

R2 tinggi namun tidak satu pun (sangat sedikit) koefisien regresi
yang signifikan secara statistik.

Nilai R2 dan F yang tidak berkolinearitas tidak berpengaruh oleh
munculnya kolinearitas

Taksiran parameter OLS dan standard error akan sensitif
terhadap perubahan dalam data / sampel.

1/26/2010 Statistik untuk Bisnis 8 7

Ilustrasi

Y = a + b1X1 + b2X2 + e

Y = -367,83 + 0,5113 X1 + 0,0427 X2
se (1,0307) (0,0942)
t 0,496 0,453
R2 = 0,835

Y = a + b1X1 + e

Y = -471,43 + 0,9714X1
se (1,157)
t 6,187
R2 = 0,861

1/26/2010 Statistik untuk Bisnis 8 8

Pengujian untuk mendeteksi
Multikolinearitas

Koefisien korelasi antar variabel tinggi

Beberapa peneliti secara arbitrer menentukan
0,8 dan tinggi kolinearitasnya jika nilainya
lebih tinggi dari 0,8.

High Variance Inflation Factors (VIF)

VIF adalah estimasi seberapa besar
multikolinearitas meningkatkan varian pada
suatu koefisien estimasi sebuah variabel

Multikolinearitas dikatakan berat jika nilai VIF
melebihi 10
1/26/2010 Statistik untuk Bisnis 8 9
Perbaikan Multikolinearitas

Membiarkan saja

Multikolienaritas tidak akan selalu mengurangi
nilai t.

Perbaikan multikolinearitas perlu
dipertimbangkan hanya apabila
konsekuensinya menyebabkan nilai t tidak
signifikan atau estimasi regresi menjadi tidak
reliabel.

Menghapuskan variabel dapat
membahayakan karena muncul bias
spesifikasi

1/26/2010 Statistik untuk Bisnis 8 10

Perbaikan Multikolinearitas

Menghapus variabel yang berlebihan

Cara menghapus dengan melihat R2 dan t,
variabel yang dihapus adalah yang dapat
meningkatkan R2 dan t-nya variabel lain yang
masih ada.

Dukungan teori, mana variabel yang paling
mempengaruhi

1/26/2010 Statistik untuk Bisnis 8 11

Perbaikan Multikolinearitas - contoh

Menghapus variabel yang berlebihan

Cara menghapus dengan melihat R2 dan t,
variabel yang dihapus adalah yang dapat
meningkatkan R2 dan t-nya variabel lain yang
masih ada.

Dukungan teori, mana variabel yang paling
mempengaruhi

1/26/2010 Statistik untuk Bisnis 8 12

Perbaikan Multikolinearitas contoh

Y = a + b1X1 + b2X2 + e

Y = -367,83 + 0,5113 X1 + 0,0427 X2
se (1,0307) (0,0942)
t 0,496 0,453
R2 = 0,835

Y = a + b1X1 + e

Y = -471,43 + 0,9714X1
se (1,157)
t 6,187
R2 = 0,861

Y = a + b2X2 + e

Y = -199,44 + 0,08876X2
se (0,01443)
t 6,153
R2 = 0,860

1/26/2010 Statistik untuk Bisnis 8 13

Perbaikan Multikolinearitas

Transformasi variabel motikolinearitas

Membentuk sebuah kombinasi dari variabel-
variabel moltikolinearitas.

Contoh dibentuk X3 = X1 + x2

Melakukan transformasi persamaan menjadi
persamaan beda pertama (first difference
equation)

Dibentuk ΔXt = Xt – Xt-1

1/26/2010 Statistik untuk Bisnis 8 14

Perbaikan Multikolinearitas

Memperbesar ukuran sampel

Data yang lebih besar akan memungkinkan
hasil estimasi yang lebih akurat daripada data
uanelih sedikit, karena ukuran data yang lebih
besar secara normal akan mengurangi varian
koefisien estimasi yang akibatnya akan
menurunkan moltikolinearitas.

Misal dengan melakukan pool data 
mengumpulkan kombinasi data cross section
dengan data times series

1/26/2010 Statistik untuk Bisnis 8 15

Perbaikan Multikolinearitas

Memperbesar ukuran sampel

Data yang lebih besar akan memungkinkan
hasil estimasi yang lebih akurat daripada data
uanelih sedikit, karena ukuran data yang lebih
besar secara normal akan mengurangi varian
koefisien estimasi yang akibatnya akan
menurunkan moltikolinearitas.

Misal dengan melakukan pool data 
mengumpulkan kombinasi data cross section
dengan data times series

1/26/2010 Statistik untuk Bisnis 8 16

 Otokorelasi

1/26/2010 Statistik untuk Bisnis 8 17

Otokorelasi

Otokorelasi merupakan pelanggaran asumsi

klasik 

pengamatan-pengamatan yang berbeda tidak
terdapat korelasi antara error term

Otokorelasi terjadi pada kebanyakan pada
serangkaian data times series

Error term pada pada satu periode waktu
secara sistematis tergantung pada error term
pada periode waktu yang lain

1/26/2010 Statistik untuk Bisnis 8 18

Otokorelasi murni

Otokorelasi murni  asumsi klasik yang menyatakan bahwa
tidak ada korelasi antar error term pada periode pengamatan
yang berbeda dilanggar dalam sebuah persamaan yang telah
terspesifikasi dengan benar

Otokorelasi urutan pertama (first order autocorrelation) 
pengamatan error term saat ini merupakan suatu fungsi
pengamatan error term sebelumnya.

Et = pEt-1 + e

Besarnya p menggambarkan kekuatan otokorelasi

-1 < p < 1

Otokorelasi urutan kedua (second order autocorrelation)

Et = p1Et-1 + p2Et-2+ e

1/26/2010 Statistik untuk Bisnis 8 19

Otokorelasi positf dan negatif

Otokorelasi positif p>0

Error term cenderung memiliki arah yang
sama dari satu periode waktu ke periode
waktu berikutnya

Otokorelasi negatif

Error term memiliki kecenderungan berubah
tanda dari negatif ke positif dan seterusnya
saling berganti tanda pada pengamatan-
pengamatan.

1/26/2010 Statistik untuk Bisnis 8 20

Otokorelasi tidak murni

Otokorelasi tidak murni  otokorelasi yang

disebabkan oleh kesalahan spesifikasi seperti
menghilangkan variabel yang penting atau bentuk
fungsi yang salah

Error term pada persamaan yang tidak terspesifikasi
dengan benar didalamnya termasuk efek variabel
penting yang dihilangkan.

Memperbaiki otokorelasi tidak murni dengan mencoba
untuk menemukan variabel yang dihilangkan sehingga
bentuk fungsi menjadi benar.

Y = b0 + b1X1 + b2X2 + Et

Y = b0 + b1X1 + Et* dimana Et* = b2X2 + Et
1/26/2010 Statistik untuk Bisnis 8 21
Konsekuensi Otokorelasi

Otokorelasi murni tidak menyebabkan bias

koefisien-koefisen estimasi

Sifat OLS adalah minimum varian bagi
estimator-estimator tidak bias linear

Otokorelasi meningkatkan varian padda
distribusi koefisien estimasi

Otokorelasi menyebabkan OLS menaksir
terlalu rendah atas Standard error koefisien

1/26/2010 Statistik untuk Bisnis 8 22

Pengujian Otokorelasi

Uji Durbin Watson secara umum digunakan

untuk menguji otokorelasi

Statistik d Durbin Watson digunakan untuk
menentukan otokorelasi urutan pertama pada
error term.

Asumsi Durbin Watson:

Model regresi melibatkan intersep

Otokorelasi adalah otokorelasi urutan pertama

Model regresi tidak lagi memasukkan variabel
dependen sebagai variabel independen

1/26/2010 Statistik untuk Bisnis 8 23

Statistik durbin Watson

Formula
t

∑ (E t − E t −1 ) 2
d = 2
t

∑ (E
1
t )2

Otokorelasi memiliki nilai ekstrim positif d=0

Et = Et-1 maka Et – Et-1 = 0, d=0

Otokorelasi memiliki nilai ekstrim negatif d=4
Et = - Et-1 maka Et – Et-1 = 2, substitusikan
dalam persamaan diperoleh d≈4

Tidak ada otokorelasi d = 2

1/26/2010 Statistik untuk Bisnis 8 24

Pengujian Statistik Durbin Watson

Pengujian Durbin Watson tidak biasa digunakan

dalam dua hal :

Tidak pernah menguji hipotesis dari sisi negatif
karena Otokorelasi negatif dari nilai residual sulit
diterangkan secara teoritas baik dalam analisis
ekonomi dan bisnis. Keberadaannya sering
merupakan otokorelasi tidak murni yang
disebabkan oleh kesalahan spesifikasi.

Uji Durbin Watson tidak tersimpulkan, selain ada
area diterima dan tidak diterima ada area tidak
tersimpulkan

1/26/2010 Statistik untuk Bisnis 8 25

Pengujian Statistik Durbin Watson

Tahap pengujian :

Cari nilai residu dengan OLS dan hitung statistik d

Menentukan ukuran sampel dan jumlah variabel
independen kemudian lihat dalam tabel statistik
Durbin Watson untuk mendapatkan nilai kritis d
yaitu dUpper dan dLower

Hipotesis H0: p <= 0 ; H1 : p > 0
d > dL tolak ho
d < dU tidak tolak ho
dL< d < dU tidak dapat disimpulkan

1/26/2010 Statistik untuk Bisnis 8 26

Durbin Watson

Durbin Watson tidak membedakan

otokorelasi murni dan tidak murni

Otokorelasi negatif memandakan suatu
isyarat bahwa otokorelasi adalah tidak murni

Jika korelasinya murni maka GLS digunakan
untuk memperbaiki

1/26/2010 Statistik untuk Bisnis 8 27

 Heteroskedastisitas

1/26/2010 Statistik untuk Bisnis 8 28

Heteroskedastisitas

Asumsi OLS adalah varian residual bersifat

homoskedastis atau bersifat konstan.

Varian resisul tidak konstan 
heteroskedastisitas.

Heteroskedastisitas sering terjadi pada data
cross section.

Error term terdistribusi normal dengan variab
tidak konstan meliputi semua pengamatan.

Varian error berkorelasi dengan variabel
independen
1/26/2010 Statistik untuk Bisnis 8 29
Penyebab Heteroskedastisitas

Data dari satu atau lebih variabel

mengandung nilai dengan jarak (range) yang
lebar antara data paling kecil dengan data
yang paling besar.

Perbedaan laju pertumbuhan antara variabel
dependen dan independen signifikan pada
periode pengamatan untuk data times series.

Dalam data sendiri terdapat
heteroskedastisitas

1/26/2010 Statistik untuk Bisnis 8 30

Konsekuensi Heteroskedastisitas

Koefisien tetap tidak bias namun nilai

koefisien berfluktuasi tajam jika model
diperbaharui dengan menambah data atau
sampel yang berbeda.

Estimasi menjadi tidak akurat

1/26/2010 Statistik untuk Bisnis 8 31

Mendeteksi Heteroskedastisitas

Banyak cara untuk mendeteksi

Heteroskedastisitas diantaranya ;

Gambar grafik nilai residu

Jika dalam plot grafik nilai residu membentuk
pola yang makin meningkat (menjauhi nol)
dengan semakin meningkatnya variabel
independen

Uji godlfeld Quant

Uji Park

1/26/2010 Statistik untuk Bisnis 8 32

Cara mengatasi Heteroskedastisitas

Mentransformasi data dengan suatu faktor

yang tepat  GLS

Mentransformasi data dalam bentuk translog

Membagi variabel dengan nilai tertentu

Melogaritmakan variabel tersebut (logVar)

1/26/2010 Statistik untuk Bisnis 8 33

 Dummy Variabel

1/26/2010 Statistik untuk Bisnis 8 34

Variabel Dummy

Variabel dummy digunakan untuk

menjelaskan variabel kualitatif terutama
variabel dummy yang bersifat ada atau tidak
ada.

Misal pria dan wanita; kulit hitam dan putih;

Variabel dummy sering disebut variabel
indikator, variabel kategorik, variabel kualitatif
atau variabel dikotomi

Variabel dummy hanya memiliki dua nilai 0
dan 1

1/26/2010 Statistik untuk Bisnis 8 35

Variabel Dummy

Variabel dummy akan mempengaruhi nilai

konstanta untuk observasi yang nilai dummy 1.

Variabel dummy dapat digunakan untuk
mengukur perubahan suatu fungsi sepanjang
waktu yaitu dengan memasukkan tahun
sebagai dummy variabel.

Variabel dummy dapat digunakan dalam
analisis musiman dengan memasukkan
variabel dummy kuartal

1/26/2010 Statistik untuk Bisnis 8 36

Variabel Dummy - Interaksi

Variabel dapat digunakan untuk mengukur

perubahan slope jika variabel dummy tersebut
diinteraksikan dengan variabel independen.

Contoh Y = a + b1X1 + b2D1
Y = a + b1X1 + b2(X1*D1)
untuk D=0  Y = a + b1X1
untuk D=1  Y = a + (b1+b2)X1

Pencantuman variabel dummy harus dapat
dipastikan bahwa pengaruhnya akan mempengaruhi
konstanta atau slope

1/26/2010 Statistik untuk Bisnis 8 37

Dummy sebagai dependen Variabel

Jika variabel terikat memiliki sifat kualitatif maka
variabel dummy dapat mewakilinya sebagai variabel
terikat :

Faktor yang menentukan penugasan audit diterima
atau tidak

Faktor yang mempengaruhi seorang direksi
diperpanjang masa tugasnya

Kelemahan dari fungsi ini

Variabel error tidak terdistribusi secara normal

Asumsi homoskedastisitas tidak valid

Predicted value dari variabel terikat dapat keluar dari
interval 0 sampai dengan 1  cara mengatasinya
dengan model logit
1/26/2010 Statistik untuk Bisnis 8 38
OUTLIER

Outlier adalah data yang sangat ekstrem: sangat
besar atau sangat kecil.

Data dikatakan sangat ekstrem “biasanya digunakan”
ukuran 3 standard deviasi.

Jika terdapat outlier maka langkah yang dilakukan
adalah membuang data tersebut

Dengan sistem dapat ditentukan batas outlier yang
dikehendaki oleh peneliti, sehingga data yang
dimasukkan dalam regresi hanyalah data yang tidak
mengandung outlier.

Penghapusan data harus dilakukan dengan hati-hati
karena justru dapat menghilangkan karakteristik dari
sampel

1/26/2010 Statistik untuk Bisnis 8 39

1/26/2010 Statistik untuk Bisnis 8 40