LINEAR REGRESSION

MENGGUNAKAN STATA
Iim Halimatusa’diyah
Regresi
◦ Kita menggunakan regresi untuk memperkiran effek perubahan satu variable terhadap variable lainnya
◦ Terdapat dua asusmi dasar ketika kita menjalankan regresi: 1) ada hubungan linear antara dua variable (X dan
Y) dan 2) hubungan ini bersifat aditif (penambahan) (misalnya: Y=X1+X2+X3+…+XN)
◦ Secara teknis linear regresi memperkirakan berapa banyak perubahan Y ketika X berubah satu unit.
◦ Di stata kita menggunakan perintah regress:
regress [dependent variable] [independent variable(s)]
regress y x
◦ Untuk regresi multivariate kita mengetik:
regress y x1 x2 x3 …
◦ Sebelum melakukan regresi penting untuk mengetahui apa yang akan kita perkirakan (apa dependen dan
independen variabelnya) yang didasarkan pada teori yang telah ada.
Contoh:
◦ Dependen Variable (Y) : Kemiskinan (povhc_2007)
◦ Independen Variabel (X):
❖ Jumlah kasus korupsi (CORN1)
❖ Kabupaten atau Kota (dummy_kota)
❖ Luar Jawa atau Jawa (jawa)
❖ Bukan Indonesia Timur dan Indonesia Timur (EASTINDO)
 Sebelum melakukan regresi disarankan untuk mengecek
variable yang akan digunakan untuk memastikan tidak
adanya kesalahan, dengan cara mengetik:
. describe povhc_2007 CORN1 dummy_kota jawa EASTINDO

storage display value

variable name type format label variable label

povhc_2007 float %9.0g Poverty headcount 2007, BPS

CORN1 byte %9.0g Number of Corruption Case Covered by Media,
province, ICW:2004
dummy_kota byte %8.0g (1=Kota, 0= Kabupaten)
jawa byte %9.0g (1= Java, 0= Off - Java)
EASTINDO byte %9.0g Dummy for Eastern Indonesia=1

. summarize povhc_2007 CORN1 dummy_kota jawa EASTINDO

Variable Obs Mean Std. Dev. Min Max

povhc_2007 341 17.63106 9.809665 2.1 52.18

CORN1 324 13.95988 12.51976 2 36
dummy_kota 342 .2134503 .4103433 0 1
jawa 342 .3245614 .4688968 0 1
EASTINDO 342 .2573099 .4377921 0 1
 Robust Standar error untuk
mengontrol heteroskedasticity Ini adalah nilai p dari model. Berfungsi
menguji apakah R2 berbeda dari 0. Biasanya

Untuk melakukan regresi, ketik: kita membutuhkan nilai p lebih kecil dari 0.05
untuk menunjukan hubungan yang signifikan
antara X dan Y

DV IV
. regress povhc_2007 CORN1 dummy_kota jawa EASTINDO, robust

Linear regression Number of obs = 324

F(4, 319) = 95.63 R-Square menunjukan jumlah
Prob > F = 0.0000 variance Y yang dijelaskan oleh
Root MSE: Root Mean Squared Error, adalah standar R-squared = 0.4109 X. Dalam kasus ini X
Root MSE = 6.8115 menjelaskan 41% variance di Y
deviasi regresi. Semakin mendekati nol semakin baik (fit)

Robust
povhc_2007 Coef. Std. Err. t P>|t| [95% Conf. Interval]

CORN1 .2949605 .0748542 3.94 0.000 .1476904 .4422307

dummy_kota -11.10911 .6823503 -16.28 0.000 -12.45159 -9.766636
jawa -3.506652 1.960111 -1.79 0.075 -7.363029 .3497261
EASTINDO 6.33586 1.111105 5.70 0.000 4.14984 8.52188
_cons 14.88858 .8317051 17.90 0.000 13.25226 16.5249

Two-tail p-value menguji hipotesis bahwa setiap

povhc_2007=14.89 + 0.29*CORN1
coefficient berbeda dari 0. Untuk menolak ini, kita
Untuk setiap peningkatan satu poin di CORN1, povhc_2007 meningkat
Nilai t menguji hipotesis bahwa setiap coefficient perlu nilai p yang lebih kecil dari 0.05 (atau bisa juga
sebesar 0.29
berbeda dari 0. Untuk menolak ini, kita perlu nilai t 0.10). Dalam kasus ini semua X secara statistic
povhc_2007=14.89 – 11.11*dummy_kota
yang lebih besar dari 1.96. Untuk menghitung nilai t kit signifikan menjelaskan Y
Dibandingkan Kabupaten, kemiskinan di kota lebih kecil 11.11 point.
bisa membagi coefficient dengan standar error.
 Jika kamu melakukan regresi tanpa robust,
maka akan muncul tabel ANOVA
. regress povhc_2007 CORN1 i.dummy_kota i.jawa i.EASTINDO

Source SS df MS Number of obs = 324

F(4, 319) = 55.63
Model 10323.6709 4 2580.91772 Prob > F = 0.0000
Residual 14800.6204 319 46.3969293 R-squared = 0.4109
Adj R-squared = 0.4035
Total 25124.2913 323 77.7841836 Root MSE = 6.8115

povhc_2007 Coef. Std. Err. t P>|t| [95% Conf. Interval]

CORN1 .2949605 .0627132 4.70 0.000 .1715768 .4183443

1.dummy_kota -11.10911 .9228595 -12.04 0.000 -12.92477 -9.293451
1.jawa -3.506652 1.636647 -2.14 0.033 -6.726637 -.2866659
1.EASTINDO 6.33586 .9964058 6.36 0.000 4.375503 8.296217
_cons 14.88858 .7671996 19.41 0.000 13.37917 16.39799
Untuk menampilkan model berurutan
menggunakan eststo dan esttab:
. regress povhc_2007 CORN1, robust (1) (2) (3) (4)
povhc_2007 povhc_2007 povhc_2007 povhc_2007
. eststo model1
CORN1 0.0853* 0.0916** 0.227** 0.295***
. xi: regress povhc_2007 CORN1 i.dummy_kota, robust (0.0356) (0.0288) (0.0686) (0.0749)

_Idummy_ko~1 -11.85*** -11.63*** -11.11***

. eststo model2 (0.664) (0.669) (0.682)

. xi: regress povhc_2007 CORN1 i.dummy_kota i.jawa, robust _Ijawa_1 -4.102* -3.507
(1.806) (1.960)

. eststo model3 _IEASTINDO_1 6.336***

(1.111)
. xi: regress povhc_2007 CORN1 i.dummy_kota i.jawa i.EASTINDO, robust
_cons 15.64*** 18.15*** 17.60*** 14.89***
(0.747) (0.724) (0.773) (0.832)
. eststo model4
N 324 324 324 324
R-sq 0.015 0.325 0.336 0.411
. esttab, r2 ar2 se scalar(rmse) adj. R-sq 0.012 0.320 0.330 0.404
rmse 8.768 7.271 7.219 6.812

Standard errors in parentheses

* p<0.05, ** p<0.01, *** p<0.001
Membuat Tabel Regresi di Word
Tentukan Directory tempat menyimpan file: klik File → Change working directory

. regress povhc_2007 CORN1, robust

. outreg2 using reg1.doc, replace ctitle(Model 1) label dec(2)
. regress povhc_2007 CORN1 i.dummy_kota, robust
. outreg2 using reg1.doc, append ctitle(Model 2) label dec(2)
. regress povhc_2007 CORN1 i.dummy_kota i.jawa, robust
. outreg2 using reg1.doc, append ctitle(Model 3) label dec(2)
. regress povhc_2007 CORN1 i.dummy_kota i.jawa i.EASTINDO, robust
. outreg2 using reg1.doc, append ctitle(Model 4) label dec(2)
Untuk melihat korelasi antar variabel
. pwcorr povhc_2007 CORN1 dummy_kota jawa EASTINDO, star (0.05) sig

pov~2007 CORN1 dummy_~a jawa EASTINDO

povhc_2007 1.0000

CORN1 0.1210* 1.0000

0.0294

dummy_kota -0.5007* 0.0160 1.0000

0.0000 0.7738

jawa -0.0354 0.8710* 0.0656 1.0000

0.5153 0.0000 0.2260

EASTINDO 0.3620* -0.4141* -0.0944 -0.4080* 1.0000

0.0000 0.0000 0.0812 0.0000
 Seberapa bagus model kita, bisa dilihat dari
linearitas model dan pola residual
. xi: regress povhc_2007 CORN1 i.dummy_kota i.jawa i.EASTINDO, robust

. predict povhc_predict

. label variable povhc_predict "poverty predicted"

. scatter povhc_2007 povhc_predict

Kita mengharapkan 45 derajat pola di data. Garis Y adalah data yang

diamati dan garis X adalah data yang diprediksi (Yhat).
Dalam kasus ini sepertinya model cukup baik memprediksi povhc_2007
 Untuk melihat pola residual:
. rvfplot, yline(0)

Residuals harus homoskedastic atau konstan. Residual

tidak boleh berbeda untuk nilai X yang rendah dan
tinggi.
Ketika kita membuat plot residual dan nilai yang diprediksi
(Yhat), kita tidak boleh menemukan pola apapun.
Mendeteksi Heteroskedasticiy
◦ Mendeteksi heteroskedasticiy dengan cara non-grafik adalah dengan menggunakan tes Breusch-Pagan.
Hipotesis Null (H0) nya: residuals merupakan homoskedastic. Dalam contoh ini, kita berhasil menolak H0
dan menyimpulkan bahwa residual dalam model ini tidak homogen.

. regress povhc_2007 CORN1 i.dummy_kota i.jawa i.EASTINDO

. estat hettest

Breusch-Pagan / Cook-Weisberg test for heteroskedasticity

Ho: Constant variance
Variables: fitted values of povhc_2007

chi2(1) = 16.17
Prob > chi2 = 0.0001
Mendeteksi Multicollinearity
. vif

Variable VIF 1/VIF

CORN1 4.29 0.233011

1.dummy_kota 1.02 0.982617
1.jawa 4.19 0.238406
1.EASTINDO 1.22 0.818446

Mean VIF 2.68

Jika vif > 10 atau 1/vif < 0.10, maka ada masalah multicollinearity