ASUMSI DALAM ANALISIS REGRESI

Model linear yang menggambarkan hubungan antara variabel

independent dan variabel dependent adalah :
Y = X1 + X2 + …+ pXp + 
Asumsi yang diperlukan untuk model ini adalah :
a. ~N(0.  2 )

b. var(i)=  2 untuk semua i

c. cov(I,j) = 0 untuk i  j
d. antar X saling independent
Asumsi-asumsi di atas kadang-kadang tidak dipenuhi, untuk
mendeteksi dan mengatasi adanya masalah pelanggaran asumsi di atas
dapat dilakukan :
No. Masalah Deteksi Solusi
1 Residual tak - normal probability - Tranformasi variabel
berdistribusi plot - Regresi bootstrap
normal - Uji kenormalan :
KS,…
2 Heteroscedasticity - Plot e dengan ŷ - Transformasi variabel
var(i)   2 - Uji Glesjer - Weighted Least
- Uji White Squares
- Uji Golfeld-Quandt
3 Autocorrelation - Plot e dengan ŷ - Regresi beda, Regresi
cov(I,j)  0 - Uji Durbin Watson ratio
untuk i  j - ACF plot memasukkan trend
Cochrane Orcutt,
Hildreth-Lu
Durbin, Prais-Winsten
4 Multicollinearity - r(Xi,Xj) tinggi - stepwise
- VIF>10 - Principal component
- X'X  0 regression
- R2 tinggi tetapi - Ridge regression
tidak ada
parameter yang
significant
1
 REGRESI BOOTSTRAPP

Asumsi yang utama di dalam analisi regresi adalah asumsi

kenormalan residual. Asumsi ini dibutuhkan terkait dengan penggunaan
statistik uji F dan t. Jika asumsi kenormalan ini tidak dipenuhi maka
kesimpulan dari hasil pengujian dengan statistik uji F dan t menjadi tidak
valid. Untuk menguji asumsi kenormalan ini dapat dipergunakan uji
Kolmogorov-Smirnov, Anderson-Darling, Shapiro-Wilk, dan Goodness-of-fit
jika hasil pengujian kenormalan menyimpulkan asumsi ini tak terpenuhi
maka salah satu solusi adalah dengan menerapkan metode regresi
bootstrap.
Algoritma dari metode regresi bootstrap adalah :
1. mulai
2. Tentukan nilai taksiran dari  model Y=Xdengan metode kuadrat

terkecil, hasil taksirannya adalah ̂ j,ols dan nilai taksirannya adalah Yˆi ,ols

3. Tentukan nilai e1, e2, …, en, ei  Yi  Yˆ

4. B=1000
5. i=0
6. i=i+1
7. Melakukan resampling with replacement sebanyak n dari ei hasil
resamplingnya adalah e(i)
8. Menentukan nilai Yi  Yˆi ,ols  e(i )

9. Menduga besarnya ̂ j pada resampling ke-i yaitu  j,i dari dan data Yi

dengan Xji dengan metode kuadrat terkecil

10. Jika i<B pergi ke 6

2
11. Tentukan nilai taksiran koefisien regresi dari metode bootstrapp
sebagai rata-rata nilai koefisien regresi hasil resampling sebanyak B
kali
12. Tentukan confidence interval koefisien regresi melalui nilai persentil
13. Selesai

Kegiatan Praktikum :
Tentukan model yang menggambarkan hubungan antara harapan
hidup perempuan dengan pendapatan perkapita serta ujilah asumsi
kenormalan residual dengan uji Kolmogorov-Smirnov.
Penyelesaian :
Dengan bantuan MINITAB permasalahan ini dapat diselesaikan
dengan cara
Tranformasi variabel
MTB > let c27=loge(lifeexpf)
MTB > name c27=’ln_gdp’
Regresi [klk stat+regression+regression]

klik storage

3
 dan hasilnya adalah :
The regression equation is
LIFEEXPF = 21.7 + 6.15 ln_gdp
Predictor Coef SE Coef T P
Constant 21.670 3.187 6.80 0.000
ln_gdp 6.1538 0.3981 15.46 0.000
S = 5.907 R-Sq = 69.1% R-Sq(adj) = 68.8%

Analysis of Variance
Source DF SS MS F
P
Regression 1 8336.9 8336.9 238.93
0.000
Residual Error 107 3733.4 34.9
Total 108 12070.3

Pengujian asumsi kenormalan [klik stat+basic statistics+normality test]

4
 Dengan menggunakan metode kuadrat terkecil diperoleh hasil
kenormalan residual tidak terpenuhi, sehiingga sebagai alternatif
digunakan metode regresi bootstrapp yang dinyatakan dalam macro
MINITAB :
macro
regb y x
mconstant n i b low_b0 up_b0 low_b1 up_b1
mcolumn x y yy yhat e ee b0 b1 beta b0_boot b1_boot
let n=count(y)
let b=1000
regr y 1 x;
resid e;
fits yhat.
do i=1:b
sample n e ee;
replacement.
let yy=yhat+ee
regr yy 1 x;
coef beta.
let b0(i)=beta(1)
let b1(i)=beta(2)
enddo
histo b0
histo b1
let b0_boot=mean(b0)
let b1_boot=mean(b1)
5
 sort b1 b1
sort b0 b0
let low_b0=b0(25)
let up_b0=b0(975)
let low_b1=b1(25)
let up_b1=b1(975)
print b0_boot low_b0 up_b0
print b1_boot low_b1 up_b1
endmacro

Untuk menjalankan macro di atas dapat dilakukan dengan cara :

MTB > %regb.txt ‘lifeexpf’ ‘ln_gdp’
dan hasilnya adalah :

b0 b1

low_b0 14.7859 low_b1 5.40552

up_b0 27.6859 up_b1 6.96901

b0_boot b1_boot
21.5513 6.16731

Confidence interval yang diperoleh untuk  dan semuanya tidak

melalui titik 0, sehingga dapat disimpulkan dua koefisien regresi ini
significant pada . Dan model yang diperoleh adalah :
lifeexpf = 21.5513 + 6.16731 ln(gdp_cap)

6
 HETEROSCEDASTICITY

Heteroscedasticity adalah sifat residual yang mempunyai varians yang

tidak homogen, atau :
var( i )   i2   2 i
Untuk memeriksa sifat ini dapat dipergunakan scatter-plot antara
residual yang sudah dibakukan dengan nilai ŷ , jika scatter plot
membentuk gambar seperti pola sebelah kiri berikut maka varians residual
masih dianggap konstan dan jika membentuk pola seperi sebelah kanan
maka varians residual cenderung tidak homogen.

Selain dengan menggunakan scatter-plot seperti di atas, keberadaan

hetrocedasticity juga dapat diuji dengan menggunakan uji Glejser dengan
cara meregresikan kuadrat atau harga mutlak residual dengan variabel
independent, jika ada variabel independent yang significant maka varians
residual cenderung tidak homogen, untuk mengatasi hal ini biasanya
dilakukan transformasi dengan cara membagi seluruh nilai variabel dengan
variabel yang significant, atau :

7
8
 Jika e  k.x1 . maka dilakukan transformasi sebagai berikut :
y 1 x x x
  0  1 1   2 2   3 3  ... atau
x1 x1 x1 x1 x1

y *  1   0 x1*   2 x2*   3 x3*  ...

Koefisien regresi dari model ini kemudian ditaksir dengan
menggunakan metode kuadrat terkecil sehingga diperoleh :
y *  b1  b0 x1*  b2 x2*  b3 x3*  ...

Kemudian model ini dikembalikan ke variabel asal dengan

menggandakan ruas kiri dan ruas kanan dengan x1 sehingga diperoleh :
y  b1  b0 x1  b2 x2  b3 x3  ...

Secara umum masalah heterocedasticity dapat diatasi dengan

mengguna-kan metode weighted least-squares yaitu :
ˆ  ( X '  1 X ) 1 X 1Y dan  adalah matriks diagonal dengan unsur

diagonal adalah  i
Selain dengan menggunakan uji Glejser, uji adanya heteroscedasticity
dapat diuji dengan koefisien korelasi spearman antara residual dengan
variabel independent, jika korelasi ini significant maka cenderung terjadi
kasus heteroscedasticity.
Koefisien korelasi Spearman dihitung dengan cara :
6 D 2
r  1 dan D adalah selisih rank antar dua variabel.
n(n 2  1)

9
Kegiatan Praktikum :
Dengan menggunakan uji Glejser, periksalah adanya kasus
heteroscedasticity untuk data berikut :
Year Saving Income
1 264 8777
2 105 9210
3 90 9954
4 131 10508
5 122 10979
6 107 11912
7 406 12747
8 503 13499
9 431 14269
10 588 15522
11 898 16730
12 950 17663
13 779 18575
14 819 19635
15 1222 21163
16 1702 22880
17 1578 24127
18 1654 25604
19 1400 26500
20 1829 27670
21 2200 28300
22 2017 27430
23 2105 29560
24 1600 28150
25 2250 32100
26 2420 32500
27 2570 35250
28 1720 33500
29 1900 36000
30 2100 36200
31 2300 38200

10
Penyelesaian :
Dengan bantuan MINITAB permasalahan di atas, dapat diselesaikan
dengan cara :
MTB > regr 'saving' 1 'income';
SUBC> fits c11;
SUBC> resid c12.

dan hasilnya adalah :

The regression equation is

saving = - 648 + 0.0847 income

Predictor Coef SE Coef T P

Constant -648.1 118.2 -5.49 0.000
income 0.084665 0.004882 17.34 0.000

S = 247.6 R-Sq = 91.2% R-Sq(adj) = 90.9%

Untuk melakukan uji Glejser, dilakukan perintah :

MTB > let c13=abs(c12)
MTB > name c13='abs_res'
MTB > regr 'abs_res' 1 'income'

The regression equation is

abs_res = - 7.7 + 0.00935 income

Predictor Coef SE Coef T

P
Constant -7.69 47.73 -0.16
0.873
income 0.009346 0.001972 4.74
0.000

S = 100.0 R-Sq = 43.6% R-Sq(adj) = 41.7%

Dari hasil uji Glejser ini, diperoleh informasi adanya hubungan antara
variabel harga mutlak residual dengan variabel income sehingga terjadi
kasus heteroscedasticity. Karena nilai harga mutlak residual sebanding
dengan nilai income maka selanjutnya dilakukan analisis regresi untuk
model :

11
 saving/income = income)+
Dengan bantuan MINITAB analisis regresi untuk model di atas dapat
dilakukan dengan cara :

MTB > let c4=saving/income

MTB > let c5=1/income
MTB > name c4='y*' c5='x*'
MTB > regr 'y*' 1 'x*';
SUBC> resid c21.

dan hasilnya adalah :

The regression equation is
y* = 0.0881 - 723 x*

Predictor Coef SE Coef T P

Constant 0.088139 0.004372 20.16 0.000
x* -722.50 72.36 -9.98 0.000

S = 0.01051 R-Sq = 77.5% R-Sq(adj) = 76.7%

Pengujian adanya heteroscedasticity dengan uji Glejser

MTB > let c22=abs(c21)
MTB > name c22='absres'
MTB > regr 'absres' 1 'income'

Hasil pengujian Glejser

The regression equation is
absres = 0.00793 +0.000000 income

Predictor Coef SE Coef T P

Constant 0.007931 0.002608 3.04 0.005
income 0.00000003 0.00000011 0.31 0.760
S = 0.005465 R-Sq = 0.3% R-Sq(adj) = 0.0%

NIlai p untuk variabel income >5% sehingga tidak ada hubungan

antara harga mutlak residual dengan income atau varians residual
cenderung sudah homogen.
Sedangkan asumsi kenormalan residual dapat diuji dengan cara :
12
 MTB > %NormPlot C21;
SUBC> Kstest.

Dan hasil uji kenormalan dengan menggunakan uji Kolmogorov

Smirnov adalah:

Dari hasil pengujian Kolmogorov Smirnov, diperoleh hasil p-value>5%

sehingga dapat diputuskan residual sudah berdistribusi normal.
Model yang menggambarkan hubungan antara saving dengan income
setelah dilakukan transfromasi adalah :
y* = 0.0881 - 723 x* atau :

saving/income= 0.0881 -723 (1/income)

setelah ruas kiri dan kanan digandakan dengan income maka

diperoleh :

saving=-723 +0.0881 income

13