ANALISIS REGRESI
BAGIAN 2
DISUSUN OLEH :
TIM ASISTENSI PRAKTIKUM ANALISIS REGRESI
UNIVERSITAS DIPONEGORO
2022
Bagian 2
NILAI STATISTIK KOEFISIEN REGRESI BERGANDA
Landasan Teori
Pada Bagian ini praktikum berlatih menyelesaikan permasalahan persamaan regresi
linier berganda, yaitu apabila variable dependen diperngaruhi oleh beberapa variabel
independent. Persamaan regersi yang diharapkan adalah berbentuk:
𝑌 𝛽𝑛𝑋𝑛 + 𝜀
Dengan 𝛽 = 1,2, … , 𝑛 masing-masing konstanta yang diperoleh dari output dan
uji signifikansinya. Juga diuji kesesuaian modelnya kemudian dikenalkan metode-metode
analisis yang digunakan dan perbedaan hasil masing-masing metode.
Uji Asumsi
Suatu model regresi harus memenuhi beberapa asumsi yaitu residual bersifat independen,
identik, dan berdistribusi normal, asumsi ini sering disebut dengan IIDN (Gujarati, 2004). Juga
ada tambahan satu asumsi yaitu tidak ada multikolinieritas antar variabel independen jika
variabel independen lebih dari satu.
a. Normalitas
Uji normalitas digunakan dalam model regresi untuk menguji apakah nilai residual
yang dihasilkan terdistribusi secara normal atau tidak. Model regresi yang baik adalah
model regresi yang memiliki nilai residual yang terdistribusi secara normal. Secara formal
menguji residual berdistribusi normal dapat digunakan uji Kolmogorov – Smirnov.
- Hipotesis
𝐻0 ∶ residual data berdistribusi normal
𝐻1 ∶ residual data tidak berdistribusi normal
- Statistik Uji
𝑖−1 𝑖−1
Statistik uji menggunakan D, yaitu nilai maksimum dari 𝐹(𝑌𝑖 ) − , − 𝐹(𝑌𝑖 ).
𝑁 𝑁
Secara sistematis dapat ditulis menjadi :
𝑖−1 𝑖−1
𝐷 = max( 𝐹(𝑌𝑖 ) − , − 𝐹(𝑌𝑖 ))
𝑁 𝑁
Dengan 𝐹(𝑌𝑖) adalah peluang distribusi kumulatif
- Daerah kritis
Gagal tolak 𝐻0 jika nilai 𝐷 kurang dari 𝐷𝑁,𝛼 pada tabel Kolmogorov – Smirnov
sehingga residual berdistribusi normal dan tolak 𝐻0 jika nilai 𝐷 sama atau lebih besar
dari nilai 𝐷𝑁,𝛼 pada tabel Kolmogorov – Smirnov sehingga residual tidak berdistribusi
normal.
b. Linieritas
Uji linearitas bertujuan untuk mengetahui apakah dua variabel mempunyai hubungan
yang linear atau tidak secara signifikan. Uji ini biasanya digunakan sebagai prasyarat
dalam analisis korelasi atau regresi linear.
c. Non – Multikolinieritas
Menurut Ghozali (2012), uji multikolinearitas bertujuan untuk menguji apakah model
regresi ditemukan adanya korelasi antar variabel bebas (independen). Model regresi yang
baik seharusnya tidak terjadi korelasi antara variabel independen. Ada atau tidaknya
multikolinearitas dapat dilihat dari koefisien masing masing variabel bebas jika koefisien
korelasi di antara masing masing variabel bebas lebih dari 0,8 maka terjadi
multikolinearitas dan sebaliknya, jika koefisien korelasi antara masing masing variabel
bebas kurang dari 0,8 maka tidak terjadi multikolinearitas. Selaian itu untuk mengetahui
apakah Asumsi Non-Multikolinieritas terpenuhi atau tidak dengan melihat Nilai VIF,
apabila nilai VIF < 10 maka dapat disimpulkan Asumsi Non-Multikolinieritas terpenuhi
dan apabila nilai VIF > 10 maka Asumsi Non-Multikolinieritas tidak terpenuhi.
d. Autokorelasi
Autokorelasi adalah korelasi yang terjadi antar observasi dalam satu variabel
(Nachrowi dan Hardius, 2006:183). Dengan adanya autokorelasi, estimator OLS tidak
menghasilkan estimator yang BLUE hanya LUE (Widarjono, 2007:258). Metode untuk
mendeteksi autokorelasi antara lain metode grafik, durbin-watson, run dan lagrange
multiplier. Uji autokorelasi menggunakan grafik maupun uji informal lainnya kurang
direkomendasikan karena tanpa adanya angka statistik penafsiran tiap orang berbeda
terhadap hasil pengujian.
e. Heteroskedastisitas
Uji heteroskedastisitas digunakan untuk melihat apakah residual dari model yang
terbentuk memiliki varians yang konstan atau tidak. Uji heteroskedastisitas penting
dilakukan pada model yang terbentuk. Dengan adanya heteroskedastisitas, hasil uji t dan
uji F menjadi tidak akurat (Nachrowi dan Hardius, 2006:112). Metode untuk mendeteksi
heteroskedastisitas antara lain metode grafik, park, glesjer, korelasi spearman,
goldfeldquandt, breusch-pagan dan white. Uji heteroskedastisitas menggunakan grafik
maupun uji informal lainnya karena tanpa adanya angka statistik penafsiran tiap orang
berbeda terhadap hasil pengujian.
2. Isikan data yang tersedia pada sel – sel sesuai pada Data View
5. Klik Statistics – pada bagian Regression Coefficients, ceklis Covariance matrix dan
Collinearity diagnostics – lalu pada bagian Residuals ceklis bagian Durbin – Watson.
6. Klik Plot, lalu pada bagian Scatter 1 of 2, masukkan ZRESID kedalam kolom Y dan
ZPRED kedalam kolom X. lalu klik next pada Scatter 2 of 2, masukkan SRESID kedalam
kolom Y dan ZPRED kedalam kolom X. kemudian, cekliks Histogram dan Normal
probability plot pada Standardized Residual Plots
7. Klik Save, lalu ceklis bagian Unstandardized pada Residuals, kemudian Continue, lalu
Ok.
8. Untuk uji normalitas secara formal, klik Analyze – Descriptive Statistics – Explore
11. Untuk uji homoskedastisitas secara formal dilakukan dengan uji Glejser. Klik Transform
– Compute variable
12. Buat variabel baru Bernama Abs_Res (merupakan nilai absolut dari residual( dengan
memasukkan formula Abs(RES_) kemudian klik Ok.
13. Selanjutnya regresikan variabel Abs_Res dengan variabel independent yang ada. Dimana
Abs_Res sebagai variabel dependen nya.
Interpretasi
a. Model Awal
Berdasarkan tabel Coeffiecients pada output SPSS diatas, diperoleh model awal, yaitu:
- 𝛽0 = 24.103
- 𝛽1 = 0,879
- 𝛽2 = 0,100
- 𝛽3 = 0,710
b. Uji Asumsi
i. Normalitas
- Secara Visual
Pada Normal Q-Q Plot of Unstandardized Residual dapat dilihat bahwa plot-plot
mengikuti garis lurus, sehingga dapat disimpulkan bahwa residual berdistribusi
normal. Maka asumsi normalitas terpenuhi secara visual.
- Secara Formal
• Hipotesis
𝐻0 ∶ residual berdistribusi normal
𝐻1 ∶ residual tidak berdistribusi normal
• Taraf Signifikansi α = 5%
• Statistik Uji
Berdasarkan grafik ZRESID by ZPRED scatterplot dapat dilihat bahwa sebaran data acak
atau tidak membentuk pola tertentu maka dapat disimpulkan bahwa uji linieritas
terpenuhi.
iii. Non – Multikolinieritas
Berdasarkan tabel Coefficients, diperoleh nilai VIF = 1,112 < 10 untuk X1, VIF =
1,089 < 10 untuk X2, dan VIF = 1,057 < 10 untuk X3. Ketiga nilai VIF < 10, sehingga
asumsi non-multikolinieritas terpenuhi, maka tidak ada hubungan antara variabel X1,
X2, dan X3.
iv. Homoskedastistas
- Secara Visual
Berdasarkan grafik SRESID by ZPRED scatterplot dapat dilihat bahwa asumsi
Heteroskedastisitas terpenuhi jika residual menyebar secara acak dan tidak
membentuk pola.
- Secara Formal
dL = 1,3177
dU = 1,6563
• Daerah Kritis
- 0 < DW < dL : Menolak H0, mengalami autokorelasi positif
- dL < DW < dU : Ragu-ragu
- dU < DW < 4-dU : Menerima H0, tidak ada autokorelasi
- 4-dU < DW < 4-dL : Ragu-ragu
- 4-dL < DW < 4 : Menolak H0, mengalami autokorelasi negatif
• Keputusan
Nilai DW (2,332) berada diantara nilai dU (1,6563) dan 4 - dU (2,3437)
• Kesimpulan
Pada taraf signifikansi 5%, nilai Durbin – Watson berada di daerah menerima H0,
sehingga tidak ada autokorelasi antar variabel X.
c. Uji Signifikansi
- Uji F
• Hipotesis
𝐻0 ∶ 𝛽0 = 𝛽1 = 0 atau model tidak sesuai
𝐻1 ∶ 𝛽𝑖 ≠ 0 untuk paling sedikit satu i atau model regresi sesuai
• Taraf Signifikansi α = 5%
• Statsitik Uji
• Daerah Kritis
Tolak 𝐻0 jika nilai sig < α.
• Keputusan
𝐻0 ditolak karena nilai sig (0,000) < α (0,05)
• Kesimpulan
Pada taraf signifikansi 5%, 𝐻0 ditolak karena nilai sig (0,000) < α (0,05) sehingga
dapat disimpulkan bahwa model cocok atau model regresi dapat digunakan untuk
memprediksi Y.
- Uji t
• Hipotesis
𝐻0 ∶ 𝛽𝑗 = 0 atau koefisien parameter tidak sesuai
• Taraf Signifikansi α = 5%
• Statsitik Uji
𝛽̂2
𝑡2 = 𝑆 ̂= 2,239 dengan sig = 0,032
0 (𝛽2 )
𝛽̂3
𝑡3 =𝑆 ̂= 11,599 dengan sig = 0,000
0 (𝛽3 )
• Daerah Kritis
Tolak 𝐻0 jika nilai sig < α
• Keputusan
𝐻0 ditolak untuk X1, X2, dan X3 karena:
sig. X1 = 0,000 < α = 5%
sig. X2 = 0,032 < α = 5%
sig. X3 = 0,000 < α = 5%
• Kesimpulan
Pada taraf signifikansi 5%, 𝐻0 ditolak untuk X1, X2, dan X3 karena semua nilai sig.
< α (0,05) sehingga dapat disimpulkan bahwa koefisien parameter X1, X2, dan X3
sesuai atau dengan kata lain semua variabel X berpengaruh terhadap Y.
d. Koefisien Determinasi
𝐽𝐾𝑅
𝑅2 = 𝐽𝐾𝑇
= 0,962 = 96,2%
Berdasarkan tabel Model Summary dapat diketahui:
Artinya sebesar 96,2% variabel Y dipengaruhi oleh variabel X1, X2, dan X3, sedangkan
sisanya sebesar 3,8% variabel Y dipengaruhi oleh faktor lain.
e. MSE
1 ̂
Dari tabel ANOVA, diperoleh nilai 𝑀𝑆𝐸 = ∑38
𝑖=1(𝑌𝑖 − 𝑌𝑖 )² = 2,412. Nilai tersebut
38
tergolong rendah, sehingga dapat dikatakan model regresi cukup baik.
Pemodelan Regresi Menggunakan R
1. Install Library
#install.packages("lmtest")
#install.packages("readxl")
#install.packages("nortest")
library(lmtest) #pengujian model regresi linier
library(readxl)
library(nortest) #uji kolmogorov smirnov
## # A tibble: 6 × 4
## Y X1 X2 X3
## <dbl> <dbl> <dbl> <dbl>
## 1 70.4 15.6 46.4 39.4
## 2 67.6 13.3 54.2 36.0
## 3 61.4 6.67 56.7 38.0
## 4 65.1 12 60.8 38.2
## 5 79.7 24 56.5 39.9
## 6 71.6 22 56.4 31.2
##
## Call:
## lm(formula = Y ~ X1 + X2 + X3, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.3521 -0.7676 -0.0671 0.7852 3.7647
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 24.10344 2.83457 8.503 6.23e-10 ***
## X1 0.87907 0.03274 26.849 < 2e-16 ***
## X2 0.10003 0.04468 2.239 0.0318 *
## X3 0.70966 0.06118 11.599 2.29e-13 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.553 on 34 degrees of freedom
## Multiple R-squared: 0.9624, Adjusted R-squared: 0.959
## F-statistic: 289.7 on 3 and 34 DF, p-value: < 2.2e-16
Penjelasan:
Berdasarkan output di atas, diperoleh nilai koefisien untuk 𝛽0, 𝛽1, 𝛽2 , 𝛽3 yaitu
𝛽0 = 24.10344
𝛽1 = 0.87907
𝛽2 = 0.10003
𝛽3 = 0.70966
Nilai koefisien tersebut hasilnya sama seperti output di SPSS. Sehingga dapat disimpulkan
bahwa model awalnya yaitu
5. Pengujian Asumsi
1. Normalitas
#shapiro wilk
shapiro.test(residuals(regresi))
##
## Shapiro-Wilk normality test
##
## data: residuals(regresi)
## W = 0.97962, p-value = 0.704
#kolmogorov-smirnov
lillie.test(residuals(regresi))
##
## Lilliefors (Kolmogorov-Smirnov) normality test
##
## data: residuals(regresi)
## D = 0.088582, p-value = 0.6354
#uji visual
plot(regresi,2)
Penjelasan:
Karena data berjumlah > 30, maka untuk asumsi normalitas menggunakan nilai Kolmogorov
Smirnov.
𝐻0 ∶ 𝑟𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑏𝑒𝑟𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑠𝑖 𝑛𝑜𝑟𝑚𝑎𝑙
𝐻1 ∶ 𝑟𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑡𝑖𝑑𝑎𝑘 𝑏𝑒𝑟𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑠𝑖 𝑛𝑜𝑟𝑚𝑎𝑙
Tolak 𝐻0 jika nilai p-value < 𝛼
• Berdasarkan output di atas dengan taraf signifikansi 𝛼 = 5%, diperoleh nilai p-value untuk
Kolmogorov Smirnov sebesar 0,704 lebih besar daripada nilai 𝛼 (0,05) yang artinya 𝐻0 diterima
dan residual data berdistribusi normal. Hasil tersebut sama dengan perhitungan SPSS walaupun
nilai p-valuenya berbeda dengan hasil SPSS.
• Berdasarkan visualisasi Normal Q-Q Plot dapat dilihat bahwa plot-plot residual mengikuti garis
lurus, sehingga dapat disimpulkan bahwa residual berdistribusi normal, maka asumsi normalitas
terpenuhi secara visual.
2. Asumsi Linearitas
#uji visual
plot(regresi,1)
Berdasarkan output grafik di atas, dapat dilihat bahwa plot data menyebar secara acak atau tidak
membentuk pola tertentu, maka dapat disimpulkan bahwa asumsi linearitas terpenuhi.
3. Asumsi Homoskedastisitas
#uji glejser
glejser_test <- lm(abs(residuals(regresi))~X1 + X2 + X3, data = data)
summary(glejser_test)
##
## Call:
## lm(formula = abs(residuals(regresi)) ~ X1 + X2 + X3, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -1.3154 -0.7262 -0.3749 0.8286 2.5102
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 3.654841 1.845961 1.980 0.0559 .
## X1 -0.007468 0.021323 -0.350 0.7283
## X2 -0.021605 0.029097 -0.742 0.4629
## X3 -0.040139 0.039844 -1.007 0.3209
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.011 on 34 degrees of freedom
## Multiple R-squared: 0.05511, Adjusted R-squared: -0.02826
## F-statistic: 0.661 on 3 and 34 DF, p-value: 0.5818
# uji visual
plot(regresi,3)
Penjelasan:
• Berdasarkan output di atas, diperoleh nilai signifikansi untuk variabel X semuanya memiliki
nilai lebih besar dari nilai 𝛼 = 5%, sehingga dapat disimpulkan bahwa tidak terjadi gejala
heteroskedastisitas atau dengan kata lain asumsi homoskedastisitas terpenuhi. Besar nilai
signifikansi untuk variabel X sama dengan hasil yang diperoleh SPSS.
• Berdasarkan visualisasi grafik Standardized residuals, dapat dilihat bahwa residual menyebar
secara acak dan tidak membentuk pola, sehingga dapat disimpulkan bahwa asumsi
homoskedastisitas terpenuhi.
4. Asumsi NonAutokorelasi
dwtest(regresi)
##
## Durbin-Watson test
##
## data: regresi
## DW = 1.6459, p-value = 0.105
## alternative hypothesis: true autocorrelation is greater than 0
Karena nilai p-value(0.105) > alpha(5%) maka dapat disimpulkan bahwa tidak terjadi gejala auto
korelasi. Sehingga asumsi non-autokorelasi terpenuhi
##
## Call:
## lm(formula = Y ~ X1 + X2 + X3, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.3521 -0.7676 -0.0671 0.7852 3.7647
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 24.10344 2.83457 8.503 6.23e-10 ***
## X1 0.87907 0.03274 26.849 < 2e-16 ***
## X2 0.10003 0.04468 2.239 0.0318 *
## X3 0.70966 0.06118 11.599 2.29e-13 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.553 on 34 degrees of freedom
## Multiple R-squared: 0.9624, Adjusted R-squared: 0.959
## F-statistic: 289.7 on 3 and 34 DF, p-value: < 2.2e-16
Penjelasan:
Berdasarkan output di atas dengan taraf signifikansi 𝛼 = 5%, diperoleh nilai F = 289.7 dan
p-value 2,2e-16. Karena nilai p-value (2,2e-16) < 𝛼 (0,05) sehingga 𝐻0 ditolak dan dapat
disimpulkan bahwa model cocok. Nilai F beserta p-value yang diperoleh dari R sama
dengan hasil SPSS.
7. Uji Signifikansi (Uji T)
summary(regresi)
##
## Call:
## lm(formula = Y ~ X1 + X2 + X3, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.3521 -0.7676 -0.0671 0.7852 3.7647
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 24.10344 2.83457 8.503 6.23e-10 ***
## X1 0.87907 0.03274 26.849 < 2e-16 ***
## X2 0.10003 0.04468 2.239 0.0318 *
## X3 0.70966 0.06118 11.599 2.29e-13 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.553 on 34 degrees of freedom
## Multiple R-squared: 0.9624, Adjusted R-squared: 0.959
## F-statistic: 289.7 on 3 and 34 DF, p-value: < 2.2e-16
Penjelasan:
8. Koefisien Determinasi
summary(regresi)
##
## Call:
## lm(formula = Y ~ X1 + X2 + X3, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.3521 -0.7676 -0.0671 0.7852 3.7647
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 24.10344 2.83457 8.503 6.23e-10 ***
## X1 0.87907 0.03274 26.849 < 2e-16 ***
## X2 0.10003 0.04468 2.239 0.0318 *
## X3 0.70966 0.06118 11.599 2.29e-13 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.553 on 34 degrees of freedom
## Multiple R-squared: 0.9624, Adjusted R-squared: 0.959
## F-statistic: 289.7 on 3 and 34 DF, p-value: < 2.2e-16
Penjelasan: Berdasarkan output di atas, diperoleh nilai R-squared sebesar 0,9624 yang artinya se
besar 96,24% variabel Y dipengaruhi oleh variabel X1, X2, dan X3, sedangkan sisanya sebesar 3
,76% variabel Y dipengaruhi oleh faktor lain. Nilai R-squared yang diperoleh dari R sama denga
n hasil SPSS.