(PCR) 3,660671E16.
Abstract
_________________________________________________________________
One of analysis assumptions of bifilar linier regression is there is no multikolinearity problem occurs.
If there is a multikolinearity problem occurs, Partial Least Square (PLS) and Principal Component
Regression (PCR) methods are can used to solve the multikolinearity problem. The method that was
used in this research were Partial Least Square (PLS) and Principal Component Regression (PCR)
by using the data of budgeting income of Central Java in 2013. The result of this research was gotten
a model of regression equation by using Partial Least Square (PLS) method and a model of regression
equation by using Principal Component Regression (PCR); After that choose the best method selection
criteria was by seeing at the highest 𝑅2 score and the lowest MSE. The best method selection was by
seeing at the highest 𝑅2 score and the lowest MSE. Thus, it could be concluded that Partial Least
Square with the score of 𝑅2 = 0,7752 and the MSE score that was resulted by Partial Least Square
= 3,660671E16.
How to Cite
Supriyadi, E., Mariani, S. & Sugiman. (2017). Perbandingan Metode Partial Least Square (PLS) dan
Principal Component Regression (PCR) untuk Mengatasi Multikolinearitas pada Model Regresi
Linear Berganda. Unnes Journal of Mathematics, 6(2): 117-128.
118
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
Kemudian didapatkan metode mana yang lebih dapat diketahui apabila nilai 𝑉𝐼𝐹 ≥ 10 . (3)
baik untuk mengatasi multikolinearitas. TOL (Tolerance) Jika nilai Tolerance kurang dari
Penelitian ini didukung dengan 0,1 atau nilai VIF melebihi 10 maka hal tersebut
penggunaan paket program SAS. Paket program menunjukkan bahwa multikolinearitas adalah
SAS (Statistical Analysis System) adalah paket masalah yang pasti terjadi antar variabel bebas.
program yang mendukung analisis dalam bidang Principal Component Regression (PCR)
statistika, riset operasi, analisis ekonomi, time merupakan salah satu metode yang telah
series dan lain-lain. dikembangkan untuk mengatasi masalah
Rumusan masalah dalam penelitian ini multikolinearitas. PCR merupakan analisis
adalah (1) Bagaimana model persamaan regresi regresi dari variabel-variabel dependent terhadap
dengan metode Partial Least Square (PLS) untuk komponen-komponen utama yang tidak saling
mengatasi multikolinearitas? (2) Bagaimana berkorelasi, dimana setiap komponen utama
model persamaan regresi dengan metode merupakan kombinasi linear dari semua variabel
Principal Component Regression (PCR) untuk independent (Draper & Smith 1992, hal 313).
mengatasi multikolinearitas? (3) Metode Principal Component Regression (PCR)
manakah antara Partial Least Square (PLS) dan merupakan suatu teknik analisis yang
Principal Component Regression (PCR) untuk mengkombinasikan antara analisis regresi
mengatasi multikolinearitas yang lebih baik? dengan Principal Component Analysis (PCA).
Tujuan dari penelitian ini adalah Analisis Regresi digunakan untuk mengetahui
Mengetahui metode yang lebih baik antara ada tidaknya hubungan antara variabel dependent
Partial Least Square (PLS) dan Principal Component dan independent, sedangkan PCA pada dasarnya
Regression (PCR) untuk mengatasi bertujuan untuk menyederhanakan variabel yang
multikolinearitas berdasarkan pada diamati dengan cara menyusutkan (mereduksi)
perbandingan nilai MSE dan (𝑅2 ). dimensinya. Hal ini dilakukan dengan jalan
Untuk memperkirakan/meramalkan nialai menghilangkan korelasi di antara variabel
variabel Y, akan lebih baik apabila diikut melalui transformasi variabel asal ke variabel
memperhitungkan variabel-variabel lain yang baru (merupakan kombinasi linear dari variabel-
ikut mempengaruhi Y. Dengan demikian, variabel asal) yang tidak saling berkorelasi. Dari
mempunyai hubungan dianatra satu variabel p buah variabel asal dapat dibentuk p buah
tidak bebas (dependent) Y dengan beberapa komponen utama, dipilih k buah komponen
variabel lain yang bebas (independent) utama saja (k<p) yang telah mampu
𝑋1 , 𝑋2 , … , 𝑋𝑝 . menerangkan keragaman data cukup tinggi
Untuk meramalkan Y, apabila semua (antara 80% sampai dengan 90%) (Johnson &
nilai variabel bebas diketahui, maka kita dapat Wichern, 2010, hal. 356). Komponen utama
mempergunakan persamaan regresi linear yang dipilih tersebut (k buah) dapat mengganti p
berganda. Hubungan Y dan 𝑋1 , 𝑋2 , … , 𝑋𝑝 yang buah variabel asal tanpa mengurangi informasi.
Analisis regresi komponen utama (PCR)
sebenarnya adalah sebagai berikut.
merupakan analisis regresi variabel dependent
𝑌 = 𝛽0 + 𝛽1 𝑋1 + 𝛽2 𝑋2 + ⋯ + 𝛽𝑝 𝑋𝑝 + 𝜀1 (1) terhadap komponen-komponen utama yang
tidak saling berkorelasi, regresi komponen utama
dapat dinyatakan sebagai berikut :
Istilah multikolinearitas mula-mula
ditemukan oleh Ragnar Frisch. Pada mulanya 𝑌 = 𝑤0 + 𝑤1 𝐾1 + 𝑤2 𝐾2 + ⋯ + 𝑤𝑚 𝐾𝑚 + 𝜀 (2)
multikolinearitas berarti adanya hubungan linear
yang sempurna atau pasti, diantara beberapa 𝐾1 , 𝐾2 , 𝐾3 , … , 𝐾𝑚 menunjukan komponen utama
atau semua variabel bebas dari model regresi yang dilibatkan dalam analisis regresi komponen
ganda (Gujarati, 2004:157). utama, dimana besaran 𝑚 lebih kecil daripada
banyaknya variabel independent yaitu sejumlah 𝑝,
Ada beberapa cara untuk mengetahui
serta Y sebagai variabel dependent. Komponen
keberadaan multikolinearitas dalam suatu model
utama merupakan kombinasi linear dari variabel
regresi (1) menganalisis matriks korelasi Jika
baku Z, sehingga
antara dua atau lebih variabel independent
𝐾1 = 𝑎11 𝑍1 + 𝑎21 𝑍2 + ⋯ + 𝑎𝑝1 𝑍𝑝
memiliki korelasi yang cukup tinggi, biasanya di
atas 0,9 maka hal tersebut mengindikasikan
terjadinya multikolinearitas. (2) VIF (Variance 𝐾2 = 𝑎12 𝑍1 + 𝑎22 𝑍2 + ⋯ + 𝑎𝑝2 𝑍𝑝
Inflantion Factor) adalah salah satu cara dalam
mendeteksi adanya multikolinearitas, dan dalam ⋮
penulisan ini menggunakan nilai Tolerance atau
VIF. Mulktikolinearitas dalam sebuah regresi 𝐾𝑚 = 𝑎1𝑚 𝑍1 + 𝑎2𝑚 𝑍2 + ⋯ + 𝑎𝑝𝑚 𝑍𝑝 (4)
119
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
120
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
121
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
122
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
Jika 𝑑 > 𝑑𝑢 , maka 𝐻0 diterima (tidak ada dan di bawah angka 0 pada sumbu Y maka tidak
autokorelasi). terjadi masalah heteroskedastisitas.
Jika 𝑑 < 𝑑𝐿 , maka 𝐻0 ditolak (ada autokorelasi
positif). 3. Principal Component Regression (PCR)
Jika 4 − 𝑑 > 𝑑𝑢 , maka 𝐻0 diterima (tidak ada a. Menentukan Komponen Utama
autokorelasi negatif).
Principal Component Regression (PCR)
Jika 4 − 𝑑 < 𝑑𝐿 , maka 𝐻0 ditolak (ada merupakan teknik analisis regresi yang
autokorelasi negatif). dikombinasikan dengan teknik analisis
. komponen utama, dimana analisis komponen
Tabel 4. Autokorelasi utama dijadikan sebagai tahap analisis. Oleh
karena itu, sebelum melakukan PCR terlebih
Durbin-Watson D 2,181
dahulu dilakukan analisis komponen utama
Number of Observations 35 untuk mendapatkan komponen-komponen
utama dan skor komponen utama yang berguna
Berdasarkan output SAS di atas diperoleh sebagai variabel-variabel independent dalam
nilai Durbin-Watson D sebesar 2,181. Langkah PCR. Langkah pertama adalah dengan melihat
selanjutnya menentukan nilai 𝑑𝐿 dan 𝑑𝑢 dengan nilai Communality yang menunjukkan berapa
taraf nyata 0,05, observasi sebanyak n = 35 data, varians yang dapat dijelaskan oleh komponen
dan K adalah jumlah variabel independentnya yang terbentuk. Hasil varians tersebut dapat
sebanyak 6, dengan melihat nilai tabel ditunjukan dalam tabel di bawah ini:
Durbin_Watson (dengan Taraf signifikansi 0,05)
maka diperoleh nilai 𝑑𝐿 = 1,097 sedangkan nilai Tabel 5. Final Communality Estimates
𝑑𝑢 = 1,884.Karena 𝑑 = 2,181 > 𝑑𝑢 = 1.884 maka Final Communality Estimates
𝐻0 diterima (tidak ada autokorelasi). X1 X2 X3 X4 X5 X6
c. Uji Heteroskedastisitas 0,880 0,812 0,924 0,936 0,904 0,719
Untuk mendeteksi ada tidaknya
heteroskedastisitas dengan melihat pola titik-titik Hasil yang diperoleh dari tabel 5
pada plots regresi. Jika titik-titik menyebar memperlihatkan bahwa nilai variabel 𝑋1 sebesar
dengan pola tidak jelas di atas dan di bawah 0,88 yang berarti sekitar 88 % variansi variabel
angka 0 pada sumbu Y maka tidak terjadi 𝑋1 dapat dijelaskan oleh komponen yang
masalah heteroskedastisitas. Berikut output plot terbentuk, variabel 𝑋2 sebesar 0,811 yang berarti
dari program SAS terlihat pada gambar 2. 81,1 % variansi variabel 𝑋2 dijelaskan oleh
komponen yang terbentuk, variabel 𝑋3 sebesar
Y = 1.16E8 -0.8662 X1 +3.6065 X2 -2.6309 X3 0,924 X4
+1.6646 yang berarti
+0.9508 92,4 %
X5 +1.0347 X6 variansi variabel 𝑋3
1.50E+08 N
35
1.00E+08 Rsq
0.9832
AdjRsq
5.00E+07 0.9797
RMSE
Residual
5.67E7
0.00E+00
-5.00E+07
-1.00E+08
-1.50E+08
5.00E+08 7.50E+08 1.00E+09 1.25E+09 1.50E+09 1.75E+09 2.00E+09 2.25E+09 2.50E+09 2.75E+09
123
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
oleh komponen yang terbentuk, dan variabel 𝑋6 Tabel 7. Skor Komponen Utama
sebesar 0,719 yang berarti 71,9 % variansi
variabel 𝑋6 dijelaskan oleh komponen yang Scoring Coefficients factor
terbentuk. Factor1 Factor2
X1 0,28599 0,14405
Langkah selanjutnya adalah Eigenvalues of
X2 0,03591 0,56114
the Correlation Matrix dalam analisis faktor
terdapat beberapa komponen yang merupakan X3 0,3268 -0,1536
variabel. Setiap faktor mewakili variabel yang X4 0,33003 -0,0912
dianalisis. Kemampuan setiap faktor mewakili X5 0,18526 0,07292
variabel yang dianalisis ditunjukkan oleh X6 -0,0775 0,58999
besarnya varians yang dijelaskan, yang disebut
dengan eigenvalue. Eigenvalue menunjukkan Berdasar tabel 7, maka persamaan regresi
kepentingan relatif masing-masing faktor dalam komponen utama yang dapat dibentuk adalah
menghitung varians semua variabel yang sebagai berikut.
dianalisis. Susunan eigenvalue selalu diurutkan 𝐾1 = 0,28599 𝑋1 + 0,03591 𝑋2 + 0,32680 𝑋3
dari yang terbesar sampai yang terkecil, dengan + 0,33003 𝑋4 + 0,18526 𝑋5
kriteria bahwa angka eigenvalue di bawah 1 tidak − 0,07747𝑋6
digunakan dalam menghitung jumlah faktor 𝐾2 = 0,14405 𝑋1 + 0,56114 𝑋2 − 0,15359 𝑋3
yang terbentuk. − 0,09120 𝑋4 + 0,07292 𝑋5
+ 0,58999𝑋6
Tabel 6. Eigenvalues of the Correlation
Matrix
Setelah skor komponen terbentuk langkah
Eigenvalues of the Correlation Matrix selanjutnya adalah menentukan variabel-variabel
baru untuk menggantikan variabel-variabel 𝑋1 ,
Eigenvalue Difference Cumulative 𝑋2 , 𝑋3 , 𝑋4 , 𝑋5 dan 𝑋6 . Pembentukan komponen
yang terbentuk dengan cara menstandarisasikan
1 3,00854913 1,63430587 0,5014 semua variabel dan mengalikan dengan skor
2 1,37424326 0,57267512 0,7305 komponen utama. Maka variabel baru yang
3 0,80156814 0,19483842 0,8641 terbentuk seperti tabel 8.
4 0,60672971 0,42928168 0,9652 Variabel-variabel tersebut menunjukan
5 0,17744804 0,1459863 0,9948 bahwa dua komponen adalah jumlah yang
6 0,03146173 1 paling optimal untuk mereduksi ke-enam
variabel-variabel independent.
Pada tabel 6 terlihat bahwa angka eigenvalues b. Regresi Komponen Utama
di bawah 1 tidak dapat digunakan dalam
menghitung jumlah faktor yang terbentuk, Hubungan antara variabel-variabel
sehingga proses factoring seharusnya berhenti dependent dan variabel independent dapat
pada dua faktor saja. diketahui dengan melakukan analisis Principal
Component Regression (PCR). Dalam hal ini,
Eigenvalue di variabel 𝑋1 sebesar 3,008, variabel dependent (Y) anggaran pendapatan
artinya faktor ini dapat menjelaskan 50,14 % dari daerah Provinsi Jawa Tengah diregresikan
total cumulative dan variabel 𝑋2 sebesar 1,374 dengan variabel baru, yaitu variabel komponen
yang artinya faktor ini menjelaskan 73,05% dari utama yang terbentuk. Dengan demikian, model
total cumulative. regresi komponen utama yang dibangun untuk
kasus ini adalah :
Langkah selanjutnya adalah dengan
mencari nilai skor komponen yang terbentuk 𝑌 = 𝑊0 + 𝑊1 𝐾1 + 𝑊2 𝐾2 + 𝜀
untuk membentuk persamaan regresi komponen
utama. skor komponen ini nantinya akan Maka model persamaan persamaan yang
menentukan banyaknya variabel yang akan terbentuk pada tabel 9.
terbentuk untuk menggantikan variabel-variabel
𝑋1 , 𝑋2 , 𝑋3 , 𝑋4 , 𝑋5 dan 𝑋6 dengan variabel baru.
124
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
125
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
1 𝑝
𝑡1 = ∑ 𝑐𝑜𝑟(𝑥𝑗 , 𝑦)𝑥𝑗∗
2 𝑗=1 b. Pembentukan Komponen PLS kedua
√∑𝑝𝑗=1 𝑐𝑜𝑟(𝑥𝑗 , 𝑦)
Sebelum pembentukan komponen PLS
kedua, terlebih dahulu diperiksa apakah
Dimana 𝑥𝑗∗ adalah variabel independent yang komponen kedua ini masih diperlukan. Hal
telah distandarisasi, sehingga komponen PLS tersebut dilakukan dengan cara meregresikan
pertama yang terbentuk. antara y yang telah distandarisasi terhadap 𝑡1
𝑡1 = 0,385𝑋1∗ + 0,184𝑋2∗ + 0,340𝑋3∗ + 0,434𝑋4∗ dan masing-masing variabel 𝑥 . Variabel yang
+ 0,665𝑋5∗ + 0,271𝑋6∗ digunakan adalah variabel-variabel yang
Maka diperoleh nilai komponen PLS pertama signifikan membangun PLS kedua.
Tabel 11. Komponen PLS 1 Tabel 12 Uji Signifikansi
PLS1 Parameter Estimates
1,903781
1,765623 Parameter Standard
Variable t Value
-0,24876 Estimate Error
-0,52369
X1 -2,04E-08 6,21E-09 -3,28
0,266509 X2 5,47E-09 2,49E-08 0,22
-0,78432 X3 -3,91E-08 5,13E-09 -7,62
-0,69573 X4 -6,14E-09 1,34E-09 -4,58
0,524041 X5 1,65E-09 2,94E-10 -5,61
X6 1,77E-09 6,21E-10 2,01
0,712924
0,544488 Berdasarkan tabel 12, ternyata tidak ada
-0,36787 variabel yang signifikan yaitu
-0,04235 𝑋1 , 𝑋2 , 𝑋3 , 𝑋4 , 𝑋5 𝑑𝑎𝑛 𝑋6 < dari t kritis 2,04523,
-0,10292 sehingga perhitungan berhenti pada komponen
0,069222 PLS pertama. Setelah mendapatkan komponen
baru pada tabel 11, kemudian variabel y
0,23434
diregresikan terhadap komponen PLS yang
-0,75894 terbentuk. Berikut hasil regresi yang diperoleh:
-0,73036
0,572452 Tabel 13 Regresi Y Terhadap Variabel PLS
-0,49633 Parameter Estimates
-0,368 Parameter Standard
Variable TOL VIF
-0,32267 Estimate error
0,060653 Intercept 1382126382 32340470 . 0
-0,88761 PLS1 227404292 30760787 1 1
0,114955
-0,59971 𝑌̂ = 1382126382 + 218046820 𝑃𝐿𝑆1𝑌̂
-1,3015 𝑌̂ = 1382126382 + 218046820 (0,385𝑋1∗
0,232918 + 0,184𝑋2∗ + 0,340𝑋3∗
0,375152 + 0,434𝑋4∗ + 0,665𝑋5∗
0,315051 + 0,271𝑋6∗
-2,29032 𝑌̂ = 1382126382 + 83948025,7𝑋1
+ 40120614,88𝑋2
1,947366
+ 74135918,8𝑋3
-2,29342 + 94632319,88𝑋4
7,132047 + 145001135,3𝑋5
-1,94483 + 59090688,22𝑋6
-2,01218
126
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
127
E. Supriyadi et al./ UNNES Journal of Mathematics 6(2)(2017)
128