ANALISIS REGRESI KOMPONEN UTAMA

Andaikan dipunyai peubah takbebas Y, dan peubah-peubah

bebas X1,X2,.,Xp, dan
berdasarkan diasnotik multikolinearitas pada bagian (2)
diperoleh bahwa ada kekolinearan ganda
dari peubah-peubah bebas tersebut. Akan ditentukan
persamaan regresi dengan menggunakan
analisis regresi komponen utama.

Pertama-tama akan dianalisis dengan teknik analisis

komponen utama untuk menentukan
komponen-komponen utama yang mewakili p buah peubah
bebas tersebut. Pada analisis
komponen utama, didasarkan bahwa skala pengukuran dari
X1,X2,.,Xp sama, kemudian
dibentuk peubah baru W disebut sebagai komponen utama
yang merupakan kombinasi linear dari
X1,X2,.,Xp dengan bentuk sebagai berikut (Draper and
Smith, 1992; Gasperz, 1992) :

W1 = a11 X1 + a21 X2 + .+ ap1Xp

W2 = a12 X1 + a22 X2 + .+ ap2Xp
..(3.1)
Wp = a1p X1 + a2p X2 + .+ appXp
Bila ditulis dengan notasi matriks : W = AX

Cov (X) = ( yang nilainya tidak diketahui sehingga diduga

dari sampel yaitu Cov (X) =
S
Maka Cov (W) = ASAT . Sehingga Var (Wi) = aiT S ai dengan
aiT=(a1i a2i .api)
.
Komponen utama pertama adalah kombinasi linear dari
X1,X2,.,Xp yang dapat menerangkan
keragaman terbesar.

W1 = a11 X1 + a21 X2 + .+ ap1Xp = a1TX

(3.2)

Var (W1) = a1T S a1

Vektor a1T adalah vektor normal dan a1T a1= 1 dipilih
sehingga Var (W1) maksimum. Sehingga
dipunyai masalah : maksimumkan Var (W1) = a1TSa1
dengan kendala a1T a1 =1
atau a1T a1 1 = 0. Dibentuk fungsi lagrange L = a1T S a1
-(1(a1T a1 1).
(L/(a1 = ( S -(1I) a1. Diambil (L/(a1 = 0 , maka ( S -(1I) a1 =
0 ( persamaan ini dikenal dengan
persamaan karakteristik) dari matriks S, (1 adalah akar
karakteristik dari matriks S dan a1 adalah
vektor karakteristik yang bersesuaian dengan akar
karakteristik (1. Berdasarkan ( S -(1I) a1 =
0 dapat diperoleh a1T S a1 = (1. Karena a1T S a1 harus
maksimum maka (1 dipilih akar karakteristik
yang terbesar.
Komponen utama kedua adalah kombinasi linear dari X1,X2,
.,Xp yang tidak berkorelasi dengan
komponen utama pertama, serta memaksimumkan sisa
keragaman data setelah diterangkan oleh
komponen utama pertama.

W2 = a12 X1 + a22 X2 + .+ ap2Xp = a2TX

(3.3)

Var (W2) = a2T S a2

Vektor a2T adalah vektor normal yang dipilih sehingga
keragaman komponen utama kedua
maksimum serta ortogonal terhadap a1T.
Sehingga dipunyai masalah : maksimumkan Var (W2) =
a2TSa2 dengan kendala a2T a2 =1
atau a2T a2 1 = 0 dan a1T a2 = 0. Dapat dibentuk fungsi
lagrange sebagai berikut :

L = a2T S a2 -(2(a2T a2 1) -(. a1T a2. Bila fungsi lagrange

diturunkan secara parsial terhadap
a2 dan nilai turunan tersebut sama dengan nol akan
diperoleh :

( S -(2I) a2 -(. a1 = 0, sehingga diperoleh a2T S a2 = (2.

Karena a2T S a1 harus maksimum maka
(2 dipilih akar karakteristik yang terbesar kedua.
Secara sama untuk komponen utama ke j ( j=1,2,..,p) dapat
dinyatakan dalam bentuk :

Wj = a1j X1 + a2j X2 + .+ apjXp = ajTX

(3.4)
Var (W2) = ajT S aj

Vektor ajT adalah vektor normal yang dipilih sehingga

komponen utama ke j maksimum, serta
ortogonal terhadap aiT dengan i ( j dan diperoleh Var (Wj) =
(j yang merupakan akar karakteristik
terbesar ke j.

Pada masalah regresi biasanya skala pengukuran untuk

peubah-peubah bebas
X1,X2,.,Xp biasanya belum sam , sehingga perlukan
disamakan dengan cara trasformasi
kedalam peubah baku Z sebagai berikut :

Zi = ( Xi E(Xi)) / (Var(Xi))1/2
..(3.5)

Komponen utama dibentuk sebagai kombinasi linear dari

Z1, Z2,.., Zp sebagai berikut :
W1 = a11 Z 1 + a21 Z2 + .+ ap1Zp
W2 = a12 Z1 + a22 Z2 + .+ ap2Zp
..(3.6)
Wp = a1p Z 1 + a2p Z2 + .+ app Zp
Bila ditulis dengan notasi matriks : W = AZ

Cov (Z) adalah matriks korelasi R. Semua formula yang

telah diturunkan berdasarkan peubahpeubah
X1, X2,., Xp dengan matriks S akan berlaku untuk
peubah-peubah Z1, Z2,.., Zp dengan
matriks R. Sehingga diperoleh komponen utama pertama :

W1 = a11 Z 1 + a21 Z2 + .+ ap1Zp = a1T Z

..(3.7)
Var (W1) = a1T R a1
Harga Var (W1) = (1 yang merupakan akar karakteristik
terbesar dari R dan a1 merupakan vektor

karakteristik yang bersesuaian dengan (1. Demikian juga

untuk komponen utama ke dua dan

seterusnya , secara umum komponen utam ke j :

Wj = a1j Z1 + a2j Z2 + .+ apjZp = ajT Z
(3.8)
Var (Wj) = ajT R aj
Vektor ajT adalah vektor normal yang dipilih sehingga
komponen utama ke j maksimum, serta
ortogonal terhadap aiT dengan i ( j dan diperoleh Var (Wj) =
(j yang merupakan akar karakteristik
terbesar ke j.

Pentingnya suatu komponen utama ke j diukur dengan

prosentase keragaman total yang
mampu diterangkan oleh komponen utama ke j yaitu sama
dengan (j / p. Dalam analisis
komponen utama dari p buah komponen utama dipilih k
(k<p) buah komponen utama yang telah
mampu menerangkan keragaman cukup tinggi, sekitar 80%
-90%. Setelah dipilih komponenkomponen
utama yang akan digunakan (sebanyak k buah) selanjutnya
ditentukan persamaan
regresi dari peubah takbebas Y dengan komponen utama
tersebut. Diperlukan penghitungan skor
komponen utama dari setiap pengamatan dengan
menggunakan rumus :

SK-Whi = aiT Zh
..(3.9)

Dengan : SK-Whi adalah skor komponen ke i untuk

pengamatan ke h
aiT vektor pembobot komponen utama ke i
Zh vektor skor baku dari peubah yang diamati pada
pengamatan ke h

Bentuk umum model persamaan regresi komponen utama

adalah :
Y = (0 + (1 W1 + (2 W2 + .+ (k Wk +
( (3.10)
Dengan menggunakan metode kuadrat terkecil diperoleh
dugaan persamaan regresi :
Y^ = b0 + b1 W1 + b2 W2 ++ bk Wk
..(3.11)
Dengan menggunakan persamaan (3.6) diperoleh
persamaan dengan bentuk :
Y^ = c0 + c1 Z1 + c2 Z2 ++ cp Zp
.(3.12)
Untuk menguji signifikansi koeficien ci sebagai berikut :
H0 : ci = 0 vs H1 : ci ( 0 digunakan statistik hitung thit (ci) =
ci / (Var(ci))1/2
Dengan : Var (ci) = (KTG / JKT) (j aij2/(j . Tolak H0 jika |thit
(ci)| > tn-k(().
Akhirnya dengan menggunakan persamaan (3.5) diperoleh
persamaan regresi :
Y^ = d0 + d1 X1 + d2 X2 +..+ dp Xp
(3.13)
Untuk mengetahui tingkat responsif (sensitivitas) dari
peubah takbebas Y terhadap
perubahan dalam peubah-peubah bebas Xi, dihitung
elastisitas rata-rata dari peubah takbebas Y

terhadap setiap peubahan bebas Xi, dalam model regresi

persamaan (3.13) dengan rumus :

; dengan i = 1, 2,.., p .(3.14)

Pada dasarnya elastisitas rata-rata Y terhadap setiap
peubah bebas Xi mengukur prosentase
perubahan-perubahan dalam nilai rata-rata Y apabila terjadi
perubahan 1% dalam nilai rata-rata
peubah bebas Xi .

Metode Principle Component Analysis (PCA)

Prosedur PCA pada dasarnya adalah bertujuan untuk
menyederhanakan variabel yang diamati dengan cara menyusutkan
(mereduksi) dimensinya. Hal ini dilakukan dengan cara
menghilangkan korelasi diantara variabel bebas melalui transformasi
variabel bebas asal ke variabel baru yang tidak berkorelasi sama
sekali atau yang biasa disebut dengan principal component. Setelah
beberapa komponen hasil PCA yang bebas multikolinearitas
diperoleh, maka komponen-komponen tersebut menjadi variabel
bebas baru yang akan diregresikan atau dianalisa pengaruhnya
terhadap variabel tak bebas (Y) dengan menggunakan analisis regresi
, dengan sedikit faktor , sebesar mungkin varians X1.

Dengan analisis komponen utama kita akan mereduksi data

pengamatan ke dalam beberapa set data sedemikian sehingga
informasi dari semua data dapat kita serap seoptimal mungkin .
Dengan demikian analisis komponen utama dapat dipandang sebagai
transformasi dari X1, X1,. Xp . Misal X1, X1,. Xp mempunyai matriks
varians-kovarians = (2ij),

i= 1,2.p : j= 1,2,.p dan tersebut mempunyai nilai eigen 1

2 . p0
Principal Component yang pertama dinyatakan dengan PC1
mengandung jumlah terbesar dari total variasi data.

PC1 sebagai kombinasi linier dalam variabel Xi. ; i = 1,2p

PC1 a11 X 1 a12 X 12 ... a1 p X p ........ (3)

Dimana a1i dipilih , sehingga memaksimalkan rasio dari variance PC1

a
2
1i 1
terhadap total variance, dengan pembatas bahwa
Adapun pembentukan regresi komponen utama melalui analisis
komponen utama ada dua cara.
Pertama, pembentukan komponen utama berdasarkan matriks kovariansi.
Kedua, pembentukan komponen utama berdasarkan matriks korelasi .

3.1.1. Komponen Utama Yang Dibentuk Berdasarkan Matriks

Kovarians

Proses mereduksi data dalam analisis komponen utama akan

diuraikan seperti di bawah ini :
Melalui data asal Xnxp akan dicari matriks varian kovarian dimana
unsur-unsurnya adalah

1 p
S jk ( X i j X j )( X ik X k )
n 1 j 1
,
Kemudian dari matriks varians kovarians tersebut dicari nilai eigen
i dengan

i = 1,2,p , yang diperoleh dari bentuk persamaan determinan :

S i I 0
dari nilai eigen tersebut , dihitung vector-vektor eigen
melalui persamaan Sei = i ei i=1,2,.p

1 x100%
p
Dengan PC1, mengandung varians Xi. sebesar hanya tidak
perlu bahwa PCi,
mempunyai eigen value terbesar i , yang menjelaskan komponen terbesar.
Bila 80% - 90% dari total varians X hasil reduksi bisa dijelaskan oleh
komponen utama tersebut sudah bisa menggantikan p buah variabel data asal
tanpa kehilangan banyak informasi ( Johnson,R.A and Wichern,D.W(1992))
Loading dari variabel Xi terhadap PC ke j adalah

a ij j

sii
Loading = korelasi
Setelah mendapatkan faktor yang terbentuk melalui proses reduksi , maka
perlu dicari persamaannya, dalam bentuk Y= F(X1*, X2*) yang merupakan
model baru dengan
X1*= variabel komponen 1
X2*= variabel komponen 2
Xk*= variabel komponen k
Model di atas lebih sederhana dibandingkan model regresi multipel awal
yang berbentuk :
Yi = 0 + 1Xi1 + 2Xi2 + ...+ kXik + i atau Y= F (X1, X2, Xk)

Proporsi total varians populasi yang dijelaskan oleh komponen utamake-k

k k
..........(5)
tr () 1 2 ... p
dengan k =
1,2,,p
3.1.2. Regresi komponen utama yang dibentuk berdasarkan
matriks kovariansi

Misal matriks P adalah matriks orthogonal dengan memenuhi persamaan P1P

= P P1,=I
,k
arena W=XCP
Maka proses persamaan regresi linier berganda menjadi regresi komponen
utama yaitu:

Y = XC +

1
Y = XC P P +
Y = W + ......... (8)
Dengan XC merupakan matriks yang elemen-elemennya dikurang dengan
rata-rata (centered) dengan asumsi rata-rata nol dan variansi 2 , Y adalah
variabel acak bebas , Wk adalah suatu matriks berukuran nxk yangkolom-
kolomnya terdapat komponen utama ke-k, k adalah vektor koefesien
komponen utama berukuran kx1 ,dan adalah vektor berukuran nxk

3.2.1. Komponen Utama Yang Dibentuk Berdasarkan Matriks Korelasi

Komponen utama ke-i ; Wi yang dibentuk berdasarkan variabel-
variabel yang telah dibakukan Z = (Z1, Z2,.........Zp).dengan cov(Z) =
didefenisikan sebagai berikut : ...

. Wi = ei1Z1 + ei2Z2+ ...+ eipZp i=1,2...p ........... (6)

Sementara itu , proporsi total variansi yang dapat dijelaskan oleh komponen
ke k berdasarkan variabel bebas yang telah dibakukan didefenisiskan
sebagai berikut:
Proporsi total varians populasi yang dijelaskan oleh
komponen utamake-k
k
k ..........(7)
tr ( p ) p

Dengan k =adalah eigen dari , dan k = 1,2,,p

Adapun cara pembentukan regresi komponen utama melalui analisis
komponen utama ada dua cara.
Pertama, pembentukan komponen utama berdasarkan matriks kovariasi.
Kedua, pembentukan komponen utama berdasarkan matriks korelasi .
(Soemartini,2012) Soemartini.2012. Aplikasi Principal
Component Analysis (Pca) Dalam Mengatasi Multikolinieritas Untuk
Menentukan Investasi Di Indonesia Periode 2001.1-2010.4.
Bandung:UNPAD

Multikolinearitas
Istilah multikolinearitas atau kolinearitas ganda dikenalkan oleh
Ragner Frish yang berarti adanya hubungan linear yang sangat tinggi
antar variabel-variabel bebas dalam model regresi. Bila peubah-peubah
 bebas saling berkorelasi sangat tinggi dapat mengakibatkan tidak
diperolehnya informasi yang tepat mengenai koefisien regresi yang
sebenarnya (populasi), walaupun antara peubah tak bebas dan peubah-
peubah bebas terdapat hubungan yang signifikan.
Pada analisis regresi, multikoliniearitas dikatakan ada apabila
beberapa kondisi berikut dipenuhi :
1. Pemeriksaan elemen matriks korelasi dari peubah-peubah
bebas cukup tinggi . Jika variabel bebas tersebut berkorelasi
sempurna yaitu koefisien korelasinya mendekati -1 atau 1
maka dicurigai terdapat masalah multikolinearitas pada data.
2. Menggunakan variation inflation factor (VIF), cara untuk
mengetahui variabel bebas X mana yang berkorelasi dengan
variabel lainnya, dengan menghitung nilai variance inflation
factors (VIF) dengan rumus sebagai berikut

dimana R2 merupakan koefisien determinasi. Jika nilai VIF

lebih besar dari 10 maka dapat diidentifikasikan dalam variabel
bebas terdapat multikolinearitas pada data [7].

Penulis koresponden.

Alamat E-mail: Riskasavitri.stat@gmail.com

2.2 Analisis Komponen Utama

Analisis komponen utama bertujuan untuk menyederhanakan
variabel yang diamati dengan cara mereduksi dimensinya. Hal ini
dilakukan dengan menghilangkan korelasi variabel melalui
transformasi variabel asal ke variabel baru yang tidak berkorelasi [4].
Jika didefinisikan A sebagai matriks konstan berukuran k x k,
maka komponen utama didefinisikan sebagai variabel baru (F) yang
merupakan hasil transformasi dari variable asal yang modelnya dapat
ditulis dalam bentuk matriks adalah F = AX, dimana F adalah
komponen utama , A adalah matriks konstan berukuran k x k , dan X
adalah variabel asal.
Secara umum, vektor pembobot komponen utama ke-j (j=1,2,
'
,k) yaitu a j ditentukan dengan cara sebagai berikut :
 '
F j=a 1 j X 1+ a2 j X 2 +a 3 j X 3+ +a kj X k =a j X
k k
s F = a ik a jk s ij =a j S a j
2 '
j
i=1 j=1

Agar ragam dari komponen utama ke-j maksimum serta antara

komponen utama ke-j tidak berkorelasi dengan komponen utama ke-i
'
untuk i j , maka vektor pembobot a j haruslah dipilih dengan

kendala a'j a j=1 serta a'i a j=0 , untuk i j (i,j=1,2,,k).

Untuk menghitung akar ciri (

j dan vektor ciri (
a j

pada analisis komponen utama digunakan matriks varian covarian S

untuk variabel yang diamati (k buah variabel) yang diukur dalam
satuan pengukuran yang sama. Jika dari k variabel yang diamati itu
tidak semuanya menggunakan satuan pengukuran yang sama, maka
variabel asal itu perlu dibakukan ke dalam variabel baku dengan
menentukan komponen utama berdasarkan matriks korelasi (
[2].

2.2.1 Komponen Utama Berdasarkan Matriks Korelasi ( )

Jika variabel yang diamati tidak mempunyai satuan
pengukuran yang sama, maka variabel tersebut perlu dibakukan
sehingga komponen utama ditentukan dari variabel baku. Pembakuan
variabel asal X ke dalam variabel baku Z, dapat dilakukan pada
persamaan berikut Z =X d D1 /2 , dimana Z, adalah data yang

terstandarisasi, D1/ 2 adalah invers akar kuadrat dari D, dimana D

diperoleh dari variansi sampel dari variabel-variabelnya,
didefinisikan matriks diagonal D, dimana diagonal matriks berisi
variansi sampel dari masing-masing variabel. Dengan demikian,
komponenkomponen utama dari Z dapat ditentukan dari vektor ciri
matriks korelasi variabel asal , maka matriks korelasi
diduga berdasarkan matriks korelasi R, persamaan dari korelasi R
 1 /2 1/ 2
yaitu R=D CD , diamana matriks kovariansi yang
dinotasikan dengan C.
Dengan demikian dapat dibuatkan suatu pernyataan umum
yang berkaitan dengan analisis komponen utama yang diturunkan
dari matriks korelasi R. Akar ciri dari matriks R merupakan variansi
dari komponen komponen semula. Akar ciri terbesar (
1 ,

untuk komponen utama yang pertama (

F1 ). Akar ciri kedua (

2 , untuk komponen utama yang kedua ( F2 ) dan seterusnya

sehingga akar ciri terkecil (

k , untuk komponen utama ke-k (

F k ). Komponen utama yang pertama, F1 merupakan

kombinasi linear dari variabel asli yang mempunyai akar ciri yang
1 : F1
paling besar ( =
a11 Z 1+ a21 Z2 + a31 Z 3 ++ ak 1 Z k = a'1 z . Komponen utama

F2
yang kedua, merupakan kombinasi linear yang berhubungan
F1 , mempunyai akar ciri yang paling besar ( 2
dengan :
F2 = a12 Z 1+ a22 Z 2+ a32 Z 3+ +a k2 Z k = a'2 z . Komponen

utama yang ketiga merupakan kombinasi linear yang berhubungan

dengan
F1 dan
F2 , mempunyai akar ciri yang paling besar (

3 , dan seterusnya, akj di dalam persamaan ini

menghadirkan koefisien regresi dari komponen utama ke-j (j = 1,2,
,k) dari pengamatan berdimensi k variabel baku (variabel asal yang
di bekukan satuan pengukurannya) adalah merupakan kombinasi
linear terbobot variabel baku yang dinyatakan dalam bentuk berikut
'
F j=a 1 j Z 1+ a2 j Z 2 ++ akj Z k =a j z

Untuk mengukur keeratan hubungan (korelasi) antara

variabel asal dan komponen utama dapat dilihat melalui besarnya
koefisien korelasi antara variabel asal dan komponen utama
menggunakan persamaan
r z F =a ij j
i j , dimana
aij adalah
j
unsur ke-i dari akar ciri ke-j dan adalah yang bersesuain
dengan akar ciri.
Untuk meregresikan komponen utama dengan variabel tak
bebas, maka perlu dihitung skor komponen dari setiap pengamatan.
Untuk komponen utama yang diturunkan dari matriks korelasi ,
maka skor komponen utama dari unit pengamatan ke-i (i = 1,2,,k)
' ' '
ditentukan oleh F k1=a1 z k , Fk 2=a2 z k , , F ki =ai z k , dengan

'i adalah vektor pembobot komponen utama ke-i dan

zk

adalah vektor skor baku dari variabel yang diamati pada pengamatan
ke-k.

2.2.2 Kontribusi Komponen Utama dan Kriteria Pemilihan

Komponen Utama
Kontribusi komponen utama yang diturunkan dari matriks
korelasi adalah sebagai berikut. Proporsi total variansi populasi yang
dijelaskan oleh komponen utama ke-j berdasarkan matriks korelasi R,
dimana semua unsur diagonalnya 1, sehingga tr(R) = k, akibatnya
1 + 2 ++ k =k . Jadi persentase keragaman total yang

mampu diterangkan oleh komponen utama ke-j yaitu sebesar ragam

komponen ke-j dibagi dengan ragam total

j
= j
tr (R) k

Dengan
j adalah akar ciri terbesar ke-j dari matriks

korelasi R dan tr( R) adalah Trace matriks R yang merupakan

jumlah diagonal utama matriks R, yang tidak lain sama dengan
banyaknya variabel yang diamati, atau sama dengan jumlah semua
akar ciri yang diperoleh dari matriks R [2].
Kriteria pemilihan komponen utama yaitu :
 1. Didasarkan pada akar ciri yang lebih besar dari satu, dengan
kata lain hanya komponen utama yang memiliki akar ciri lebih
besar dari satu yang dilibatkan dalam analisis regresi
komponen utama, karena akar ciri yang dibawah 1 atau yang
mendekati 0 biasanya tidak dipergunakan karena dalam
menerangkan keragaman data sangat kecil.
2. Proporsi kumulatif keragaman data asal yang dijelaskan oleh
k komponen utama minimal 80%, dan proporsi total variansi
populasi bernilai cukup besar [2].

2.2.3 Metode Regresi Komponen Utama

Regresi komponen utama bertujuan untuk mengubah sebagian
besar variabel asli yang digunakan yang saling berkorelasi satu dengan
yang lainnya, menjadi satu set variabel baru yang lebih kecil dan
saling bebas (tidak berkorelasi lagi), dan merupakan kombinasi linier
dari variabel asal. Selanjutnya variabel baru ini dinamakan komponen
utama (principal component). Secara umum tujuan dari analisis
komponen utama adalah mereduksi dimensi data sehingga lebih
mudah untuk menginterpretasikan data-data tersebut. Hal ini
dilakukan dengan menghilangkan korelasi variabel melalui
transformasi variabel asal ke variabel baru yang tidak [2].
(Safitri,Riska.2014. Estimasi Interval Kepercayaan
Jackknife Pada Parameter Regresi Komponen Utama.
Makassar:Universitas Hasanuddin