PENGGUNAAN METODE BACKWARD ELIMINATION

UNTUK MENGATASI MASALAH MULTIKOLINEARITAS

MAKALAH
Untuk memenuhi tugas matakuliah
Analisis Regresi
Yang dibina oleh Bapak Ir. Hendro Permadi


Oleh:
Kelompok 3
1. Rizky Dinar Palupi (408312408016)
2. Inayatul Fitriyah (408312411951)
3. Baharudin Kristian P (408312413111)
4. Furintasari Setya Astuti (408312413113)









UNIVERSITAS NEGERI MALANG
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
JURUSAN MATEMATIKA
Desember 2010


BAB I
PENDAHULUAN

Latar belakang
Regresi dalam statistika adalah salah satu metode untuk menentukan
hubungan suatu variabel terhadap variabel yang lain. Variabel yang pertama
disebut dengan variabel bebas atau variabel X karena seringkali digambarkan
dalam grafik sebagai absis. Variabel yang kedua adalah variabel terikat atau
variabel Y, dalam grafik digambarkan sebagai ordinat.
Apabila kita menggunakan model regresi Y = B
0
+ B
1
X
1
+ B
2
X
2
+ +
B
k
X
k
+ e, dalam hal ini kita mempunyai asumsi bahwa X
1,
X
2,
X
3,
X
k
sebagai variable-variabel bebas tidak berkorelasi satu sama lain. Seandainya
variable-variabel bebas tersebut berkorelasi satu sama lain, maka dikatakan terjadi
kolinearitas berganda (multicollinearity). Ada kemungkinan terjadi 2 variabel atau
lebih mempunyai hubungan yang sangat kuat sehingga pengaruh masing-masing
variable tersebut terhadap Y sukar untuk dibedakan (Supranto, 2001).
Multikolinearitas adalah kondisi terdapatnya hubungan linier atau korelasi
yang tinggi antara masing-masing variabel independen dalam model regresi.
Multikolinearitas biasanya terjadi ketika sebagian besar variabel yang digunakan
saling terkait dalam suatu model regresi. Oleh karena itu masalah
multikolinearitas tidak terjadi pada regresi linier sederhana yang hanya
melibatkan satu variabel independen.
Rumusan Masalah
1. Bagaimana mendeteksi adanya kasus multikolinearitas ?
2. Bagaimana menyelesaikan kasus multikolinearitas dengan menggunakan
metode backward elimination ?
Tujuan
1. Untuk mendeteksi adanya kasus multikolinearitas pada suatu model
regresi.
2. Untuk mengetahui cara menyelesaikan kasus multikolinearitas dengan
menggunakan metode backward elimination.

BAB II
PEMBAHASAN

Dalam suatu penelitian ilmiah biasanya yang diteliti adalah hubungan
antara peubah, dimana perubah itu sebut saja hubungan antara peubah, dimana
peubah itu sebut saja peubah bebas X dan peubah tak bebas Y. Hubungan tersebut
dapat pula berupa hubungan fungsional antar peubah yang satu dengan peubah
yang lain. Tetapi masing-masing peubah merupakan bilangan random, sehingga
bilamana peubah Y dipengaruhi atau ditentukan besarnya oleh peubah X maka
dapat dikatakan bahwa permasalahan tersebut dapat diselesaikan dengan
menggunakan teknik analisis regresi (Nugroho, 1990b).
Dalam penelitian ini analisis yang dipergunakan adalah Analisis Regresi
Berganda. Menurut Nugroho (1990b) ada beberapa alas an dipergunakan Regresi
Berganda :
a. Membuat persamaan didalam X yang memberikan prediksi yang terbaik
terhadap Y. Dengan adanya banyak peubah X, mungkin juga termasuk
didalamnya pemilihan subset yang terbaik untuk memprediksi Y.
b. Dengan mengetahuinya peubah-peubah yang berpengaruh terhadap Y,
mungkin perlu membuat rangking yang didasarkan pada besarnya
pengaruh terhadap Y.

Analisis Regresi Linier Berganda merupakan bentuk umum sedangkan
Regresi Linier Sederhana merupakan bentuk khusus dari Regresi Linier Berganda
yaitu apabila satu peubah bebas yang dilibatkannya (Yitnosumartono, 1988)
Dalam melakukan analisis harus diperhatikan beberapa asumsi yang
mendasarinya:
a. Nilai harapan bersyarat galat yang disebabkan oleh peubah bebas X harus
sama dengan nol atau E(qI) = 0, I = 1,2,3,....n
b. Setiap galat yang disebabkan peubah bebas mempunyai varian yang sama
artinya var (qI) = 0
2,
untuk setiap I, I = 1,2,3,...n
c. Tidak ada multikolinieritas yang berarti tidak ada hubungan linier antara
peubah bebas.
Dalam regresi linier berganda terdapat satu peubah tak bebas yang akan
dilihat hubungannya dengan dua atau lebih peubah bebasnya, umpakan bahwa
pengamatan-pengamatan Y dapat dinyatakan dengan fungsi-fungsi linier dari
beberapa X
1
,X
2
,X
3
,...X
n
yang diketahui dan faktor sisa. Model populasinya adalah
sebagai berikut:
Y
i
=
0
+
1
X
1i
+
2
X
2i
+...+
p
X
pi
+ q
I
........................................5.8
I = 1,2,3...N
Dimana Y
i
= Nilai pengamatan

yang ke-1
X
1
.....X
n
= peubah bebas yang menentukan nilai pengamatan ke-i

1...........

p
= koefisien-koefisien regresi sebagian (parsial) untuk peubah
X
1i
,... X
pi
.
Secara berturut-turut

0
= titik potong sumbu Y
e
i
= faktor sisaan yang ke-i
N = banyaknya pengamatan
Nilai-nilai parameter tersebut dapat diduga dengan b
0
, b
1
, ...b
p
sehingga
modelnya menjadi :
Y
i
= b
0
+ b
1
X
1i
+ b
2
X
2i
+...+ b
p
X
pi
+ e
i
........................................5.9
Menurut Soekarwati (1990) didalam menggunakan teknik analisis regresi
berganda mempunyai dua keuntungan dalam menganalisis data dibandingkan
dengan analisis regresi linier sederhana yaitu:
a. Dalam prakteknya, faktor yang mempengaruhi adalah lebih dari satu
peubah, dan
b. Garis penduga yang didapatkan akan lebih baik dan tidak begitu biasa bila
dibandingkan dengan cara analisis sederhana
Untuk mendapatkan garis penduga yang baik dari analisis regresi berganda
adalah perlu ada asumsi seperti yang telah disebutkan diatas. Dalam penelitian
analisis regresi linier berganda sering digunakan untuk mengukur pengaruh dari
peubah X terhadap peubah Y, akan tetapi analisis regresi mempunyai keterbatasan
yaitu bila ada hubungan kolerasi sehingga arti koefisien regresi akan
membingungkan (Nugroho,1990b)
Dari persamaan (5.9) terlihat apabila nilai harapan bersyarat Y ambil maka
oleh karena E (e
i
) = 0 dapatkan hasil sebagai berikut :
E (Y
i
/K
1
,X
2
,,,,X
p
) = b
0
+ b
1
X
1
+ b
2
X
2
+...+ b
p
X
p
Persamaan ini merupakan nilai harapan bersyarat Y dengan X
1
,X
2
,...X
p

diketahui, Analisa regresi berganda menghasilkan nilai bersyarat Y bila X
1
, X
2
,...,
X
p
diketahui, karena Y tergantung pada peubah X
1
,X
2
,...X
p
maka disebut rata-rata
bersyarat alasannya adalah karena Y akan berubah bila X
1
, X
2
,...X
p
berubah.
Metode yang digunakan kuadrat terkecil biasa terdiri dari pemilihan nilai
dari parameter yang tidak diketahui sedemikian rupa sehingga jumlah galat bisa
minimum atau dikemukakan secara sederhana, cara menghitung b
0
, b
1
,...b
p
adalah
sedemikian sehingga Se
2
= minimum, caranya dengan menurunkan parsial dari
Se
2
berturut-turut tehadap b
0
, b
1
, b
2
,...,b
p
kemudian disamakan dengan nol
( )( )

= = 0 1 .... 2
2 2 1 1 0 1
0
2
p p
X b x b x b b Y
b
e o

( )( )

= = 0 .... 2
2 2 1 1 0 1
1
2
l p p
X X b x b x b b Y
b
e o

( )( )

= = 0 .... 2
2 2 1 1 0 1
2
l p p
X X b x b x b b Y e o
: : :
: : :
: : :
( )( )

= = 0 .... 2
2 2 1 1 0 1
1
2
p p p
p
X X b x b x b b Y
b
e o

Setelah sederhana didapat persamaan normal sebagai berikut:
SY = b
0
+ b
1
X
1
+ b
2
X
2
+...+ b
p
X
p

+ + + + =
= p p X
X X b X b X b b Y X
1
2
1 2 2 1 1 1 0 1
.....

+ + + + =
2 2
2 2 1 1 0 2
.....
p p p p
X b X b X X b b Y X
: :
: :
: :

+ + + + =
2
2 2 1 1 0
.....
p p p p p p
X b X X b X X b b Y X


Persamaan diatas dapat ditulis dalam catatan matrik:
X b y
(
(
(
(
(

2
2 1
2
2
2 2 1
1 2 1
2
1
2 1
........ ..........
.......... ..........
....... ..........
...... ..........
p p p p p
p
p
p p
X b X X X X X
X b X X X
X b X X X
X b X X n
(
(
(
(
(

p
b
b
b
b
2
1
0
(
(
(
(
(

Y X
Y X
Y X
p
y
2
1

Dimana matrik pertama diberi nama matrik X selanjutnya ditulis vektor b dan
vektor Y.


Analisis varian adalah menguraikan keragaman total kedalam komponen-
komponennya:
( ) ( ) ( ) ( ) n I e X X b X X b X X X X b Y Y Y
i p p i i i i
,... 3 , 2 , 1 , ....
2 2 1 1 1
= + + + + + + =


p p
X b X b X b Y b = ......
2 2 1 1 0
dimana
1
= i
i
Y e
Sehingga:
( ) ( ) ( ) ( ) ( ) ( ) + = + + + + =
i i i p pi p i i i
Y Y Y Y X X b X X b X X b Y y .......
2 2 2 1 1 1

Dengan mengkuadratkan ( )
i
Y dan dijumlahkan menurut I didapatkan:
( ) ( ) ( ) ( )( )

+ + =
I i i I i i i
Y Y Y Y Y Y Y Y Y
2
2 2

( )( ) ( )( ) ( ) ( )( )( ) ( )

+ = + + =
2
Y Y Y Y Y Y Y Y Y Y Y Y Y
i I I i i I
I
i I i i

( )( ) ( )

=
2
Y Y Y Y Y
i I i

Sehingga dapat ditulis jadi
( ) ( )

= Y Y Y
I i
2

( )( ) ( )

= + + = = n i Y Y X X Y Y
i i I ji
,... 3 , 2 , 1 ,
2 2 2 2



+ =
2 2 2
d Y
Dimana

2
Y = JK Total = ( )

2
Y Y

2
Y = JK Regresi = b
1
X
1
Y + b
2
X
2
Y+...+ bp(XpY)


= Y X b Y d
1 1
2 2
- b
2
X
2
Y...- bp(XpY)
Tabel 1. Analisis varian regresi linier berganda dengan p peubah bebas
SB DB JK KT F
Regresi P
( )

2
Y Y
i
=JKR
JKR/p=r r/d
Galat n- P - 1
( )

2
Y Y
i
=JKG
JKG/n-p-1=d
Total n-1
( )

2
Y Y
i



Setelah perhitungan selesai dilakukan maka dari hasil perhitungan itu bisa
dibuat persamaan. Karena peubah Y dipengaruhi oleh beberapa peubah maka bisa
diuji apakah masing-masing peubah itu secara sendiri-sendiri bisa dipengaruhi
peubah Y atau bisa juga kita menguji apakah peubah Y itu dipengaruhi oleh
beberapa variabel X secara bersama-sama. Dengan Hipotesis sebagai berikut:
H
0
:
1
=
2
=.....
H
1
: Salah satu beda
Apabila F
hit
> F
tabel
maka H
0
ditolak yang berarti bahwa X
1
,X
2
,X
3
adalah
mempengaruji Y secara bersama-sama.
Berdasarkan dari matriks korelasi kita dapat mengetahui gambaran
kolinearitas ganda antara peubah bebas secara kasar dengan jalan menggunakan
metode membanding koefisien korelasi dalam matriks korelasi dengan nilai kritis
r pada taraf nyata . Dari koefisien yang terpilih lalu dihitung korelasi parsialnya
setelah itu langsung dilakukan pengujian hipotesis dimana :
H
0
: R = I
H
I
: R I
Adapun statistic uji yang digunakan adalah :
t
hit
=

dimana :
n = banyaknya pengamatan
k = banyaknya peubah bebas
Bila mana H
0
benar maka thit mengikuti distribusi t dengan derajat bebas
n-k pada taraf nyata , jika thit > t
1/2(n-k)
maka H0 ditolak yang berarti
kolinearitas ganda disebabkan karena X
i
dan X
j
terjadi secara bersama-sama
dalam regresi.
Mendeteksi Kolinearitas Ganda
Beberapa cara mengetahui apakah suatu model regresi itu mempunyai
kolinearitas ganda atau tidak adalah sebagai berikut:
a. Suatu model yang variable-variabel penjelasnya bersifat kolinearitas
memperlhatkan tanda-tanda sebagai berikut:
1. Koefisien determinasi ganda R
2
tinggi
2. Koefisien korelasi sederhananya tinggi
3. Nilai F hitung tinggi
4. Tak satupun (sedikit sekali diantaranya) variable-variabel
bebas memiliki uji-t yang significan, walaupun keadaan 1, 2
dan 3 terpenuhi.
b. Jika hanya ada dua variable bebas yang ternyata korelasi antara kedua
variable itu tinggi, maka dapat merupakan indikasi bahwa dalam model
tersebut terjadi kolinearitas. Akan tetapi apabila model itu mempunyai
lebih dari dua variable bebas, walaupun korelasi antara dua variable
rendah, tidak dapat menjadi jaminan bahwa model tersebut tida bersifat
multikollinearitas.
c. Apabila model yang akan diuji adalah: Y = f( X
2,
X
3,
X
4
)
dengan koefosien determinasi gandanya adalah tinggi yakni: R
2
1.234
=
mendekati 1, akan tetapi r
2
12.34,
r
2
13.24,
r
2
14.23
mempunyai nilai yang sangat
rendah dibandingkan nilai kofisien determinasi ganda antara Y dengan X
2,

X
3,
dan X
4
berarti ada kolinearitas ganda.
d. Mengadakan uji F antara variable-variabel bebasnya. Jika F hitung
dibandingkan dengan F tabel dan ternyata signifikan maka dapat dianggap
bahwa ada multikolinearitas (Awat, 1995).
Akibat Adanya Kolinearitas Ganda
- Jika hubungan antar variable bebasnya sempurna, maka koefisien
regresi parsial tak akan dapat diestimasi.
- Kalau hubungan tersebut tidak sempurna, maka koefisien regresi
parsial masih bisa diestimasi, tetapi kesalahan baku dari penduga
koefisien regresi parsial sangat besar. Hal ini menyebabkan
pendugaan/peramalan nilai Y kurang teliti.
Cara Mengatasi Masalah Kolinearitas Ganda
- Memeriksa secara teoritis untuk mengetahui apakah antara variable
bebas memang ada hubungannya.
- Mengadakan penggabungan antara data cross-section dan time series,
yang akan disebut sebagai polling data.
- Mengeluarkan salah satu variable bebasnya dari model tersebut.
- Mentransformasi variable yang ada dalam model.
- Menambah data baru, yakni menambah jumlah observasi atau n.
Dengan semakin besarnya n, maka ada kemungkinan bahwa standard
error akan semakin kecil pula.
APLIKASI
TEKAN
AN
DARAH
(Y)
UMUR
(X1)
OLAHRAG
A/MINGGU
(X2)
BERAT
BADAN
/kg (X3)
sLAMA
ISTIRA
HAT /
jam (X5)
158 41 0 60 7
185 60 0 63 3
152 41 1 70 4
159 47 0 75 2
176 66 1 69 6
156 47 3 65 5
184 68 5 84 3
138 43 4 52 6
172 68 0 78 7
168 57 2 75 5
176 65 1 57 4
164 57 3 77 6
154 61 2 68 7
124 36 6 70 5
142 44 3 67 5
144 50 3 71 3
149 47 2 70 2
128 19 4 45 6
130 22 5 55 5
138 21 6 52 3

Dari data di atas maka didapat persamaan regresinya sebagai berikut :




Dari dua tampilan di atas terlihat adanya perubahan tanda pada variabel x3
dari negative menjadi positif. Hal ini menunjukan adanya kasus multikolinearitas
pada model di atas. Karena ada hubungan anatara variable bebasnya maka kita
akan menyelesaikan model di atas dengan cara Backward Elmination.

Dari tampilan data di atas dengan = 0,1 terlihat bahwa p-value pada
variabel x3(berat badan) sangat tinggi, yaitu 0,427 yang melebihi nilai . Maka
dari itu variable x3 (berat badan ) harus dieliminasi dari model. Sehingga didapat
persamaan regresi sebagai berikut :

Ternyata nilai p-value dari x4 > = 0,1 sehingga variabel x4 ( lama
istirahat ) dieliminasi dari model regresi. Sehingga didapat persamaan regresi
sebagai berikut :

Ternyata nilai p-value dari x2 > = 0,1 sehingga variable x2 harus
dihapus dari model regresi. Sehingga didapat persamaan regresinya sebagai
berikut :

Karena nilai p-value dari x1 < = 0,1 dengan R-Sq = 73,9% maka dalam model
ini tidak terjadi kasus multikolinearitas, sehingga ini merupakan model terbaik
untuk masalah di atas.




BAB III
PENUTUP
Kesimpulan
Dalam setiap kasus regresi, mungkin saja terjadi kasus multikolinearitas.
Adapun cara untuk mengetahui adanya multikolinearitas atau tidak adalah sebagai
berikut :
Beberapa cara mengetahui apakah suatu model regresi itu mempunyai
kolinearitas ganda atau tidak adalah sebagai berikut:
e. Suatu model yang variable-variabel penjelasnya bersifat kolinearitas
memperlhatkan tanda-tanda sebagai berikut:
5. Koefisien determinasi ganda R
2
tinggi
6. Koefisien korelasi sederhananya tinggi
7. Nilai F hitung tinggi
8. Tak satupun (sedikit sekali diantaranya) variable-variabel
bebas memiliki uji-t yang significan, walaupun keadaan 1, 2
dan 3 terpenuhi.
f. Jika hanya ada dua variable bebas yang ternyata korelasi antara kedua
variable itu tinggi, maka dapat merupakan indikasi bahwa dalam model
tersebut terjadi kolinearitas. Akan tetapi apabila model itu mempunyai
lebih dari dua variable bebas, walaupun korelasi antara dua variable
rendah, tidak dapat menjadi jaminan bahwa model tersebut tida bersifat
multikollinearitas.
g. Apabila model yang akan diuji adalah: Y = f( X
2,
X
3,
X
4
)
dengan koefosien determinasi gandanya adalah tinggi yakni: R
2
1.234
=
mendekati 1, akan tetapi r
2
12.34,
r
2
13.24,
r
2
14.23
mempunyai nilai yang sangat
rendah dibandingkan nilai kofisien determinasi ganda antara Y dengan X
2,

X
3,
dan X
4
berarti ada kolinearitas ganda.
h. Mengadakan uji F antara variable-variabel bebasnya. Jika F hitung
dibandingkan dengan F tabel dan ternyata signifikan maka dapat dianggap
bahwa ada multikolinearitas (Awat, 1995).
Untuk mengatasi masalah multikolinearitas dapat dilakukan dengan berbagai
metode. Dalam hal ini kami menggunakan metode backward. Sistem kerja metode
eliminasi backward adalah memasukkan semua variable kemudian akan
dieliminasi satu per satu variable yang mempunyai kolinearitas yang sangat kuat
terhadap variable lain. Kemudian akan ditemukan persamaan regresi terbaik. Dari
masalah mengenai tekanan darah yang telah dibahas di atas maka didapat
persamaan y = 105 + 1,04 x1(umur). Persamaan ini adalah persamaan terbaik
yang sudah tidak terjadi kasus multikolinearitas.