Jelajahi eBook
Kategori
Jelajahi Buku audio
Kategori
Jelajahi Majalah
Kategori
Jelajahi Dokumen
Kategori
MAKALAH
Disusun untuk memenuhi tugas mata kuliah Analisis Regresi
yang dibina oleh Bapak Dr. Swasono Rahardjo, S.Pd, M.Si dan Ibu Azizah, S.Pd, M.Si
Oleh :
Kelompok 9
Ananda Eka Rahmawati (170312612013)
Nabilatul Fahma (170312612032)
Ulfinaini Rizkia Permana (170312612093)
Puji syukur kami panjatkan kehadirat Tuhan Yang Maha Esa, yang telah mencurahkan
segala nikmat dan karunia-Nya sehingga kami dapat menyelesaikan makalah ini.
Suatu kebahagiaan yang tidak ternilai bagi kami, yang telah menyelesaikan makalah ini, dengan
judul “Analisis Regresi Berganda”, untuk memenuhi salah tugas yang diajukan dalam mata
kuliah Analisis Regresi.
Penyusun
BAB 1
PENDAHULUAN
1.1 Latar Belakang
Analisis regresi merupakan salah satu teknik analisis data dalam statistika yang seringkali digunakan untuk
mengkaji hubungan antara beberapa variabel dan meramal suatu. Istilah “regresi” pertama kali dikemukakan oleh Sir
Francis Galton (1822-1911), seorang antropolog dan ahli meteorologi terkenal dari Inggris. Dalam makalahnya yang
berjudul “Regression towards mediocrity in hereditary stature”, yang dimuat dalam Journal of
the Anthropological Institute, volume 15, hal. 246-263, tahun 1885. Dalam mengkaji hubungan antara
beberapa variabel menggunakan analisis regresi, terlebih dahulu peneliti menentukan satu variabel yang disebut
dengan variabel tidak bebas dan satu atau lebih variabel bebas. Jika ingin dikaji hubungan atau pengaruh satu
variabel bebas terhadap variabel tidak bebas, maka model regresi yang digunakan adalah model regresi linier
sederhana. Kemudian Jika ingin dikaji hubungan atau pengaruh dua atau lebih variabel bebas terhadap variabel
tidak bebas, maka model regresi yang digunakan adalah model regresi linier berganda (multiple linear
regression model). Kemudian untuk mendapatkan model regresi linier sederhana maupun model regresi linier
berganda dapat diperoleh dengan melakukan estimasi terhadap parameter-parameternya menggunakan metode
tertentu. Adapun metode yang dapat digunakan untuk mengestimasi parameter model regresi linier sederhana
maupun model regresi linier berganda adalah dengan metode kuadrat terkecil (ordinary least square/OLS)
dan metode kemungkinan maksimum (maximum likelihood estimation/MLE). Pada makalah ini dikaji
analisis regresi linier berganda atau sering juga disebut dengan regresi klasik.
PEMBAHASAN
Analisis regresi linier berganda adalah analisis statistika yang digunakan untuk mengetahui
hubungan antara dua atau lebih variabel independen ( X 1 , X 2 , … , X n )dengan variabel dependen (Y
). Dalam regresi linier berganda terdapat satu variabel tak bebas (Y ) yang akan dilihat
hubungannya dengan dua atau lebih variabel bebasnya ( X 1 , X 2 , … , X n ).
Bentuk umum model regresi linier berganda dengan 𝑘 variabel bebas adalah sebagai berikut:
Y i=β 0 + β 1 X 1 i+ β 2 X 2 i +…+ β k X ki + ε i ,k =1 ,2 , 3 , … , n
Dimana
β0 : Konstanta regresi
𝑛 : Banyaknya pengamatan
Terdapat beberapa kriteria yang digunakan untuk melihat tepat tidaknya model regresi
yang diperoleh, salah satunya yaitu dengan melihat koefisien determinasi berganda ( R2).
Koefisien determinasi merupakan pengukuran keberartian persamaan regresi atau mengukur
kecocokan model data yang didefinisikan sebagai berikut:
2 JK regresi
R= 100 %
JK total
Semakin besar nilai R2 maka taksiran model regresi yang diperoleh semakin baik, dan sebaliknya
jika nilai R2 semakin kecil maka taksiran model regresi yang diperoleh tidak baik.
Untuk mengetahui asumsi-asumsi tersebut terpenuhi atau tidak, maka dilakukan beberapa
pengujian yaitu:
4. Multikolinieritas
Untuk mendapatkan model linier terbaik maka persamaan regresi yang diperoleh
terlebih dahulu harus diuji ada atau tidaknya multikolinieritas. Permasalahan yang sering
dihadapi dalam menggunakan analisis regresi linier berganda adalah adanya
multikolinieritas (ketergantungan antar peubah bebas) sehingga terdapat kesulitan untuk
mengetahui pengaruh masing-masing peubah bebas. Untuk melihat ada tidaknya kasus
multikolinieritas dalam suatu proses regresi, terdapat beberapa metode yang digunakan,
antara lain:
a. Koefisien korelasi antar peubah bebas
Cara yang paling mudah dan sederhana untuk mengetahui ada tidaknya korelasi antar
peubah bebas adalah dengan melihat koefisien korelasi antara dua peubah bebas.
koefisien korelasi seringkali disimbolkan dengan ‘r’. Besarnya korelasi berkisar antara
−1 ≤r ≤ 1. Untuk mencari korelasi antara variabel dapat dirumuskan sebagai berikut:
n ∑ X i Y i−( ∑ X i )( ∑ Y i )
r=
√ (n ∑ X −(∑ X ) (n ∑ Y −(∑ Y ) ))
i
2
i
2
i
2
i
2
Nilai koefisien korelasi adalah −1 ≤r ≤ 1. Jika dua variabel berkorelasi negatif maka
nilai koefisien korelasinya akan mendekati −1, jika dua variabel tidak berkorelasi maka
nilai koefisien korelasinya akan mendekati 0, sedangkan jika dua variabel berkorelasi
positif maka nilai koefisien korelasinya akan mendekati 1.
Untuk lebih mengetahui seberapa jauh derajat antara variabel-variabel tersebut, dapat
dilihat dalam perumusan berikut ini:
−1,00 ≤ r ←0,80, berarti berkorelasi kuat secara negatif
−0,79 ≤ r ≤−0,50, berarti berkorelasi sedang secara negatif
−0,49 ≤ r ≤ 0,49, berarti tidak berkorelasi
0,50 ≤ r ≤ 0,79, berarti berkorelasi sedang secara positif
0,80 ≤ r ≤ 1,00, berarti berkorelasi kuat secara positif
Penaksiran merupakan proses yang menggunakan sampel statistic untuk menduga atau
menaksir hubungan parameter populasi yang tidak diketahui, sedangkan paramer adalah nilai
yang mengikuti acuan keterangan yang dapat menjelaskan batas-batas dari suatu sistem
persamaan. Jadi dengan penaksiran ini, keadaan parameter populasi dapat terpenuhi. Dalam
statistika, penaksiran dilambangkan dengan β sedangkan penaksir dilambangkan ^β . Estimasi
parameter/penaksir parameter bertujuan untuk mendapatkan model regresi linier berganda yang
akan digunakan dalam analisis.
Metode yang digunakan untuk mengestimasi parameter model regresi linier berganda
adalah metode kuadrat terkecil atau sering disebut metode Ordinary Least Square (OLS).
Metode OLS ini bertujuan meminimumkan jumlah kuadrat error. Berdasarkan persamaan (2.2)
dapat diperoleh penaksir (estimator) OLS untuk β adalah sebgai berikut:
^β=( X ' X )−1 X ' Y
Ordinary Least Square atau metode kuadrat terkecil merupakan metode yang sering
digunakan dalam menaksir nilai rata-rata dari variabel acak. Misalkan ingin mengestimasi
parameter dari persamaan regresi berikut:
Y i=β 0 + β 1 X 1 i+ β 2 X 2 i +…+ β k X ki + ε i (2.3)
Selain menggunakan notasi di atas, penggunaan matriks terhadap regresi linear mempunyai
banyak keuntungan yaitu menyajikan bentuk yang ringkas untuk menangani model regresi yang
memuat banyak variabel. Persamaan di atas merupakan penjabaran dari himpunan n
persamaan simultan:
Y 1=β 0 + β 1 X 11 + β 2 X 21+…+ β k X k1 + ε 1
………………………… …………………………
Y n= β0 + β 1 X 1 n+ β2 X 2 n +…+ β k X kn+ ε n
[ ][
Y2
⋮
Yn
=
1 X 21 ⋯
⋯ ⋯ ⋱
1 Xn1 ⋯
X2k
⋯
X nk ][ ] [ ]
β 1 ε2
⋮
+
⋮
β k εn
J K Galat =ε ' ε
¿ Y ' Y −Y ' X β−
^ β^ ' X ' Y + β^ ' X ' Xβ
Untuk membuat J K Galat minimum, maka persamaan ( ε ¿¿' ε )¿ akan diturunkan secara parsial
terhadap β kemudian disamadengankan nol.
∂(ε ' ε )
=−2 ∑ ( y i−β 0− β1 X i 1−β 2 X i 2−…−β k X ik ) =0
∂ β0
∂(ε ' ε )
=−2 ∑ ( y i−β 0− β1 X i 1−β 2 X i 2−…−β k X ik ) X i 1=0
∂ β1
∂(ε ' ε )
=−2 ∑ ( y i−β 0− β1 X i 1−β 2 X i 2−…−β k X ik ) X i 2=0
∂ β1
………………………… …………………………………………………
∂(ε ' ε )
=−2 ∑ ( y i−β 0− β1 X i 1−β 2 X i 2−…−β k X ik ) X ik =0
∂ βk
Setelah disusun kembali dan mengganti semua parameter dengan estimatornya, system
persamaan ini dapat ditulis sebagai
n ^β 0 + ^β 1 ∑ X i1 + ^β 2 ∑ X i 2+ …+ ^β k ∑ X ik =∑ Y i
^β 0 ∑ X i 1+ ^β1 ∑ X i 12 + ^β 2 ∑ X i2 X i 1 +…+ β^ k ∑ X ik X i 1=∑ X i 1 Y i
………………………… …………………………………………………
^β 0 ∑ X ik + ^β1 ∑ X i 1 X ik + β^ 2 ∑ X i 2 X ik + …+ ^β k ∑ X ik2=∑ X ik Y i
Persamaan tersebut dinamakan persamaan normal. Jika ditulis dalam bentuk matriks maka akan
menjadi
n ∑ Xi1 ∑ Xi2 … ∑ X ik ^β 0 Y1
[ ][ ] [
1 1 … 1
∑ Xi1
⋮
∑ X ik
⋮
2
∑ X i 1 ∑ X i 2 X i1
∑ X i 1 X ik
⋮
…
⋱
∑ X i 2 X ik …
∑ X ik X i 1
⋮
∑ X ik 2
^β 1
⋮
^β k
X
= 11
X 21
⋯ ⋯
X1k X2k
⋱ ⋯
][ ]
⋯ Xn1 Y 2
⋮
⋯ X nk Y n
X'X ^β = X' Y
Sehingga
Dimana
^β = matriks penduga parameter berukuran ( k +1 ) ×1
1 '
( X ¿ ¿' X)−1 ¿ = x x adj| X X| , berukuran (k + 1)( k+ 1)
|i |
X' = transpose matriks X i , berukuran (k + 1)n
Selain menggunakan rumus ^β=(X ¿¿ ' X )−1 X ' Y ¿, koefisien regresi dapat pula dihitung
menggunakan metode eliminasi substitusi untuk jumlah variabel yang sedikit. Sebagai contoh
untuk k =2, maka persamaan regresinya menjadi Y i=β 0 + β 1 X 1 i+ β 2 X 2 i. Kemudian menggunakan
persamaan normal yang sudah dijabarkan diatas, bisa dibentuk 3 persamaan berikut
n ^β 0 + ^β 1 ∑ X i1 + ^β 2 ∑ X i 2=∑ Y i
^β 0 ∑ X i 1+ ^β1 ∑ X i 12 + ^β 2 ∑ X i2 X i 1=∑ X i 1 Y i
^β 0 ∑ X i 2+ ^β1 ∑ X i 1 X i 2+ ^β2 ∑ X i 22=∑ X i 2 Y i
Yang berikutnya dapat diselesaikan untuk mendapatkan nilai koefisien regresi ^β 0 , β^ 1 dan ^β 2.
1. Linier
Estimator yang diperoleh dengan metode Ordinary Least Square adalah linier:
^β=( X ' X )−1 X ' Y
Karena ( X ' X )−1 X ' merupakan matriks dengan bilangan tetap, ^β adalah fungsi linier dari Y .
2. Tak Bias
Tujuan dari suatu penaksiran ialah penaksir harus mendekati nilai sebenarnya dari
parameter yang ditaksir. Jika ^β merupakan penaksiran tak bias dari parameter β, maka:
−1
E ( ^β )=E [ ( X ' X ) X ' Y ]
−1
¿ E[ ( X ' X ) X ' ( X β + ε)]
¿ E¿¿
−1
¿ E[ Iβ + ( X ' X ) X ' ε ]
−1
¿ E ( β )+ E( ( X ' X ) X ' ε )
' −1 '
¿ β + ( X X ) X E (ε )
¿ β +0
¿β
Jadi ^β merupakan estimator tak bias dari β.
H 0 : β k =0
H 1 : β k ≠ 0, untuk k =1,2 , … , p−1
atau:
H 0 : Variabel bebas ke-k tidak berpengaruh terhadap variabel tidak bebas
H 1 : Variabel bebas ke-k berpengaruh terhadap variabel tidak bebas
untuk k = 1, 2, …, p-1.
5. Menarik kesimpulan.
2. Heteroskedastisitas
Heteroskedastisitas adalah variansi dari error model regresi tidak konstan atau variansi
antar error yang satu dengan error yang lain berbeda. Dampak adanya heteroskedastisitas
dalam model regresi adalah walaupun estimator OLS masih linier dan tidak bias, tetapi
tidak lagi mempunyai variansi yang minimum dan menyebabkan perhitungan standard
error metode OLS tidak bisa dipercaya kebenarannya. Selain itu interval estimasi maupun
pengujian hipotesis yang didasarkan pada distribusi t maupun F tidak bisa lagi dipercaya
untuk evaluasi hasil regresi. Akibat dari dampak heteroskedastisitas tersebut menyebabkan
estimator OLS tidak menghasilkan estimator yang BLUE dan hanya menghasilkan
estimator OLS yang linear unbiased estimator (LUE).
3. Autokorelasi
Autokorelasi adalah terjadinya korelasi antara satu variabel error dengan variable error yang lain.
Adapun dampak dari adanya autokorelasi dalam model regresi adalah sama dengan
dampak dari heteroskedastisitas yang telah diuraikan di atas, yaitu walaupun estimator
OLS masih linier dan tidak bias, tetapi tidak lagi mempunyai variansi yang minimum dan
menyebabkan perhitungan standard error metode OLS tidak bisa dipercaya kebenarannya.
Selain itu interval estimasi maupun pengujian hipotesis yang didasarkan pada distribusi t
maupun F tidak bisa lagi dipercaya untuk evaluasi hasil regresi. Akibat dari dampak
adanya autokorelasi dalam model regresi menyebabkan estimator OLS tidak menghasilkan
estimator yang BLUE dan hanya menghasilkan estimator OLS yang LUE. Selanjutnya
untuk mendeteksi adanya autokorelasi dalam model regresi linier berganda dapat
digunakan metode Durbin-Watson.
Contoh Soal
1. Diketahui data seperti berikut. Tentukan model regresi linier berganda!
Karena jumlah variable bebas ada 2, maka bisa digunakan persamaan normal berikut
n ^β 0 + ^β 1 ∑ X i1 + ^β 2 ∑ X i 2=∑ Y i
^β 0 ∑ X i 1+ ^β1 ∑ X i 12 + ^β 2 ∑ X i2 X i 1=∑ X i 1 Y i
^β 0 ∑ X i 2+ ^β1 ∑ X i 1 X i 2+ ^β2 ∑ X i 22=∑ X i 2 Y i
Lakukan eliminasi:
955=6509 β1 +3452 β 2
715=3455 β 1 +3105 β2
−3299525=−22488595 β 0−119266600 β2
¿
4653936=22488595 β 0 +20210445 β 2
1354410=8283785 β 2
β 2=0,1635
955=6509 β1 +3452 β 2
955=6509 β1 +3452(0,1635)
955=6509 β1 +564,402
β 1=0,060
6090 β 0=−16928,677
β 0=−2,7797
Y^ i = β 0 - β 1 X i1 - β 2 X i 2
Y^ i = - 2,7797 + 0,060 X i 1+ 0,1635 X i 2
2. Diketahui data seperti berikut. Tentukan model regresi linier berganda!
No Y X1 X2 X 21 X 22 X1 X2 X1 Y X2 Y
1 23 10 7 100 49 70 230 161
2 7 2 3 4 9 6 14 21
3 15 4 2 16 4 8 60 30
4 17 6 4 36 16 24 102 68
5 23 8 6 64 36 48 184 138
6 22 7 5 49 25 35 154 110
7 10 4 3 16 9 12 40 30
8 14 6 3 36 9 18 84 42
9 20 7 4 49 16 28 140 80
10 19 6 3 36 9 18 114 57
Jumlah 170 60 40 406 182 267 1122 737
Selesaian
Dari data diatas dapat dibentuk matriks sebagai berikut
n ∑ Xi1 ∑ Xi2 … ∑ X ik ^β 0 Y1
[ ][ ] [
1 1 … 1
∑ Xi1
⋮
∑ X ik
⋮
2
∑ X i 1 ∑ X i 2 X i1
∑ X i 1 X ik
⋮
…
⋱
∑ X i 2 X ik …
∑ X ik X i 1
⋮
∑ X ik 2
^β 1
⋮
^β k
=
X 11
X1k
⋯
X 21
⋯
X2k
⋱ ⋯
][ ]
⋯ Xn1 Y 2
⋮
⋯ X nk Y n
Sehingga
−1
^β 0 n ∑ Xi1 ∑ Xi2 … ∑ X ik Y1
[ ][
1 1 … 1
β^ 1
⋮
^β k
= ∑ Xi1
⋮
∑ X ik
⋮
∑ i 1 X ik
X
2
∑ X i 1 ∑ X i2 X i 1
X
⋮
X
∑ i 2 ik
…
⋱
…
∑ X ik X i 1
⋮
∑ X ik2 ][ ⋯ ⋯ ⋱ ⋯
][ ]
X 11 X 21 ⋯ X n 1 Y 2
⋮
X 1 k X 2 k ⋯ X nk Y n
^β 0 23
[][ ][ ]
−1
10 60 40 1 1 ⋯ 1
^β = 60 406 267
1
β^ 2 40 267 182
10 2 ⋯ 6
7 3 ⋯ 3 ][
7
⋮
19
^β 0
[][
−1
10 60 40 170
^β 1 = 60 406 267
^β 2 40 267 182
1122
737 ][ ]
^β 0
[][ 5,233
β^ 1 = 3,221
^β 2 0,451]
Dari hasil penghitungan diatas, didapatkan model regresi linier berganda sebagai berikut
Y^ =5,233+ 3,221 X 1+0,451 X 2
BAB 3
PENUTUP
3.1 Kesimpulan
Analisis regresi linier berganda adalah hubungan secara linier antara dua atau lebih variabel
independen ( X 1 , X 2 , … , X n )dengan variabel dependen (Y ). Bentuk umum model regresi linier
berganda dengan 𝑘 variabel bebas adalah sebagai berikut:
Y i=β 0 + β 1 X 1 i+ β 2 X 2 i +…+ β k X ki + ε i ,k =1 ,2 , 3 , … , n
Sebuah model regresi linier berganda dapat digunakan apabila nilai sisaannya memenuhi
asumsi-asumsi berikut:
Berdistribusi Normal
Tidak Heteroskedastisitas
Tidak Multikolinearitas
Tidak Autokorelasi
Metode yang digunakan untuk mengestimasi parameter model regresi linier berganda
adalah metode kuadrat terkecil atau sering disebut metode Ordinary Least Square (OLS).
Metode OLS ini bertujuan meminimumkan jumlah kuadrat error. Penaksir (estimator) OLS
untuk β adalah sebgai berikut:
^β=(X ' X )−1 X ' Y
Pengujian parameter model Regresi Berganda bertujuan untuk mengetahui ada atau
tidaknya pengaruh variabel bebas terhadap variabel tidak bebas, yang dilakukan baik secara
serentak (simultan) maupun secara individu (parsial).