Analisis Regresi
Analisis Regresi
1. Pendahuluan
Istilah regresi pertama kali diperkenalkan oleh Sir Francis Galton pada
tahun 1886. Analisis regresi pada dasarnya adalah studi mengenai
ketergantungan variabel dependen (terikat) dengan satu atau lebih variabel
independen (variabel penjelas/bebas), dengan tujuan untuk mengestimasi
dan/atau memprediksi rata-rata populasi atau nilai rata-rata variabel dependen
berdasarkan nilai variabel independen yang diketahui (Gujarati, 2003).
Hasil analisis regresi adalah berupa koefisien untuk masing-masing variabel
independen. Koefisien ini diperoleh dengan cara memprediksi nilai variabel
dependen dengan suat persamaan. Koefisien regresi dihitung dengan dua tujuan
sekaligus: pertama, meminimumkan penyimpangan antara nilai aktual dengan
nilai estimasi variabel dependen berdasarkan data yang ada (Tabachnick, 1996).
Dalam analisis regresi, selain mengukur kekuatan hubungan antara dua
variabel atau lebih juga menunjukkan arah hubungan antara variabel dependen
dengan variabel independen. Variabel dependen diasumsikan random/stokastik,
yang berarti mempunyai distribusi probabilistik. Variabel independen/bebas
diasumsikan memiliki nilai tetap (dalam pengambilan sampel yang berulang).
Analisis Regresi | 1
i. Model regresi telah dispesifikasi secara benar. Dengan kata lain tidak ada
bias (kesalahan) spesifikasi dalam model yang digunakan dalam analisis
empirik.
j. Tidak ada multikolinearitas yang sempurna antar Variabel bebas.
a. Koefisien Determinasi
Koefisien determinasi (R2) pada intinya mengukur seberapa jauh
kemampuan model dalam menerangkan variasi variabel dependen. Nilai
koefisien determinasi adalah antara nol dan satu. Nilai R2 yang kecil berarti
kemampuan variabel-variabel independen dalam menjelaskan variasi variabel
dependen amat terbatas. Nilai yang mendekati satu berarti variabel-variabel
independen memberikan hampir semua informasi yang dibutuhkan untuk
memprediksi variasi variabel dependen. Secara umum koefisien determinasi
untuk data silang (cross section) relatif rendah karena adanya variasi yang besar
antara masing-masing pengamatan, sedangkan untuk data runtun waktu (time
series) biasanya mempunyai nilai koefisien determinasi yang tinggi.
Kelemahan mendasar penggunaan koefisien determinasi adalah bias
terhadap jumlah variabel independen yang dimasukkan ke dalam model. Setiap
tambahan satu variabel independen, maka R2 pasti meningkat tidak peduli
apakah variabel tersebut berpengaruh secara signifikan terhadap variabel
dependen. Oleh karena itu banyak peneliti menganjurkan untuk menggunakan
nilai adjusted R2 pada saat mengevaluasi mana model regresi terbaik. Tidak
seperti R2, nilai adjusted R2 dapat naik atau turun apabila satu variabel
independen ditambahkan ke dalam model.
Dalam kenyataan nilai adjusted R2 dapat bernilai negatif, walaupun yang
dikehendaki harus bernilai positif. Menurut Gujarati (2003) jika dalam uji
empiris didapat nilai adjusted R2 negatif, maka nilai adjusted R2 dianggap
bernilai nol. Secara matematis jika nilai R2 = 1, maka adjusted R2 = R2 = 1
sedangkan jika nilai R2 = 0, maka adjusted R2= (1 - k)/(n - k). Jika k > 1, maka
adjusted R2 akan bernilai negatif.
Analisis Regresi | 2
yang hendak diuji adalah apakah semua parameter dalam model sama dengan
nol, atau:
H0 : b1 = b2 = ...... = bk = 0
Artinya, apakah semua variabel independen bukan merupakan penjelas yang
signifikan terhadap variabel dependen. Hipotesis alternatifnya (H1) tidak semua
parameter secara simultan sama dengan nol, atau:
H1 : b1 ≠ b2 ≠ ...... ≠ bk ≠ 0
Artinya semua variabel independen secara simultan merupakan penjelas yang
signifikan terhadap variabel dependen.
Untuk menguji hipotesis ini digunakan statistik F dengan kriteria
pengambilan keputusan sebagai berikut:
Quick look: bila nilai F lebih besar daripada 4 maka H0 dapat ditolak pada
derajat kepercayaan 5%., Dengan kata lain kita menerima hipotesis
alternatif, yang menyatakan bahwa semua variabel independen secara
serentak dan signifikan mempengaruhi variabel dependen.
Membandingkan nilai F hasil perhitungan dengan nilai F menurut tabel. Bila
nilai F hitung lebih besar dari nilai F tabel, maka H0 ditolak dan H1 diterima.
Analisis Regresi | 3
menerima hipotesis alternatif yang menyatakan bahwa suatu variabel
independen secara individual mempengaruhi variabel dependen.
Kasus:
Seorang peneliti ingin meneliti apakah Kinerja Karyawan (Y) dipengaruhi oleh
variabel Struktur Organisasi (X1), Budaya Organisasi (X2) dan Kepemimpinan
(X3). Hubungan antar variabel dapat digambarkan dalam model berikut:
X1
X2 X2
X3
Langkah-Langkah:
1. Masukkan data X1, X2, X3 dan Y yang terdapat pada lampiran.
2. Pilih menu Analize kemudian submenu Regression, lalu pilih Linear.
Analisis Regresi | 4
3. Tampak di layar menu Linear Regression
4. Hasil output
Regression
Variables Entered/Removedb
Model Variables Variables
Entered Removed Method
d
1 . Enter
m
e
n
s
i
o
n
0
Model Summary
Model Adjusted R Std. Error of the
R R Square Square Estimate
d
,710a
i
Analisis Regresi | 5
Dari tabel Model Summary besarnya adjusted R2 adalah 0,474. Hal ini
berarti 47,4% variasi variabel dependen (Y) dapat dijelaskan oleh variasi
dari ketiga variabel independen (X1,X2,X3) sedangkan sisanya dijelaskan
oleh sebab-sebab lain di luar model.
Dari uji ANOVA atau Uji F diperoleh nilai F hitung sebesar 16,925 dengan
signifikansi 0,000. Nilai signifikansi yang dipersyaratkan diterima adalah
lebih kecil dari 0,05. Karena 0,000 < 0,05, maka dapat dikatakan bahwa
variabel X1, X2 dan X3 secara bersama-sama (simultan) berpengaruh
terhadap variabel Y.
Analisis Regresi | 6
Standardized Beta Coefficients
Apabila masing-masing koefisien variabel independen distandarisasi
terlebih dahulu, maka akan diperoleh koefisien yang tidak ada konstantanya
karena garis regresi melewati titik pusat (titik origin). Standardized beta
dapat digunakan untuk mengeliminasi ukuran unit (kg, cm, liter, dsb.) yang
berbeda dari masing-masing variabel independen. dengan persamaan
matematis:
Y = 0,15X1 + 0,505X3 + 0,284X3
Analisis Regresi | 7