ANALISIS REGRESI

1. Pendahuluan
Istilah regresi pertama kali diperkenalkan oleh Sir Francis Galton
pada tahun 1886. Analisis regresi pada dasarnya adalah studi mengenai
ketergantungan variabel dependen (terikat) dengan satu atau lebih
variabel independen (variabel penjelas/bebas), dengan tujuan untuk
mengestimasi dan/atau memprediksi rata-rata populasi atau nilai ratarata variabel dependen berdasarkan nilai variabel independen yang
diketahui (Gujarati, 2003).
Hasil analisis regresi adalah berupa koefisien untuk masing-masing
variabel independen. Koefisien ini diperoleh dengan cara memprediksi
nilai variabel dependen dengan suat persamaan. Koefisien regresi
dihitung dengan dua tujuan sekaligus: pertama, meminimumkan
penyimpangan antara nilai aktual dengan nilai estimasi variabel
dependen berdasarkan data yang ada (Tabachnick, 1996).
Dalam analisis regresi, selain mengukur kekuatan hubungan antara
dua variabel atau lebih juga menunjukkan arah hubungan antara
variabel dependen dengan variabel independen. Variabel dependen
diasumsikan random/stokastik, yang berarti mempunyai distribusi
probabilistik. Variabel independen/bebas diasumsikan memiliki nilai
tetap (dalam pengambilan sampel yang berulang).
2. Asumsi Ordinary Least Squares
Teknik estimasi variabel dependen yang melandasi analisis regresi
disebut pangkat kuadrat terkecil biasa (Ordinary Least Squares). Metode
Ordinary Least Squares (OLS) diperkenalkan pertama kali oleh Cari
Friedrich Gauss, seorang ahli matematika dari Jerman. Inti metode OLS
adalah mengestimasi suatu garis regresi dengan jalan meminimalkan
jumlah dari kuadrat kesalahan setiap observasi terhadap garis tersebut.
Menurut Gujarati (2003) asumsi utama yang mendasari model regresi
linear klasik dengan menggunakan model OLS adalah:
a. Model regresi linear, artinya linear dalam parameter seperti dalam
persamaan di bawah ini :
Yi = b1+b2Xi + ui
b. Nilai X diasumsikan non-stokastik, artinya nilai X dianggap tetap
dalam sampel yang berulang.
c. Nilai rata-rata kesalahan adalah nol, atau E(ui/Xi) = 0.
d. Homoskedastisitas, artinya variasi kesalahan sama untuk setiap
periode (Homo = sama, Skedastisitas = sebaran) dan dinyatakan
dalam bentuk matematis Var (ui/Xi) = 2.
e. Tidak ada autokorelasi antar kesalahan (antara ui dan uj tidak ada
korelasi) atau secara matematis Cov (ui,uj/Xi,Xj) = 0.

Analisis Regresi | 1

f. Antara ui dan Xi saling bebas, sehingga Cov (ui/Xi) = 0.

g. Jumlah observasi (n) harus lebih besar daripada jumlah parameter
yang diestimasi (jumlah variabel bebas).
h. Adanya variabilitas dalam nilai X, artinya nilai X harus berbeda.
i. Model regresi telah dispesifikasi secara benar. Dengan kata lain tidak
ada bias (kesalahan) spesifikasi dalam model yang digunakan dalam
analisis empirik.
j. Tidak ada multikolinearitas yang sempurna antar Variabel bebas.
3. Menilai Goodness of Fit Model
Ketepatan fungsi regresi sampel dalam menaksir nilai aktual dapat
diukur dari goodness of fit-nya. Secara statistik, setidaknya ini dapat
diukur dari nilai koefisien determinasi, nilai statistik F dan nilai statistik t.
Perhitungan statistik disebut signifikan secara statistik apabila nilai uji
statistiknya berada dalam daerah kritis (daerah dimana H 0 ditolak).
Sebaliknya disebut tidak signifikan bila nilai uji statistiknya berada
dalam daerah dimana H0 diterima.
a. Koefisien Determinasi
Koefisien determinasi (R2) pada intinya mengukur seberapa jauh
kemampuan model dalam menerangkan variasi variabel dependen. Nilai
koefisien determinasi adalah antara nol dan satu. Nilai R2 yang kecil
berarti kemampuan variabel-variabel independen dalam menjelaskan
variasi variabel dependen amat terbatas. Nilai yang mendekati satu
berarti variabel-variabel independen memberikan hampir semua
informasi yang dibutuhkan untuk memprediksi variasi variabel
dependen. Secara umum koefisien determinasi untuk data silang (cross
section) relatif rendah karena adanya variasi yang besar antara masingmasing pengamatan, sedangkan untuk data runtun waktu (time series)
biasanya mempunyai nilai koefisien determinasi yang tinggi.
Kelemahan mendasar penggunaan koefisien determinasi adalah bias
terhadap jumlah variabel independen yang dimasukkan ke dalam model.
Setiap tambahan satu variabel independen, maka R2 pasti meningkat
tidak peduli apakah variabel tersebut berpengaruh secara signifikan
terhadap variabel dependen. Oleh karena itu banyak peneliti
menganjurkan untuk menggunakan nilai adjusted R2 pada saat
mengevaluasi mana model regresi terbaik. Tidak seperti R 2, nilai
adjusted R2 dapat naik atau turun apabila satu variabel independen
ditambahkan ke dalam model.
Dalam kenyataan nilai adjusted R2 dapat bernilai negatif, walaupun
yang dikehendaki harus bernilai positif. Menurut Gujarati (2003) jika
dalam uji empiris didapat nilai adjusted R 2 negatif, maka nilai adjusted
R2 dianggap bernilai nol. Secara matematis jika nilai R 2 = 1, maka

Analisis Regresi | 2

adjusted R2 = R2 = 1 sedangkan jika nilai R2 = 0, maka adjusted R2= (1 k)/(n - k). Jika k > 1, maka adjusted R2 akan bernilai negatif.
b. Uji Signifikansi Simultan (Uji F)
Uji statistik F pada dasarnya menunjukkan apakah semua variabel
independen atau bebas yang dimasukkan dalam model mempunyai
pengaruh secara bersama-sama terhadap variabel dependen/terikat.
Hipotesis nol (H0) yang hendak diuji adalah apakah semua parameter
dalam model sama dengan nol, atau:
H0 : b1 = b2 = ...... = bk = 0
Artinya, apakah semua variabel independen bukan merupakan penjelas
yang signifikan terhadap variabel dependen. Hipotesis alternatifnya (H 1)
tidak semua parameter secara simultan sama dengan nol, atau:
H1 : b1 b2 ...... bk 0
Artinya semua variabel independen secara simultan merupakan penjelas
yang signifikan terhadap variabel dependen.
Untuk menguji hipotesis ini digunakan statistik F dengan kriteria
pengambilan keputusan sebagai berikut:
Quick look: bila nilai F lebih besar daripada 4 maka H 0 dapat ditolak
pada derajat kepercayaan 5%., Dengan kata lain kita menerima
hipotesis alternatif, yang menyatakan bahwa semua variabel
independen secara serentak dan signifikan mempengaruhi variabel
dependen.
Membandingkan nilai F hasil perhitungan dengan nilai F menurut
tabel. Bila nilai F hitung lebih besar dari nilai F tabel, maka H 0 ditolak
dan H1 diterima.
c. Uji Signifikansi Parsial (Uji t)
Uji statistik t pada dasarnya menunjukkan seberapa jauh pengaruh
satu variabel penjelas/independen secara individual dalam menerangkan
variasi variabel dependen. Hipotesis nol (H 0) yang hendak diuji adalah
apakah suatu parameter (bi) sama dengan nol, atau :
H0 : bi = 0
Artinya apakah suatu variabel independen bukan merupakan penjelas
yang signifikan terhadap variabel dependen. Hipotesis alternatifnya (H 1)
parameter suatu variabel tidak sama dengan nol, atau:
HA : bi 0
Artinya, variabel tersebut merupakan penjelas yang signifikan terhadap
variabel dependen.

Analisis Regresi | 3

Cara melakukan uji t adalah sebagai berikut:

Quick look: bila jumlah degree of freedom (df) adalah 20 atau lebih,
dan derajat kepercayaan sebesar 5%, maka H0 yang menyatakan bi
= 0 dapat ditolak bila nilai t lebih besar dari 2 (dalam nilai absolut).
Dengan kata lain kita menerima hipotesis alternatif, yang
menyatakan bahwa suatu variabel independen secara individual
mempengaruhi variabel dependen.
Membandingkan nilai statistik t dengan titik kritis menurut tabel.
Apabila nilai statistik t hasil perhitungan lebih tinggi dibandingkan
nilai t tabel, kita menerima hipotesis alternatif yang menyatakan
bahwa suatu variabel independen secara individual mempengaruhi
variabel dependen.
Kasus:
Seorang peneliti ingin meneliti apakah Kinerja Karyawan (Y) dipengaruhi
oleh variabel Struktur Organisasi (X1), Budaya Organisasi (X2) dan
Kepemimpinan (X3). Hubungan antar variabel dapat digambarkan dalam
model berikut:
X1
X2

X2

X3

Kasus tersebut secara matematis dapat ditulis:

Y = b0 + b1X1 + b2X2 + b3X3 + e
Langkah-Langkah:
1. Masukkan data X1, X2, X3 dan Y yang terdapat pada lampiran.
2. Pilih menu Analize kemudian submenu Regression, lalu pilih
Linear.

Analisis Regresi | 4

3. Tampak di layar menu Linear Regression

Pada kotak Dependent isikan variabel Y

Pada kotak Independent isikan variabel X1, X2 dan X3

Pada kotak Method pilih Enter

Analisis Regresi | 5

Abaikan yang lain lalu pilih Ok

4. Hasil output

Regression
Variables Entered/Removedb
Model
Variables
Variables
Entered
Removed
1
X3, X1, X2a
.
a. All requested variables entered.
b. Dependent Variable: Y

dime
nsion

Method
Enter

Dari tabel Variables Entered/Removed diketahui bahwa semua

variabel masuk dalam penghitungan, tidak ada variabel yang
dikeluarkan atau tidak dimasukkan dalam penghitungan
Model Summary
Adjusted R
Std. Error of the
R
R Square
Square
Estimate
1
,710a
,504
,474
1,319
a. Predictors: (Constant), X3, X1, X2
Model
dime
nsion

Dari tabel Model Summary besarnya adjusted R2 adalah 0,474. Hal

ini berarti 47,4% variasi variabel dependen (Y) dapat dijelaskan oleh
variasi dari ketiga variabel independen (X1,X2,X3) sedangkan
sisanya dijelaskan oleh sebab-sebab lain di luar model.
Uji Signifikansi Simultan (Uji F)
Model
1

Regression
Residual
Total

Sum of Squares
88,275
86,929

ANOVAb
df

175,204

3
50

Mean Square
29,425
1,739

F
16,925

Sig.
,000a

53

a. Predictors: (Constant), X3, X1, X2

b. Dependent Variable: Y

Dari uji ANOVA atau Uji F diperoleh nilai F hitung sebesar 16,925
dengan signifikansi 0,000. Nilai signifikansi yang dipersyaratkan
diterima adalah lebih kecil dari 0,05. Karena 0,000 < 0,05, maka
dapat dikatakan bahwa variabel X1, X2 dan X3 secara bersama-sama
(simultan) berpengaruh terhadap variabel Y.
Uji Signifikansi Parsial (Uji t)

Analisis Regresi | 6

Coefficientsa
Model

(Constant)

X1
X2
X3
a. Dependent Variable: Y

Unstandardized Coefficients
B
Std. Error
8,910
2,218
,016
,498
,342

,202
,196
,143

Standardized
Coefficients
Beta
,015
,505
,284

t
4,017

Sig.
,000

,080
2,537
2,387

,937
,014
,021

Pada tabel Coefficients dapat dilihat apakah hasil penghitungan

memberikan nilai yang signifikan atau tidak signifikan dengan
persyaratan nilai signifikansi yang diterima adalah lebih kecil dari
0,05. Dari kolom signifikansi dapat diperoleh informasi bahwa
variabel X1 memberikan hasil yang tidak signifikan (0,937 > 0,05),
variabel X2 memberikan hasil yang signifikan (0,014 < 0,05) dan
variabel X3 memberikan hasil yang signifikan (0,021 < 0,05). Dengan
demikian dapat disimpulkan bahwa kinerja karyawan (Y) dipengaruhi
oleh budaya organisasi (X2) dan kepemimpinan (X3).
Untuk menginterpretasikan koefisien variabel bebas (independen)
dapat
menggunakan
unstandardized
coefficients
maupun
standardized coefficients.

Standardized Beta Coefficients

Apabila masing-masing koefisien variabel independen distandarisasi
terlebih dahulu, maka akan diperoleh koefisien yang tidak ada
konstantanya karena garis regresi melewati titik pusat (titik origin).
Standardized beta dapat digunakan untuk mengeliminasi ukuran unit
(kg, cm, liter, dsb.) yang berbeda dari masing-masing variabel
independen. dengan persamaan matematis:
Y = 0,15X1 + 0,505X3 + 0,284X3
Unstandardized Beta Coefficients
Unstandardized beta dapat digunakan bila data yang digunakan
adalah berskala rasio murni, dan memiliki nilai nol mutlak. Selain itu
Unstandardized beta dapat digunakan bila satuan pengukuran
adalah sama, misalnya semua dalam Rupiah (Rp), liter, cm dan
berbagai satuan lainnya.

Analisis Regresi | 7