Pengertian regresi

Regresi dalam pengertian moderen menurut Gujarati (2009) ialah sebagai kajian terhadap
ketergantungan satu variabel, yaitu variabel tergantung terhadap satu atau lebih variabel lainnya
atau yang disebut sebagai variabel – variabel eksplanatori dengan tujuan untuk membuat estimasi
dan / atau memprediksi rata – rata populasi atau nilai rata-rata variabel tergantung dalam kaitannya
dengan nilai – nilai yang sudah diketahui dari variabel ekslanatorinya. Selanjutnya menurut
Gujarati meski analisis regresi berkaitan dengan ketergantungan atau dependensi satu variabel
terhadap variabel – variabel lainnya hal tersebut tidak harus menyiratkan sebab – akibat
(causation). Dalam mendukung pendapatnya ini, Gujarati mengutip pendapat Kendal dan Stuart
yang diambil dari buku mereka yang berjudul “The Advanced Statistics” yang terbit pada tahun
1961 yang mengatakan bahwa,” suatu hubungan statistik betapapun kuat dan sugestifnya tidak
akan pernah dapat menetapkan hubungan sebab akibat (causal connection); sedang gagasan
mengenai sebab akibat harus datang dari luar statistik, yaitu dapat berasal dari teori atau lainnya”.

Sedang menurut Levin & Rubin (1998:648), regresi digunakan untuk menentukan sifat –
sifat dan kekuatan hubungan antara dua variabel serta memprediksi nilai dari suatu variabel yang
belum diketahui dengan didasarkan pada observasi masa lalu terhadap variabel tersebut dan
variabel-variabel lainnya. Selanjutnya dalam regresi kita akan mengembangkan persamaan
estimasi (estimating equation), yaitu rumus matematika yang menghubungkan variabel-variabel
yang diketahui dengan variabel-variabel yang tidak diketahui. Setelah dipelajari pola
hubungannya, kemudian kita dapat mengaplikasikan analisis korelasi (correlation analysis) untuk
menentukan tingkatan dimana variabel – variabel tersebut berhubungan.

Analisis regresi merupakan suatu model matematis yang dapat digunakan untuk
mengetahui pola hubungan antara dua atau lebih variabel. Istilah regresi yang berarti ramalan atau
taksiran pertama kali diperkenalkan Sir Francis Galton pada tahun 1877, sehubungan dengan
penelitiannya terhadap tinggi manusia, yaitu antara tinggi anak dan tinggi orang tuanya. Dalam
penelitiannya, Galton menemukan bahwa tinggi anak dan tinggi orang tuanya cenderung
meningkat atau menurun dari berat rata-rata populasi. Garis yang menunjukkan hubungan tersebut
disebut garis regresi.

Analisis regresi lebih akurat dalam melakukan analisis korelasi, karena pada analisis itu
kesulitan dalam menunjukkan slop (tingkat perubahan suatu variabel terhadap variabel lainnya
dapat ditentukan). Jadi dengan analisis regresi, peramalan atau perkiraan nilai variabel terikat pada
nilai variabel bebas lebih akurat pula. Karena merupakan suatu prediksi, maka nilai prediksi tidak
selalu tepat dengan nilai riilnya, semakin kecil tingkat penyimpangan antara nilai prediksi dengan
nilai riilnya, maka semakin tepat persamaan regresi yang dibentuk.

Dapat disimpulkan bahwa analisis regresi adalah metode statistika yang digunakan untuk
menentukan kemungkinan bentuk hubungan antara variabel variabel, dengan tujuan pokok dalam
penggunaan metode ini adalah untuk meramalkan atau memperkirakan nilai dari suatu variabel
lain yang diketahui.

Persamaan regresi

Persamaan Regresi (regression equation) adalah suatu persamaan matematis yang

mendefenisikan hubungan antara dua variabel. Persamaan regresi yang digunakan untuk membuat
taksiran mengenai variabel dependen disebut persamaan regresi estimasi, yaitu suatu formula
matematis yang menunjukkan hubungan keterkaitan antara satu atau beberapa variabel yang
nilainya sudah diketahui dengan satu variabel yang nilainya belum diketahui. Sifat hubungan antar
variabel dalam persamaan regresi merupakan hubungan sebab akibat (causal relationship). Oleh
karena itu, sebelum menggunakan persamaan regresi dalam mejelaskan hubungan antara dua atau
lebih variabel, maka perlu diyakini terlebih dahulu bahwa secara teoritis atau perkiraan
sebelumnya, dua atau lebih variabel tersebut memiliki hubungan sebab akibat. Variabel yang
nilainya akan mempengaruhi nilai variabel lain disebut dengan variabel bebas (independent
variabel), sedangkan variabel yang nilainya dipengaruhi oleh nilai variabel lain disebut variabel
terikat (dependent variabel).

Ada dua jenis Persamaan Regresi Linier, yaitu sebagai berikut :

1. Analisis Regresi Sederhana (simple analisis regresi)

2. Analisis Regresi Berganda (multiple analisis regresi)

a. Regresi Linier Sederhana

Regresi linier sederhana merupakan suatu proses untuk mendapatkan hubungan
matematis dalam bentuk suatu persamaan antara variabel tak bebas tunggal dengan variabel
 bebas tunggal atau dengan kata lain, regresi linier yang hanya melibatkan satu peubah
bebas X yang dihubungkan dengan satu peubah tak bebas Y. Bentuk umum model regresi
linier sederhana yaitu:
Y= (2.1)
Di mana : = variabel tak bebas (dependen)
= parameter intersep
= koefisien regresi (slop)
= variabel bebas (independen)
= kesalahan penduga

Langkah-langkah Analisis dan Uji Regresi Linier Sederhana

Adapun langkah-langkah yang perlu dilakukan untuk melakukan analisis dan uji regresi linier
sederhana adalah sebagai berikut :

1. Menentukan tujuan dari Analisis Regresi Linear Sederhana

2. Mengidentifikasi variabel predictor dan variabel response
3. Melakukan pengumpulan data dalam bentuk tabel
4. Menghitung X², XY dan total dari masing-masingnya
5. Menghitung a dan b menggunakan rumus yang telah ditentukan
6. Membuat model Persamaan Garis Regresi
7. Melakukan prediksi terhadap variabel predictor atau response
8. Uji signifikansi menggunakan Uji-t dan menentukan Taraf Signifikan

b. Regresi Linier Berganda

Di samping hubungan linier dua variabel, hubungan linier lebih dari dua variabel
dapat juga terjadi. Pada hubungan ini, perubahan satu variabel dipengaruhi oleh lebih dari
satu variabel lain. Maka regresi linier berganda adalah analisis regresi yang menjelaskan
hubungan antara peubah respon (variable dependent) dengan faktor-faktor yang
mempengaruhi lebih dari satu predaktor (variable independent).
Tujuan analisis regresi linier berganda adalah untuk mengukur intensitas hubungan
antara dua variabel atau lebih dan memuat prediksi/perkiraan nilai Y atas nilai X. Bentuk
 umum persamaan regresi linier berganda yang mencakup dua atau lebih variabel, yaitu :
Y= (2.2)
Model di atas merupakan model regresi untuk populasi, sedangkan apabila hanya
menarik sebagian berupa sampel dari populasi secara acak dan tidak mengetahui regresi
populasi untuk keperluan analisis, variabel bebas akan dinyatakan
dengan………..sedangkan variabel tidak bebas dinyatakan dengan Y.
= (2.3)
Di mana :
= variabel tidak bebas (dependent)
= Koefisien regresi
= variabel bebas (independent)
= kesalahan pengganggu

Uji Persyaratan Regresi Linier Berganda

Beberapa hal lain yang penting juga untuk dipahami dalam penggunaan analisis regresi linier
ganda yaitu perlunya melakukan uji asumsi klasik atau uji persyaratan analisis regresi ganda
sehingga persamaan garis regresi yang diperoleh benar-benar dapat digunakan untuk memprediksi
variabel dependen atau kriterium. Uji persyaratan tersebut harus terpenuhi, apabila tidak maka
akan menghasilkan garis regresi yang tidak cocok untuk memprediksi.
Sebelum masuk pada uji persyaratan perlu dipahami bahwa statistik sebagai alat analisis
dikelompokkan menjadi dua bagian yang berbeda, yaitu kelompok statistik parametrik dan statistik
non-parametrik. Pada statistik nonparametrik tidak memerlukan persyaratan tertentu sedangkan
pada statistik parametrik memerlukan persyaratan yang harus dipenuhi. Oleh karena itu, dalam uji
persyaratan regresi linier ganda yang harus dilakukan pada dasarnya juga dikelompokkan menjadi
dua bagian, yaitu uji persyaratan untuk masuk ke statistik parametrik dan uji persyaratan untuk
menggunakan regresi linier ganda.
Uji asumsi klasik yang secara minimal perlu dilakukan oleh penulis menggunakan regresi
linier ganda sebagai alat analisis yaitu berupa:
1. Uji persyaratan untuk statistik parametrik, yang berupa:
a. Uji normalitas
 b. Uji homogenitas
2. Uji Persyaratan untuk regresi linier ganda, yang terdiri atas:
a. Uji linieritas garis regresi
b. Tidak terdapat saling hubungan antara variabel bebas (uji multikolinieritas)
c. Tidak terdapat autokorelasi antar data pengamatan
d. Tidak terjadi adanya heteroskedasitas (Gujarati,1997)

Membentuk Persamaan Regresi Linier Berganda

Dalam regresi linier berganda variabel tak bebas (Y), tergantung kepada dua atau lebih variabel
bebas (X). Bentuk persamaan regresi linier berganda yang mencakup dua atau lebih variabel,
yaitu :

Di mana:
Y = Variabel terikat (dependen)
= koefisien regresi
= Variabel bebas (independen)

e = kesalahan pengganggu (disturbance terma), artinya nilai- nilai dari

variabel lain yang tidak dimasukkan dalam persamaan. Nilai ini
biasanya tidak dihiraukan dalam perhitungan.

Untuk hal ini, penulis menggunakan regresi linier berganda dengan tiga variabel, yaitu satu
variabel tak bebas (dependent variable) dan dua variabel bebas (independent variable). Bentuk
umum persamaan regresi linier berganda tersebut yaitu :
(2.5)
Nilai dari koefisien dapat ditentukan dengan metode kuadrat terkecil (least squared)
seperti berikut ini:
 Harga-harga yang telah didapat kemudian disubstitusikan ke dalam persamaan
(2.5) sehingga diperoleh model regresi linier berganda Y atas X1 dan X2. Dalam persamaan model
regresi linier yang diperoleh, maka antara nilai Y dan Ŷ akan menimbulkan perbedaan hasil yang
sering disebut sebagai kekeliruan. Untuk mengetahui ketepatan persamaan estimasi dapat
digunakan kesalahan standar estimasi (standard error of estimate). Besarnya kesalahan standar
estimasi menunjukkan ketepatan persamaan estimasi untuk menjelaskan nilai variabel tidak bebas
yang sesungguhnya. Semakin kecil nilai kesalahan standar estimasi, makin tinggi ketepatan
persamaan estimasi yang dihasilkan untuk menjelaskan nilai variabel tidak bebas sesungguhnya.
Sebaliknya, semakin besar nilai kesalahan standar estimasi, makin rendah ketepatan persamaan
estimasi yang dihasilkan untuk menjelaskan nilai variabel tidak bebas sesungguhnya. Kesalahan
standar estimasi dapat ditentukan dengan rumus:

Di mana: = kesalahan baku

= nilai data sebenarnya
= nilai taksiran
= banyak ukuran sampel
= banyak variabel bebas
 Garis regresi mempunyai 3 (tiga) kemungkinan yaitu: 1) hubungan linier positif, 2)
hubungan linier negatif, dan 3) tidak ada hubungan linier. Gambarnya seperti di bawah ini: 1)
Hubungan Linier Positif
1. Hubungan Linier Positif

2. Hubungan Linier Negatif

 3. Tidak Ada Hubungan Linier

Gambar 1.4 Tidak Ada Hubungan Linier

Koefisien determinasi
Koefisien determinasi adalah salah satu nilai statistik yang dapat digunakan untuk
mengetahui apakah ada hubungan pengaruh antara dua variabel. Nilai koefisien determinasi
menunjukkan persentase variasi nilai variabel dependen yang dapat dijelaskan oleh persamaan
regresi yang dihasilkan. Koefisien determinasi yang dinyatakan dengan R2 untuk pengujian regresi
linier berganda yang mencakup lebih dari dua variabel adalah untuk mengetahui proporsi
keragaman total dalam variabel tak bebas (Y) yang dapat dijelaskan atau diterangkan oleh variabel
variabel bebas (X) yang ada dalam model persamaan regresi linier berganda secara bersama-sama.
Maka R2 akan ditetukan dengan rumus, yaitu:
 Harga R2 yang diperoleh sesuai dengan variansi yang dijelaskan masing-masing variabel
yang tinggal dalam regresi. Hal ini mengakibatkan variasi yang dijelaskan penduga yang
disebabkan oleh variabel yang berpengaruh saja (bersifat nyata).

Tujuan analisis regresi

Tujuan menggunakan analisis regresi ialah:
1. Membuat estimasi rata-rata dan nilai variabel tergantung dengan didasarkan pada nilai
variabel bebas.
2. Menguji hipotesis karakteristik dependensi
3. Untuk meramalkan nilai rata-rata variabel bebas dengan didasarkan pada nilai variabel
bebas diluar jangkauan sampel.

Asumsi Penggunaan Regresi

Penggunaan regresi linear sederhana didasarkan pada asumsi diantaranya sebagai berikut:
1. Model regresi harus linier dalam parameter
2. Variabel bebas tidak berkorelasi dengan disturbance term (Error) .
3. Nilai disturbance term sebesar 0 atau dengan simbol sebagai berikut: (E (U / X) = 0
4. Varian untuk masing-masing error term (kesalahan) konstan
5. Tidak terjadi otokorelasi
6. Model regresi dispesifikasi secara benar. Tidak terdapat bias spesifikasi dalam model
yang digunakan dalam analisis empiris.
7. Jika variabel bebas lebih dari satu, maka antara variabel bebas (explanatory) tidak ada
hubungan linier yang nyata

Syarat-Syarat
Model kelayakan regresi linear dalam IBM SPSS didasarkan pada hal-hal sebagai berikut:
a. Model regresi dikatakan layak jika angka signifikansi pada ANOVA sebesar < 0.05
b. Predictor yang digunakan sebagai variabel bebas harus layak. Kelayakan ini diketahui jika
angka Standard Error of Estimate < Standard Deviation
c. Koefesien regresi harus signifikan. Pengujian dilakukan dengan uji t. Koefesien regresi
signifikan jika t hitung > t table (nilai kritis). Dalam IBM SPSS dapat diganti dengan
menggunakan nilai signifikansi (sig) dengan ketentuan sebagai berikut:
 Jika sig < 0,05; koefesien regresi signifikan
 Jika sig > 0,05; koefesien regresi tidak signifikan
d. Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi korelasi antar variabel
bebas yang sangat tinggi atau terlalu rendah. Syarat ini hanya berlaku untuk regresi linier
berganda dengan variabel bebas lebih dari satu. Terjadi multikolinieritas jika koefesien
korelasi antara variable bebas > 0,7 atau < - 0,7
e. Tidak terjadi otokorelasi jika: - 2 ≤ DW ≤ 2
f. Keselerasan model regresi dapat diterangkan dengan menggunakan nilai r2 semakin besar
nilai tersebut maka model semakin baik. Jika nilai mendekati 1 maka model regresi
semakin baik. Nilai r2 mempunyai karakteristik diantaranya: 1) selalu positif, 2) Nilai r2
maksimal sebesar 1. Jika Nilai r2 sebesar 1 akan mempunyai arti kesesuaian yang
sempurna. Maksudnya seluruh variasi dalam variabel tergantung (variabel Y) dapat
diterangkan oleh model regresi. Sebaliknya jika r2 sama dengan 0, maka tidak ada
hubungan linier antara variabel bebas (variabel X) dan variabel tergantung (variabel Y).
g. Terdapat hubungan linier antara variabel bebas (X) dan variabel tergantung (Y)
h. Data harus berdistribusi normal
i. Data berskala interval atau rasio
j. Terdapat hubungan dependensi, artinya satu variabel merupakan variabel tergantung yang
tergantung pada variabel (variabel) lainnya.