1

Analisis Regresi
Secara umum terdapat 2 macam hubungan antara dua variabel atau lebih, yaitu :
1. Berkaitan dengan tingkat keeratan hubungan  Analisis korelasi.
2. Berkaitan dengan bentuk hubungan  Analisis regresi.
Regresi
Metoda analisis statistika untuk menganalisis dan memodelkan secara matematis hubungan antara dua variabel
atau lebih.
Pada analisis regresi ini dikenal adanya:
 Variabel terikat. Notasi  y
(istilah lainnya: var. dependen, var. tidak bebas,, var. tergantung, unknown var., response var.)
 Variabel bebas. Notasi  x
(istilah lainnya: var. Independen, var. bebas, explanatory var., regressor var., predictor var.).
Regresi dipakai untuk mengukur besarnya pengaruh perubahan pada variabel terikat yang diakibatkan perubahan
pada variabel bebas.
 2
Regresi Linier
Studi ketergantungan satu atau lebih variabel bebas terhadap variabel terikat, untuk meramalkan nilai variabel
terikatnya.
Jika var. Bebas > 1  regresi linear berganda
Berganda: karena pengaruh beberapa variabel bebas akan dikenakan kepada variabel terikat. Sederhana: variabel
bebasnya hanya 1.
ASUMSI regresi linier sederhana:
• Error (ε) independen secara statistik
• Distribusi probabilitas dari Error berdistribusi Normal
• Distribusi probabilitas dari Error mempunyai variansi yang konstan
• Ada hubungan linier antara kedua variabel
Beberapa istilah:
• Residual: selisih nilai duga dengan pengamatan untuk data sampel.
• Error adalah selisih nilai duga dengan pengamatan untuk data populasi.
Persamaan : merupakan selisih antara nilai duga dengan pengamatan.
Perbedaan keduanya: residual dari data sampel, error dari data populasi.
 3

Regresi Linier Sederhana

  Model hubungan satu variabel 1.
terikat (Y) dengan satu variabel bebas (X)
dalam sebuah fungsi linier.
Variabel bebas

Variabel terikat Population Slope

Random Error
Population
Y-Intercept
 4

Model Regresi Populasi dan Sampel

Populasi Sampel
yi  a  bX i  ei
yi     X i   i 


 


4
 5

Model Regresi Linier Sederhana Populasi

Y yi    X i   i Nilai
observasi

i = Random error

E  Yi      X i

X
Nilai observasi
5
Model Regresi Linier Sederhana Sampel
Y y  a  bX  e
i i i
e = residual
i

Observasi
 tidak
yi  a  bX i
tersampel
X
Nilai observasi
6
 REGRESI LINIER 7

Grafik Regresi Linier

Dengan Nilai Error ()
8
9
 10

Grafik Varian dalam Regresi

SST = SSR + SSE
 11

2. Menentukan Standar Error Estimasi (MSE) dan Standar Error Koefisien Regresi (Sb)
2
a. Standar Error Estimasi S dari 𝛔𝟐
Jumlah kuadrat error (SSE) merupakan variansi yang menggambarkan penyimpangan nilai–nilai
observasi di sekitar garis regresi sampel. Rataan kuadrat error (Mean Squared Error–MSE) atau
2
S adalah estimasi dari 𝜎 2 dengan persamaan berikut:
𝑆𝑆𝐸 𝑆𝑦𝑦 − 𝑏𝑆𝑥𝑦 σሺ ො
𝑦−𝑦 ሻ2
𝑆2 = 𝑀𝑆𝐸 = = =
𝑛−2 𝑛−2 𝑛−2

b. Standar Error Koefisien Regresi (Sb)

Jika diambil sampel x dan y dari populasi, maka masing–masing sampel tersebut memiliki
gradient/slope (b) sendiri. Gradien sampel tersebut akan bervariasi disekitar nilai koefisien
regresi tersebut. Maka perlu diketahui variasi koefisien regresi tersebut dengan persamaan
berikut:
𝑆
𝑆𝑏 = 𝑆𝑆𝐸
ඥ𝑆𝑥𝑥 dimana: 𝑆 =ඨ
𝑛−2
12
13
 14
b. Pengujian Bersama
Penentuan model regresi linier sederhana ditekankan pada konsep linieritasnya dengan asumsi awal bahwa hubungan
tersebut linier diparamater regresinya. Pemilihan variabel independen yang kurang tepat dapat menimbulkan bias
dalam estimasinya. Pengujian melalui analisis varian (ANOVA) mangacu pada pembahasan varian total (b) bahwa
dekomposisi: SST = SSR + SSE
Uji Hipotesis:
1. H0 : β = 0 (Model regresi tidak sesuai)
2. H1 : β ≠ 0 (Model regresi sesuai)
3. Statistik Uji F:
Fhitung = MSR/MSE
Dekomposisi: SST = SSR + SSE
Dengan: Dimana:
𝑆𝑆𝑅 = 𝑆𝑥𝑦 σ 𝑥σ 𝑦
𝑆𝑥𝑦 = ෍ 𝑥𝑦 −
𝑛
𝑆𝑆𝐸 = 𝑆𝑦𝑦 − 𝑏𝑆𝑥𝑦 σ 2
( 𝑦)
𝑆𝑦𝑦 = ෍ 𝑦2 −
𝑛
ANOVA
Sumber SS v MS Fhitung
 Regresi SSR 1 MSR = SSR/1
MSR/MSE
 Error SSE n–2 MSE = SSE/n-2
 Total SST n–1
4. Pada  dan derajat kebebasan (1, v) dimana v = n – 2, daerah kritis untuk nilai f(1 ,n-2)
5. Kesimpulan : keputusan Tolak H0 jika Fhitung> f(1 ,n-2)
 15

Contoh Kasus
Sebuah penelitian dilakukan untuk mengetahui efek dari temperatur (X) dalam derajat celcius pada persentase konversi
hasil dari suatu proses kimia (Y). Data berikut merupakan sampel acak sebanyak 12 proses kimia :

No 1 2 3 4 5 6 7 8 9 10 11 12
Temperatur (X) 200 250 200 250 189 260 225 225 225 225 225 225
Konversi (Y) 43 78 69 73 48 78 65 74 76 79 83 81
o Hitunglah nilai slope (b) dan intercept (a) berdasarkan data sampel di atas !
o Buatlah persamaan untuk model regresi linier sederhana taksirannya dan prediksilah persentase konversi hasil proses
kimia pada temperatur 230 !
o Lakukan pengujian hipotesis pada taraf nyata 5% untuk mengetahui efek dari temperatur (X) terhadap konversi hasil
proses kimia (Y) !
o Lakukan pengujian signifikansi parameter regresi menggunakan ANOVA !
o Hitunglah nilai koefisien determinansi dan jelaskan artinya !
 16

Solusi
 17

 
  o Taksiran slope (b) dan intercept (a) :

 
𝑎= ´𝑦 −𝑏 ´𝑥 =70.58 − ( 0.4078 )( 224.92 ) =−21.1401
o Model regresi taksiranya / model regresi sampel

𝑦 𝑖=−21.1401+0.4078 𝑋 𝑖+𝑒 𝑖
Prediksi nilai konversi hasil proses kimia jika diketahui temperaturnya 230

^𝑦 𝑖=−21.1401+0.4078 ( 230 )=72.66

 18

 Untuk melakukan pengujian hipotesis, terlebih dahulu kita harus mencari taksiran untuk komponen varians error dengan
membuat tabel nilai prediksi setiap observasi, kemudian dihitung nilai residualnya sebagai berikut :

yi yi y yˆ
 
i ei ei2
ei e 2
i
43 60.42 -17.42 303.53
78 80.81 -2.81 7.91
69 60.42 8.58 73.58
73 80.81 -7.81 61.04
48 55.94 -7.94 62.98
78 84.89 -6.89 47.48
65 70.62 -5.62 31.55 Standard error untuk koefisien slope (b)
74 70.62 3.38 11.44
76 70.62 5.38 28.97
79 70.62 8.38 70.27
83 70.62 12.38 153.33
81 70.62 10.38 107.80
Total 959.89
 19

 o Uji signifikansi slope (b) :

1. H0 : β = 0 (Temperatur tidak memberikan efek signifikan pada hasil konversi)

2. H1 : β 0 (Temperatur memberikan efek signifikan pada hasil konversi)
3. Statistik uji :

4. dan derajat bebas v = n-2 = 12 - 2 = 10 maka ttabel = t0.025 ; 10 = 2.228

Tolak H0 jika t atau t
Tidak tolak H0 jika tidak demikian

5. Ternyata t = 2.95 > 2.228 sehingga H0 ditolak

Berdasarkan data sampel, pada taraf nyata 5% cukup bukti untuk menyatakan bahwa temperatur memberikan efek
signifikan/nyata pada hasil konversi proses kimia.
 20

 o Uji signifikansi model regresi dengan ANOVA

1. H0 : Model regresi tidak mampu menjelaskan variasi pada variabel Y

2. H1 : Model regresi mampu menjelaskan variasi pada variabel Y
3. Statistik uji :

Perlu dilakukan perhitungan MSR dengan membuat tabel perhitungan :

 21

No. yi ˆi
y ˆi  y
y ˆi  y )
(y 2

1 43 60.42 -10.16 103.25

2 78 80.81 10.23 104.64
3 69 60.42 -10.16 103.25
4 73 80.81 10.23 104.64
5 48 55.94 -14.65 214.54
6 78 84.89 14.31 204.7
7 65 70.62 0.03 0
8 74 70.62 0.03 0
9 76 70.62 0.03 0
10 79 70.62 0.03 0
11 83 70.62 0.03 0
12 81 70.62 0.03 0
Total 835.03
 M
 22

Sehingga : F = MSR / MSE = 835.03 / 95.989 = 8.699

Secara lengkap Tabel ANOVA disajikjan sebagai berikut :

Sumber Variasi SS (Jumlah Kuadrat) v (derajat bebas) MS (Rataan Kuadrat) F

Regresi 835.03 1 835.03
8.699
Error 959.89 10 95.989
Total 1794.92 11
 4. Taraf nyata α = 0.05 derajat bebas v1 = 1 dan v2 = 10 diperoleh Ftabel = F0.05; 1; 10 = 4.96
Tolak H0 jika F 4.96
Tidak tolak H0 jika tidak demikian

5. Ternyata F = 8.699 > 4.96 sehingga H0 ditolak

Pada taraf nyata 5%, cukup bukti untuk menyatakan bahwa model regresi mampu menjelaskan variasi pada variabel
Y (hasil konversi).
 23

 o Perhitungan koefisien determinansi

Arti : Variasi pada variabel Y (hasil konversi) mampu dijelaskan rata-rata sebesar 46.52% oleh variasi pada variabel X
(temperatur) pada model regresi, sedangkan sisanya sebesar 53.48% dijelaskan oleh variasi variabel lain yang tidak
dimasukkan dalam model (komponen error).
 24

Latihan
Manajer kantor di sebuah perusahaan real estate membuat kopi dalam sebuah teko setiap pagi.
Waktu sebelum kopi habis dalam teko (Y) dalam jam tergantung jumlah orang yang bekerja pada
hari itu (X). Data berikut merupakan pengamatan berpasangan nilai (X, Y) dari enam hari kerja
yang dipilih secara acak adalah:

o Hitunglah nilai slope (b) dan intercept (a) berdasarkan data sampel di atas !
o Buatlah persamaan untuk model regresi linier sederhana taksirannya dan prediksilah berapa lama
kopi dalam teko akan habis jika pada suatu hari tertentu ada 6 orang yang bekerja
o Lakukan pengujian hipotesis pada taraf nyata 5% untuk menguji parameter slope model
o Lakukan pengujian signifikansi parameter regresi menggunakan ANOVA !
o Hitunglah nilai koefisien determinansi dan jelaskan artinya !