MODUL

PERTEMUAN 2
REGRESI LINEAR SEDERHANA

1. Sampel, Populasi, dan Jenis Data

 Populasi merupakan jumlah keseluruhan dari objek penelitian. Bisa juga
didefinisikan sebagai jumlah keseluruhan dari satuan-satuan atau individu-
individu yang karakteristiknya hendak diteliti.
 Sampel adalah sebagian atau sebagai wakil populasi yang akan diteliti.
 Misalnya saja, peneliti perlu melakukan survei di desa A tentang tingkat
kepuasan terhadap layanan perusahaan X. Berhubung jumlah masyarakat
di desa tersebut mencapai 500 orang (jumlah populasi). Maka peneliti
mencoba melakukan efisiensi waktu dan tenaga dengan mengambil
sampel sebanyak 10 orang atau lebih dan bisa juga kurang.

 Angka 500 dari contoh ini adalah populasi, sedangkan angka 10 adalah
sampel.

 Jenis Data berdasarkan skala pengukuran

2. Hubungan Koefisien Korelasi Dengan Koefisien Regresi
Metode korelasi dan metode analisis regresi sederhana, keduanya sama-sama
digunakan untuk mengukur derajat hubungan antarvariabel. Bedanya, regresi
digunakan sebagai pengukur bentuk hubungan, dan korelasi digunakan sebagai
pengukur keeratan hubungan antarvariabel.

2.1 Regresi
Regresi merupakan pengukur hubungan dua variabel atau lebih yang
dinyatakan dengan bentuk hubungan/fungsi. Tujuan utama analisis regresi adalah
mencari ada tidaknya hubungan linier antara dua variabel:
 Variabel bebas (X), yaitu variabel yang mempengaruhi
 Variabel terikat (Y), yaitu variabel yang dipengaruhi
Kedua variabel di atas biasanya bersifat kausal atau sebab akibat yaitu saling
berpengaruh. Dengan demikian, regresi merupakan bentuk fungsi tertentu antara
variabel terikat y dan variabel bebas x. Dengan kata lain, Persamaan regresi adalah
persamaan matematika yang memungkinkan kita meramalkan nilai-nilai variabel
terikat (Y) dari nilai-nilai satu atau lebih variabel bebas (X).
Setelah diketahui ada hubungan/pengaruh, maka analisis ini digunakan
untuk keperluan pendugaan/penaksiran variabel terikat (Y) dari suatu nilai variabel
bebas (X).

2.2 Korelasi
Korelasi merupakan pengukur hubungan dua variabel atau lebih yang
dinyatakan sebagai tingkat hubungan (derajat keeratan) antarvariabel. Dalam
menggunakan korelasi, tidak dipersoalkan adanya ketergantungan atau dengan kata
lain, variabel yang satu tidak harus bergantung dengan variabel lainnya.

Meskipun variabel yang dihitung korelasinya tidak diharuskan mempunyai hubungan

ketergantungan, perlu ditekankan variabel yang dioperasikan tetap harus mempunyai
hubungan atau kaitan (relevansi). Sebaiknya tidak menghubungkan variabel-variabel
yang sangat jauh relevansinya secara logika.

2.3 Contoh Penggunaan Regresi dan Korelasi

Berikut beberapa contoh penggunaan regresi dan korelasi:

1. Kepadatan penduduk dengan upah harian

2. Berat induk sapi dengan berat anakan yang dilahirkan
3. Umur dengan berat badan balita
4. Biaya promosi dengan jumlah penjualan
5. Luas daun dengan panjang akar
6. Nilai mahasiswa pada matakuliah Matematika dengan Statistika
Contoh-contoh di atas hanya sebagian kecil dari pengaplikasian metode regresi
dan korelasi. Dari contoh-contoh di atas, analisis regresi dapat diterapkan pada contoh
nomor 1,2,3 dan 4. Sementara analisis korelasi dapat diterapkan pada semua contoh
di atas.

3. Regresi Linear Sederhana

Dalam hal regresi linear sederhana yaitu hanya terdiri dari satu variabel bebas
dan satu variabel terikat, datanya dapat disajikan sebagai pasangan pengamatan
{(𝑥𝑖 , 𝑦𝑖 ); 𝑖 = 1,2, … , 𝑛}. Setiap pengamatan (𝑥𝑖 , 𝑦𝑖 ) dalam sampel memenuhi
hubungan:

𝑦𝑖 = 𝛼 + 𝛽𝑥𝑖 + 𝜀𝑖 (3.1)

Dimana:

- Koefisien regresi 𝛼 dan 𝛽 merupakan dua parameter yang akan ditaksir

dari data sampel
- 𝜀𝑖 merupakan galat/error data ke-i
Persamaan (3.1) di atas dapat dipandang sebagai model untuk pengamatan tunggal 𝑦𝑖 .
Demikian juga, dengan menggunakan taksiran garis regresi

𝑦̂ = 𝑎 + 𝑏𝑥

Maka tiap pasangan pengamatan memenuhi

𝑦𝑖 = 𝑎 + 𝑏𝑥𝑖 + 𝑒𝑖 ,

Dengan 𝑒𝑖 = 𝑦𝑖 − 𝑦̂𝑖 disebut Sisa dan memberikan galat dalam taksiran model pada
titik data ke-i. Beda antara 𝑒𝑖 dan 𝜀𝑖 jelas terlihat pada gambar 3.1 berikut.

Gambar 3.1 Membandingkan 𝜀𝑖 dengan sisa 𝑒𝑖

3.1 Mengestimasi parameter 𝜶 dan 𝜷 dengan Metode Kuadrat Terkecil

Akan dicari nilai a dan b, sebagai taksiran/estimator untuk parameter 𝛼 dan 𝛽,

sehingga jumlah kuadrat sisa minimum. Jumlah kuadrat sisa sering pula disebut
jumlah kuadrat galat terhadap garis regresi dan dinyatakan dengan JKG (Jumlah
Kuadrat Galat). Cara peminimuman untuk menaksir parameter dinamakan Metode
Kuadrat Terkecil. Jadi a dan b akan dicari sehingga meminimumkan

𝑛 𝑛 𝑛

𝐽𝐾𝐺 = ∑ 𝑒𝑖 = ∑(𝑦𝑖 − 𝑦̂𝑖 ) = ∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 )2

2 2

𝑖=1 𝑖=1 𝑖=1

Bila JKG diturunkan terhadap a dan b maka diperoleh

𝑛
𝜕(𝐽𝐾𝐺)
= −2 ∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 )
𝜕𝑎
𝑖=1

𝑛
𝜕(𝐽𝐾𝐺)
= −2 ∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 ) 𝑥𝑖
𝜕𝑏
𝑖=1

Mengestimasi Koefisien Regresi. Bila diketahui sampel {(𝑥𝑖 , 𝑦𝑖 ); 𝑖 = 1,2, … , 𝑛}

maka taksiran kuadrat terkecil a dan b dari koefisien regresi 𝛼 dan 𝛽 dihitung
menggunakan rumus:

𝑛 ∑𝑛𝑖=1 𝑥𝑖 𝑦𝑖 − (∑𝑛𝑖=1 𝑥𝑖 )(∑𝑛𝑖=1 𝑦𝑖 )

𝑏=
𝑛 ∑𝑛𝑖=1 𝑥𝑖 2 − (∑𝑛𝑖=1 𝑥𝑖 )2

Dan

∑𝑛𝑖=1 𝑦𝑖 − 𝑏 ∑𝑛𝑖=1 𝑥𝑖
𝑎=
𝑛

Contoh Soal

1. Berikut ini diberikan data pencemaran

Tabel 1. Ukuran zat padat dan kebutuhan oksigen kimiawi

No. Penurunan Zat Padat (x) % Kebutuhan Oksigen Kimiawi (y) %

1 3 5
2 7 11
3 11 21
4 15 16
5 18 16
6 27 28
 7 29 27
8 30 25
9 30 35
10 31 30
11 31 40
12 32 32
13 33 34
14 33 32
15 34 34
16 36 37
17 36 38
18 36 34
19 37 36
20 38 38
21 39 37
22 39 36
23 39 45
24 40 39
25 41 41
26 42 40
27 42 44
28 43 37
29 44 44
30 45 46
31 46 46
32 47 49
33 50 51

a. Taksirlah garis regresi untuk data pencemaran pada tabel 1!

b. Taksirlah kebutuhan oksigen kimiawi yang dibutuhkan bila penurunan zat
padatnya 35%!
2. Dilakukan suatu penelitian mengenai banyak gula yang dihasilkan dalam suatu
proses pada suhu yang berlainan. Data (setelah disandi) adalah sebagai berikut.
 Gula Dihasilakan
No. Suhu (x) (y)
1 1 8.1
2 1.1 7.8
3 1.2 8.5
4 1.3 9.8
5 1.4 9.5
6 1.5 8.9
7 1.6 8.6
8 1.7 10.2
9 1.8 9.3
10 1.9 0.2
11 2 10.5

a. Taksirlah garis regresi linear untuk data di atas!

b. Taksirlah banyak gula yang dihasilkan bila suhu (setelah disandi) 1,75.
3. Suatu penelitian diadakan oleh seorang pedagang eceran untuk menentukan
hubungan antara biaya iklan mingguan dengan penjualan. Datanya, dalam ribuan
rupiah, tercatat sebagai berikut.

No. Biaya Iklan Penjualan

1 40 385
2 20 400
3 25 395
4 20 365
5 30 475
6 50 440
7 40 490
8 20 420
9 50 560
10 40 525
11 25 480
12 50 510
a. Carilah persamaan garis regresi untuk memprediksikan penjualan
mingguan dari biaya iklan
b. Taksir penjualan mingguan bila biaya iklan 35 ribu rupiah
 PERTEMUAN 3
REGRESI LINEAR SEDERHANA
(Lanjutan)
3.2 Mengestimasi Parameter 𝝈𝟐
Mengestimasi 𝜎 2 merupakan hal yang sangat penting dalam analisis regresi.
Jika nilai 𝜎 2 diketahui, maka kita akan tahu seberapa besar variasi nilai-nilai Y untuk
nilai X yang tetap. Semakin kecil nilai 𝜎 2 semakin kecil pula variasi nilai Y. Untuk
mengestimasi 𝜎 2 diperlukan asumsi bahwa semua galat acak 𝜀1 , 𝜀2 , … , 𝜀𝑛 memiliki
variansi yang sama dengan 𝜎 2 (homogen).
Selisih antara data Y dan hasil prediksinya 𝑌̂ dinamakan residual (sisaan,
dinotasikan dengan e, dan dirumuskan dengan:
𝑒 = 𝑌 − 𝑌̂
Atau
𝑒 = 𝑌 − (𝑏0 + 𝑏1 𝑋)
Jika tersedia n pasang data (𝑋𝑖 , 𝑌𝑖 ), i=1,2,…,n, maka kita akan memiliki n residual,
yakni:
𝑒1 = 𝑌1 − (𝑏0 + 𝑏1 𝑋1 )
𝑒2 = 𝑌2 − (𝑏0 + 𝑏1 𝑋2 )
⋮
𝑒𝑛 = 𝑌𝑛 − (𝑏0 + 𝑏1 𝑋𝑛 )
Residual 𝑒1 , 𝑒2 , … , 𝑒𝑛 ini dapat digunakan untuk mengestimasi 𝜎 2 (variansi galat).
Notasi jumlah kuadrat residual dengan:
𝑛

𝐽𝐾𝑅𝑒𝑠 = ∑ 𝑒𝑖 2
𝑖=1
2
Untuk mengestimasi 𝜎 kita dapat menggunakan rumus:
𝐽𝐾𝑅𝑒𝑠
𝑠2 =
𝑛−2

Estimator 𝑠 2 merupakan estimator yang baik karena bersifat tak bias untuk
𝜎 2 . Perhatikan bahwa penyebut pada rumus di atas adalah n – 2 padahal sampelnya
berukuran n. Jika penyebutnya diganti dengan n maka estimator yang diperoleh akan
bersifat bias. Nilai𝑠 2 merupakan salah satu ukuran kecocokan model (goodness of fit);
semakin kecil nilai 𝑠 2 semakin sesuai model regresinya.

Contoh (Lanjutan Contoh Soal Gula)

Pada contoh 2 di atas telah diperoleh a=10,505 dan b= -1,464. Untuk menghitung
nilai estimator 𝑠 2 pertama-tama perlu dihitung residual sebagai berikut.
𝑒1 = 𝑌1 − (𝑏0 + 𝑏1 𝑋1 ) = 8,1 − (10,505 − 1,464(1)) = −0,941
𝑒2 = 𝑌2 − (𝑏0 + 𝑏1 𝑋2 ) = 7,8 − (10,505 − 1,464(1,1)) = −1,095
⋮
𝑒11 = 𝑌𝑛 − (𝑏0 + 𝑏1 𝑋𝑛 ) = 10,5 − (10,505 − 1,464(2)) = 2,923
Hasil perhitungan selengkapnya beserta kuadrat residual disajikan pada tabel berikut.
No. Residual e Kuadrat Residual 𝑒 2
1 -0,941 0,885
2 -1,095 1,198
3 -0,248 0,062
4 1,198 1,436
5 1,045 1,091
6 0,591 0,349
7 0,437 0,191
8 2,184 4,768
9 1,430 2,045
10 -7,524 56,605
11 2,923 8,542
77,173

Dari tabel diperoleh

𝑛

𝐽𝐾𝑅𝑒𝑠 = ∑ 𝑒𝑖 2 = 77,173
𝑖=1

Dengan menggunakan rumus diperoleh estimator variansi galat:

𝐽𝐾𝑅𝑒𝑠 77,173
𝑠2 = = = 8,575
𝑛 − 2 11 − 2
Setelah diperoleh 𝑠 2 kita mempunyai kesimpulan yang lebih lengkap, yakni
persamaan garis regresi yang menghubungkan variabel X dan Y adalah

𝑌̂ = 10,505 − 1,464𝑋

Dengan estimator variansi galat acak 8,575. Nilai 𝑠 2 ini akan menentukan rentangan
nilai-nilai Y jika X diketahui.

Didasarkan pada kenyataan ini kita dapat menginterpretasikan b0 dan b1. Nilai b0
merupakan estimasi kontribusi yang diberikan oleh faktor di luar X terhadap Y
maupun E(Y). Nilai b1 dapat diinterpretasikan sebagai berikut.
1. Jika nilai b1 > 0, maka nilai Yˆ semakin besar apabila nilai X semakin besar.
Karena Yˆ adalah estimator untuk Y (dan juga E(Y)), maka dapat diinterpretasikan
bahwa terdapat pengaruh positif dari variabel X terhadap variabel Y.
2. Jika nilai b1 = 0, maka tidak ada pengaruh variabel X terhadap variabel Y.
3. Jika nilai b1 < 0, maka nilai Yˆ semakin kecil apabila nilai X semakin besar
sehingga dapat diinterpretasikan bahwa terdapat pengaruh negatif dari variabel X
terhadap variabel Y.

3.3 Menguji Hipotesis

Setelah mengestimasi parameter, selanjutnya kita dapat menguji hipotesis tentang
parameter 𝛽0 dan 𝛽1 . Ada tiga hipotesis yang dapat diuji yakni:
1. 𝐻0 : 𝛽0 = 𝛽1 = 0
𝐻1 : Ada tanda ≠
2. 𝐻0 : 𝛽0 = 0
𝐻1 : 𝛽0 ≠ 0
3. 𝐻0 : 𝛽1 = 0
𝐻1 : 𝛽1 ≠ 0
Uji hipotesis nomor 1 sering dinamakan uji kesesuaian model. Uji hipotesis 2
adalah menguji intercept, dan uji hipotesis nomor 3 adalah uji pengaruh
variabel independen X terhadap variabel dependen Y. Pada hipotesis nomor 2
dan 3, jika tanda “=” diganti “≤” maka tanda “≠” harus diganti “>”;jika tanda
“=” diganti “≥” maka tanda “≠” harus diganti “<”.
3.4 Asumsi dalam Uji Hipotesis

Untuk keperluan pengujian hipotesis dan juga untuk membuat interval konfidensi
parameter galat-galat acak diasumsikan sebagai berikut:
1. Memiliki mean 0
2. Memiliki variansi konstan 𝜎 2
3. Tidak berkorelasi
4. Berdistribusi normal.
Asumsi-asumsi ini diperlukan antara lain agar dapat diperoleh statistik uji yang
distribusinya dapat dikenali seperti Snecdor F atau Student t. Jika asumsi-asumsi
tersebut tidak dipenuhi, maka tidak ada jaminan bahwa rumus statistik uji F atau t
yang kita kenal benar-benar berdistribusi F atau t sehingga kesimpulan yang
diperoleh dalam uji hipotesis bisa salah.

3.5 Menguji Pengaruh dengan Uji F

Menguji signifikansi pengaruh variabel independen X terhadap variabel dependen Y
sering menjadi ketertarikan utama bagi peneliti. Dalam model regresi linier sederhana

𝑌 = 𝛽0 + 𝛽1 𝑋 + 𝜀

Jika 𝛽1 = 0 (atau tidak berbeda secara signifikan dengan 0), maka modelnya dapat
disederhanakan menjadi

𝑌 = 𝛽0 + 𝜀

Ini berarti tidak ada pengaruh dari variabel X terhadap Y karena X tidak ada di dalam
model. Sebaliknya jika 𝛽1 ≠ 0 maka ada pengaruh dari X terhadap Y. oleh karena itu,
rumusan hipotesis untuk menguji pengaruh X terhadap Y adalah:

𝐻0 : 𝛽1 = 0 (tidak ada pengaruh X terhadap Y)

𝐻1 : 𝛽1 ≠ 0 (ada pengaruh X terhadap Y)

Jika H0 diterima, maka kesimpulannya tidak ada pengaruh yang signifikan dari
variabel X terhadap variabel Y. Sebaliknya jika H0 ditolak, maka kesimpulannya
terdapat pengaruh yang signifikan dari variabel X terhadap variabel Y.

Langkah-langkah untuk menguji keberartian regresi dengan uji F adalah

sebagai berikut:

Langkah 1. Merumuskan Hipotesis

𝐻0 : 𝛽1 = 0 (tidak ada pengaruh X terhadap Y)
𝐻1 : 𝛽1 ≠ 0 (ada pengaruh X terhadap Y)
Langkah 2. Menghitung Statisik Uji
Langkah-langkah menghitung statisik uji adalah sebagai berikut:

a. Hitung jumlah kuadrat total (JKT)

𝑛

𝐽𝐾𝑇 = ∑ 𝑌𝑖2
𝑖=1
b. Hitung jumlah kuadrat regresi (JKR)
𝑛 𝑛

𝐽𝐾𝑅 = 𝑏0 ∑ 𝑌𝑖 + 𝑏1 ∑ 𝑋𝑖 𝑌𝑖
𝑖=1 𝑖=1

Dimana 𝑏0 dan 𝑏1 dirumuskan seperti sebelumnya.

c. Hitung jumlah kuadrat regresi (𝛽0 )

(∑𝑛𝑖=1 𝑌𝑖 )2
𝐽𝐾𝑅 (𝛽0 ) =
𝑛

d. Hitung jumlah kuadrat regresi (𝛽1 |𝛽0 )

𝐽𝐾𝑅(𝛽1 |𝛽0 ) = 𝐽𝐾𝑅 − 𝐽𝐾𝑅 (𝛽0 )

e. Hitung jumlah kuadrat residual (JKRes)

𝐽𝐾𝑅𝑒𝑠 = 𝐽𝐾𝑇 − 𝐽𝐾𝑅

f. Hitung rata-rata kuadrat regresi (𝛽1 |𝛽0 )

𝑅𝐾𝑅 (𝛽1 |𝛽0 ) = 𝐽𝐾𝑅 (𝛽1 |𝛽0 )

g. Hitung rata-rata kuadrat residual

𝐽𝐾𝑅𝑒𝑠
𝑅𝐾𝑅𝑒𝑠 =
𝑛−2

h. Hitung Statisik Uji F

𝑅𝐾𝑅 (𝛽1 |𝛽0 )

𝐹=
𝑅𝐾𝑅𝑒𝑠
Langkah 3. Menentukan F tabel
Tetapkan taraf signifikansi 𝛼, misalnya 𝛼 = 0,05 atau yang lainnya. Selanjutnya
lihat pada tabel distribusi F dengan derajat bebas pembilang db1 = 1 dan derajat
bebas penyebut db2 = n – 2 untuk mendapatkan nilai F tabel. (pada Excel
Gunakan Fungsi =FINV(alpha;db1;db2)

Langkah 4. Membuat Kesimpulan

Kriteria uji yang digunakan adalah: Tolak H0 jika F hitung > F tabel.

Catatan: (Bandingkan antara Hasil perhitungan manual dengan Excel dan SPSS)

Contoh Soal 2: (Gula)

Langkah 1. Merumuskan Hipotesis
𝐻0 : 𝛽1 = 0 (tidak ada pengaruh antara suhu terhadap gula dihasilkan)
𝐻1 : 𝛽1 ≠ 0 (ada pengaruh antara suhu terhadap gula dihasilkan)
Langkah 2&3. Hitung F Hitung dan F Tabel
Dari perhitungan dengan bantuan Excel, diperoleh
F hitung 0,273885
F Tabel 5,117355
Langkah 4. Kesimpulan
Karena F Hitung < F Tabel, maka H0 diterima. Artinya Tidak ada pengaruh antara
suhu terhadap gula yang dihasilkan.