Pertemuan 3

REGRESI LINEAR SEDERHANA

 – Pada penelitian ekonomi dan manajemen, banyak penelitian
dilakukan dengan analisis sebab akibat antar variabel
– Ilustrasi: sebuah perusahaan memiliki angka penjualan yang
menurun
– Perusahaan akan mengatasi masalah tersebut
PENGANTAR – Akan tetapi perusahaan tidak mungkin secara langsung
melakukan intervensi penjualan itu sendiri karena penjualan
tidak dapat dikontrol oleh perusahaan atau dengan kata lain
perusahaan tidak mempunyai kemampuan secara langsung
menaikkan atau menurunkan penjualan
– Maka, perusahaan harus mencari faktor-faktor yang
menyebabakan penjualan turun.
– Maka, perusahaan harus mencari faktor-faktor yang menyebabakan
penjualan turun
– Misalkan: penetapan harga, kepuasan pelanggan, pelayanan pascar
transaksi, dan sebagainya
– Jika ditemukan faktor-faktor tsb maka perusahaan dapat melakukan
intervensi terhadapnya
– Metode statistik yang digunakan untuk analsis sebab akibat dinamakan
analisis regresi
– Metode ini dapat menjelaskan secara kuantitatif matematis besarnya
pengaruh suatu variabel terhadap variabel lain
Contoh: permintaan kamar hotel
– Tingkat hunian kamar hotel (THK) antara satu hotel dengan hotel lainnya
berbeda atau bervariasi
– Maka pertanyaan yang muncul: Mengapa THK bervariasi? Mengapa satu
hotel THK-nya tinggi, dan mengapa yang lainnya rendah? Apakah
penyebabnya?
– Jika hotel dengan THK rendah mengetahui penyebabnya maka tentu
akan dilakukan pembenahan sehingga bisa meningkatkan THK
Regresi Linier – Jenis yang paling sederhana dari analisis regresi yang melibatkan
satu variabel independen dan satu variabel dependen di mana
Sederhana hubungan antara variabel diperkirakan dengan garis lurus
 – Model regresi
1 Model – Persamaan yang menggambarkan bagaimana y berhubungan
dengan x dan error term
Regresi Linier – Error term: selisih antara nilai duga (predicted value) dengan nilai
Sederhana pengamatan yang sebenarnya

b0 = intersep y
b1 = slope
∈ = error term
Contoh garis regresi yang mungkin terjadi
 – Jika dalam penelitian digunakan data sampel maka akan
didapatkan persamaan regresi yang diestimasi (estimated
regression equation)

Persamaan
– b0 = intersep y
Regresi yang – b1 = slope
Diestimasi – 𝑦" = estimator titik dari E (y)
–
𝑦" dibaca “y hat”
PROSES ESTIMASI REGRESI LINEAR SEDERHANA
– Rumus untuk Perhitungan Intersep dan Slope untuk
Persamaan Regresi Estimasi
atau

𝑥𝑖
= nilai variabel independen untuk observasi ke-i
𝑦𝑖 = nilai variabel dependen untuk observasi ke-i
𝑥̅ = rata-rata nilai variabel independen
𝑦" = rata-rata nilai variabel dependen
𝑛 = jumlah observasi
 – Tidak ada multikolinieritas: korelasi antar variabel
independent.
Untuk kasus ini variabel independen hanya satu jadi
tidak perlu dilakukan
Pengujian
– Tidak boleh ada autokorelasi: terjadinya korelasi antara
asumsi regresi satu data dengan data lain dalam satu variabel.
Pelnggaran ini terjadi pada data time series
– Tidak boleh terjadi heteroskedastisitas yaitu varian
error tidak konstan
– Contoh
– Berikut adalah data jumlah mahasiswa dan penjualan
kuartalan (tiap 3 bulan) di 10 sampel restoran Pizza Armand
yang berlokasi di dekat kampus

– A. Buatlah persamaan regresinya dari data tersebut!

– B. Hitunglah prediksi penjualan kuartalan jika sebuah kampus
memiliki 16000 mahasiswa?
A. Persamaan Regresi
A. Persamaan Regresi
 – Intersep (b0) menunjukkan angka 60. Berarti jika tidak ada
mahasiswa maka penjualan per pelanggan hanya $ 60 saja.

Persamaan – Slope persamaan regresi estimasi (b1= 5) positif,

– Hal ini menyiratkan bahwa jika jumlah mahasiswa meningkat,
Regresi maka penjualan juga peningkatan.
– Dapat menyimpulkan (berdasarkan penjualan diukur dalam
$1000 dan populasi siswa dalam ribuan) bahwa peningkatan
populasi siswa sebanyak 1.000 orang akan meningkatkan
penjualan kuartalan sebesar $ 5000;
– Atau peningkatan populasi siswa sebanyak 1 orang akan
meningkatkan penjualan kuartalan sebesar $ 5 per
mahasiswa
Grafik
– Error: jarak penyimpangan antara titik observasi (nilai data) dan titik pada
garis (nilai estimasi/perkiraan)

error

error
– B. Hitunglah prediksi penjualan kuartalan jika
sebuah kampus memiliki 16000 mahasiswa?

– Jadi penjualan kurtalan adalah $140.000

 – Seberapa baik persamaan regresi estimasi cocok dengan data?
3 Koefisien – Maka koefisien determinasi memberikan ukuran kecocokan untuk
persamaan regresi yang diestimasi
Determinasi
– Untuk pengamatan ke-i, perbedaan antara nilai yang diamati dari
variabel dependen, 𝑦𝑖 , dengan nilai estimasi variabel dependen, 𝑦
" ,
disebut dengan residual
– Jumlah kuadrat residual atau kesalahan adalah kuantitas yang
diminimalkan dengan metode kuadrat terkecil
– Dinamakan dengan jumlah kuadrat karena kesalahan/error (sum
of squares due to error (SSE) ). Rumusnya adalah:

– Untuk mengukur berapa banyak nilai-nilai pada garis regresi estimasi

menyimpang dari jumlah kuadrat lain disebut jumlah kuadrat karena
regresi (sum of squares due to regression) dinotasikan SSR.
– Rumusnya:
– Contoh:
– Dalam Tabel 14.4 kita menunjukkan jumlah penyimpangan kuadrat diperoleh
dengan menggunakan rata-rata sampel untuk memperkirakan
nilai penjualan kuartalan untuk setiap restoran dalam sampel. Untuk restoran
ke-i dalam sampel, perbedaan memberikan ukuran kesalahan dalam
menggunakan untuk memperkirakan penjualan. Jumlah kuadrat ini
disebut total jumlah kuadrat (total sum of square / SST)
HUBUNGAN ANTARA
total jumlah kuadrat
(SST), jumlah kuadrat
karena regresi (SSR),
DAN jumlah kuadrat
karena kesalahan – Contoh: Restoran Armand’s Pizza Parlors
(SSE) – Jika diketahui SSE = 1530 and SST = 15,730. Hitunglah SSR ?
– SSR = SST - SSE = 15.730 – 1.530 = 14.200
– Rasio SSR / SST, yang memiliki nilai antara nol dan satu,
digunakan untuk mengevaluasi kecocokan (goodness of fit)
untuk persamaan regresi estimasi.
– Rasio ini disebut koefisien determinasi dan
dilambangkan dengan r2.

– Contoh: Restoran Armand’s Pizza Parlors

– Intrepertasi:
– 90,27% dari variabilitas dalam penjualan dapat dijelaskan
oleh hubungan linear antara ukuran populasi siswa dan
penjualan
Menggunakan – Uji t
standard error – Model regresi linier sederhana adalah:
dari estimasi
untuk menguji
hubungan yang – Jika x dan y memiliki hubungan linier, kita memiliki β1≠ 0
signifikan antara – Tujuan dari uji ini adalah untuk melihat apakah kita dapat
x dan y. menyimpulkan bahwa β1≠ 0
– Kita akan menggunakan data sampel untuk menguji
hipotesis berikut untuk parameter β1

– Jika nilai signifikansi uji t > 0,05 maka H₀ diterima dan

Ha ditolak. Artinya tidak ada pengaruh yang signifikan
antara variabel independen terhadap variaben
dependen.
– Jika nilai signifikansi uji t < 0,05 maka H₀ ditolak dan
Ha diterima. Artinya terdapat pengaruh yang signifikan
antara variabel independen terhadap variabel dependen.
– Contoh: Armand Pizza Parlors menggunakan catatan
penjualan sampel yang berbeda dari 10 restoran. Sebuah
analisis regresi sampel mungkin mengakibatkan persamaan
regresi estimasi mirip dengan persamaan regresi sebelumnya
yaitu
– Namun, diragukan bahwa kita akan mendapatkan persamaan
yang persis sama (dengan intercept 60 dan kemiringan 5)
– b0 dan b1 (estimator kuadrat terkecil) adalah statistik sampel
dengan distribusi sampel yang masing-masing dimiliki
– Sifat-sifat distribusi sampling untuk b1 adalah:
– Nilai yang diharapkan

– Standar Deviasi

– Bentuk distribusi
– Nilai harapan dari b1 adalah sama dengan β1,
sehingga b1 adalah estimator yang tidak bias untuk
β1.
– Karena kita tidak mengetahui nilai σ, kita
mengembangkan perkiraan untuk σb1 dilambangkan
dengan sb1, dengan memperkirakan/mengestimasi σ
dengan s b1 dalam persamaan:

– Dengan demikian, kita memperoleh estimasi untuk

σb1
– Ringkasan dari uji t untuk signifikansi dalam regresi linier
sederhana adalah sebagai berikut:
– Hipotesis uji t pada regresi linier sederhana

– Statistik Uji
– Jika hipotesis nol benar, maka β1 = 0, dengan demikian
ATURAN PENOLAKAN
– Pendekatan nilai probabilitas (p-value):
Tolak H0 jika nilai probabilitas (p-value) ≤ α

– Pendekatan nilai kritis :

Tolak H0 jika atau jika

dimana didasarkan pada distribusi t dengan n -

2 derajat kebebasan.
– Contoh: Untuk Armand Pizza Parlors diketahui:

– Maka

– Statistik Uji:

– Maka t hitung = 8,62

– Tabel distribusi t menunjukkan bahwa dengan n – 2 =10 – 2 = 8
derajat kebebasan maka nilai t = 3,355 menyediakan area 0,005 di
ujung bagian atas.
– Dengan demikian, daerah di ujung bagian atas dari distribusi t
sesuai dengan statistik uji t = 8,62 harus kurang dari 0,005.
– Karena uji ini adalah uji dua sisi, maka nilai 0,005 dikalikan 2.
– Sehingga 0,005 x 2 = 0,01
– t hitung = 8,62
– t tabel = 3,355

– Pendekatan nilai kritis: tolak H0 jika

– t hitung > t tabel (8,62 > 3,355)
– Pendekatan nilai probabilitas (p-value):
– Tolak H0 jika nilai probabilitas (p-value) ≤ α
– p-value ≤ 0,01
– Dengan demikian karena p-value kurang dari α = 0,01,
kita menolak H0 dan menyimpulkan bahwa β1 tidak
sama dengan nol.
– Bukti ini cukup untuk menyimpulkan bahwa terdapat
hubungan yang signifikan antara populasi siswa dan
penjualan kuartalan
 – Bentuk Interval Kepercayaan untuk β1

Interval
Kepercayaan – = estimasi titik (point estimation)
untuk β1 – = marjin error
– Contoh: kita ingin membuat 99% estimasi interval
kepercayaan β1 untuk Armand Pizza Parlors
– Jika:
– ; α = 1 – 0,99 = 0,01
– Derajat kebebasan = n – 2 = 10 – 2 = 8
– α/2 = 0,01/2 = 0,005
– t 0,005 = 3,355

– Maka interval kepercayaan adalah:

– 5 ± 3,355 (0,5803)
– 5 ± 1,95
– 3,05 sampai 6,95
– Pada α = 0,01 tingkat signifikansi, kita bisa menggunakan
selang kepercayaan 99% sebagai alternatif untuk
menggambar hipotesis pengujian kesimpulan untuk data
Armand Pizza Parlors.
– Karena 0, tidak termasuk dalam interval kepercayaan (3,05-
6,95), kita dapat menolak H0 (β1 = 0) dan menyimpulkan
bahwa ada hubungan statistik yang signifikan antara
ukuran jumlah siswa dan penjualan kuartalan.
– Interval kepercayaan dapat digunakan untuk menguji setiap
hipotesis dua sisi untuk β1.
– Jika nilai hipotesis β1 terkandung dalam interval kepercayaan
maka kita tidak dapat menolak H0.
– Jika nilai hipotesis β1 tidak terkandung dalam interval
kepercayaan maka kita dapat menolak H0.
– Uji F
– Distribusi probabilitas F juga dapat digunakan untuk menguji
signifikansi dalam regresi.
– Dengan hanya satu variabel independen, uji F akan
memberikan kesimpulan yang sama dengan uji t
– Jika uji t menunjukkan β1 ≠ 0 dan karenanya menunjukkan
hubungan yang signifikan, uji F juga akan menunjukkan
hubungan yang signifikan.
– Jika terdapat lebih dari satu variabel independen, hanya uji F
dapat digunakan untuk menguji hubungan yang signifikan
secara keseluruhan.
 – Hipotesis

– Statistik Uji

Ringkasan uji F
untuk signifikansi
dalam regresi linier – Aturan penolakan
sederhana Pendekatan nilai prob:
Tolak H0 jika nilai probabilitas ≤ α
Pendekatan nilai kritis:
Tolak H0 jika nilai F hitung ≥ Fα

Dimana Fα (F tabel) didasarkan atas distribusi F dengan 1 derajat kebebasan

pembilang (numerator) dan n - 2 derajat kebebasan penyebut (denominator)
– Logika di balik penggunaan uji F didasarkan pada
pengembangan dua perkiraan independen σ2.
– Jika hipotesis nol (H0: β1 = 0) benar, jumlah kuadrat karena
regresi (SSR) dibagi dengan derajat kebebasan memberikan
estimasi independen lainnya utk σ2.
– Perkiraan ini disebut dengan rata-rata kuadrat karena
regresi atau rata-rata kuadrat regresi dan dilambangkan
MSR dengan formula:
𝑆𝑆𝑅
𝑀𝑆𝑅 =
𝐷𝑒𝑟𝑎𝑗𝑎𝑡 𝐾𝑒𝑏𝑒𝑏𝑎𝑠𝑎𝑛 𝑅𝑒𝑔𝑟𝑒𝑠𝑖

– Derajat kebebasan regresi selalu sama dengan jumlah

variabel independen dalam model maka dapat pula ditulis
sbb:
𝑆𝑆𝑅
𝑀𝑆𝑅 =
𝐽𝑢𝑚𝑙𝑎ℎ 𝑣𝑎𝑟𝑖𝑎𝑏𝑒𝑙 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑒𝑛
 𝑆𝑆𝑅
𝑀𝑆𝑅 =
𝐽𝑢𝑚𝑙𝑎ℎ 𝑣𝑎𝑟𝑖𝑎𝑏𝑒𝑙 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑒𝑛

14.200
– Contoh: Armand Pizza Parlors 𝑀𝑆𝑅 =
1

𝑀𝑆𝑅 = 14.200
– Jika hipotesis nol (H0: β1= 0) benar, MSR dan MSE adalah dua
perkiraan independen untuk σ2 dan distribusi sampling dari
MSR / MSE mengikuti distribusi F dengan pembilang
(numerator) derajat kebebasan sama dengan satu dan
penyebut derajat kebebasan sama dengan n - 2.
– Oleh karena itu, ketika β1= 0, nilai MSR / MSE harus mendekati
satu.
– Namun, jika hipotesis nol (H0: β1≠ 0) adalah salah, MSR akan
meningkatkan nilai σ2 dan nilai MSR / MSE akan meningkat;
– Dengan demikian, nilai-nilai besar MSR / MSE menyebabkan
penolakan H0 dan kesimpulannya adalah hubungan antara x
dan y signifikan secara statistik.
– Contoh: uji F untuk Armand Pizza Parlors. Statistik ujinya adalah

– Dengan satu derajat kebebasan pembilang

– n – 2 = 10 – 2 = 8 derajat kebebasan penyebut,
– Berdasarkan tabel distribusi F, F tabel = 11.26
– Didapatkan nilai prob = 0,01 (ujung bagian atas)
– F hitung = 74,25
– Maka nilai prob (p-value) harus kurang dari 0,01.
– Karena p-value kurang dari α = 0,01, kita menolak H0 dan
menyimpulkan bahwa terdapat hubungan yang signifikan antara
ukuran jumlah siswa dan penjualan kuartalan.
– Tabel ANOVA untuk regresi linier sederhana.

– Tabel ANOVA untuk Armand Pizza Parlors.

– Beberapa Hal yang Perlu Diperhatikan dalam Interpretasi Uji Signifikansi
– Penolakan hipotesis nol H0: β1= 0 dan menyimpulkan bahwa hubungan
antara x dan y adalah signifikan tidak memungkinkan kita untuk
menyimpulkan bahwa ada hubungan sebab-akibat antara x dan y.
– Menyimpulkan hubungan sebab-akibat hanya dapat dilakukan jika analis
dapat memiliki pembenaran teoritis bahwa hubungan sebenarnya adalah
kausal.
– Contoh: Armand Pizza Parlors
– Kita dapat menyimpulkan bahwa ada hubungan yang signifikan antara
ukuran jumlah siswa x dan penjualan kuartalan y
– Persamaan regresi estimasi = 60 + 5x
– Namun, kita tidak bisa, menyimpulkan bahwa perubahan jumlah siswa x
penyebab perubahan penjualan kuartalan y hanya karena kita
mengidentifikasi hubungan yang signifikan secara statistik.
– Kesesuaian kesimpulan adanya penyebab-dan-efek adalah untuk
mendukung pembenaran teoritis dan penilaian yang baik dari seorang
analis.
– Jika manajer Armand merasa bahwa kenaikan jumlah siswa adalah
kemungkinan penyebab peningkatan penjualan kuartalan.
– Dengan demikian, hasil uji signifikansi memungkinkan mereka untuk
menyimpulkan bahwa terdapat hubungan sebab-akibat
– Selain itu, hanya karena kita dapat menolak H0: β1= 0 dan
menunjukkan signifikansi statistik tidak memungkinkan kita untuk
menyimpulkan bahwa hubungan antara x dan y adalah linear.
– Kita hanya dapat menyatakan x dan y terkait dan bahwa hubungan linear
menjelaskan porsi yang signifikan dari variabilitas y selama rentang nilai
untuk x diamati dalam sampel.
– Gambar berikut mengilustrasikan situasi ini.
– Uji signifikansi memberikan hasil penolakan hipotesis nol H0:
β1= 0 dan mengarah pada kesimpulan bahwa x dan y terkait
secara signifikan, namun gambar tsb menunjukkan bahwa
hubungan sebenarnya antara x dan y tidak linear.
– Meskipun pendekatan linear yang disediakan oleh
persamaan baik selama rentang x nilai diamati
pada sampel, menjadi tidak bagus untuk nilai x di luar
rentang tersebut.
– Bila menggunakan model regresi linier sederhana kita
membuat asumsi tentang hubungan antara x dan y.
– Kita menggunakan metode kuadrat terkecil untuk
mendapatkan persamaan regresi linear sederhana estimasi.
– Jika terdapat hubungan yang signifikan antara x dan y, dan
koefisien determinasi menunjukkan bahwa terdapat
kecocokan atau kesesuaian yang tepat, persamaan regresi
estimasi berguna untuk estimasi dan prediksi.
 – Berikut adalah data pengeluaran iklan dan pendapatan (dalam
ribuan dolar) untuk Four Seasons Restaurant

Latihan

– a. Jika x sama dengan pengeluaran iklan dan y sama

dengan pendapatan. Dengan metode kuadrat terkecil
buatlah persamaan regresi estimasinya.
– b. Hitunglah koefisien determinasinya dan
interpretasikan?