STA515 – Statistika untuk Ilmu-ilmu Kesehatan

Semester Ganjil 2022/202

Kuliah-6. Regresi Linier Sederhana

Prodi Statistika dan Sains Data

Fakultas Matematika dan Ilmu Pengetahuan Alam
Dr. Ir. Erfiani, M.SI Institut Pertanian Bogor

2022
 Analisis Regresi

Mendapatkan model hubungan

antar variabel

1
Menduga nilai suatu variabel
2 berdasarkan nilai variabel lainnya
Menganalisis
hubungan/pengaruh antara
satu atau lebih variabel
numerik terhadap sebuah
variabel numerik lain Model Umum
Y = b0 + b1X1 + b2X2 + … + bkXk

Y → dependent variable
X → independent/predictor variables
b0, …, bk → regression coeficients
 Analisis Regresi

Analisis regresi merupakan alat statistika untuk

mengevaluasi hubungan antara
 satu peubah dengan satu peubah lainnya, atau
 satu peubah dengan beberapa peubah lainnya

Untuk menelusuri pola hubungan yang modelnya belum

diketahui secara sempurna
→ Dalam penerapannya lebih bersifat eksploratif
→ Mengakar pada pendekatan empirik
(berdasarkan pada data)
 Tahapan Analisis Regresi meliputi :

Pengumpulan Data Pemeriksaan Asumsi

Berpasangan (x dan Y) Pendugaan
Parameter : Penanganan penyimpangan
βo dan β1 asumsi

Pencarian Pola Garis Pengujian Pemeriksaan Asumsi

ketidakpasan
model Penanganan penyimpangan
ANOVA asumsi
Pendugaan Persamaan Pendugaan Pemeriksaan Asumsi
Regresi Parameter: Penanganan penyimpangan
βo dan β1 asumsi
Pengujian Pemeriksaan Asumsi
Interpretasi Model Parameter:
& Parameter Penanganan penyimpangan
uji t
asumsi
Macam-macam Model Regresi
Model Regresi

1 peubah penjelas > 1 peubah penjelas

Sederhana Berganda

Linier Non Linier Linier Non Linier

Linier Peubah Boneka Interaksi

Polinom Akar Reciprocal Log Eksponensial

 Model Regresi Linier Sederhana

❑ Linier dalam parameter

❑ Sederhana = banyaknya peubah bebas/penjelas hanya satu
❑ Hubungan antara X dan Y dinyatakan dalam fungsi linier/ordo 1
❑ Perubahan Y diasumsikan karena adanya perubahan X
❑ Model populasi regresi linier sederhana yang hubungannya linier
(selanjutnya cukup sebut “regresi linier sederhana”) :

Y = β 0 + β1x + ε
Dengan :
0 dan 1 adalah parameter regresi
 adalah sisaan/galat (peubah acak)
Y adalah peubah tak bebas (peubah acak)
X adalah peubah bebas yang nilainya diketahui
dan presisinya sangat tinggi (bukan peubah acak)
 Interpretasi Parameter Model
Regresi Linier Sederhana
(lanjutan)

Y Y = β0 + β1X + ε
Nilai
pengamatan Y yi
untuk Xi
εi Slope = β1

Nilai Sisaan/galat
E[Y | xi ]
harapan/rataan untuk xi
Y untuk xi
yi = β0 + β1xi + εi
Intersep = β0 E[Y | x i ] = β0 + β1 xi yi = E[Y | xi ] +  i

xi X
Menduga Persamaan Regresi
Metode Kuadrat Terkecil
 b0 dan b1 adalah dugaan bagi parameter regresi β0 dan β1
yang didapat salah satunya dengan cara meminimumkan
jumlah kuadrat galat (JKG). Galat/sisaan = selisih antara y
dan ŷ → Metode Kuadrat Terkecil (MKT) :

min JKG = min  ei2

= min  (yi −ŷ i ) 2
= min  [yi − (b0 + b1x i )]2
Teknik kalkulus digunakan untuk mendapatkan nilai bo dan b1
sedemikian hingga meminimumkan JKG
 Menduga Persamaan Regresi
(lanjutan)
Metode Kuadrat Terkecil
 Penduga bagi koefisien kemiringan garis β1 ialah:
Koefisien
SXY Korelasi
n Pearson
 (x i − x)(yi − y)
S XY sY
b1 = i =1
n
= = rxy
 i
S XX sX
(x − x) 2

i =1
SXX
 Penduga bagi intersep β0 ialah:

b0 = y − b1x
 Garis regresi selalu melalui titik x, y
Model Regresi Linier Model Regresi Linier
Sederhana Sederhana (data contoh)
Kembali ke Contoh Data
Rata-rata
Tahun PDB (milyar) Kurs Dollar Populasi Total Import
Inflasi
1999 379,557.80 3.31 7,100 210,611,000 24,003.30
2000 1,389,769.90 10.26 9,595 213,395,000 33,514.80
2001 1,440,405.70 11.83 10,266 216,203,000 30,962.10 Bagaimana
hubungan
2002 1,505,216.40 9.00 9,261 219,026,000 31,288.90
antara Import
2003 1,577,171.30 5.92 8,571 221,839,000 32,550.70
dengan PDB?
2004 1,656,516.80 6.35 9,030 224,607,000 46,524.52
2005 1,750,815.20 15.59 9,751 227,303,000 57,700.87
2006 1,847,126.70 5.66 9,141 229,919,000 61,065.54
2007 1,964,327.30 6.48 9,142 232,462,000 74,473.30
2008 2,082,456.10 4.15 9,772 234,951,000 129,197.30
2009 2,177,741.70 3.45 10,356 237,414,000 96,856.20
2010 2,310,689.80 5.96 9,078 239,871,000 135,606.10
2011 1,838,058.20 4.23 8,731 242,326,000 156,129.90
Scatterplot Total Import vs PDB

Kita ketahui
sebelumnya
bahwa korelasi
antara Import
dengan PDB
sebesar 0.691

Seberapa besar pengaruh PDB terhadap total export?

Apakah PDB memiliki pengaruh yang signifikan terhadap Total
Import? Regresi
 Step 2:
Step 1:

Step 3:
Lets make a
simple linier
regression
Persamaan Regresi

Y =-38833.268+0,065PDB
 Contoh Regresi Linier Sederhana
(lanjutan)
Interpretasi Intersep b0

Im por = -38833.3 + 0.065PDB

 b0 adalah nilai dugaan bagi nilai rataan Y
ketika X bernilai nol (jika X = 0 di dalam
selang pengamatan)
 Dalam hal ini tidak mungkin PDB suatu negara=0, sehingga tidak
perlu diinterpregtasikan
Contoh Regresi Linier Sederhana
(lanjutan)

Interpretasi koefisien kemiringan, b1

Impor = -38833.3 + 0.065PDB

 b1 mengukur dugaan perubahan rataan

nilai Y jika X berubah satu satuan
 Dalam hal ini b1 = 0.065 menggambarkan bahwa
setiap penambahan PDB 1 milyar, rataan total
impor akan naik sebesar 0,065 milyar
Analisis Regresi

Bagaimana Pengujian terhadap model regresi ??

• parsial (per koefisien) → uji-t
• bersama → uji-F (Anova)

Bagaimana menilai kesesuaian model ??

R2 ➔ Koef. Determinasi
(% keragaman Y yang mampu dijelaskan oleh X)
 Diperlukan asumsi bahwa εi menyebar Normal

Uji Hipotesis εi ~ N ( 0,σ2 )

H0 : 1=0 vs H1: 10

ANOVA (Analysis of Variance) → Uji F

n n n

 i
( y
i =1
− y ) =  i
2
( ˆ
y − y ) +
i =1
 i i
( y − ˆ
y )22

i =1

JK total = JK regresi + JK error

Keragaman total = keragaman yang dapat dijelaskan oleh model +
keragaman yang tidak dapat dijelaskan oleh model
Anova
Sumber db JK KT F
Regresi 1 JKR KTR KTR/KTE
F~F (1,n-2)
Error n-2 JKE KTE
Total n-1 JKT
 Tabel Sidik Ragam

Sumber Derajat Jumlah Kuadrat

Keragaman Bebas Kuadrat Tengah
(db) (JK) (KT)

 (yˆ − y )
n
2 JK Regresi
Regresi 1 i
i =1 1
n

Sisaan n-2 (
 i i
y − ˆ
y )2 JK sisaan S2, jika
i =1 (n − 2) modelnya
pas

 (y − y )
n
Total 2
n-1 i
(terkoreksi) i =1

Pada analisis regresi ini tentunya diharapkan JK regresi lebih besar dari JK
sisaan → sehingga dapat dikatakan bahwa keragaman nilai y disebabkan
oleh perubahan nilai x.
Uji Hipotesis

H0 : 1≤0 vs H1: 1>0

Uji Parsial
Statistik uji: b1
T=
Sb 1
s
Sb1 =
 i
( x − x ) 2

s=
 i i
( y − ˆ
y ) 2

n−2
 Pengujian parameter

 ANOVA digunakan untuk menguji secara simultan pengaruh

seluruh X terhadap Y
 Jika nilai p-value lebih kecil dari α, disimpulkan tolak H0.
dengan kata lain, jika nilai p-value lebih kecil dari α berarti
ada X yang berpengaruh terhadap Y. Demikian pula
sebaliknya.
 Jika ANOVA signifikan maka biasanya dilanjutkan dengan

→ UJI Parsial → uji – t

 Namun pada regresi linier sederhana, hasil uji F dan uji t
akan sama saja
Apakah Import dipengaruhi oleh PDB?

PDB memiliki pengaruh yang

signifikan terhadap Import
Kebaikan model regresi
 Dilihat dari nilai koefisien determinasi (R2) → merupakan
ukuran seberapa besar keragaman dari peubah respon (y)
dapat dijelaskan oleh model (peubah penjelas (x))

 Nilainya antara 0-100%, semakin mendekati 100% maka

semakin bagus

Pada Model Regresi Linier Sederhana

SSR yg hub.nya linier :
R =
2
R2 = r2 → rXY = (tanda b1) R 2
SST
Pada sembarang regresi linier berlaku:
rYŶ = R
 Apakah modelnya baik?

Ukuran kebaikan model,

R2. Nilainya antara 0 s/d
Artinya :
1, atau 0% s/d 100%.
47.7% keragaman dari Import mampu
Model yang baik adalah diterangkan oleh PDB sedangkan
model yang errornya 52.3% sisanya diterangkan oleh
kecil, ditunjukkan oleh R2 variabel lain yang tidak ada di dalam
yang semakin besar model
Berbagai Kondisi yg Menggambarkan Perbedaan
antara R2 dan rXY
Scatterplot of Y1 vs C1 Fitted Line
Scatterplot Plot
of Y2 vs C1
35
100
100
30

R2 = 1 80
R2 = 1
25
r=1 60 r=0
20

Y2
Y2
Y1

40
15

10
b1 = 3 20
b1 = 0
5
0
0 2 4 6 8 10 -10 -5 0 5 10
C1 X2
C1

Correlations: X1; Y1 Correlations: X2; Y2

rXY Pearson correlation of X1 and Y1 = Pearson correlation of X2 and Y2
1,000 P-Value = * = 0,000 P-Value = 1,000

The regression equation is The regression equation is

R2 Y1 = 2,00 + 3,00 X1 Y2 = 4,000 + 0,00 X2 + 1,000 X2**2

S = 0 R-Sq = 100,0% S = 0 R-Sq = 100,0%

R-Sq(adj) = 100,0% R-Sq(adj) = 100,0%
See you next week