1

Materi 11. Regresi Linier Sederhana

dan Korelasi

Regresi Linier Sederhana

MA2082 Biostatistika

Dr. Utriweni Mukhaiyar

Program Studi Matematika

Fakultas Matematika dan Ilmu Pengetahuan Alam

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB
2

Tujuan
1. Menentukan/menaksir parameter-parameter yang terlibat dalam
suatu model matematik yang linear terhadap parameter-parameter
tersebut.
2. Melakukan prediksi terhadap nilai suatu variabel, misalkan Y,
berdasarkan nilai variabel yang lain , misalkan X, dengan
menggunakan model regresi linier (interpolasi).

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB
 Ilustrasi
3

f(x)

Gula yang
Suhu (X) Dihasilkan (Y)

Model regresi linier

X menentukan Y menunjukkan
hubungan sebab-
prediktor
respons akibat antara dua
Variabel tak-bebas variabel.
Variabel bebas peubah
(terikat)
acak

bukan Memiliki
peubah acak distribusi
EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 3
4

Observasi 1 2 3 … n

X X1 X2 X3 … Xn

Y Y1 Y2 Y3 … Yn

1 Variabel yang nilainya mempengaruhi variabel

yang lainnya.

Mana yang 2
Variabel yang kejadiannya lebih dahulu
merupakan terjadi.
prediktor ??
3
Variabel yang variansinya terkecil

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 4
5

MODEL REGRESI LINEAR SEDERHANA

• Misalkan pasangan observasi 𝑥𝑖 , 𝑌𝑖 untuk 𝑖 = 1,2, … , 𝑛.
• Model regresi linier sederhana, menunjukkan hubungan
𝑌𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝑒𝑖

- 1 dan 0 merupakan parameter-parameter model yang akan ditaksir

- ei adalah galat pada observasi ke-i (acak)

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB
 Sumber Galat

1. Ketidakmampuan model regresi dalam

memodelkan hubungan prediktor dan respons
dengan tepat
2. Ketidakmampuan peneliti dalam melakukan
pengukuran dengan tepat
3. Ketidakmampuan model untuk melibatkan
semua variabel prediktor

Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 6

7
Penaksir Kuadrat Terkecil
- 1 dan 0 ditaksir dengan metode kuadrat terkecil (least
square)
- Asumsi-asumsi :
1. Ada pengaruh X terhadap Y
2. 𝑌𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝑒𝑖 untuk 𝑖 = 1,2, … , 𝑛.
3. Nilai harapan dari ei adalah 0, atau E[ ei ] = 0
4. Variansi dari ei, sama untuk semua i = 1, 2,…, n
5. ei berdistribusi normal untuk semua i = 1, 2,…, n
6. e1,e2,...,en saling bebas (independen)
EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 7
8

Misalkan b1 adalah taksiran bagi 1 dan b0 adalah taksiran

bagi 0. Maka taksiran bagi model regresi adalah

𝑌෠𝑖 = 𝑏0 + 𝑏1 𝑥𝑖

Kriteria penaksiran kuadrat terkecil adalah

meminimumkan
𝑛

෍ 𝑒𝑖2
𝑖=1

terhadap b0 dan b1, dengan 𝑒𝑖 = 𝑌𝑖 − 𝑌෠𝑖 = 𝑌𝑖 − 𝑏0 − 𝑏1 𝑥𝑖

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 8
9

Diperoleh

( X − X )(Yi − Y )
n

i
JK XY
b1 = = i =1

( X −X)
n
JK XX 2
i
i =1

b0 = Y − b1 X
Sedangkan taksiran untuk variansi galat acak adalah

JKG ( yi − yˆi )
2
JKYY − b1 JK XY
ˆ = s =
2
= 2
=
n−2 n−2 n−2

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 9
10

Suhu (x) 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2

Gula yg dihasilkan (Y) 8.1 7.8 8.5 9.8 9.5 8.9 8.6 10.2 9.3 9.2 10.5

11
10.5
Berat logam yang dihasilkan (y)
10
9.5 ei
9
8.5
8
7.5
7
6.5
6
0.8 1 1.2 1.4 1.6 1.8 2 2.2
Suhu (x)

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 10
11
n = 11
1 11
Y =  Yi = 9,13
11
1
X =  X i = 1,5 n i =1
n i =1

( X − X )(Yi − Y )
11

i
b1 = i =1
= 1,8091
( X −X)
11
2
i
i =1

b0 = Y − b1 X = 6, 4136

Yi = 6, 4136 + 1,8091X i 11

Model persamaan regresi

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB
 Prediksi Nilai Respons
Suhu (xi) Gula yg dihasilkan (yi) Prediksi model yˆ i ei = yi − yˆi
1 8.1 8.22 -0.12
1.1 7.8 8.40 -0.60
1.2 8.5 8.58 -0.08
1.3 9.8 8.77 1.03
1.4 9.5 8.95 0.55
1.5 8.9 9.13 -0.23
1.6 8.6 9.31 -0.71
1.7 10.2 9.49 0.71
1.8 9.3 9.67 -0.37
1.9 9.2 9.85 -0.65
2 10.5 10.03 0.47

( yi − yˆi )
2
JKG
Taksiran variansi galat acak s = = = 0, 4
2

n−2 9
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 12
13

Prediksi Nilai Respons

Misalkan suhu proses (x) adalah 1.55 satuan suhu.

Maka prediksi berat logam yang dihasilkan pada
suhu tersebut adalah

Y = 6, 4136 + 1,8091x
= 6, 4136 + 1,8091(1,55 )
= 9, 2177

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 13
14

ASUMSI KENORMALAN

• Asumsi ei berdistribusi normal

1 untuk semua i = 1, 2,…, n

• Yi beristribusi normal untuk

2 semua i = 1, 2,…, n

• b0 dan b1 berdistribusi normal

3

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 14
15

INFERENSI UNTUK PARAMETER 0

b0 −  0
T0 =
n
s  i nJK XX
x 2

i =1

berdistribusi t dengan derajat kebebasan n-2.

Selang kepercayaan (1-α) untuk 0 :

n n
b0 − t
,n −2
s  i nJK XX  0  b0 + t
x 2

i =1
,n − 2
s  i nJK XX
x 2

i =1
2 2

t/2;n-2 adalah nilai distribusi t dengan derajat kebebasan n-2

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 15
16

INFERENSI UNTUK PARAMETER 1

b1 − 1
T1 =
s JK XX

berdistribusi t dengan derajat kebebasan n-2.

Selang kepercayaan (1-α) untuk 1 :

t 2;n − 2 s t 2;n − 2 s
b1 −  1  b1 +
JK XX JK XX
t/2 ; n-2 adalah nilai distribusi t dengan derajat kebebasan n-2
EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 16
17

PENGUJIAN PARAMETER REGRESI

Tujuan : menentukan apakah parameter-parameter
tersebut dapat diabaikan atau tidak.

Rumusan Hipotesis

H0 : β0 = 0 H0 : β1 = 0
H1 : β0 ≠ 0 H1 : β1 ≠ 0 b0
t0 = b1
n t1 =
 i
x 2
ˆ
ˆ i =1 JK XX
nJK XX

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 17
18

SELANG PREDIKSI

Misalkan nilai respons Y untuk X = X0 adalah Y0,

dan misalkan adalah prediksi model regresi
bagi Y0. Maka
Ŷ0 -Y0
T=
ˆ 1+(1/n)+[(x 0 − x) 2 / JK XX ]

berdistribusi t dengan derajat kebebasan n-2.

Selang prediksi (1 – α) bagi y0 adalah

1 (x 0 − x) 2 1 (x 0 − x) 2
yˆ 0 − t  /2 ˆ 1+ +  y 0  yˆ 0 + t  /2 ˆ 1+ +
n JK XX n JK XX

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 18
19

CONTOH 1 SELANG KEPERCAYAAN 1-

(2.26)(0.4) (2.26)(0.4)
TINJAU CONTOH SEBELUMNYA 1.8091 −  1  1.8091 +
1.1 1.1

b1=1,8091 b0=6,4136 β

25.85 25.85
6.4136 − (2.26)(0.4)   0  6.4136 + (2.26)(0.4)
(11)(1.1) (11)(1.1) EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 19
20
CONTOH 2 UJI HIPOTESIS
derajat kebebasan
n – 2 = 9,
nilai kritis
t0.025 = 2.26
H0 : β 0 = 0
H1 : β 0 ≠ 0
t0 > t0.025 &
t1 > t0.025
maka masing-
masing H0 ditolak

H0 : β 1 = 0 Kesimpulan
H1 : β 1 ≠ 0 β0 dan β1 tidak
dapat diabaikan

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 20
21

Kecocokan Model Regresi

Salah satu alat ukur untuk melihat apakah model
regresi yang diperoleh sudah memadai adalah
koefisien determinasi yaitu
n

 ( yˆ − y )
2
i i
JK R
R =
2
= i =1
n
, dengan 0  R2  1
( y − y )
JKT 2
i i
i =1
Besaran R2 menunjukkan proporsi variasi total dalam
respons Y yang diterangkan oleh model regresi yang
diperoleh
EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 21
22

UJI KEBAIKAN MODEL

H0 : Model regresi yang diperoleh tidak memadai
H1 : Model memadai

Statistik uji
n

 ( yˆi − yi )
2

JK R
f = = i =1

s s
Tolak H0 pada tingkat keberartian α jika f > f,(1,n-2),
dimana f,(1,n-2) adalah nilai distribusi F dengan
derajat kebebasan 1 dan n – 2.
EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 22
23

CONTOH 3
Untuk contoh sebelumnya diperoleh R2 = 0,499.

Artinya proporsi variasi total dalam respons Y yang

diterangkan oleh model regresi yang diperoleh
adalah 49.9%
Uji kebaikan model
11

 ( yˆi − yi )
2

JK R
f = = i =1
= 8,99
s s
Untuk α = 5%, titik kritis f0.05,(1,9) = 5,12
f > f0.05,(1,9), model memadai. EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 23
24

Korelasi
• Mengukur hubungan linear dua peubah acak
• Misalkan X dan Y adalah dua peubah acak,
maka korelasi antara X dan Y dinyatakan
dengan

E ( X −  X )(Y − Y )  Cov ( X , Y )

 XY = =
E ( X −  X ) E (Y − Y ) 
 2
  2  XY
   

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 24
25

Jika nilai korelasi mendekati 1 maka

hubungan kedua peubah “sangat erat” dan
searah sedangkan jika nilai korelasi
mendekati –1 maka hubungan kedua
peubah “sangat erat” dan berlawanan arah.

Jika nilai korelasi sama dengan nol berarti

tidak terdapat hubungan linear antara
kedua peubah acak.

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 25
26

Gambar 1 Korelasi positif Gambar 2 Korelasi negatif

Gambar 3 Korelasi nol Gambar 4 Korelasi nol

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 26
27

KORELASI SAMPEL
Korelasi dapat ditaksir dengan koefisien korelasi
sampel, yaitu
JK XY
r=
JK XX JKYY

( X − X )(Yi − Y )
n

i
= i =1

 n 2  2
  ( X i − X )   (Yi − Y ) 
n

 i =1  i =1 

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 27
28

CONTOH 4
Data berikut menggambarkan kenaikan harga minyak dan nilai
tukar mata uang di 12 negara terhadap US dollar pada suatu
tahun.
Kenaikan harga Nilai tukar mata uang
Negara
minyak (x) terhadap US dollar (y)
1 65 85
2 50 74
3 55 76
4 65 90
5 55 85
6 70 87
7 65 94
8 70 98
9 55 81
10 70 91
11 50 76
12 55 74
Rata-rata kenaikan harga minyak = 60,42 ,
EDUNEX ITB
Rata-rata
Copyright 2020 © U. Mukhaiyar, KK Statistika, nilai tukar mata uang terhadap US dollar = 84,25
FMIPA – ITB 28
29

110

100

Nilai tukar mata uang (y)

90

80

70

60

50

40
40 45 50 55 60 65 70 75
Kenaikan harga minyak (x)

( X − X )(Yi − Y )
12

i
JK XY
r= = i =1
= 0,863
( X −X)  (Y − Y )
12 12
JK XX JKYY 2 2
i i
i =1 i =1
EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 29
30

Referensi
• Devore, J.L. and Peck, R., Statistics – The Exploration and Analysis of Data,
USA: Duxbury Press, 1997.
• Pasaribu, U.S., 2007, Catatan Kuliah Biostatistika.
• Wild, C.J. and Seber, G.A.F., Chance Encounters – A first Course in Data
Analysis and Inference, USA: John Wiley&Sons,Inc., 2000.
• Walpole, Ronald E. Dan Myers, Raymond H., Ilmu Peluang dan Statistika
untuk Insinyur dan Ilmuwan, Edisi 4, Bandung: Penerbit ITB, 1995.
• Walpole, Ronald E. et.al., Probability & Statistics for Enginerrs & Scientists,
Eight edition, New Jersey : Pearson Prentice Hall, 2007.

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB 30
31

Referensi
 Kaps, M. and Lamberson. W.R., 2004, Biostatistics for Animal Science ,
Oxfordshire: Cabi Publishing
 Rosner, Bernard., 2016, Fundamental of Biostatistics 8th ed., Boston:
Cencage Learning
 Walpole, R.E., et.al, 2012, Probability & Statistics for Engineers &
Scientists, 9th Ed., Boston: Prentice Hall.

EDUNEX ITB
Copyright 2020 © U. Mukhaiyar, KK Statistika, FMIPA – ITB