Regresi Linear Sederhana dan

Korelasi

6 December 2018 SV, 2018, Statdas 1

 Regresi Linear Sederhana dan Korelasi
1. Model Regresi Linear
2. Penaksir Kuadrat Terkecil
3. Prediksi Nilai Respons
4. Inferensi Untuk Parameter-parameter
Regresi
5. Kecocokan Model Regresi
6. Korelasi

6 December 2018 SV, 2018, Statdas 2

 Model Regresi Linear
Tujuan :
1. Menentukan/menaksir parameter-parameter
yang terlibat dalam suatu model matematik
yang linear terhadap parameter-parameter
tersebut
2. Melakukan prediksi terhadap nilai suatu
variabel, misalkan Y, berdasarkan nilai variabel
yang lain , misalkan X, dengan menggunakan
model regresi linier (interpolasi).

6 December 2018 SV, 2018, Statdas 3

 f(X)

Suhu (X) Gula yang

Dihasilkan (Y)

• Tinggi rendahnya suhu menentukan banyak

atau sedikitnya produksi gula
• Suhu disebut prediktor atau variabel bebas
• Produksi gula disebut respons atau takbebas
• Prediktor bukan peubah acak & dimisalkan X
• Respons adalah peubah acak & dimisalkan Y
6 December 2018 SV, 2018, Statdas 4
 Observasi 1 2 3 … n

X X1 X2 X3 … Xn

Y Y1 Y2 Y3 … Yn

Diantara X atau Y, mana yang merupakan prediktor ??

 Lihat variabel mana yang nilainya mempengaruhi (causal)
variabel lain. Variabel itulah yang merupakan prediktor.
Berdasarkan urutan waktu/lokasi, yang terjadi lebih dulu
adalah prediktor
 Hitung variansi (ukuran dispersi lain) masing-masing
variabel dan pilih variabel yang variansinya (ukuran dispersi
lain) terkecil sebagai prediktor. Respon mempunyai
dispersi/variansi
6 December 2018 terbesar SV, 2018, Statdas 5
 Model linier regresi sederhana

Yi  0  1 X i  ei

- 1 dan  0 merupakan parameter-parameter model

(regresi) yang perlu ditaksir

- ei adalah galat pada observasi ke-i (acak)

- sederhana di sini hanya melibatkan X saja

6 December 2018 SV, 2018, Statdas 6

 Sumber galat:
1. ketidakmampuan model regresi dalam
memodelkan hubungan prediktor dan
respons dengan tepat
2. ketidakmampuan peneliti dalam
melakukan pengukuran dengan tepat
3. ketidakmampuan model untuk melibatkan
semua variabel prediktor

6 December 2018 SV, 2018, Statdas 7

 Penaksir Kuadrat Terkecil
- 10 dan 1 ditaksir dengan metode kuadrat terkecil
(least square)
- Asumsi-asumsi :

1. Ada pengaruh X terhadap Y

2. Yi = 0  1 X i   i untuk setiap i
3. Nilai harapan dari ei adalah 0, atau E[ ei ] = 0
4. Variansi dari i , sama untuk semua i = 1, 2,…, n
5. ei berdistribusi normal untuk semua i (identik)
6. e ,e2,...,en saling bebas
1
6 December 2018
(independen)
SV, 2018, Statdas 8
 Misalkan b1 adalah taksiran bagi 1 dan b0 adalah
taksiran bagi 0 . Maka taksiran bagi model regresi
adalah
Yˆi  b0  b1 X i
Kriteria penaksiran kuadrat terkecil adalah
meminimumkan n

ie 2

i 1

terhadap b0 dan b1, dengan

ei  Yi  Yˆi  Yi  b0  b1 X i .

6 December 2018 SV, 2018, Statdas 9

 Suhu (X) 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2
Gula yg
dihasilkan (Y) 8.1 7.8 8.5 9.8 9.5 8.9 8.6 10.2 9.3 9.2 10.5
Sumber: Walpole and Myers, 1989

11
10.5
Gula yang dihasilkan (Y)

10
9.5
ei
9
8.5
8
7.5
7
6.5
6
0.8 1 1.2 1.4 1.6 1.8 2 2.2
Suhu (X)

6 December 2018 SV, 2018, Statdas 10

 Metode Kuadrat Terkecil (Least Squares)
n
  (Yi   0  1 X i )2
S
0  i 1
0
 0  0
n
2 (Yi  ˆ0  ˆ1 X i )(1)  0 atau
i 1
n
 2 (Yi  ˆ0  ˆ1 X i )  0 (*)
i 1
n
Persamaan (*) akan dipenuhi jika  (Yi  ˆ0  ˆ1 X i )  0,
i1

karena -2 bukan nol.

6 December 2018 SV, 2018, Statdas 11

 i  0  1 i
Y  ˆ  ˆ X  0


 i 0 1 Xi  0
Y  n ˆ  ˆ


Y i X i
ˆ0   ˆ1 0
n n
Jika ada n pasang observasi tersedia maka

y i x i
0  b0  y  b1 x , dengan y  ;x dan b1  1
n n
6 December 2018 SV, 2018, Statdas 12
   (Yi  0  1 X i ) 2
S
0 0
1 1

2 (Yi  ˆ0  ˆ1 X i )( X i )  0 atau

2 (Yi X i  0 X i  1 X i )  0
ˆ ˆ 2
(**)

Persamaan (**) akan dipenuhi jika  (Yi X i  0 X i  1 X i )  0

ˆ ˆ 2

6 December 2018 SV, 2018, Statdas 13

  i i 0  i 1 i  0
Y X  ˆ
 X  ˆ
 X 2

  Yi ˆ  X i 
 Yi X i   n  1 n   i
X  ˆ
1 X i 0
2

 
 
  Yi  X i   Xi  
2

i i  n
Y X    ˆ
1
n


 ˆ
1 X i 0
2

 
 

Y  X
i i   X 2
 
Y X   ˆ1     X i2   0
i

 
i i
n n
 
6 December 2018 SV, 2018, Statdas 14
  X Y i i

XY i i JK   X i  X Yi  Y 
ˆ1  b1  n  XY

2  i 
2
JK
  
2
X 
 i
XX
X  X i X
n
Selanjutnya seperti pada intercept.

Taksiran untuk variansi galat adalah

 
n 2
Yi  Yˆi
JKG JKYY  b1 JK XY
ˆ 2   i 1

n2 n2 n2
6 December 2018 SV, 2018, Statdas 15
 n = 11
1 n
x   x i  1.5
n i 1
1 n
y   yi  9.13
n i 1
n

x i  x  yi  y 
b1  i 1
n
 1.8091
  xi  x 
2

i 1

b0  Y  b1 X  6.4136
Model persamaan regresi : Yˆ  6.4136  1.8091X

6 December 2018 SV, 2018, Statdas 16

 Prediksi Nilai Respons
Suhu (xi) Gula yg dihasilkan (yi) Prediksi model (yˆ i ) ei  yi  yˆ i
1 8.1 8.22 -0.12
1.1 7.8 8.40 -0.60
1.2 8.5 8.58 -0.08
1.3 9.8 8.77 1.03
1.4 9.5 8.95 0.55
1.5 8.9 1 9.13 -0.23
ˆ 2  se2    yi  yˆ i   0.4
2

9
1.6 8.6 9.31 -0.71
1.7 10.2 9.49 0.71
1.8 9.3 9.67 -0.37
1.9 9.2 9.85 -0.65
2 10.5 10.03 0.47

6 December 2018 SV, 2018, Statdas 17

 Misalkan suhu proses (X) adalah 1.55 satuan suhu
Maka prediksi banyaknya gula yang dihasilkan
pada suhu tersebut adalah

ŷ  6.4136  1.8091x
= 6.4136 + 1.8091(1.55)
=9.217705

6 December 2018 SV, 2018, Statdas 18

 Inferensi untuk Parameter-parameter
Regresi
Asumsi ei berdistribusi normal untuk semua
i = 1, 2,…, n

Yi berdistribusi normal untuk semua i = 1, 2,…,

n

b0 dan b1 berdistribusi normal

6 December 2018 SV, 2018, Statdas 19

 b0  0 b1  1
T0 = dan T1 =
n se / JK XX
se  i / nJK XX
x 2

i 1

berdistribusi t dengan derajat kebebasan n-2

Selang kepercayaan (1-α) untuk  0
n n
b0  t /2 se  x / nJK XX  0  b0  t /2 se
i 1
2
i  i / nJK XX
x 2

i 1

Selang kepercayaan (1-α) untuk 1

t /2 se t /2 se
b1   1  b1 
JK XX JK XX
dengan
t t/2/2 adalah nilai distribusi t dengan derajat kebebasan
n-2
6 December 2018 SV, 2018, Statdas 20
 Pengujian parameter-parameter regresi
Tujuan : menentukan apakah parameter-parameter
tersebut dapat diabaikan atau tidak.
Rumusan Hipotesis :
H0 : β0 = 0 Vs H1 : β0 ≠ 0,
dan
H0’ : β1 = 0 Vs H1’ : β1 ≠ 0 b0
t0 
n

Statistik uji untuk menguji H0 Vs H1 :  i

x 2

i 1
se
nJK XX

b1
t1 
Statistik uji untuk menguji H0’ Vs H1’ : se
JK XX
6 December 2018 SV, 2018, Statdas 21
 H0 ditolak dengan tingkat keberartian α jika
t 0  t  atau t 0  t 
2 2

H0’ ditolak dengan tingkat keberartian α jika

t1  t  atau t1  t 
2 2

tα/2 adalah nilai distribusi t dengan derajat kebebasan

n-2

6 December 2018 SV, 2018, Statdas 22

 Selang Prediksi untuk µY|X0
Misalkan respons rataan di X = X0 , dinotasikan
sebagai  Y\X0 dengan X0 tidak harus berada pada
niali yg dipilih dalam observasi. Maka
Ŷ0 -Y X0
T
se (1/n)+[(x 0  x) 2 / JK XX ]
berdistribusi t dengan derajat kebebasan n-2.
Selang prediksi (1 – α) bagi  Y\X0 adalah

1 (x 0  x)2 1 (x 0  x)2
yˆ 0  t  /2se +  y0  yˆ 0  t /2se +
n JK XX n JK XX
6 December 2018 SV, 2018, Statdas 23
 Selang Prediksi untuk respon pada Y0
Misalkan nilai respons Y untuk X = X0 adalah Y0, dan
misalkan Yˆ0 adalah prediksi model regresi bagi Y0.
Maka
Ŷ0 -Y0
T
se 1+(1/n)+[(x 0  x)2 / JK XX ]

berdistribusi t dengan derajat kebebasan n-2.

Selang prediksi (1 – α) bagi y0 adalah

1 (x 0  x)2 1 (x 0  x)2
yˆ 0  t  /2se 1+ +  y0  yˆ 0  t /2se 1+ +
n JK XX n JK XX
6 December 2018 SV, 2018, Statdas 24
 Tinjau kembali contoh sebelumnya
n
JK xx    x i  x   1.1
1
 i i  0.4
 
2
ˆ 2  se2  
2
y ˆ
y
i 1
n2
b0  6.4136 b1  1.8091
Jika α = 5%, untuk derajat kebebasan n – 2 = 11 – 2 =9,
t / 2  t0.025  2.26
Selang kepercayaan 95% untuk β0 adalah
25.85 25.85
6.4136  (2.26)(0.4)  0  6.4136  (2.26)(0.4)
(11)(1.1) (11)(1.1)
dan
5.092  0  7.735
Selang kepercayaan 95% untuk β1 adalah
(2.26)(0.4) (2.26)(0.4)
1.8091   1  1.8091 
1.1 1.1

0.947  1  2.671
6 December 2018 SV, 2018, Statdas 25
 H0 : β0 = 0 Vs H1 : β0  0, α = 5%
b0 6.4136
t0    10.97
n
25.85
x
i 1
2
i
0.4
(11)(1.1)
se
nJK XX

Untuk derajat kebebasan n – 2 = 9, nilai kritis t0.025 = 2.26

Karena t0 > t0.025 , maka H0 ditolak

H0’ : β1 = 0 Vs H1’ : β1  0 , α = 5%
b1 1.8091
t1    4.31
se 0.4 / 1.1
JK XX
Karena t1 > t0.025 , maka H0’ ditolak
Kesimpulan : β0 dan β1 tidak dapat diabaikan
6 December 2018 SV, 2018, Statdas 26
 Kecocokan Model Regresi
Salah satu alat ukur untuk melihat apakah model
regresi yang diperoleh sudah memadai adalah
koefisien determinasi yaitu
n

JK R  (yˆ i  y) 2

R2 = = i=1
n
, dengan 0  R 2  1
 (y
JK T
i  y) 2

i=1

Besaran R2 menunjukkan proporsi variasi total dalam

respons Y yang diterangkan oleh model regresi yang
diperoleh

6 December 2018 SV, 2018, Statdas 27

 Uji Kebaikan Model
H0 : Model regresi yang diperoleh tidak memadai
H1 : Model memadai
Statistik uji
n

JK R  i
ˆ
(y  y)2

f   i=1

ˆ ˆ
Tolak H0 pada tingkat keberartian α jika f  f ,(1,n2) ,
dengan f ,(1,n2) adalah nilai distribusi F dengan
derajat kebebasan 1 dan n - 2

6 December 2018 SV, 2018, Statdas 28

 Untuk contoh sebelumnya

R 2 = 0.499

Artinya proporsi variasi total dalam respons Y yang

diterangkan oleh model regresi yang diperoleh
adalah 49.9%
Uji kebaikan model
n

JK R  i
ˆ
(y  y)2

f   i=1
 8.99
se se
Untuk α = 5%, titik kritis f 0.05,(1,9)  5.12
f  f 0.05,(1,9) , model memadai
6 December 2018 SV, 2018, Statdas 29
 Korelasi
• Mengukur hubungan linear dua peubah acak
• Misalkan X dan Y adalah dua peubah acak,
maka korelasi antara X dan Y dinyatakan
dengan

E (X  X )(Y   Y )
XY 
X Y

6 December 2018 SV, 2018, Statdas 30

 Jika nilai korelasi mendekati 1 maka
hubungan kedua peubah “sangat erat” dan
searah (linier) sedangkan jika nilai korelasi
mendekati –1 maka hubungan kedua peubah
“sangat erat” dan berlawanan arah. Jika nilai
korelasi sama dengan nol berarti tidak
terdapat hubungan linear antara kedua
peubah acak.

6 December 2018 SV, 2018, Statdas 31

 Gambar 1 Korelasi positif Gambar 2 Korelasi negatif

Gambar 3 Korelasi sekitar nol

6 December 2018 SV, 2018, Statdas
Gambar 4 Korelasi sekitar nol32
 Korelasi  dapat ditaksir oleh korelasi sampel
n

JK XY  (x i  x)(yi  y)
rXY   i=1

JK XX JK YY  n  n
2
  (x i  x)   (yi  y) 
2

 i=1  i=1 
n n
n  x i  yi

x y i i  i=1 i 1
n
 i=1

  n  
2
 n  
2

 n 2  i=1
 Xi   n   y 
 i 
  yi    yi 
 2  i=1 

 i=1 n  i=1 n 
  
6 December 2018 SV, 2018, Statdas 33
 Data dua peubah acak berat badan bayi (kg) dan
ukuran dada bayi (cm)
berat (kg) ukuran dada (cm)
2.75 29.5
2.15 26.3
4.41 32.2
5.52 36.5
3.21 27.2
4.32 27.7
2.31 28.3
4.3 30.3
3.71 28.7
Rata-rata berat = 3.63
Rata-rata ukuran dada = 29.63
6 December 2018 SV, 2018, Statdas 34
 38
36
34

ukuran (cm)
32
30
28
26
24
22
20
1 2 3 4 5 6
berat (kg)

 (X Y   X Y
) i i
i i
n
r i=1
 0.78
 9   Xi   9   Yi  
2 2

  Xi 
2   Yi 
2 
 i=1 n  i=1 n 
  
6 December 2018 SV, 2018, Statdas 35