Analisis Regresi - MMT ITS Surabaya 1

ANALISIS REGRESI
Dr. Vita Ratnasari, S.Si, M.Si
vitaratna70@gmail.com
0817324424

MMT ITS Surabaya, 2015

 BUKU ACUAN
2

1. Draper and Smith, “Analisis Regresi”, Pearson Prentice

Hall, seventh edition (2011).

2. Douglas A. Lind, William G. Marchal dan Samuel A.

Wathen, “Statistical Techniques in Business &
Economics,” McGraw-Hill, Twelfth edition (2005).

3. Robert D. Mason dan Douglas A. Lind, “Teknik

Statistika untuk Bisnis dan Ekonomi,” Penerbit
Erlangga, Jilid I (1996) dan Jilid II (1999).
Analisis Regresi - MMT ITS Surabaya
 BUKU ACUAN cont ...
3

4. Norean Sharpe, Richard D. De VeRobert D. Mason

dan Delleman, “Business Statistics,” Penerbit Pearson,
Second Edition (2012).

Analisis Regresi - MMT ITS Surabaya

 Pengantar Analisis Regresi
4

 Analisis regresi adalah salah satu alat yang paling

sering digunakan untuk mengevaluasi pengaruh
dari suatu variabel bebas (prediktor/independen)
terhadap variabel tidak bebas (respon/dependen).

 Analisis regresi dan korelasi membantu dalam

melakukan proyeksi karakteristik hubungan antar
variabel.

Analisis Regresi - MMT ITS Surabaya

 KORELASI
5

 Koefisien Korelasi adalah suatu ukuran (indikator) kekuatan

hubungan linier antara dua variabel, misalkan variabel x
dan y. Koefisien ini dapat menunjukkan dua macam
hubungan, yaitu POSITIF dan NEGATIF.
n n
∑ ( xi − x )( y i − y ) ∑ xi y i − nx y
i =1
rxy = = i =1
n n n n
∑ ( xi − x) 2
∑ ( yi − y) 2
∑ x i2 − nx 2
∑ y i2 − ny 2
i =1 i =1 i =1 i =1

dimana −1 ≤ rxy ≤ 1

Analisis Regresi - MMT ITS Surabaya

 misal
6

Manajer pemasaran PT. JAYA ingin mengamati hubungan antara

harga jual (X1) dengan volume penjualan (Y) produknya selama 10
minggu secara random. Selain itu ia juga ingin mengetahui
hubungan antara biaya iklan (X2) terhadap volume penjualan (Y)
pada minggu yang sama tersebut. Data tentang harga jual, biaya
iklan dan volume penjualan adalah sebagai berikut :

Mgg 1 2 3 4 5 6 7 8 9 10
Y 10 6 5 12 10 15 5 12 17 20
X1 1.3 2.0 1.7 1.5 1.6 1.2 1.6 1.4 1.0 1.1
X2 9 7 5 14 15 12 6 10 15 21

Analisis Regresi - MMT ITS Surabaya

 Hubungan nilai koefisien korelasi dan bentuk hubungan linier
(Positif dan Negatif) antara dua variabel
7

Secara grafik ilustrasi nilai koefisien korelasi dan hubungan

antar variabel tersebut dapat digambarkan sebagai berikut :

22 22

20 20

18 18

16 16

14 14

Y
Y

12 12

10 10

8 8

6 6

4 4

2 2
0.8 1 1.2 1.4 1.6 1.8 2 2.2 2 4 6 8 10 12 14 16 18 20 22 24
X1 X2

(a). –1 < rx1.y < 0 (b). 0 < rx2.y < 1

Analisis Regresi - MMT ITS Surabaya

 Pengujian Hipotesis tentang Koefisien Korelasi
8

1. Hipotesis :
H0 : ρ = 0
H1 : ρ ≠ 0

2. Statistik Uji : r n−2

t=
1− r2

3. Daerah penolakan :
Tolak H0 jika t > t α ; df =n −2
2

Analisis Regresi - MMT ITS Surabaya

 ANALISIS REGRESI
9

 Analisis regresi adalah suatu analisis atau metode yang digu-

nakan untuk menjelaskan hubungan (pengaruh) antara
variabel bebas (prediktor/independen) dengan variabel tak
bebas (respon/dependen).
 Hubungan atau pengaruh antara kedua variabel diasumsikan
terjadi secara “LINIER”.
y =β 0 + β1 x + ε  Regresi linier sederhana
y = β 0 + β1 x1 + β 2 x2 + ... + β p x p + ε
 Regresi linier berganda

Analisis Regresi - MMT ITS Surabaya

 Contoh permasalahan analisis regresi
10

1. Seorang manajer sebuah pabrik bermaksud untuk mengetahui hubungan

antara bahan kimia yang dihasilkan (Y) dengan sejumlah variabel yang
mempengaruhinya.
2. Seorang manajer penjualan di suatu toko ingin menyelidiki hubungan antara
volume penjualan bulanan (Y) dengan jumlah langganan yang membeli secara
kredit (X1), dan jumlah uang yang dikeluarkan untuk iklan (X2).
3. Seorang manajer personalia suatu perusahaan, ingin menguji dan mengukur
karakteristik seseorang sehingga ia bisa mempekerjakan orang yang paling tepat
untuk suatu pekerjaan.
4. Seorang analis saham ingin mengetahui hubungan antara tingkat bunga utama
(X1), laba per lembar saham atau earning per share (X2), dan tingkat dividen (X3)
terhadap harga saham perusahaan jasa listrik (Y).

Analisis Regresi - MMT ITS Surabaya

 Analisis Regresi Linear Sederhana
11

Secara umum model regresi linier sederhana dapat dinyatakan sbb

y =β 0 + β1 x + ε
Persamaan regresi:
=yˆ βˆ0 + βˆ1 x atau =
yˆ b0 + b1 x
y = nilai pengamatan dari variabel respon
x = nilai pengamatan dari variabel prediktor
ŷ = nilai ramalan atau prediksi dari variabel respon
ε = nilai kesalahan ramalan
β1 = slope atau koefisien kemiringan persamaan regresi
β 0 = intersep
Analisis Regresi - MMT ITS Surabaya
 Estimasi Parameter
12

Estimasi parameter regresi linier dengan metode

Ordinary Least Square (OLS).

Postulat Model Regresi Linear Sederhana

yi =β 0 + β1 xi + ε i ; i = 1, 2, , n

Distribusi y adalah
E ( y x ) =β 0 + β1 xi + ε i
yˆ=
i βˆ0 + βˆ1 xi
yˆi= b0 + b1 xi
Analisis Regresi - MMT ITS Surabaya
 Estimasi Parameter
13

yˆi= b0 + b1 xi

b0 = estimasi β 0
= intersep (perpotongan sumbu Y pada saat x=0)
b1 = estimasi β1
= slope atau koefisien kemiringan garis regresi
ˆ i = nilai estimasi atau prediksi variabel dependen
y
pengamatan ke-i

Analisis Regresi - MMT ITS Surabaya

 Metode Ordinary Least Square (Kuadrat Terkecil)
14

adalah suatu metode yang diterapkan untuk

mengestimasi parameter model regresi (parameter
model regresi linier sederhana adalah b0 dan b1)
dengan meminimumkan Sum Square Error (SSE), yang
secara matematis dapat dituliskan sebagai berikut :
n n
=
SSE ∑=
ε
i
2

=i 1 =i 1
∑ i i
( y − ˆ
y ) 2

Analisis Regresi - MMT ITS Surabaya

 OLS cont ...
15

Untuk model regresi linear sederhana:

( )
n 2

SSE =S =∑  yi − βˆ0 + βˆ1 xi 

i =1
 
n
= ∑  yi − βˆ0 − βˆ1 xi 
2

i =1

Estimasi untuk b0 dan b1 [ β 0 dan β1 ] diperoleh

dengan meminimumkan SSE dengan cara
melakukan diferensiasi terhadap b0 dan b1,

Analisis Regresi - MMT ITS Surabaya

 OLS cont ...
16

∂S ∂S
=0 dan =0
∂β 0 ∂β1

Sehingga menghasilkan persamaan normal sbb :

n n
nβˆ0 + βˆ1 ∑ xi = ∑ yi
i =1 i =1
n n n
βˆ0 ∑ xi + βˆ1 ∑ x = ∑ xi yi
2
i
i =1 i =1 i =1

Analisis Regresi - MMT ITS Surabaya

 OLS cont ...
17

Berdasar persamaan normal di atas, diperoleh nilai

estimasi parameter model regresi linier sederhana
dengan metode OLS untuk b0 dan b1, yaitu:
n n

S xy ∑ ( x − x )( y − y )
i i ∑x y −nx y
i i
β=
ˆ
1 b=
1 = i =1
n
= i =1
n

∑ ( xi − x ) ∑i
S xx
−
2 2 2
x n x
=i 1 =i 1

βˆ0 = b0 = y − b1 x

Analisis Regresi - MMT ITS Surabaya

 Asumsi Penerapan Metode OLS
18

1. Variabel dependen (Y) dan residual/error (e)

adalah variabel random yang berdistribusi Normal,
sedangkan variabel independen (x) adalah fixed
variable.
2. Skala pengukuran data variabel Y minimal interval
atau merupakan data kuantitatif. Sedangkan
variabel x, biasanya merupakan data kuantitatif
tetapi tidak menutup kemungkinan berupa data
kualitatif  variabel dummy

Analisis Regresi - MMT ITS Surabaya

 Asumsi Penerapan Metode OLS cont ...
19

3. Estimasi metode OLS ini baik untuk sebaran data

variabel Y dan variabel x yang tidak mengandung
outlier (pencilan).
4. Residual harus memenuhi asumsi independen,
identik dan berdistribusi Normal (IIDN).
5. Khusus untuk model regresi linier berganda
(banyaknya x lebih dari satu), tidak diperkenankan
adanya korelasi linier yang cukup tinggi
(kolinieritas) antar variabel x

Analisis Regresi - MMT ITS Surabaya

 TABEL ANOVA (k = 1)
20

Sumber Derajat Sum Square Mean Square

Variasi Bebas (SS) (MS)
n ∧
SSR =∑ ( y i − y ) = b1 S xx= b1S xy
2 2
Regresi 1 MSR = SSR / k
i =1 n
∧
Error n–2 SSE = ∑(y i − y) 2 MSE =
SSE
i =1
n − k −1
Total n
Terkoreksi n–1 SST = ∑(y
i =1
i − y ) 2 = Syy

Analisis Regresi - MMT ITS Surabaya

 TABEL ANOVA
21

Sumber Derajat Sum Square Mean Square

Variasi Bebas (SS) (MS)
n ∧
SSR =∑ ( y i − y ) = b1 S xx= b1S xy
2 2
Regresi k MSR = SSR / k
i =1 n
∧
Error n – k -1 SSE = ∑(y i − y) 2 MSE =
SSE
i =1
n − k −1
Total n
Terkoreksi n–1 SST = ∑(y
i =1
i − y ) 2 = Syy

Analisis Regresi - MMT ITS Surabaya

22

Penaksir untuk σ2 adalah : σˆ 2 = s 2 = SSE

n−2

Dimana : SSE = Syy - Sxy

2
dengan :  n 
 ∑ yi 
n n  
2  i =1 
Syy = ∑ i ( y − y ) 2
= ∑ i − n
y
i =1 i =1

 n  n 
 ∑ xi  ∑ y i 
n   
 i =1  i =1 
Sxy = ∑ xi y i − n
i =1
Analisis Regresi - MMT ITS Surabaya
23

2
  n

n n
 xi  ∑
∑
Sxx = ( xi − x )2 = xi2 −  i =1 
∑
=i 1 =i 1 n

sehingga
S xy
b1 = dan b0= y − b1 x
S xx

Analisis Regresi - MMT ITS Surabaya

 Inferensi Signifikansi Parameter Model
24

1a. Estimasi untuk interval β1

b1 ± t1− α ;dberror= n−2 var ( b1 )
2

MSE
var(b1 ) =
S xx

b. Pengujian Hipotesis untuk β1

Hipotesis: H0 : β1 = β10
H1 : β1 ≠ β10

Analisis Regresi - MMT ITS Surabaya

 Inferensia …. (cont)
25
b1 − β10
Statistik uji thit =
var βˆ1 ( )
thit > t(1−α 2; n − 2)
Tolak Ho

2a. Estimasi untuk β0

b0 ± t α ;db.error =n −2 var(b0 )
2

 n 2 
 ∑ xi 
var(b0 ) = MSE  i =1 
 nS xx 
 
 
Analisis Regresi - MMT ITS Surabaya
 Inferensia …. (cont)
26

Hipotesis H 0 : β 0 = β 00
H1 : β 0 ≠ β 00

b0 − β 00
thit =
Statistik uji ( )
var βˆ0

thit > t(1−α

Tolak Ho 2; n − 2)

Analisis Regresi - MMT ITS Surabaya

 Koefisien Determinasi
27

SS R egresi
; R =2
1−
[ SSE n − (k + 1) ]
R =
2

SSTotal
adj
[ SSTotal n − 1]
1
VIF =
1 − R2

Analisis Regresi - MMT ITS Surabaya

 Contoh 1
28

Iklan Penjualan
Misal diketahui
0.9 91
data biaya iklan
0.8 92
dan jumlah unit
0.8 82
yang terjual tiap 1.3 120
bulan adalah 1.0 93
sebagai berikut : 0.7 90
1.1 105
0.6 75
0.9 91
1.0 110
Analisis Regresi - MMT ITS Surabaya
 Pemeriksaan Asumsi
29

Analisis Regresi - MMT ITS Surabaya

30

Analisis Regresi - MMT ITS Surabaya

31

The regression equation is

penjualan = 40,9 + 59,4 iklan

Predictor Coef SE Coef T P

Constant 40,867 9,186 4,45 0,002
iklan 59,377 9,877 6,01 0,000

S = 5,99955 R-Sq = 81,9% R-Sq(adj) = 79,6%

Analysis of Variance

Source DF SS MS F P
Regression 1 1300,9 1300,9 36,14 0,000
Residual Error 8 288,0 36,0
Total 9 1588,9

Analisis Regresi - MMT ITS Surabaya

32

Iklan Penjualan Sex

0.9 91 Laki-laki
0.8 92 Laki-laki
0.8 82 Laki-laki
1.3 120 Perempuan
1.0 93 Laki-laki
0.7 90 Perempuan
1.1 105 Perempuan
0.6 75 Laki-laki
0.9 91 Perempuan
1.0 110 Perempuan
Analisis Regresi - MMT ITS Surabaya
33

Analisis Regresi - MMT ITS Surabaya

34

Analisis Regresi - MMT ITS Surabaya

35

The regression equation is

penjualan = 53,1 + 50,1 iklan - 7,57 jenis kelamin_laki-laki

Predictor Coef SE Coef T P

Constant 53,061 9,609 5,52 0,001
iklan 50,139 9,343 5,37 0,001
jenis kelamin_laki-laki -7,575 3,590 -2,11 0,073

S = 5,01419 R-Sq = 88,9% R-Sq(adj) = 85,8%

Analysis of Variance
Source DF SS MS F P
Regression 2 1412,91 706,45 28,10 0,000
Residual Error 7 175,99 25,14
Total 9 1588,90
Analisis Regresi - MMT ITS Surabaya
 Contoh 2
36

Berikut ini diberikan contoh data yang mengandung

variabel dummy, yaitu sebuah penelitian ingin
mengetahui pengaruh umur (x) dan daerah asal
kalkun (d) terhadap berat kalkun (Y). Data yang
didapatkan dapat dilihat pada Tabel di bawah ini

Analisis Regresi - MMT ITS Surabaya

37

Asal Asal
X Y X Y
Negara Negara
28 13.3 Georgia 26 11.8 Virginia
20 8.9 Georgia 21 11.5 Wisconsin
32 15.1 Georgia 27 14.2 Wisconsin
22 10.4 Georgia 29 15.4 Wisconsin
29 13.1 Virginia 23 13.1 Wisconsin
27 12.4 Virginia 25 13.8 Wisconsin
28 13.2 Virginia

Analisis Regresi - MMT ITS Surabaya

38

Analisis Regresi - MMT ITS Surabaya

39

Analisis Regresi - MMT ITS Surabaya