ANALISIS REGRESI

(REGRESSION ANALYSIS)
Oleh:
Agung Priyo Utomo, S.Si., MT.(agung@stis.ac.id)
Sekolah Tinggi Ilmu Statistik (STIS)

Agung Priyo Utomo (STIS Jakarta)

Model Regresi Linear Sederhana

Yi = 0 + 1Xi + i

(i = 1, 2, , n)

dimana :
Yi merupakan nilai dari variabel dependent pada
observasi ke-i
0 dan 1 merupakan parameter model
i merupakan komponen error
(pengaruh variabel bebas lain selain variabel X)
Xi adalah nilai variabel bebas X pada observasi ke-i
n adalah banyaknya data observasi (sampel)

Note: 0 dan 1 disebut juga koefisien regresi, 0

merupakan intercept dan 1 merupakan slope
(gradien garis) yang menyatakan perubahan
nilai Y untuk setiap kenaikan satu satuan X
Agung Priyo Utomo (STIS Jakarta)

Beberapa Asumsi

Yi (Variabel Tak Bebas/Dependent Variable)

merupakan random variable/bersifat stochastic

Xi (Variabel bebas/Independent Variable) bersifat

fixed/non stochastic (bukan merupakan random
variable)

E(i) = 0

E(i j) = E(i2) = 2 untuk i = j (Homoscedastic)

E(i j) = 0 untuk i j (Non autocorrelation)

Agung Priyo Utomo (STIS Jakarta)

Beberapa Asumsi (Lanjutan)

i merupakan random variable yang terdistribusi

secara bebas dan indentik mengikuti distribusi normal
dengan rata-rata 0 dan varian 2 atau biasa dituliskan
sebagai
iid
i ~ NID(0, 2)
BAGAIMANA JIKA ADA ASUMSI YANG TIDAK
TERPENUHI? BAGAIMANA MENDETEKSINYA?
BAGAIMANA MENGUJI? BAGAIMANA ALTERNATIF
SOLUSINYA?

Agung Priyo Utomo (STIS Jakarta)

Sifat penting dari Yi = 0 + 1Xi + i

Nilai Y berisi penjumlahan 2 komponen, yaitu suku konstan (0 +

1Xi) dan suku random (i)
Karena E(i)=0, maka E(Yi) = 0 + 1Xi
Nilai observasi Y akan berada di sekitar garis regresi (bisa dibawah
atau diatas garis), simpangan ini yang disebut dengan error
Suku i diasumsikan memiliki varian yg konstan, yaitu 2, sehingga
Var(Yi) juga konstan (2).
Suku i diasumsikan tidak saling berkorelasi dg j, shg Yi jg tdk
saling berkorelasi Yj.
Yi berasal dari suatu distribusi peluang dengan rata-rata 0 + 1Xi
dan varian 2.

Agung Priyo Utomo (STIS Jakarta)

PENDUGAAN/ESTIMASI PARAMETER

METODE ESTIMASI
PADA REGRESI LINIER

MAXIMUM LIKELIHOOD
METHOD

LEAST SQUARES
METHOD

Ordinary Least
Squares (OLS)

Agung Priyo Utomo (STIS Jakarta)

Generalized Least
Squares (GLS)

Least Squares Criterion

Prinsipnya: Min i2
i
Pada model regresi linear sederhana dengan asumsi
yang telah diberlakukan, maka dipakai Metode OLS
untuk mengestimasi parameter model
Estimasi Parameter
0 y 1x

S xy
S xx

( x x)( y y)

( x x)
i

Prediksi/estimasi untuk Y jika nilai X diketahui

0
1x i
Y
i

Agung Priyo Utomo (STIS Jakarta)

CONTOH: REED AUTO SALES

Sebagai bagian dari kampanyenya, Reed Auto
menggunakan media televisi untuk iklan selama akhir
pekan yang lalu. Berikut adalah data dari 5 sampel
penjualan.
Banyaknya iklan TV
1
3
2
1
3

Jumlah Mobil Terjual

14
24
18
17
27

Agung Priyo Utomo (STIS Jakarta)

CONTOH: REED AUTO SALES

Kemiringan Persamaan Regresi Estimasi

b1 = 220 - (10)(100)/5 = 5
24 - (10)2/5
Intercept Persamaan Regresi Estimasi
b0 = 20 - 5(2) = 10
Persamaan Regresi
y^ = 10 + 5x
Interpretasi: Jika banyaknya iklan bertambah 1 kali,
maka dapat meningkatkan banyak penjualan mobil
sebanyak 5.
Agung Priyo Utomo (STIS Jakarta)

CONTOH: REED AUTO SALES

Scatter Diagram
30
25

Jumlah Mobil Terjual

20
y = 5x + 10

15
10
5
0
0

1 Banyaknya2Iklan TV

Agung Priyo Utomo (STIS Jakarta)

10

Example: Relationship between Car Age

(X) and its Price (Y)
180

160

140

120

100

80

60

40

20

0
0

Agung Priyo Utomo (STIS Jakarta)

11

Prosedur Penghitungan untuk Estimasi

Parameter

Agung Priyo Utomo (STIS Jakarta)

12

 X 58, Y 975, XY 4732 and X 326

S X ( X) / n 326 - (58) / 10 20.182
S XY ( X)( Y) / n 4732 (58)(975) / 10 408.909
2

XX
XY

b1

S XY 408.909

20.26
S XX
20.182

1
1
b0 ( Y b1 X)
(975 ( 20.26)(58)) 195.47
n
10
Re gressionEquation :
Y 195.47 20.26X
As the age increasesthe price decreases.
For a singleyear increasein age the price decreasesby $ 2026

Agung Priyo Utomo (STIS Jakarta)

13

Regression line and data points for

Car Age and Price Data

Agung Priyo Utomo (STIS Jakarta)

14

Sifat-sifat Estimator Least Squares

Jika semua asumsi yang diberlakukan terhadap model

regresi terpenuhi, maka menurut suatu teorema (Gauss
Markov theorem) estimator tersebut akan bersifat
BLUE (Best Linear Unbiased Estimator).
Best = Terbaik, mempunyai varian yang minimum
Linear = Linear dalam Variabel Random Y
Unbiased = Tak bias
Artinya estimator tersebut akan unbiased, linier dan
mempunyai varian yang minimum diantara semua
estimator unbiased & linier yang lain.

Agung Priyo Utomo (STIS Jakarta)

16

Residual
Age
(yrs)
Xi
5
4
6
5
5
5
6
6
2
7
7
58

Price
($100s)

Estimated
Mean
Response

Yi

Y
i

85
103
70
82
89
98
66
95
169
70
48
975

Residual

Squared
Residual

e i Yi Y
i

)2
e i2 (Yi Y
i

-9
-11
-4
-12
-5
4
-8
21
14
16
-6
0

84
131
15
148
27
15
63
445
197
267
32
1424

94
114
74
94
94
94
74
74
155
54
54
975

Agung Priyo Utomo (STIS Jakarta)

17

Fit the regression line (paskan garis

regresinya)

Agung Priyo Utomo (STIS Jakarta)

18

Fit the regression line (paskan garis

regresinya)
x 35 35 40 40 45 45 50 50 55 55 60 60
y 22 20 28 31 37 38 41 39 34 37 27 30

Agung Priyo Utomo (STIS Jakarta)

19