http://oc.its.ac.id/jurusan.php?fid=1&jid=3
Penggunaan metode analisis regresi untuk membentuk model regresi didasari oleh asumsi error atau
residual yang bersifat identik, independen, dan berdistribusi normal, dengan mean bernilai nol dan variansi bernilai tertentu, yaitu 2; dinotasikan i ~ iidn(0, 2). Secara visual kondisi i ~ iidn(0, 2) dideteksi menggunakan empat macam plot, yaitu : residual terhadap fit, residual terhadap urutan pelaksanaan eksperimen, histogram residual, dan kenormalan residual. Pada mulanya untuk penaksiran parameter
koefisien regresi digunakan metode kuadrat terkecil biasa (Ordinary Least Square, disingkat OLS). AF:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
pabila plot residual terhadap fit membentuk titik-titik yang tidak random, tetapi membentuk pola, misal
berbentuk corong atau bando lengkung, ini menunjukkan asumsi identik tidak terpenuhi. Kondisi ini
dinamai juga heteroskedastisitas (lawannya adalah homoskedastisitas). Metode penaksiran parameter
yang sesuai adalah kuadrat terkecil terboboti (Weighted Least Square, disingkat WLS). Berikut ini akan
diuraikan secara singkat lebih dulu tentang OLS sebagai review, baru kemudian WLS.
Review O L S
Model regresi linier umum dalam matrik ialah : Y = X + . Apabila untuk membangun model regresi ini digunakan n eksperimen, maka model untuk setiap eksperimen ialah :
Yi = Xi + i atau Yi = 0 + 1 X1i + 2 X2i + L + k Xki + i , i = 1, 2, ... , n.
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
var() =
var(1 )
cov(1 , 2 )
cov( 2 , 1 )
var( 2 )
M
M
cov( n , 1 ) cov( n , 2 )
L
L
O
L
cov(1 , n )
cov( 2 , n )
=
var( n )
2 0
0 2
M M
0
0
L
L
O
L
0
= I 2
M
Penaksir parameter koefisien regresi dan variansinya didapatkan dengan rumus berikut :
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
b 0
b
1
b = = (XTX)-1 XTY dan var(b) =
M
b k
var(b 0 )
cov(b 0 , b1 )
cov(b , b )
var(b1 )
1
0
M
M
cov(b k , b 0 ) cov(b k , b1 )
L
L
O
L
cov(b 0 , b k )
cov(b1 , b k )
= (XTX)-12
M
var(b k )
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
1
dengan : X0 =
X 0
1
X
10
atau X0 X 20
M
X k0
Regresi WL S
2
Residual tidak identik mengakibatkan var(i) tidak sama untuk setiap i, dinotasikan var(i) = i (Pada
OLS var(i) = 2). Agar i memenuhi asumsi identik maka dilakukan transformasi, dengan cara mengaF:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
6
0,5
likan i dengan wi , atau vektor dengan matrik P-1 dari sisi kiri. P adalah matrik diagonal dengan ele0 , 5
men wi , dan wi komponen kolom W. Matrik diagonal yang elemennya terdiri dari komponen vektor
W dinamai Matrik Pembobot, misal dinotasikan Wp (Proses mendapatkan Pembobot banyak didiskusidi buku-buku teks tentang Ekonometrika). Sekarang, vektor residual menjadi f ,
f = P-1 .
Matrik P ditentukan sedemikian rupa sehingga memenuhi : PTP = PP = P2 = V.
Residual baru ini, yaitu fi , sudah memenuhi segala asumsi, dinotasikan fi ~ iidn(0, 2). Persamaan
regresi baru :
P-1 Y = P-1 X + P-1 ,
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
Regresi ini, kolom pertama matrik Q, yaitu Q0, elemennya tidak bernilai 1, tidak seperti kolom pertama
matrik X pada regresi OLS, yang setiap elemen kolom pertamanya bernilai 1. Berikut ini ditampilkan
kolom-kolom matrik X dan Q, dengan Q = P-1 X :
1
1
X=
M
x1
x2
atau X =
xn
1
1
x11
x12
M
x1n
L
L
O
L
xk1
xk 2
M
xkn
X untuk k prediktor
q01 q11
q
q12
02
Q=
M M
q0 n q1n
Q untuk satu prediktor
q01 q11
q
q12
02
atau Q =
M M
q0 n q1n
L
L
O
L
qk1
qk 2
M
qkn
Q untuk k prediktor
var() =
var(1 )
cov(1 , 2 )
cov( 2 , 1 )
var( 2 )
M
M
cov( n , 1 ) cov( n , 2 )
L
L
O
L
12 0
cov(1 , n )
cov( 2 , n )
0 22
=
M
M M
0
var( n )
0
L
L
O
L
0
= V2
M
n2
Matrik V bukan matrik identitas, tetapi seperti ketentuan di atas, yaitu : V = PTP = PP = P2 . Sebelum
ditransformasi, elemen diagonal utama matrik varian-kovarian, yaitu var(), tidak sama; kondisi ini
dinamai tidak identik atau heteroskedastisitas. Agar identik, variansi error yang dinotasikan i2 , i = 1,
2, ... , n, dikalikan dengan pembobot seperti yang telah diuraikan di halaman 2. Pembobot ini dihimF:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
10
pun di dalam matrik P-1, kalau dikaitkan dengan matrik V, maka yang dimaksud dengan matrik pembo0,5
bot ialah V-1 yang berelemenkan w, bukan wi .
Setelah dilakukan transformasi f = P-1 , maka error menjadi f, dengan sifat seperti error pada regresi
OLS, yaitu var(f) = I2 . Penjabaran var(f) secara rinci adalah sebagai berikut :
var(f) = E(f E(f))(f E(f))T = E(f 0)(f 0)T = E(f fT )
= E(P-1 (P-1 )T) = E(P-1 T P-1) = P-1 E( T) P-1 = P-1 V2 P-1 = P-1 P P 2 P-1
= P-1 P P P-1 2 = I 2
Penentuan Pembobot
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
11
Penentuan pembobot ini tidak sederhana, harus disesuaikan kasus per kasus, tidak dapat ditentukan
formula untuk semua kasus. Secara rinci penentuan pembobot ditelaah pada metode Ekonometrika. Pada materi ini hanya akan dibahas satu macam kasus, yang akan dipaparkan dalam contoh.
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
12
b 0w
b
1w
bw =
= (QTQ)-1 QTYw = ((P-1 X)T P-1X)-1 (X P-1)T (P-1 Y)
M
b kw
= (XT P-1 P-1X)-1 XT P-1 P-1 Y = (XT V-1X)-1 XT V-1 Y
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
13
var(b 0w )
cov(b 0w , b1w )
cov(b , b )
var(b1w )
1w
0w
var(bw) =
M
M
L
L
O
L
cov(b 0w , b kw )
cov(b1w , b kw )
var(b kw )
dan
Selang Kepercayaan
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
14
dengan
bw = (bw0 , bw1)T atau bw = (bw0 , bw1, ... , bwk)T, dan w = (w0 , w1)Tatau w = (w0 , w1, ... , wk)T.
Bentuk
( YwT Yw b Tw Q T YW )
merupakan Kuadrat Tengan Error atau Mean Square Error (MSE) yang
np
15
Bila pemodelan regresi menggunakan k prediktor, maka terdapat k+1 koefisien regresi, sehingga i = 0,
1, ... , k. Formula selang kepercayaan menjadi sebagai berikut :
bwi t n k 1,1 2 penaksir simpangan baku (bwi)
Tabel ANOVA
Terdapat berbagai macam formula tabel ANOVA; masing-masing dinyatakan sebagai berikut :
Formula 1
Sumber
Regresi
Formula 2
Derajat
Bebas
k+1
Jumlah Kuadrat
bwTQTYw
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
Kuadrat
Tengah
Sumber
Regresi
Derajat
Bebas
Jumlah Kuadrat
Kuadrat
Tengah
2
bwTQTYw nYw
16
Sisa/Residual
nk1
YwTYw bwTQTYw
Total
YwT Yw
JKSisa
n2
Formula 3
Sisa/Residual
Total,
terkoreksi
nk1
n 1
YwTYw bwTQTYw
JKSisa
n2
YwT Yw nYw2
Formula 4
Sumber
Derajat
Bebas
b0
Regresi|b0
Lack of fit
n-k-1nPE
Jumlah Kuadrat
Kuadrat
Tengah
Sumber
nYw2
Regresi|b0
bwTQTYw nY 2
Lack of fit
YwTYwbwTQTYw
JKPE
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
KTLoF
Pure Error
Derajat
Bebas
k
n-k-1nPE
nPE
Jumlah Kuadrat
Kuadrat
Tengah
YwTYwbwTQTYw
JKPE
JKPE
KTLoF
s 2PE
17
Pure Error
Total
nPE
JKPE
YwT Yw
s 2PE
Pengujian Hipotesis
Pada bagian ini akan diuraikan pengujian hipotesis secara lengkap, untuk mendeteksi kemaknaan pengaruh prediktor, baik secara parsial
maupun bersama.
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
Total, terkoreksi
n-1
YwT Yw nYw2
- Perumusan Hipotesis
H0 : i = 0, artinya pengaruh prediktor ke i
pada respon tidak bermakna.
H1 : i 0, artinya pengaruh respon bermakna.
- = 0,05
- Statistik Uji :
T
bi
penaksir simbangan baku (bi )
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
- Kesimpulan :
H0 diterima bila t n k 1, 2 T t n k 1,1 2 ,
19
t n k 1,1 .
2
- Interpretasi : ...
F=
(bTw QT Yw nYw2 ) / k
(YwT Yw bTw QT Yw ) /( n k 1)
Tipe 2
- Perumusan Hipotesis
H0 : i = 0, i = 0, 1, 2, ... , k, artinya perbedaan
setiap i dengan 0 tidak bermakna.
H1 : Paling tidak terdapat satu i yang perbedaannya dengan nol bermakna.
- = 0,05
- Statistik Uji :
21
(bTw Q T Yw ) /( k 1)
(YwT Yw bTw QT Yw ) /( n k 1)
Contoh 1
W = var
X1
X2
Varian
60
50
87,5
1,88989
60
50
88,1
0,5291
60
50
89,5
0,5291
60
60
50
50
86,2
90
0,5291
0,5291
0,5291
22
60
50
88,2
0,5291
60
70
81,7
0,0184
60
50
87,3
60
50
89,2
0,5291
60
70
60,3
0,0184
0,5291
120
50
82,5
60
50
0,3997
85,9
0,5291
120
50
81,6
60
0,3997
50
87
0,5291
120
50
77,4
0,3997
60
70
77,4
0,0184
120
50
81,5
0,3997
60
70
70,7
0,0184
120
50
79,7
0,3997
60
70
67
0,0184
120
50
81,3
0,3997
60
70
71,7
0,0184
120
50
80,7
0,3997
60
70
79,2
0,0184
120
50
79,3
0,3997
60
70
68,1
0,0184
120
50
82
60
60
70
70
54,3204
65,3
61
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
0,0184
0,0184
120
120
50
70
79,2
61,2
0,3997
2,50178
60,6933
0,3997
0,0165
23
120
70
67,2
0,0165
120
70
55,9
0,0165
120
70
52
0,0165
120
70
63,5
0,0165
120
70
50,7
0,0165
120
70
52,3
0,0165
120
70
68,6
0,0165
120
70
69,5
0,0165
120
70
70,1
0,0165
Sumber : Classical And Modern Regression with Applications, oleh Raymond H. Myers, halaman
281.
SE Coef
5,800
0,02851
0,08552
R-Sq = 79,2%
T
24,64
-4,83
-10,84
P
0,000
0,000
0,000
R-Sq(adj) = 78,1%
Analysis of Variance
Source
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
Coef
142,925
-0,13758
-0,92675
DF
SS
MS
24
4116,9
1082,5
7,8
Pure Error
Total
36
39
1074,6
5199,4
2058,5
29,3
7,8
70,36
0,26
0,000
0,612
99
29,9
90
50
10
1
2
37
1
Percent
Regression
Residual Error
Lack of Fit
-2
-1
0
1
Standardized Residual
2
1
0
-1
-2
60
Frequency
9
6
3
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
-1
0
1
Standardized Residual
90
-2
80
Fitted Value
12
70
2
1
0
-1
-2
1
10
15
20
25
30
Observation Order
35
40
25
Penentuan Pembobot :
Tujuan pembobotan ialah mendapatkan variansi error identik, yaitu var() = I2 . Karena variansi error tidak diketahui, dan secara teori variansi error
sama dengan variansi respon, maka yang direkayasa
ialah variansi respon, yaitu var(Y).
Agar lebih mudah mengevaluasi var(Y), organisasi
data di atas diubah kebentuk berikut :
X2
50
87,5
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
70
88,2
77,4
68,1
26
60
X1
120
88,1
89,5
86,2
90
82,5
81,6
77,4
81,5
79,7
87,3
89,2
85,9
87
81,3
80,7
79,3
82
79,2
70,7
67
71,7
79,2
61,2
67,2
55,9
52
63,5
65,3
61
81,7
60,3
50,7
52,3
68,6
69,5
70,1
Tampak terdapat empat kondisi, masing-masing terdiri dari 10 eksperimen. Kalau diamati, nilai-nilai
respon setiap kondisi hampir homogen, tetapi pada
kondisi yang berbeda tampak heterogen. Empat
kondisi tersebut adalah :
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
X1
X2
Varian
Pembobot,
W
Jumlah
Kuadrat
Derajat
Bebas
60
60
120
120
50
70
50
70
1,88989
54,3204
2,50178
60,6933
0,5291
0,0184
0,3997
0,0165
17,009
488,884
22,516
546,24
1074,65
9
9
9
9
36
27
V1 =
w1
0
0
0
wn
0
w2
- Matrik P1 juga matrik diagonal, elemennya merupakan akar elemen V1, yaitu w i0,5 .
28
w10,5
0
0 w 02,5
P1 =
0
0
w 0n,5
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
4. Gambarlah Plot Y
wi terhadap fi . Bandingkan
dengan plot sejenis sebelun dilakukan pembobotan.
5. Dapatkan selang kepercayaan 95% untuk i
secara parsial, dan secara bersama.
29
Contoh 2
Berikut ini adalah data hasil eksperimen,
Pengamatan
ke
1
2
3
4
5
6
X
1.15
1.9
3
3
3
3
Y
0,99
0,98
2,60
2,67
2,66
2,78
W
1.2403
2.1824
7.8493
7.8493
7.8493
7.8493
30
7
8
9
10
11
12
13
14
15
16
17
3
5.34
5.38
5.4
5.4
5.45
7.7
7.8
7.81
7.85
7.87
2,80
5,92
5,35
4,33
4,89
5,21
7,68
9,81
6,52
9,71
9,82
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
7.8493
7.4365
6.9931
6.7857
6.7857
6.3051
0.892
0.8442
0.8396
0.8217
0.813
18
19
20
21
22
23
24
25
26
27
28
7.91
7.94
9.03
9.07
9.11
9.14
9.16
9.37
10.17
10.18
10.22
9,81
8,50
9,47
11,45
12,14
11,50
10,65
10.64
9,78
12,39
11,03
0.7959
0.78342
0.47385
0.46621
0.45875
0.45327
0.44968
0.41435
0.31182
0.31079
0.30672
31
29
30
31
32
33
34
35
10.22
10.22
10.18
10.5
10.23
10.03
10.23
0.30672
8
0.30672
11,90
0.31079
8,68
0.28033
7,25
0.30571
13,46
0.3268
10,19
0.30571
9,93
Sumber : Applied Regression Analysis, Second Edition
oleh Norman Draper dan Harry Smith, halaman 113.
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
Aktifkan Enable Command. Setiap jawaban yang memerlukan perhitungan agar dilengkapi dengan : rumus dan
rangkaian command.
1. Dapatkan model regresi Y fungsi X . Uraikan interpretasi model yang saudara dapatkan (interpretasi meliputi Sign dan Size). Apakah model cukup baik?
2. Berapakah b = (b0, b1)T dan penaksir var(b)?
3. Lakukan prediksi Y0 bila biaya promosi X 0 sebesar
10,5. Dapatkan pula selang kepercayaan 95% untuk Y0
(confidence interval atau prediction interval ?) Mana
yang tepat ? Jelaskan.
32
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci
33
Penerapan WLS pada MINITAB dilakukan dengan mengisikan kolom yang memuat pembobot, yaitu W, pada
Weights, yang muncul pada window setelah menekan
Option. Jawablah terapan pertanyaan soal no 1, 2, 3, dan
7, pada kondisi melibatkan pembobot (namailah dengan
jawaban no 9 sampai dengan 12). Bandingkan kedua
model yang terbentuk (13). Pada output muncul peringatan; tulislah peringatan tsb, dan artikan. Adanya peringatan menunjukkan bahwa menjalankan WLS tidak cukup
hanya dengan menggunakan MINITAB.
34