Regresi Terbobotiteoririnci
Regresi Terbobotiteoririnci
http://oc.its.ac.id/jurusan.php?fid=1&jid=3
Wiwiek Setya Winahju
wiwiek@statistika.its.ac.id
Penggunaan metode analisis regresi untuk membentuk model regresi didasari oleh asumsi error atau
residual yang bersifat identik, independen, dan berdistribusi normal, dengan mean bernilai nol dan va-
riansi bernilai tertentu, yaitu 2; dinotasikan i ~ iidn(0, 2). Secara visual kondisi i ~ iidn(0, 2) dide-
teksi menggunakan empat macam plot, yaitu : residual terhadap fit, residual terhadap urutan pelaksana-
an eksperimen, histogram residual, dan kenormalan residual. Pada mulanya untuk penaksiran parameter
koefisien regresi digunakan metode kuadrat terkecil biasa (Ordinary Least Square, disingkat OLS). A-
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 1
pabila plot residual terhadap fit membentuk titik-titik yang tidak random, tetapi membentuk pola, misal
berbentuk corong atau bando lengkung, ini menunjukkan asumsi identik tidak terpenuhi. Kondisi ini
dinamai juga heteroskedastisitas (lawannya adalah homoskedastisitas). Metode penaksiran parameter
yang sesuai adalah kuadrat terkecil terboboti (Weighted Least Square, disingkat WLS). Berikut ini akan
diuraikan secara singkat lebih dulu tentang OLS sebagai review, baru kemudian WLS.
Review O L S
Model regresi linier umum dalam matrik ialah : Y = X + . Apabila untuk membangun model re-
gresi ini digunakan n eksperimen, maka model untuk setiap eksperimen ialah :
Yi = Xi + i atau Yi = 0 + 1 X1i + 2 X2i + L + k Xki + i , i = 1, 2, ... , n.
Bila asumsi i ~ iidn(0, 2) terpenuhi, artinya :
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 2
- i identik, dinotasikan var(i) = 2 untuk setiap i, dapat pula diartikan cov(i,j) = 2 bila i = j,
atau cov(i,i) = 2 ,
- i independen, dinotasikan cov(i,j) = 0 untuk i j, akibatnya E(ij) = E(i) E(j),
- i ~ n(0, 2), E(i ) = 0 untuk setiap i dan var(i ) = 2 untuk setiap i;
karena i juga bersifat independen, maka berakibat E(ij) = E(i) E(j) = 0,
maka menjadikan matrik varian kovarian vektor , dinotasikan var(), adalah sebagai berikut :
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 3
var(1 ) cov(1 , 2 ) L cov(1 , n ) 2 0 L 0
cov( , )
var( 2 ) L cov( 2 , n ) 0 2 L 0
var() =
2 1
= = I 2
M M O M M M O M
cov( n , 1 ) cov( n , 2 ) L var( n ) 0 0 L 2
Penaksir parameter koefisien regresi dan variansinya didapatkan dengan rumus berikut :
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 4
b0 var(b 0 ) cov(b 0 , b1 ) L cov(b 0 , b k )
b cov(b , b ) var(b1 ) L cov(b1 , b k )
b = = (XTX)-1 XTY dan var(b) =
1 1 0
= (XTX)-12
M M M O M
b k cov(b k , b 0 ) cov(b k , b1 ) L var(b k )
Penaksir nilai respon, yaitu Ŷ0 , pada nilai prediktor ditentukan X0, beserta variansinya adalah sebagai
berikut :
Ŷ0 = XT0 b T T T T
var( Ŷ0 ) = var( X0 b) = X0 var(b) X0 = X0 (XTX)-12 X0 = X0 (XTX)-1X0 2,
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 5
1
X
1 10
dengan : X0 = atau X 0 X 20
X0
M
X k0
Regresi WL S
Residual tidak identik mengakibatkan var(i) tidak sama untuk setiap i, dinotasikan var(i) = i (Pada
2
OLS var(i) = 2). Agar i memenuhi asumsi identik maka dilakukan transformasi, dengan cara menga-
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 6
0,5
likan i dengan wi , atau vektor dengan matrik P-1 dari sisi kiri. P adalah matrik diagonal dengan ele-
0 , 5
men wi , dan wi komponen kolom W. Matrik diagonal yang elemennya terdiri dari komponen vektor
W dinamai Matrik Pembobot, misal dinotasikan Wp (Proses mendapatkan Pembobot banyak didiskusi-
di buku-buku teks tentang Ekonometrika). Sekarang, vektor residual menjadi f ,
f = P-1 .
Matrik P ditentukan sedemikian rupa sehingga memenuhi : PTP = PP = P2 = V.
Residual baru ini, yaitu fi , sudah memenuhi segala asumsi, dinotasikan fi ~ iidn(0, 2). Persamaan
regresi baru :
P-1 Y = P-1 X + P-1 ,
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 7
dengan notasi baru :
Yw = Q w + f atau Ywi = w0 Q0i + w1 Q1i + fi (khusus regresi dengan satu prediktor).
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 8
Regresi ini, kolom pertama matrik Q, yaitu Q0, elemennya tidak bernilai 1, tidak seperti kolom pertama
matrik X pada regresi OLS, yang setiap elemen kolom pertamanya bernilai 1. Berikut ini ditampilkan
kolom-kolom matrik X dan Q, dengan Q = P-1 X :
2, ... , n, dikalikan dengan pembobot seperti yang telah diuraikan di halaman 2. Pembobot ini dihim-
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 10
pun di dalam matrik P-1, kalau dikaitkan dengan matrik V, maka yang dimaksud dengan matrik pembo-
0,5
bot ialah V-1 yang berelemenkan w, bukan wi .
Setelah dilakukan transformasi f = P-1 , maka error menjadi f, dengan sifat seperti error pada regresi
OLS, yaitu var(f) = I2 . Penjabaran var(f) secara rinci adalah sebagai berikut :
var(f) = E(f – E(f))(f – E(f))T = E(f – 0)(f – 0)T = E(f fT )
= E(P-1 (P-1 )T) = E(P-1 T P-1) = P-1 E( T) P-1 = P-1 V2 P-1 = P-1 P P 2 P-1
= P-1 P P P-1 2 = I 2
Penentuan Pembobot
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 11
Penentuan pembobot ini tidak sederhana, harus disesuaikan kasus per kasus, tidak dapat ditentukan
formula untuk semua kasus. Secara rinci penentuan pembobot ditelaah pada metode Ekonometrika. Pa-
da materi ini hanya akan dibahas satu macam kasus, yang akan dipaparkan dalam contoh.
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 12
b 0w
b
bw =
1w
= (QTQ)-1 QTYw = ((P-1 X)T P-1X)-1 (X P-1)T (P-1 Y)
M
b kw
= (XT P-1 P-1X)-1 XT P-1 P-1 Y = (XT V-1X)-1 XT V-1 Y
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 13
var(b 0w ) cov(b 0w , b1w ) L cov(b 0w , b kw )
cov(b , b ) var(b1w ) L cov(b1w , bkw )
var(bw) =
1w 0w
M M O M
cov(b kw , b 0w ) cov(b kw , b1w ) L var(bkw )
= (QTQ)-12 = (XT V-1 X)-1 2
Selang Kepercayaan
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 14
Selang Kepercayaan 100(1) untuk parameter w secara bersama :
( YwT Yw b Tw Q T YW )
(bw w) Q Q (bw w) = p
T T
Fp,n-p,1- ,
np
dengan bw = (bw0 , bw1)T atau bw = (bw0 , bw1, ... , bwk)T, dan w = (w0 , w1)Tatau w = (w0 , w1, ... , wk)T.
( YwT Yw b Tw Q T YW )
Bentuk merupakan Kuadrat Tengan Error atau Mean Square Error (MSE) yang
np
tercantum pada tabel ANOVA regresi WLS.
Tabel ANOVA
Terdapat berbagai macam formula tabel ANOVA; masing-masing dinyatakan sebagai berikut :
Formula 1 Formula 2
Derajat Kuadrat Derajat Kuadrat
Sumber Bebas Jumlah Kuadrat Sumber Bebas Jumlah Kuadrat
Tengah Tengah
Regresi k+1 bwTQTYw Regresi k 2
bwTQTYw nYw
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 16
Sisa/Re- JKSisa Sisa/Re- JKSisa
sidual nk1 YwTYw bwTQTYw sidual nk1 YwTYw bwTQTYw
n2 n2
Total,
Total n YwT Yw terkoreksi
n 1 YwT Yw nYw2
Formula 3 Formula 4
Derajat Kuadrat Derajat Kuadrat
Sumber Bebas
Jumlah Kuadrat
Tengah
Sumber Bebas
Jumlah Kuadrat
Tengah
b0 1 nYw2 Regresi|b0 k bwT QTYw nYw
2
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 18
- Perumusan Hipotesis Nilai penaksir simbangan baku(b i ) adalah
H0 : i = 0, artinya pengaruh prediktor ke i akar elemen diagonal utama ke i matrik var(bw),
pada respon tidak bermakna. dengan var(bw) = (XT V-1 X)-1 2.
H1 : i 0, artinya pengaruh respon bermakna.
Bila H0 benar T~ t n k 1,
- = 0,05 - Titik Kritis : t n k 1, dan t n k 1,1
2 2
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 19
H0 ditolak bila T < t n k 1, 2 atau T > prediktor ke i sampai ke k secara
bersama-sama tidak bermakna.
t n k 1,1 .
2
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 24
Regression 2 4116,9 2058,5 70,36 0,000 Residual Plots for Y
Residual Error 37 1082,5 29,3 Normal Probability Plot of t he Residuals Residuals Versus the Fitted Values
Lack of Fit 1 7,8 7,8 0,26 0,612 99
Standardized Residual
2
Pure Error 36 1074,6 29,9 90
1
Total 39 5199,4
Percent
50 0
-2
1
-2 -1 0 1 2 60 70 80 90
Standardized Residual Fitted Value
Standardized Residual
12 2
Frequency
9
0
6
-1
3
-2
0
-2 -1 0 1 2 1 5 10 15 20 25 30 35 40
Standardized Residual Observation Order
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 25
Plot Residual terhadap Fitted Value menunjukkan Penentuan Pembobot :
pola corong, yaitu makin tinggi Fitted Value, makin Tujuan pembobotan ialah mendapatkan variansi er-
kecil nilai residual; ini berarti asumsi eror identik ti- ror identik, yaitu var() = I2 . Karena variansi er-
dak terpenuhi, atau terjadi kondisi heteroskedastisi- ror tidak diketahui, dan secara teori variansi error
tas. Disimpulkan, model ini kurang baik, meskipun sama dengan variansi respon, maka yang direkayasa
semua prediktor berpengaruh bermakna ditunjukkan ialah variansi respon, yaitu var(Y).
oleh nilai P = 0, koefisien determinasi, R 2 cukup
tinggi, yaitu sebesar 78,1%; serta lack of fit tidak Agar lebih mudah mengevaluasi var(Y), organisasi
bermakna, ditunjukkan oleh nilai P = 0,612. Untuk data di atas diubah kebentuk berikut :
menanggulangi kondisi tersebut dilakukan pembo-
botan. X2
50 70
87,5 88,2 77,4 68,1
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 26
88,1 87,3 70,7 65,3
89,5 89,2 67 61 X1 X2 Varian Pembobot, Jumlah Derajat
86,2 85,9 71,7 81,7 W Kuadrat Bebas
60 90 87 79,2 60,3
82,5 81,3 61,2 50,7 60 50 1,88989 0,5291 17,009 9
X1 81,6 80,7 67,2 52,3 60 70 54,3204 0,0184 488,884 9
77,4 79,3 55,9 68,6 120 50 2,50178 0,3997 22,516 9
120 81,5 82 52 69,5
79,7 79,2 63,5 70,1 120 70 60,6933 0,0165 546,24 9
1074,65 36
Tampak terdapat empat kondisi, masing-masing ter-
diri dari 10 eksperimen. Kalau diamati, nilai-nilai Perbedaan var(Y) cukup tinggi; agar nilai variansi
respon setiap kondisi hampir homogen, tetapi pada identik, maka setiap variansi dikalikan suatu bila-
kondisi yang berbeda tampak heterogen. Empat ngan yang nilainya tergantung nilai var(Y). Makin
kondisi tersebut adalah : kecil nilai var(Y), makin tinggi bilangan pengali-
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 27
nya. Bilangan pengali tersebut disebut pembobot.
Dalam kasus ini penbobot dinotasikan W sebesar w1 0 0
1/var(Y), dicantumkan pada kolom sesudah kolom 0 w2 0
yang memuat varian. Adapun kolom selanjutnya, V =
1
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 32
4. Turunkan rumus penaksir var(b0), dan penaksir 6. Karena 2 tidak diketahui, 2 ditaksir dengan s2, maka
var(Y0) bila X0 titik prediktor yang digunakan untuk masing-masing hasil transformasi pada soal no 5 di atas
membentuk model (bukan dalam notasi matrik). menjadi berdistribusi apa ? Tuliskan setiap hasil trans-
formasi beserta distribusinya.
5. Dengan asumsi residual iidn(0,2) terpenuhi, maka da-
lam bentuk rumus : Tuliskan selang kepercayaan 95% untuk setiap hasil tran-
b0 ~ N( … , … ) formasi, selanjutnya dapatkan pula selang kepercayaan
b1 ~ N( … , … ) 95% untuk masing-masing 0, 1, dan Y0 pada prediktor
Y0 ~ N( … , … ). bernilai X0.
Tuliskan transformasi terhadap : b0 , b1, dan Y0, agar ma-
sing-masing atau setiap hasil transformasi menjadi ber- 7. Tulislah rumus statistik uji untuk pengujian hipotesis
distribusi normal standar. masing-masing 0, 1, dan Y0 pada prediktor bernilai X0.
Lakukan uji hipotesis, apakah perbedaan antara 0 dengan
-1 bermakna ? Perbedaan antara 1 dengan 1,5 bermak-
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 33
na ? Perbedaan antara Y0 pada X0 = 10,5 dengan 9,5 ber- Penerapan WLS pada MINITAB dilakukan dengan me-
makna ? ngisikan kolom yang memuat pembobot, yaitu W, pada
Weights, yang muncul pada window setelah menekan
8. Gambarlah plot Residual terhadap YFIT. Artikan plot Option. Jawablah terapan pertanyaan soal no 1, 2, 3, dan
tersebut. Lengkapilah analisis, apakah model baik ? 7, pada kondisi melibatkan pembobot (namailah dengan
jawaban no 9 sampai dengan 12). Bandingkan kedua
Serangkaian perhitungan yang telah anda lakukan adalah model yang terbentuk (13). Pada output muncul peringa-
berdasarkan metode Ordinary Least Square (OLS). tan; tulislah peringatan tsb, dan artikan. Adanya peringa-
tan menunjukkan bahwa menjalankan WLS tidak cukup
Pada plot Residual terhadap YFIT tampak bahwa titik-titik hanya dengan menggunakan MINITAB.
tidak random, tetapi membentuk corong. Ini menunjuk-
kan model belum baik, sehingga model perlu diperbaiki
dengan meggunakan Weighted Least Square (WLS).
F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci 34