7.7.

REGRESI LINEAR BERGANDA MULTIVARIAT

Hubungan antara respon 1 , 2 , , dan variabel prediktor 1 , 2 , . , .
Setiap respon diasumsikan memenuhi model regresi
1 = 01 + 111 + + 1 + 1
2 = 02 + 121 + + 2 + 2
.
.
.
= 0 + 1 1 + + +
eror = [1 , 2 , . , ] dengan () = 0 dan () = .
Misal 0 , 1 , . , merupakan variabel prediktor percobaan ke j, =
[1 , 2 , , ] merupakan respon, dan = [1 , 2 , . , ] merupakan erornya.
Bentuk matriknya adalah
10 1

=[ ]
(( + 1))
0
sama dengan model regresi untuk respon tunggal [lihat (7-3)]. Dengan persamaan
matriks
11 1

=[ ] = [(1) () ]
()
1
01 0

=[ ] = [(1) () ]
(( + 1))
1
dan
11 1 1

] = [(1) () ] = [ ]
() = [
1

Model regresi linear multivariatnya adalah

= + ()
() (( + 1))(( + 1))

dengan

(() ) = 0 ; (() , () ) = , = 1,2, , (7-24)

Keterangan :
 = observasi pada percobaan ke ,

dan adalah parameter dan tidak diketahui.

Untuk respon ke-, () mengikuti model regresi linear

() = () + (), = 1,2, , (7-25)

dengan (() ) = .
Diberikan hasil Y dan nilai variabel prediktor Z. Seperti pada solusi respon
tunggal, pada respon ke-, menjadi
() = ( )1 () (7-26)
Pemilihan () = () meminimalkan jumlah kuadrat diagonal ke- dari (()
() ) (() () ), dari estimasi = didapat
Nilai prediksinya : = = ()1
Residunya : = = [ ( )1 ] (7-29)
Jumlah kuadrat residualnya dan cross-productnya dapat juga ditulis seperti
= = (7-33)

Contoh 7.8
Hitunglah , , dengan
1 = 01 + 11 1 + 1
2 = 02 + 12 1 + 2 = 1,2, . ,5
Digunakan data pada contoh 7.3 Untuk 2 respon 1 dan 2 adalah
1 0 1 2 3 4
1 1 4 3 8 9
2 1 1 2 3 2
1 0 1 1
1 1 4 1
didapat : = 1 2 = 3 2
1 3 8 3
[1 4] [9 2 ]
1 1 1 1 1
= [ ] ( )1 = [ 0.6 0.2]
0 1 2 3 4 0.2 0.1
dan
1
1
1 1 1 1 1 5
2 = [ ] 2 =[ ]
0 1 2 3 4 20
3
[2]
 0.6 0.2 5 1
(2) = ( )1 2 = [ ][ ] = [ ]
0.2 0.1 20 1
dari contoh 7.3
1 1
= [(1) |(2) ] = [ ] = ( )1 [(1) |(2) ]
2 1
didapat nilai dari 1 = 1 + 21 dan 2 = 1 + 1
10 1 1
11 3 0
1 1
= = 1 2 [ ]= 5 1
2 1
13 7 2
[1 4] [9 3 ]
dan
0 1 2 1 0
= = [ ]
0 1 1 1 1
Catatan
1 1
3 0
0 1 2 1 0 0 0
= [ ] 5 1 =[ ]
0 1 1 1 1 0 0
7 2
[9 3 ]
karena
1 1
4 1
1 4 3 8 9 171 43
= [ ] 3 2 =[ ]
1 1 2 3 2 43 19
8 3
[9 2 ]
165 45 6 2
= [ ] = [ ]
45 15 2 4
maka dapat dibuktikan bahwa
= +
165 45 6 2 171 43
= [ ]+[ ]=[ ] (terbukti)
45 15 2 4 43 19

Result 7.9
Untuk estimator kuadrat terkecil = [(1) |(2) | |() ] ditentukan oleh model
regresi berganda multivariat (7-24) dengan () = + 1 < adalah full rank diperoleh
(() ) = () atau ( ) =

(() , () ) = ( )1 , = 1,2, , + 1
Sisaan = [(1) |(2) | |() ] = memenuhi (() )= 0 dan (() () ) =

( 1) jadi () = 0 ((1)) =
Maka , tidak berkorelasi.

Result 7.10
Misalkan model regresi berganda multivariat pada (7-24) dengan () = + 1 <
adalah full rank dan eror, , berdistribusi normal, maka didapatkan = ()1
merupakan estimator likelihood maksimum dari serta berdistribusi normal dengan
( ) = dan (() , () ) = ()1.
Didapatkan pula, independen terhadap estimator likelihood maksimum dari ,
yaitu

( ) ( )
= =

dan berdistribusi 1 (. |)

Uji Rasio Likelihood untuk Parameter Regresi

Uji rasio likelihood dapat digunakan untuk menaksir pengaruh variabel prediktor
terhadap variabel respon. Hipotesis nol menyatakan bahwa ada bagian dari yang
tidak berpengaruh pada respon . Variabel prediktor yang tidak mempengaruhi
dinotasikan sebagai +1 , +2 , , .

0 : +1 = +2 = = 0 atau 0 : (2) = 0 dengan (2) = [+1 , +2 , , ]
(1)
(( + 1) )
dimana = ________________ (7-41)
(2)
[ (( ) ) ]

1 | 2
Menyusun = [ | ] ; model generalnya dapat ditulis
( ( + 1)) ( ( ))
|
sebagai berikut
(1)
() = = [1 2 ] [ ____ ] = 1 (1) + 2 (2)
(2)

0 : (2) = 0 ; = 1 (1) + dan uji ratio likelihood dari 0 didasarkan pada

kuantitas dalam jumlahan extra dari kuadrat dan crossproduct = ( 1 (1) ) (

1 (1) ) ( ) ( ) = (
1 )

(1) ) (1
(1 (1) )
dimana (1) = ( )1 1 dan 1 =
 Dari (7-40) rasio likelihood , , adalah

max ((1) , )
(1) , (() , () ) || 2
= = =( )
max (, ) ( , ) |1 |
,

Dengan cara yang sama, statistik wilks lambda

2 ||
=
|1 |
dapat digunakan.
Result 7.11
Model regresi berganda multivariat (7-24) dengan Z dari full rank + 1 < . Misalkan
erornya, , berdistribusi normal. Berdasarkan 0 : (2) = 0;
Dimana berdistribusi 1 (. |) independen dengan (1 ) berdistribusi
(. |).
Uji ratio likelihood dari 0 ekuivalen dengan menolak 0 jika pada nilai yang besar dari
| | || | |
2 = ( ) = ( ) = ln
|1 | |1 | | + (1 )|
Untuk yang besar, modifikasi statistik
1 ||
( 1 ( )) ln ( )
2 |1 |
Menggunakan distribusi chi-square dengan derajad bebas ( + 1)

Contoh 7.9
Layanan di tiga lokasi deretan restoran besar dinilai menurut dua ukuran kualitas
pengunjung laki-laki dan perempuan. Indeks Layanan-kualitas pertama diperkenalkan pada
Contoh 7.5. Misalkan kita mempertimbangkan model regresi yang memungkinkan untuk
pengaruh dari lokasi, jenis kelamin, dan interaksi lokasi-jenis kelamin pada kedua indeks
kualitas layanan. Desain matriks (lihat Contoh 7.5) tetap sama untuk situasi dua respon.
Kita akan menggambarkan uji dari tidak adanya interaksi lokasi-jenis kelamin di salah satu
respon menggunakan Result 7.11. Sebuah program komputer menyediakan
2977.39 1021.72
( ) = = [ ]
1021.72 2050.95
441.76 246.16
( ) = ( 1 ) = [ ]
246.16 366.12
Misal (2) adalah matriks parameter untuk interaksi dua respon. Diketahui pada contoh
sebelumnya bahwa nilai = 18 dapat dikategorikan tidak terlalu besar, sehingga:
 i. Uji hipotesis :
0 (2) = 0
0 (2) 0
ii. = 0.05
iii. 0 ditolak jika
1 || 2
( 1 ( )) ln ( ) > (1 +1)
()
2 |1 |
derajat bebas (1 + 1) = 2(4) = 8

iv. Statistik uji

1 ||
( 1 1 ( 1 )) ln ( )
2 | + (1 )|
1
= (18 5 1 (2 3)) ln(0.7605) = 3.42
2
v. Kesimpulan
Karena 3.42 < 82 (0.05) = 15.51, 0 tidak ditolak pada tingkat 5%. Sehingga,
(2) = 0, artinya nilai koefisien untuk (2) tidak berarti dan interaksi tidak
diperlukan.
Uji hipotesis nol dari bentuk 0 = 0 dimana is ( + 1) ( + 1), dengan ( +
1) ( + 1), dan r + 1 adalah full rank dari ( + 1). Dengan = [0 ] dan 0 = 0,
maka menjadi
0 = (2) = 0

(1 ) = ( 0 ) ((( )1 )1 ( 0 )
(1 ) berdistribusi (. |) independent dari .
Alternatif uji Roy, yang menolak 0 (2) = 0 untuk nilai yang besar, di mana
merupakan akar terbesar
|(1 ) |
= /(1 + ) (lihat [16] dan [12]), (100)% untuk diberikan oleh 0 =
0 /(1 0 ).
Prediksi dari Multivarian regresi
Misalkan model = + , dengan eror normal , sudah sesuai dan diperiksa untuk
beberapa kekurangan. Jika model tersebut memadai,maka dapat digunakan untuk tujuan
prediksi.
Salah satu masalah adalah untuk memprediksi respon mean yang dengan nilai-nilai tetap
0 dari variabel prediktor. Kesimpulan tentang respon mean dapat dibuat dengan
menggunakan teori distribusi di Result 7.10. Dari result ditentukan
0 berdistribusi ( 0 , 0 ()1 0 )

dan
distribusi independent sebagai 1 (. |)
0 dengan tidak diketahui 0 .
0 0 1 0 0

2 = ( ) (1) ( ) (7-43)
0 ()1 0 0 ()1 0

dan 100(1 )% kepercayaan ellipsoid untuk 0 disediakan oleh ketidaksamaan

1


( 0 0 ) (

) ( 0 0 )
1
(1)
0 ()1 0 [( ) , ()] (7-44)

Dimana , () merupakan (100 ) persentil atas suatu distribusi dengan derajat

bebas dan 1.
Interval keyakinan simultan 100(1 )% untuk ( ) = 0 () adalah

( 1)
0 () = ( ) , () 0 ()1 0 ( )
1

= 1,2, , (7-45)
Dimana () kolom ke dari dan elemen diagonal ke-i dari
0 +
Masalah prediksi kedua adalah berkaitan dengan peramalan respon baru 0 =
0 pada 0 . Dimana 0 adalah independen dari . Diperoleh
0 = ( ) 0 + 0 berdistribusi (0, (1 + 0 ()1 0 ))
0
Independen dari , sehingga prediksi elipsoid 100(1 )% untuk 0 menjadi
1


(0 0 ) ( ) (0 0 )
1
(1)
(1 + 0 ()1 0 ) [(
) , ()] (7-46)

Interval prediksi simultan 100(1 )% untuk respon individu 0 .

 ( 1)
0 () ( ) , ()(1 + 0 ( )1 ) ( )
1

, = 1,2, , (7-74)
Dimana () , dan , () kuantitas yang sama muncul dalam (7-45).
Membandingkan (7-45) dengan (7-47), kita melihat bahwa interval prediksi untuk nilai
sebenarnya dari variabel respon yang lebih lebar dari interval yang sesuai untuk nilai-nilai
yang diharapkan (expected values). Lebar tambahan berasal dari faktor tambahan

[()] dan mencerminkan adanya kesalahan acak 0 .

Contoh 7.10
Sebuah variabel respon kedua diukur untuk masalah persyaratan komputer dibahas dalam
Contoh 7.6. Pengukuran pada respon 2 , kapasitas input /output disk, sesuai dengan nilai 1
dan 2 dalam contoh 7.66 adalah
2 = [301.8, 396.1, 328.2, 307.4, 362.4 369.5, 229.1]
Diperoleh 95% keyakinan elips untuk 0 dan 95% elips prediksi untuk 0 = [01, 02 ]
untuk tempat dengan konfigurasi 0 = [1.130, 7.5] .
Perhitungan komputer menghasilkan persamaan
2 = 14.14 + 2.251 + 5.762
dengan = 1.812, jadi (2) = [14.14, 2.25, 5.67] , dari contoh 7.6
(1) = [8.42, 1.08, 0.42] . 0 (1) = 151.97, dan 0 ( )1 0 = 0.34725
didapatkan
0 (2) = [14.14 + 2.25(130) + 5.67(7.5) = 349.17
dan

((1) (1) ) ((1) (1) ) ((1) (1) ) ((2) (2) )
=[
]
((2) (2) ) ((1) (1) ) ((2) (2) ) ((2) (2) )
5.80 5.30
=[ ]
5.30 13.13
Sejak
(1) (1) 151.97
0 = [ ] z0 = [ ]=[ ]

(2)
(2) 349.17

0 (1)
= 7, = 12, dan = 2, elips keyakinan 95% untuk 0 = [ ] adalah
0 (2)
 (7-44), menyatakan

5.8 5.3 1 0 (1) 151,97
[0 (1) 151.97, 0 (2) 349.17](4) [ ] [ ]
5.3 13.13 0 (2) 349.17
2(4)
(0.34725) [( ) 2,3 (0.5) . . ]
3
Dengan 3,2 (0.05) = 9.55. elips ini berpusat di (151.97, 349.17). Orientasinya dan panjang
.
sumbu mayor dan minor dapat dihitung dari nilai eigen dan vektor eigen dari
Membandingkan (7-44) dan (7-46). Satu-satunya perubahan yang diperlukan untuk
perhitungan dari elips prediksi 95% adalah dengan mengganti 0 ( )1 0 = 0.34725
dengan 0 ( )1 0 = 1.34725. Jadi, elips prediksi 95% untuk 0 = [01 , 02 ] juga
berpusat pada koordinat (151.97, 349.17) tetapi lebih besar dari elips kepercayaan. Kedua
elips tersebut tertera pada gambar 7.5.
Ini adalah elips prediksi yang relevan untuk penentuan determinan dari persyaratan Komputer
untuk tempat tertentu dengan diberikan 0 .