RANCANGAN PERCOBAAN

CHAPTER 4 – LINEAR MODEL DISTRIBUTION THEORY

4.1 USUAL LINEAR MODEL ASSUMPTIONS

Asumsi dalam bentuk Univariat
𝑌𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 + 𝜀𝑖 , 𝑖 = 1,2, . . , 𝑛
𝜀𝑖 peubah acak dengan asumsi:
(a) 𝐸(𝜀𝑖 ) = 0, 𝑖 = 1,2, . . , 𝑛
(b) 𝑉𝑎𝑟(𝜀𝑖 ) = 𝜎 2 , 𝑖 = 1,2, . . , 𝑛 → Homoskedastisitas
(c) 𝐶𝑜𝑣(𝜀𝑖 , 𝜀𝑗 ) = 0 , 𝑖 ≠ 𝑗
Untuk 𝛽𝑖 fixed dan 𝑥𝑖𝑗 konstanta yang diketahui, maka asumsi 𝑌𝑖 merupakan peubah acak dengan
asumsi :
(a) 𝐸(𝑌𝑖 ) = 𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 , 𝑖 = 1,2, . . , 𝑛
(b) 𝑉𝑎𝑟(𝑌𝑖 ) = 𝜎 2 , 𝑖 = 1,2, . . , 𝑛
(c) 𝐶𝑜𝑣(𝑌𝑖 , 𝑌𝑗 ) = 0 , 𝑖 ≠ 𝑗

** 𝐸[𝑌𝑖 ] = 𝐸[𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 + 𝜀𝑖 ] = 𝐸[𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 ] + 𝐸[𝜀𝑖 ]

= 𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 + 0 = 𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘
𝑉𝑎𝑟(𝑌𝑖 ) = 𝑉𝑎𝑟[𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 ] + 𝑉𝑎𝑟[𝜀𝑖 ] = 0 + 𝜎 2 =𝜎 2

Asumsi dalam bentuk Matriks

Vektor 𝒀′ = (𝑌1 , 𝑌2 , … , 𝑌𝑛 ) merupakan vector acak.

Definisi 4.1.1.
Untuk vektor acak 𝒀 :
𝐸(𝑌1 )
𝐸(𝑌2 )
Vektor mean: 𝝁 = 𝐸(𝒀) = [ ]
⋮
𝐸(𝑌𝑛 ) 𝑛𝑥1
𝜎21 𝜎12 ⋯ 𝜎1𝑛
2 ⋯ 𝜎2𝑛
Matriks kovariansi: 𝐶𝑜𝑣(𝒀) = 𝐸[(𝒀 − 𝝁)(𝒀 − 𝝁)′ ] = 𝜎21 𝜎2
⋮ ⋮ ⋱ ⋮
[ 𝜎𝑛1 𝜎𝑛2 ⋯ 𝜎2𝑛 ]𝑛𝑥𝑛
dengan:
𝜎𝑖𝑗 = 𝐶𝑜𝑣(𝑌𝑖 , 𝑌𝑗 ) = 𝐸[{𝑌𝑖 − 𝐸(𝑌𝑖 )}{𝑌𝑗 − 𝐸(𝑌𝑗 )}]
𝜎𝑖𝑖 = 𝜎𝑖2 = 𝑉𝑎𝑟(𝑌𝑖 ) = 𝐸[{𝑌𝑖 − 𝐸(𝑌𝑖 )}2 ]
karena 𝐶𝑜𝑣(𝑌𝑖 , 𝑌𝑗 ) = 𝐶𝑜𝑣(𝑌𝑗 , 𝑌𝑖 ) maka 𝐶𝑜𝑣(𝒀) matriks simetris.
Catatan :
Jika kita notasi Matriks dan peubah acak ditulis dengan tangan , maka ada kesamaan penulisan
peubah acak yang ditulis dengan lambang “huruf besar” dan matriks yang dinotasikan dengan huruf
𝑎11 𝑎12
besar, maka dalam penulisan nya lazimnya notasi matriks ditulis dengan 𝑋̃ = [𝑎 ]
21 𝑎22
Sedangkan notasi X menyatakan peubah acak X

Asumsi Model Linear 𝐘 = 𝐗𝜷 + 𝜺 :

(a) 𝐸(𝜺) = 𝟎
𝜎2 0 ⋯ 0
2
(b) 𝐶𝑜𝑣(𝜺) = 𝜎 2 𝐈 = [ 0 𝜎 ⋯ 0], I matriks identitas n × n
⋮ ⋮ ⋱ ⋮
0 0 ⋯ 𝜎2

4.2 MOMENTS OF RESPONSE AND SOLUTIONS VECTOR

Jika A dan C matriks konstanta, W dan Z matriks acak dengan momen berhingga, maka:
(a) 𝐸(𝑨) = 𝑨
(b) 𝐸(𝑨𝑾𝑪) = 𝑨 𝐸(𝑾)𝑪
(c) 𝐸(𝑾 + 𝒁) = 𝐸(𝑾) + 𝐸(𝒁)

Teorema 4.2.1
Y vektor acak, a dan c vektor konstanta, B matriks konstanta, 𝐸(𝒀) = 𝝁 , 𝐶𝑜𝑣(𝒀) = 𝑽, maka dapat
dibuktikan bahwa :
(a) 𝐸(𝑩𝒀 + 𝒄) = 𝑩𝝁 + 𝒄
(b) 𝐸(𝒂′ 𝒀) = 𝒂′ 𝝁
(c) 𝐶𝑜𝑣(𝑩𝒀 + 𝒄) = 𝑩𝑽𝑩′
(d) 𝑉𝑎𝑟(𝒂′ 𝒀) = 𝒂′ 𝑽𝒂
sehingga untuk 𝐘 = 𝐗𝜷 + 𝜺 diperoleh:
• 𝐸(𝒀) = 𝐸(𝑿𝜷 + 𝜺) = 𝑿𝜷 + 𝐸(𝜺) = 𝑿𝜷
• 𝐶𝑜𝑣(𝒀) = 𝐶𝑜𝑣(𝑿𝜷 + 𝜺) = 𝐶𝑜𝑣(𝜺) = 𝜎 2 𝑰

Teorema 4.2.2
̂ = [𝑿′ 𝑿]− 𝑿′𝒀, dapat
Jika 𝒀 = 𝑿𝜷 + 𝜺 dimana 𝐸(𝜺) = 𝟎 dan 𝐶𝑜𝑣(𝜺) = 𝜎 2 𝑰 maka untuk 𝜷
dibuktikan :
• 𝐸(𝜷 ̂ ) = [𝑿′ 𝑿]− 𝑿′ 𝑿𝜷 = I 𝜷 = 𝜷
• 𝐶𝑜𝑣(𝜷 ̂ ) = 𝜎 2 [𝑿′ 𝑿]− 𝑿′ 𝑿[(𝑿′ 𝑿)− ]′

Definisi 4.2.1
̂ dikatakan taksiran tak bias terhadap 𝜷 jika 𝐸(𝜷
𝜷 ̂) = 𝜷
Corollary 4.2.2
̂ = (𝑿′ 𝑿)−𝟏 𝑿′𝒀 dapat
𝒀 = 𝑿𝜷 + 𝜺 , 𝐸(𝜺) = 𝟎, 𝐶𝑜𝑣(𝜺) = 𝜎 2 𝐈. Jika 𝑿 full rank, maka untuk 𝜷
dibuktikan :
(a) 𝐸(𝜷̂) = 𝜷
(b) 𝐶𝑜𝑣(𝜷 ̂ ) = 𝜎 2 (𝑿′ 𝑿)−1

4.3 ESTIMABLE FUNCTIONS

Definisi 4.2.1
Misal 𝒀 = 𝑿𝜷 + 𝜺 model linear dengan 𝐸(𝜺) = 𝟎
𝓵 vektor konstan berukuran (𝑘 + 1) × 1
𝝍 = 𝓵′𝜷 kombinasi linear parameter
Maka 𝝍 adalah estimable function jika ∃𝒄 ∋ 𝐸(𝒄′ 𝐘) = 𝝍, ∀ 𝛃
Jika 𝑳 matriks konstanta ukuran 𝑞 × (𝑘 + 1), 𝑳𝜷 adalah himpunan dari 𝑞 estimable function jika ∃𝑪 ∋
𝐸(𝑪𝐘) = 𝐋𝜷, ∀𝜷, 𝑪 matriks konstanta

Teorema 4.3.1
Misal model linear 𝒀 = 𝑿𝜷 + 𝜺 , 𝐸(𝜺) = 𝟎, maka dapat dibuktikan :
• 𝝍 = 𝓵′ 𝜷 adalah estimable function ↔ ∃𝒄 ∋ 𝓵′ = 𝒄′𝑿
• 𝑳𝜷 himpunan estimable function ↔ ∃𝑪 ∋ 𝑳 = 𝑪𝑿

Corollary 4.3.1
Pada model linear 𝒀 = 𝑿𝜷 + 𝜺 , 𝐸(𝜺) = 𝟎, 𝑿𝜷 adalah himpunan estimable function.

Teorema 4.3.2
Kombinasi linear dari estimable function adalah tetap estimable function.

Definisi 4.3.2
Misal 𝝍 = 𝓵′ 𝜷 estimable function, 𝒃 adalah solusi untuk persamaan normal, maka 𝓵′𝒃 estimasi
least square untuk 𝝍.
̂ dikatakan least square estimator untuk 𝜓 dimana 𝜷
𝜓̂ = 𝓵′𝜷 ̂ adalah bentuk acak dari 𝒃.

Teorema 4.3.3
Misal 𝝍 = 𝓵′ 𝜷 estimable function, 𝓵′𝒃 invarian terhadap 𝒃, artinya 𝓵′𝒃 memiliki nilai yang sama
untuk setiap 𝒃.

Bukti:
Diketahui 𝓵′ = 𝒄′𝑿 dan 𝒃 = (𝑿′ 𝑿)− 𝑿′𝒚, maka:
𝓵′ 𝒃 = 𝒄′𝑿(𝑿′ 𝑿)− 𝑿′𝒚
𝑿(𝑿′ 𝑿)− 𝑿′ invarian terhadap (𝑿′ 𝑿)− , maka 𝒄′𝑿(𝑿′ 𝑿)− 𝑿′𝒚 juga invarian terhadap (𝑿′ 𝑿)− , untuk
setiap 𝒃.
Oleh karena itu, 𝓵′ 𝒃 invarian terhadap (𝑿′ 𝑿)− , sehingga juga invarian terhadap 𝒃.

Teorema 4.3.4
̂ = 𝓵′𝜷
𝝍 = 𝓵′ 𝜷 estimable function dan 𝝍 ̂ estimator least square, maka 𝝍
̂ tak bias untuk 𝝍.
𝐶𝑜𝑣(𝜺) = 𝜎 2 𝑰 maka 𝑉𝑎𝑟(𝝍̂ ) = 𝜎 2 𝓵(𝑿′ 𝑿)− 𝓵 adalah invarian untuk g-inverse (𝑿′ 𝑿)− .

Teorema 4.3.5
Jika model 𝒀 = 𝑿𝜷 + 𝜺 full rank, maka setiap 𝜷 estimable dan 𝓵′𝜷 estimable untuk setiap 𝓵.

4.4 GAUSS-MARKOFF THEOREM

Definisi 4.4.1
Sebuah estimator dikatakan estimator linear jika merupakan kombinasi linear dari observasi 𝒀,
artinya estimator linear berbentuk 𝒂′ 𝒀 dimana 𝒂 vektor konstanta.

BLUE Estimator
The Best Linear Unbiased Estimator (BLUE), artinya penaksir linear yang tidak bias dan memilki
variansi minimum dari penaksir lainnya.

Teorema 4.4.1 (Gauss-Markoff)

Model 𝒀 = 𝑿𝜷 + 𝜺, 𝐸(𝜺) = 𝟎, 𝐶𝑜𝑣(𝜺) = 𝜎 2 𝑰
Misal 𝝍 = 𝓵′ 𝜷 estimable function, maka setiap estimator (penaksir) linear tak bias untuk 𝜓, least
square estimator 𝝍 ̂ memiliki variansi minimum dan merupakan satu-satunya penaksir
̂ = 𝓵′𝜷
linear tak bias dengan variansi minimum.

Bukti:
Misal 𝒎′ 𝒀 penaksir linier tak bias yang lain untuk 𝜓
𝑬(𝒎′ 𝒀) = 𝓵′ 𝜷 dan 𝐸(𝒎′ 𝒀) = 𝒎′ 𝐸(𝒀) = 𝒎′ 𝑿𝜷, ∀𝜷
𝓵′ 𝜷 = 𝒎′ 𝑿𝜷, ∀ 𝜷 sehingga 𝓵′ = 𝒎′ 𝑿

Akan ditunjukkan bahwa 𝑉𝑎𝑟(𝓵′ 𝛽̂ ) ≤ 𝑉𝑎𝑟(𝒎′𝒀)

𝐶𝑜𝑣(𝓵′𝜷 ̂ , 𝒎′𝒀) = 𝐶𝑜𝑣[𝓵′(𝑿′𝑿) − 𝑿′𝒀, 𝒎′𝒀]
= 𝐸{[𝓵′(𝑿′𝑿) − 𝑿′𝒀 − 𝓵(𝑿′𝑿) − 𝑿′𝑿𝜷][𝒎′𝒀 − 𝒎′𝑿𝜷]′}
= 𝓵′ (𝑿′ 𝑿) − 𝑿′ 𝑬[(𝒀 − 𝑿𝜷)(𝒀 − 𝑿𝜷)′ ]𝒎
= 𝓵′ (𝑿′ 𝑿) − 𝑿′ 𝐶𝑜𝑣(𝒀)𝒎
= 𝜎 𝟐 𝓵′ (𝑿′ 𝑿) − 𝑿′ 𝒎
= 𝜎 2 𝓵′ (𝑿′ 𝑿) − 𝓵
= 𝑉𝑎𝑟(𝓵′ 𝜷 ̂)

̂ − 𝒎′ 𝒀) = 𝑉𝑎𝑟(𝓵′𝜷
𝑉𝑎𝑟(𝓵′𝜷 ̂ ) + 𝑉𝑎𝑟(𝒎′ 𝒀) − 2𝐶𝑜𝑣(𝓵′𝜷
̂ , 𝒎′ 𝒀) = 𝑉𝑎𝑟(𝒎′𝒀) − 𝑉𝑎𝑟(𝓵′𝜷
̂)
̂ − 𝒎′ 𝒀) ≥ 𝟎, maka 𝑉𝑎𝑟(𝒎′𝒀) ≥ 𝑉𝑎𝑟(𝓵′𝜷
Karena 𝑉𝑎𝑟(𝓵′𝜷 ̂ ).
̂ memiliki variansi minimum.
∴ Terbukti 𝓵′𝜷

̂ = 𝓵′𝜷
Sifat 𝝍 ̂:
̂ adalah sama untuk setiap solusi
(a) 𝝍
̂ adalah BLUE untuk 𝓵′ 𝜷
(b) 𝝍
̂ ) = 𝜎 2 𝓵′ (𝑿′ 𝑿)− 𝓵 invarian untuk (𝑿′ 𝑿)−
(c) 𝑉𝑎𝑟(𝝍
∴ 𝓵′𝒃 adalah BLUE untuk 𝝍 = 𝓵′𝜷

4.5 THE MULTIVARIATE NORMAL DISTRIBUTION

Misal Y vektor random 𝑛 × 1. Y dikatakan berdistribusi multivariat normal dengan mean vektor 𝝁
dan matriks kovariansi V jika pdfnya:
1 1
(𝒚−𝝁)′ 𝐕 −1 (𝒚−𝝁)
𝑓(𝑦1 , 𝑦2 , … , 𝑦𝑛 ) = 𝑛 𝑒 −2
(2𝜋) 2 |𝐕|2
• V matriks simetri definit positif
• Y vektor acak ~ MN(𝝁, 𝐕)
• Komponen Y’=(𝑌1 , 𝑌2 , … , 𝑌𝑛 ) adalah univariat normal artinya
setiap Yi adalah univariat normal dengan E[Yi] =𝜇𝑖 dan var(Yi)=𝜎𝑖2 yang lazim dinotasikan
𝜎2 𝑡 2
(𝜇𝑡𝑖 + 2 𝑖 )
2 𝑡𝑌𝑖 )
sehingga 𝑌𝑖 ~𝑁(𝝁𝒊 , 𝜎2 ) dengan MGF : 𝑀(𝑡𝑖 ) = 𝐸(𝑒 =𝑒
• MGF dari vektor acak Y :
′ ′ 1 ′𝐕−1
𝑀𝒀 (𝒕) = 𝐸(𝑒 𝒕 𝒀 ) = 𝑒 𝒕 𝝁 + 2 𝒕 𝒕
,
Untuk bivariat normal:
𝑦1 − 𝜇1
𝒚 − 𝝁 = [𝑦 − 𝜇 ]
2 2
2
𝜎 𝜌𝜎1 𝜎2
𝐕=[ 1 ]
𝜌𝜎1 𝜎2 𝜎2 2
|𝐕|1/2 = √|𝐕| = 𝜎1 𝜎2 √1 − 𝜌2
𝐶𝑜𝑣(𝑌1 ,𝑌2 )
dimana 𝜌 = , sehingga 𝐶𝑜𝑣(𝑌1 , 𝑌2 ) = 𝜌𝜎1 𝜎2
𝜎1 𝜎2
1 𝑦1 −𝜇1 2 𝑦1 −𝜇1 𝑦2 −𝜇2 𝑦2 −𝜇2 2
Sehingga (𝒚 − 𝝁)′𝑽−𝟏 (𝒚 − 𝝁) menjadi: {( ) − 2𝑝 ( )( )+( ) }
1−𝜌2 𝜎1 𝜎1 𝜎2 𝜎2
Teorema 4.5.1
Jika Y ~ MN(𝝁, 𝐕), 𝑩𝑞×𝑛 matriks konstanta dengan rank = q dan 𝒄𝒒×𝟏 vektor konstan, maka
𝑩𝒀 + 𝒄 multivariat normal memiliki q variabel berdistribusi:
𝑩𝒀 + 𝒄 ~ 𝑀𝑁(𝑩𝝁 + 𝑪, 𝑩𝑽𝑩′ )

Corollary 4.5.1
Jika Y ~ MN(𝝁, 𝐕) dan 𝒂 vektor konstan berukuran 𝑛 × 1, bila 𝒂 ≠ 𝟎,
Maka: 𝒂′ 𝒀~𝑁(𝒂′ 𝝁, 𝒂′𝑽𝒂)
( catatan : bila Y multivariat Normal maka 𝒂′ 𝒀 = 𝑎1 𝑌1 + 𝑎2 𝑌2 + ⋯ + 𝑎𝑛 𝑌𝑛 adalah univariate
Normal)

4.6 THE NORMAL LINEAR MODEL

Teorema 4.6.1
Pada model linear 𝒀 = 𝑿𝜷 + 𝜺
(a) 𝜺~𝑀𝑁(0, 𝜎 2 𝐈)
(b) (𝑌1 , 𝑌2 , … , 𝑌𝑛 ) mutually independent
(c) 𝑌𝑖 ~𝑁(𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 , 𝜎 2 ), dimana 𝑖 = 1,2,3, … , 𝑛

Teorema 4.6.2
Misal Model linear 𝒀 = 𝑿𝜷 + 𝜺 dan 𝓵′𝜷 ̂ estimable function, maka
̂ ~𝑵(𝓵′ 𝜷, 𝝈𝟐 𝓵′ (𝑿′ 𝑿)− 𝓵)
𝓵′𝜷
̂ = (𝑿′ 𝑿)− 𝑿′𝒀 full rank, maka 𝜷
Jika 𝜷 ̂ ~MN(𝜷, 𝜎 2 (𝑿′ 𝑿)−1 ).

̂ berdistribusi singular multivariate Normal (matriks

Bila 𝑋 tidak rank penuh (full rank ), maka 𝜷
kovarian kurang dari rank penuh).