Kepadatan Normal Multivariat dan Sifat-sifatnya.

Kepadatan normal multivariat merupakan generalisasi dari densitas normal univariat untuk p ≥ 2
dimensi. Ingat bahwa distribusi normal univariat, dengan mean μ dan variance σ2, memiliki fungsi
kepadatan probabilitas

Gambar 4.1 Sebuah kepadatan normal dengan mean μ dan varians σ2 dan daerah yang dipilih di bawah
kurva.

Sebuah plot fungsi ini menghasilkan umumnya kurva berbentuk lonceng yang ditunjukkan pada
Gambar 4.1. Juga ditunjukkan pada gambar adalah daerah perkiraan di bawah kurva dalam ± 1 standar
deviasi dan ± 2 standar deviasi dari mean. Daerah ini merupakan probabilitas, dan dengan demikian,
untuk variabel acak normal X,

P( μ – σ ≤ X ≤ μ + σ ) = 0.68

P(μ – 2σ ≤ X ≤ μ + 2σ ) = 0.95

Hal ini mudah untuk menunjukkan fungsi kepadatan normal dengan mean μ dan varians σ2 oleh N (μ,
σ2 ). Oleh karena itu, N (10, 4) mengacu pada fungsi dalam (4-1) dengan μ = 10 dan σ = 2. Notasi ini
akan diperluas ke kasus multivariat.
Istilah
2
x
  ( x   )( ) ( x   )
2 1
 (4.2)
  

dalam eksponen dari univariat fungsi densitas normal mengukur kuadrat jarak dari x ke μ dalam satuan
deviasi standar. Hal ini dapat digeneralisasi untuk px1 vektor pengamatan x pada beberapa variabel
seperti

(x – μ )’ Σ-1 (x – μ ) ( 4.3)

Rataan px1 vektor μ merupakan nilai yang diharapkan dari random vektor X, dan pxp matriks Σ

adalah matriks varians-kovarians X. Mengasumsikan bahwa matriks Σ simetris adalah definit positif,
sehingga persamaan (4-3) merupakan kuadrat dari generalisasi jarak dari x ke μ.

Kepadatan yang normal multivariat diperoleh dengan mengganti jarak univariat dalam (4-2) oleh
generalisasi jarak multivariat (4-3) dalam fungsi kepadatan (4-1). Ketika penggantian ini dibuat,
konstanta normalisasi univariat (2π)-1/2 (σ2 )-1/2 harus diubah ke sebuah konstanta yang lebih umum
yang membuat volume bawah permukaan multivariat fungsi kepadatan kesatuan untuk setiap p. Dalam
kasus multivariat, probabilitas diwakili oleh volume di bawah permukaan atas wilayah yg
didefinisikan oleh interval nilai xi. Hal ini dapat ditunjukkan dg konstan (2π)-p/2 │Σ│-1/2, dan akibatnya,
kepadatan normal p-dimensi untuk vektor acak X' = [X 1, X2 , … , Xp] memiliki bentuk

1 1
f ( x)  1/ 2
e ( x   )' ( x ) / 2
(4.4)
( 2 ) p/2


dimana - ∞ < xi < ∞, i = 1,2, … , p.

Akan menunjukkan p-dimensi kerapatan normal oleh Np (p., I), yang analog dengan kepadatan
normal dalam kasus univariat.

Contoh 4.1 (Bivariat densitas normal )

Mari kita mengevaluasi p = 2-variate kepadatan normal dalam hal parameter individual

E(X1) = μ1, μ2 = E(X2), σ11 = Var(X1), σ22 = Var(X2), 12   12 /(  11  22 )  Corr( X 1 , X 2 )

Menggunakan kebalikan dari matriks kovarians

Adalah

Memperkenalkan koefisien korelasi ρ12 dengan menulis 12   12 /(  11  22 ) , dipeoleh

 12 22   122   11 22 (1  122 ) , dan jarak kuadrat menjadi

Persamaan terakhir yang ditulis dalam bentuk nilai-nilai standar ( x1  1 ) /  11 dan ( x2   2 ) /  22 .

Selanjutnya, karena │Σ│=  12 22   122   11 22 (1  122 ) , bias mengganti untuk Σ-1 dan │Σ│di (4.4)
untuk mendapatkan ekspresi untuk bivariat yang (p = 2) densitas normal melibatkan parameter
individu μ1, μ2, σ11, σ22, ρ12 :
Persamaan (4-6) agak rumit, dan bentuk umum dalam (4-4) lebih informatif dalam banyak cara. Di sisi
lain, persamaan (4-6) berguna untuk membahas sifat tertentu dari distribusi normal. Sebagai contoh,
jika variabel acak X1 dan X2 tidak berkorelasi, sehingga ρ12 = 0, kepadatan bersama dapat ditulis
sebagai hasil dari dua univariat kepadatan normal masing-masing bentuk (4-1).

Artinya, f (x1, x2 ) = f (x1 ) f ( x2 ) dan X1 dan X2 independen, dapat dilihat (4.5.)

Dua distribusi bivariat dengan σ11 = σ22 ditunjukkan pada Gambar 4.2. Pada Gambar 4.2 (a), X1 dan X2
independen (ρ12 = 0). Pada Gambar 4.2 (b), ρ12 = 0.75.

Gambar 4.2 Dua bivariat distribusi normal.(a) σ11 = σ22 dan ρ12 = 0. (b) σ11 = σ22 dan ρ12 = 0.75

Dari persamaan (4-4) untuk kepadatan variabel yang normal p-dimensi, harus jelas bahwa jalur x nilai
menghasilkan ketinggian konstan untuk kepadatan ellipsoids. Artinya, densitas normal multivariat
konstan pada permukaan dimana kuadrat jarak (x – μ )’ Σ-1 (x – μ ) konstan.
Bentuk ini disebut kontur:

Kontur kerapatan probabilitas konstan = {semua x sedemikian rupa sehingga (x – μ )’ Σ-1 (x – μ )

= permukaan ellipsoid berpusat di μ

Sumbu masing-masing ellipsoid kepadatan konstan dalam vektor eigen dari Σ-1 , dan panjangnya
sebanding dengan invers dari akar kuadrat dari nilai eigen dari Σ-1.

Result 4.1

Jika Σ adalah definit positif, sehingga Σ-1 ada, maka

Σe = λe menyiratkan Σ-1e = (1/λ) e

Jadi (λ,e ) adalah pasangan eigen-vektor eigen untuk Σ sesuai dengan pasangan (1/λ , e) untuk Σ-1 .
Juga, Σ-1 adalah definit positif.

Bukti

Untuk Σ definit positif dan e ≠ 0 vektor eigen , memiliki 0 < e’ Σe = e’ (Σe) = e’(λe) = λe’e = λ.

Tambahan pula, e = Σ-1 (Σe) = Σ-1 (λe), atau e = λ Σ-1e, dan dibagi dengan λ > 0 memberikan Σ-1e =
(1/λ)e. dengan demikian (1/λ, e) adalah pasangan nilai eigen – vector eigen untuk Σ-1. Juga, untuk x
sembarang px1, dengan (2.21)

karena setiap istilah i1 ( x ' ei ) 2 adalah tidak negatif. Tambahan lagi, x’ei = 0 untuk semua i hanya
p
jika x = 0. Jadi x ≠ 0 menunjukkan bahwa  (1 /  )( x' e )
i 1
i i
2
 0 , dan dapat dikatakan bahwa Σ-1

adalah definit positif.

Berikut ikhtisar konsep-konsep :

Kontur kerapatan konstan untuk distribusi normal p-dimensi yang ellipsoids didefinisikan oleh x
sedemikian rupa sehingga

Ellipsoids ini berpusat di μ dan memiliki sumbu  c i ei , dimana Σei = λiei untuk i = 1,2, ... , p.

Sebuah kontur kerapatan konstan untuk distribusi normal bivariat dengan σ11 = σ22 diperoleh dalam
contoh berikut.
Contoh 4.2 (Kontur densitas normal bivariat )

Akan diperoleh sumbu kontur kerapatan probabilitas konstan untuk distribusi normal bivariat ketika
σ11 = σ22. Dari (4-7), sumbu ini diberikan oleh nilai eigen dan vektor eigen dari Σ.

Disini │Σ - λI│ = 0 menjadi

 11    12
0  ( 11   ) 2   12
2
 (   11   12 )(   11   12 )
 12  11  

Akibatnya, nilai-nilai eigen adalah λ1 = σ11 + σ12 dan λ2 = σ11 - σ12 . Eigenvector ei ditentukan dari

 11  12   e1  e 
     ( 11   12 )  1 
 12  11  e2   e2 

Atau σ11e1 + σ12e2 = (σ11 + σ12 ) e1

σ12e1 + σ11e2 = (σ11 + σ12 ) e2

Persamaan-persamaan ini menyiratkan bahwa e1 = e2 , dan setelah normalisasi, pasangan pertama nilai
eigen-vektor eigen adalah

 1 
 2
e1  
λ1 = σ11 + σ12, 1 
 
 2 

Demikian pula, λ2 = σ11 - σ12 menghasilkan vektor eigen e2'  1 / 2   1/ 2 . 

Ketika kovarians yang σ12 (atau korelasi ρ12 ) adalah positif, λ1 = σ11 + σ12 adalah nilai eigen terbesar ,
 
dan vektor eigen yang terkait e1'  1 / 2 1 / 2 terletak di sepanjang garis 45° melalui titik
μ’ = [μ1 , μ2 ]. Hal ini berlaku untuk setiap nilai positif dari kovarians (korelasi). Karena sumbu elips
konstan-density yang diberikan oleh  c 1e1 dan  c 2 e2 (lihat 4.7), dan vektor eigen masing-
masing memiliki panjang kesatuan, sumbu utama akan terkait dengan nilai eigen terbesar. Untuk
variabel acak yang normal berkorelasi positif, maka, sumbu utama elips konstan-density akan
sepanjang garis 45° melalui μ (Lihat Gambar 4.3.)
Gambar 4.3 Sebuah kontur konstan-density untuk distribusi normal bivariat dengan σ11 = σ22 dan σ12
> 0 (atau ρ12 > 0).

Ketika kovarians (korelasi) adalah negatif, λ2 = σ11 - σ12 akan menjadi nilai eigen terbesar, dan sumbu
utama elips konstan-density akan terletak di sepanjang garis pada sudut kanan garis 450 melalui μ.
(Hasil ini berlaku hanya untuk σ11 = σ22 ).

Untuk meringkas, sumbu elips kerapatan konstan untuk distribusi normal bivariat dengan σ11 = σ22
ditentukan oleh

 1   1 
 2  
 c  11   12   c  11   12  2 
1  dan 1
   
 2   2 

Kami menunjukkan di Hasil 4.7 bahwa pilihan c   p ( ) , dimana  p ( ) adalah ke (100α)

2 2 2

persentil atas distribusi chi-kuadrat dengan p derajat kebebasan, menyebabkan kontur yang
mengandung (1 - α) x 100% dari probabilitas. Secara khusus, berikut ini berlaku untuk distribusi
normal p-dimensi:

Ellipsoid padat nilai x memenuhi

( x   )'  1 ( x   )   2p ( ) (4.8)

mempunyai peluang (1 - α)

Kontur konstan-density yang mengandung 50% dan 90% dari kemungkinan di bawah permukaan yang
normal bivariat pada Gambar 4.2 digambarkan pada Gambar 4.4.

Gambar 4.4 50% dan 90% kontur untuk distribusi bivariat normal pada Gambar 4.2.

P-variate kepadatan normal dalam (4-4) memiliki nilai maksimum ketika jarak kuadrat dalam (4-3)
adalah nol, yaitu, ketika x = μ. Dengan demikian, μ adalah titik kepadatan maksimum, atau mode,
serta nilai yang diharapkan dari X, atau mean. Fakta bahwa μ adalah rata-rata dari distribusi normal
multivariat berikut dari simetri ditunjukkan oleh kontur konstan-density: Kontur ini berpusat, atau
seimbang, di μ.

Sifat tambahan dari Distribusi multivariat normal (156)

Sifat tertentu dari distribusi normal akan diperlukan berulang kali dalam penjelasan kami model
statistik dan metode. Sifat ini memungkinkan untuk memanipulasi distribusi normal dengan mudah
dan, seperti yang kita disarankan dalam Bagian 4.1, yang ikut bertanggung jawab atas popularitas
distribusi normal. Sifat kunci, yang akan segera dibahas dalam beberapa detail matematika, dapat
dinyatakan lebih sederhana.

Berikut ini adalah untuk vektor acak X memiliki distribusi normal multivariat:

1. Kombinasi Linear komponen X terdistribusi secara normal.

2. Semua himpunan bagian dari komponen X memiliki (multivariat) distribusi normal.
3. Kovarians nol menyiratkan bahwa komponen yang sesuai didistribusikan secara independen.
4. Distribusi bersyarat dari komponen (multivariat) normal.

Result 4.2. Jika X berdistribusi Np(μ, Σ ), maka kombinasi linier dari variabel a’X = a1X1 + a2X2 + …
+ apXp didistribusikan sebagai N( a’μ, a’Σa ). Juga, jika a’X didistribusikan sebagai N( a’μ, a’Σa )
untuk setiap a, maka X harus Np(μ, Σ ).

Bukti. Nilai yang diharapkan dan varians dari a’X mengikuti dari (2-43). Membuktikan bahwa a’X
terdistribusi normal jika X adalah multivariat normal lebih sulit. Dapat ditemukan bukti [1]. Bagian
kedua dari hasil 4.2 juga ditunjukkan dalam [1].

Contoh 4.3 (Distribusi kombinasi linear dari komponen vektor random normal)

Pertimbangkan linear kombinasi a’X vektor acak normal multivariat ditentukan oleh pilihan
a’ = [1,0, ..., 0]. Karena

a’X dan a’μ

memiliki

dan maka dari hasil 4.2 yang X1 didistribusikan sebagai N( μ1 ,σ11 ). Secara umum, distribusi marginal
dari setiap komponen Xi dari X adalah N (μi, σii).

Result 4.3

Jika X didistribusikan sebagai Np(μ, Σ ), kombinasi linear q

 X  d , dimana d adalah vektor konstanta,
didistribusikan sebagai Nq ( Aμ, AΣA’), juga ( px 1) ( px1)

didistribusikan sebagai Np(μ + d, Σ ).

Contoh 4.4. (Distribusi dua kombinasi linear dari komponen vektor random normal)

Untuk X didistribusikan sebagai N3 (μ,Σ ), menemukan distribusi

Dengan Hasil 4.3, distribusi AX adalah multivariat normal dengan mean

Dan matriks kovarians

Atau, rata-rata (mean) vektor Aμ dan matriks kovariansi AΣA’ dapat diverifikasi dengan perhitungan
langsung mean dan covariances dari dua variabel acak Y1 = X1 – X2 dan Y2 = X2 – X3.

Result 4.4. Semua subset dari X terdistribusi secara normal. Jika masing-masing partisi X, vector
mean μ , dan kovarians matriks nya Σ sebagai
Maka X1 didistribusikan sebagai Nq (μ1, Σ11 ).

Contoh 4.5 (Distribusi subset dari vektor acak yang normal)

 X1 
Jika X didistribusikan sebagai N5 (μ,Σ ) , dapatkan distribusi   . Ditetapkan
X 2 

dan perhatikan bahwa dengan hal ini, X, μ, dan Σ masing-masing dapat disusun kembali dan dipartisi
sebagai

Atau

Dengan demikian, dari Hasil 4.4, untuk

X 
X1   2 
X4

Yang memiliki distribusi

Result 4.5.

a Jika ( qXx11) dan ( X 2 saling bebas, maka Cov (X1, X2) = 0, matriks q1xq2 nol.
q x 1)
1 2

b Jika adalah
 ,

Maka X1 dan X2 independen jika dan hanya jika Σ12 = 0

c Jika X1 dan X2 yang independen dan didistribusikan masing-masing sebagai Nq1 (μ1, Σ11 ) dan Nq2

(μ2, Σ22 ), maka berdistribusi normal multivariate

Contoh 4.6 (Kesamaan kovarians dan independen untuk variabel normal)

Diketahui ( 3X
x1) berdistribusi normal N3 (μ,Σ ) dengan

4 1 0
  1 3 0
0 0 2

Apakah X1 dan X2 saling bebas ? Bagaimana (X1, X2) dan X3 ?

Karena X1 dan X2 mempunyai kovarian σ12 = 1, dua variable tersebut tidak independen. Akan tetapi
,partisi X dan Σ sebagai berikut

 X1  0 
Lihat bahwa X 1    dan X3 mempunyai matriks kovarian 12  0 . Karena itu, (X1, X2) dan X3
X 2   
independen dg Result 4.5. Ini berarti X3 independen pada X1 dan juga X2.

Distribusi normal bivariat yang ρ12 = 0 (korelasi nol ), kasus khusus hasil 4.5 dengan q1 = q2 = 1.

Result 4.6 Diketahui berdistribusi Np (μ, Σ ) dengan

, ,

dan │Σ22│ > 0 . Maka distribusi bersyarat X1, diberikan bahwa X2 = x2 ,adalah normal dan
mempunyai

Mean  1  12 22
1
( x2  2 ) dan 1
Co var ian  11  12 22  21
Perhatikan bahwa kovarians tidak tergantung pada nilai x2 variabel bersyarat.

Contoh 4.7. (Kepadatan bersyarat dari distribusi normal bivariat)

Kepadatan bersyarat dari X1, mengingat bahwa X2 = x2 untuk distribusi bivariat, didefinisikan oleh

f ( x1 , x2 )
f(x1│x2) = {kepadatan bersyarat dari X1 diberikan bahwa X2 = x2} =
f ( x2 )

dimana f(x2) adalah distribusi marginal dari x2. Jika f(x1,x2) adalah kepadatan bivariat normal ,
tunjukkan bahwa f(x1│x2) adalah

  2 
N  1  12  x2  2  ,  11  12 
  22  22 

Disini σ11 – σ122/σ22 = σ11(1 – ρ122 ). Dua istilah yang melibatkan x1 – μ1 eksponen kepadatan bivariat
normal [lihat Persamaan (4-6)] menjadi, selain dari konstanta perkalian -1/2 (1 – ρ122),

Karena 12   12  11  22 atau 12  11  22   12  22 , eksponen lengkap adalah

Istilah konstan 2  11 22 (1  122 ) juga faktor sebagai 2  22  2  11 (1  12

2

Membagi kepadatan bersama X1 dan X2 dengan kepadatan marjinal

dan membatalkan ketentuan menghasilkan kepadatan bersyarat

Dengan demikian, dengan notasi yg biasanya , distribusi bersyarat dari X1 mengingat bahwa

X2 = x2 adalah N(μ1 + (σ12/σ22)(x2 – μ2), σ11(1 – ρ122)). Sekarang ,

1
11  12 22  21   11   122 /  22   11 (1  122 ) dan 12 22
1
  12 /  22 , dengan Hasil 4.6, yang
diperoleh dengan metode tidak langsung.
Untuk situasi yang normal multivariat, perlu menekankan hal-hal berikut:

1. Semua distribusi bersyarat adalah (multivariat) normal.

2. Rataan (mean )bersyarat adalah dalam bentuk

( 4.9)

Dimana β dinyatakan dengan

1
3. Kovarians bersyarat, 11  12 22  21 , tidak tergantung pada nilai (s) dari variabel bersyarat
(s).

Distribusi chi-kuadrat menentukan variabilitas sampel varians s2 = s11 untuk sampel dari populasi
normal univariat. Hal ini juga memainkan peran mendasar dalam kasus multivariat.

Result 4.7. Diberikan X berdistribusi Np(μ,Σ) dengan │Σ│> 0. Maka

a. (X – μ)’Σ-1(X – μ) didistribusikan sebagai χp2, dimana χp2 menyatakan distribusi chi-kuadrat

dengan derajat bebas p.

b. Distribusi Np(μ, Σ) memberikan probabilitas (1 – α) dengan ellipsoid padat

{x: (x – μ)’Σ-1(x – μ) ≤ χp2(α)}, dimana χp2(α) adalah batas atas persentil ke (100α) dari
distribusi χp2.

Bukti bisa dilihat di buku Johnson.

Hasil 4.7 memberikan interpretasi jarak statistik kuadrat. Ketika X didistribusikan sebagai Np(μ,Σ),

(X – μ)’Σ-1(X – μ)

Adalah jarak statistik kuadrat dari X ke mean populasi vektor μ. Jika salah satu komponen memiliki
varians yang jauh lebih besar daripada yang lain, akan memberikan kontribusi kurang (lebih sedikit)
untuk jarak kuadrat. Selain itu, dua variabel acak sangat berkorelasi akan memberikan kontribusi
kurang dari dua variabel yang hampir tidak berkorelasi. Pada dasarnya, penggunaan kebalikan dari
matriks kovarians, (1) standarisasi semua variabel dan (2) menghilangkan efek korelasi. Dari bukti
Hasil 4.7,

(X – μ)’Σ-1(X – μ) = Z1  Z 2  ...  Z p
2 2 2

Dalam hal Σ-1/2 , Z = Σ-1/2(X – μ) memiliki distribusi Np(0,1p), dan

Kombinasi linear dari vektor variabel acak

Result 4.8. Diberikan X1, X2, ..., Xn saling independen dengan Xj didistribusikan sebagai Np (μj, Σ).
(Perhatikan bahwa setiap Xj memiliki matriks kovarians sama Σ.) Maka

V1 = c1X1 + c2X2 + … + cnXn

 n  n 2 
Didistribusikan sebagai N p   c j  j ,   c j   . Tambahan pula, V1 dan V2 = b1X1 + b2X2 + … +

 j 1  j 1  
bnXn adalah multivariate normal gabungan dengan matriks kovarian

 n 
karena itu, V1 dan V2 independen jika b’c =   c j b j  = 0
 j 1 

Contoh 4.8 hal 166 (kombinasi linier dari vektor acak) Diberikan X1, X2, X3, dan X4 akan
independen dan didistribusikan identik ,vektor acak 3x1 dengan

 3   3 1 1
  1  1 0
μ=   dan Σ= 
1


 1  
 1 0 2


Kami pertama mempertimbangkan kombinasi a'X1 linear dari tiga komponen X1. Ini adalah variabel
random dengan mean

a’μ = 3a1 – a2 + a3 dan varians a’Σa = 3a12  a22  2a32  2a1a2  2a1a3

Artinya, kombinasi linear a’X1 komponen vektor random adalah variabel acak tunggal yang terdiri
dari sejumlah istilah yang setiap konstanta kali variabel .
Hal ini sangat berbeda dari kombinasi linear dari vektor acak,

c1X1 + c2X2 + c3X3 + c4X4

Sekarang mempertimbangkan dua kombinasi linear dari vektor acak

1 1 1 1
X1  X 2  X 3  X 4 dan X1 + X2 + X3 – 3X4
2 2 2 2
Cari vektor mean dan matriks kovarians untuk setiap kombinasi linear dari vektor dan juga kovarians
antara mereka.

Dengan Hasil 4,8 dengan c1 = c2 = c3 = c4 = ½, kombinasi linear pertama memiliki rata-rata vektor

 6 
  2
(c1 + c2 + c3 + c4)μ = 2μ =  
 2 
 

 3 1 1
 1 0
dan matriks kovarian (c  c  c  c ) Σ = 1 x Σ =
2
1
2
2
2
3
2
4 
1


 1 0 2


Untuk kombinasi linear kedua vektor acak, kami menerapkan Hasil 4,8 dengan b1 = b2 = b3 = 1dan b4 =
- 3 untuk mendapatkan rata-rata vector

0 
0 
(b1 + b2 + b3 + b4)μ = 0μ =  

0 


 36  12 12 
  12 0
dan matriks kovarian (b  b  b  b ) Σ = 12 x Σ =
2
1
2
2
2
3
2
4 
12

 12 0 24 

Akhirnya, matriks kovarians untuk dua kombinasi linear dari vektor acak adalah

0 0 0
0 0
(c1b1 + c2b2 + c3b3 + c4b4 )Σ = 0Σ = 
0

0
 0 0


Setiap komponen dari kombinasi linear pertama vektor acak memiliki nol kovarians dengan setiap
komponen dari kombinasi linear kedua vektor acak. Jika, setiap X memiliki distribusi normal
trivariate, maka dua kombinasi linear memiliki distribusi gabungan normal enam variate , dan dua
kombinasi linear dari vektor independen.