Aljabar Matriks dan

Vektor Acak

KELAS ANALISIS MULTIVARIAT

2.1 Perkenalan Matriks

Dalam bab 1, data multivariat bisa ditampilkan dengan himpunan angka/matrik

dengan ordo n x p ; n baris ; p kolom.

Di analisis multivariat ini akan mempelajari penggunaan aljabar matrik.

Hasil aljabar matrik bisa untuk menyatakan model statistik secara ringkas.

Hubungan formal yang dinyatakan dalam matriks mudah diprogram di komputer

untuk memungkinkan penghitungan rutin.
2.2 Beberapa Dasar Matriks dan Aljabar Vektor

Vektor
sebuah array x dari n bilangan real x 1, x2, …., xn disebut vektor dapat dituliskan sbb:

atau

dengan tanda aksen (tranpos) menunjukkan operasi mengubah posisi kolom menjadi baris.

Sebuah vektor dapat diperluas dengan mengalikan nya dengan konstanta c.

Dua vektor dapat ditambahkan. Penjumlahan x dan y didefinisikan sebagai:

vektor memiliki arah dan panjang. Dalam n = 2 dimensi, misal vektor maka panjang dr x

adalah .

panjang dari vector yakni

Perkalian vektor dengan konstanta c memiliki panjang vector sbb:

perkalian dengan c tidak mengubah arah vektor x jika c> 0. namun nilai negatif c menciptakan vektor dengan
arah berlawanan dengan x.
 Konsep geometris kedua adalah sudut. pertimbangkan dua vektor dalam sebuah bidang dan
sudut θ di antara keduanya. θ dapat direpresentasikan sebagai selisih antara sudut θ1 dan θ2 yang
dibentuk oleh dua vektor dan sumbu koordinat pertama.

dan cos(θ) = cos (θ2 - θ1) = cos (θ2) cos (θ1) + sin (θ2) sin (θ1)

Sudut θ antara dua vector adalah

Hasil kali dalam dua vector, untuk n = 2 dimensi yakni,

hasil kali dalam dilambangkan dengan x'y atau y'x.

Untuk mencari panjang dan sudut vector dengan hasil kali dalam yakni:

jika Cos(θ) = 0 hanya jika x’y = 0 maka dikatakan bahwa vector x dan y merupakan tegak
lurus.
Pasangan vektor x dan y dengan dimensi yg sama dapat dikatakan tidak bebas linier
jika memuat konstanta c1 dan c2, keduanya tidak boleh nol seperti

Vektor x1, x2, ….., xk dikatakan tidak bebas linier jika memuat konstanta c1 , c2 , …, ck
semuanya tidak boleh nol seperti

Tidak bebas linier jika bahwa setidaknya satu vektor dalam himpunan dapat ditulis
sebagai kombinasi linier dari vektor lainnya. Vektor dengan dimensi yang sama yang
tidak bergantung secara linier dikatakan bebas linier.
Proyeksi/ bayangan vektor x pada vektor y yakni:

dimana vektor tersebut memiliki panjang proyeksi,

dengan θ adalah sudut antara x dan y.

Matriks
matriks adalah himpunan persegi panjang apa pun dari bilangan real. kami menunjukkan himpunan
sembarang n baris dan p kolom dengan

operasi transpose A 'dari matriks mengubah kolom menjadi baris, sehingga kolom pertama A menjadi baris
pertama A, kolom kedua menjadi baris kedua dst.
Matrik juga dapat dikalikan konstanta c. maka himpunan matriks A yang telah
dikalikan dengan c menjadi :

Dua matrik A dan B dengan ordo yg sama dapat dijumlahkan. Hasil penjumlahan

A + B memiliki indeks (i,j) sehingga

Perkalian matrik AB yakni
Contoh Perkalian matriks AB
Matriks persegi akan menjadi sangat penting dalam pengembangan metode statistik kita. Matriks
bujursangkar dikatakan simetris jika A = A 'atau a ij = a ji untuk semua i dan j.

Saat matriks A dan B memiliki dimensi yang sama, kedua perkalian AB dan BA dapat ditentukan,
meskipun keduanya tidak harus sama. Perkalian matriks bahwa entri (i, j) dari AI adalah

aij x 0 + ... + ai, j-1 x 0 + aij x 1 + ai, j + 1 x 0 + ... + aik x 0 = 0, jadi AI = A. demikian pula IA = AI

I A = A I = A untuk A

Matrik I bertindak seperti 1 dalam perkalian biasa (1. a = a. 1 = a) sehingga disebut matriks identitas.
Jika ada matriks B sedemikian rupa B
A = A B = I kemudian B disebut invers
dari A yg dilambangkan A-1 .

Kondisi teknis adanya invers adalah

bahwa k kolom a1, a2, ..., ak dari A
tidak bebas linier. Artinya keberadaan
A-1 setara dengan c1a1 + c2a2 + .... +
ckak = 0 hanya jika c1 = ..... = ck = 0

Karena c1 = c2 = 0 maka kolom A bebas linier.

Matrik Diagonal

Matrik diagonal memiliki inverse seperti berikut

Matriks Ortogonal

yang dicirikan oleh QQ '= Q'Q = I atau Q' = Q-1 . Nama tersebut berasal dari sifat bahwa jika Q memiliki
baris ke-i q ', maka QQ' = I menyiratkan bahwa qi'qj = 1 dan qiqj '= 0 untuk i i ≠ j, sehingga baris tersebut
memiliki panjang satuan dan saling tegak lurus / ortogonal. menurut kondisi Q'Q = I kolom memiliki sifat
yang sama.

Matriks persegi A dikatakan memiliki nilai eigen, dengan vektor eigen yang sesuai x ≠ 0 jika
Misalkan A adalah matriks simetris
persegi k x k. maka A memiliki
pasangan k nilai eigen dan vektor
eigen yaitu,

Vektor eigen dapat dipilih untuk

memenuhi 1 = e1'e1 = .... = ek'ek dan
tegak lurus. vektor eigen merupakan
unik kecuali dua/ lebih nilai eigennya
sama.
 2.3 Matriks Definit Positif

Bentuk kuadrat yang selalu nonnegatif dan berkaitan dengan matriks definit positif .

Hasil yang melibatkan bentuk kuadrat dan matriks simetris, dalam banyak kasus, merupakan
konsekuensi langsung dari ekspansi matriks simetris, yang dikenal sebagai dekomposisi spektral.
dekomposisi spektral dari matriks simetris k x k A diberikan oleh

ketika λ1, λ2, ...., λk adalah nilai eigen dari A dan e1, e2, ..., ek adalah vektor eigen ternormalisasi terkait.
jadi ei'ej = 1 untuk i = 1, 2, ..., k dan ei'ej = 0 untuk i ¹ j.
Dekomposisi spektral merupakan alat analisis yang penting dan dapat
menunjukkan hasil statistik tertentu. Misalnya penjelasan matriks jarak, yang akan
dikembangkan.

Karena x'Ax hanya memiliki suku kuadrat xi2 dan suku hasil kali xixk, ini disebut
bentuk kuadrat. Saat k x k matriks simetris A seperti

0 ≤ x'Ax untuk semua x '= [x1, x2, ..., xk],

baik matriks A maupun bentuk kuadratnya disebut definitif nonnegatif. Jika

persamaan pada 2-17 hanya untuk vektor x '= [0, 0, ..., 0], maka A atau bentuk
kuadrat dikatakan definit positif. dengan kata lain, A pasti positif jika

0 <x'Ax untuk semua vektor x ≠ 0.

jika kita menggunakan rumus jarak yang diperkenalkan pada bab 1, jarak dari titik asal memenuhi rumus
umum

sehingga,

Atau 0 < (distance)2 = x’Ax untuk semua x ≠ 0

Mengekspresikan jarak sebagai akar kuadrat dari bentuk kuadrat pasti positif memungkinkan kita untuk
memberikan interpretasi geometris berdasarkan nilai eigen dan vektor eigen dari matriks A. Misalnya
anggaplah p = 2. maka titik x '= [x1, x2] jarak konstan c dari titik asal memenuhi :
2.4 A Matriks Akar Kuadrat

Dekomposisi spektral memungkinkan untuk mengekspresikan invers dari

matriks kuadrat dalam eigenvalues dan eigenvectors nya, dan ini mengarah pada
matriks akar kuadrat yang berguna.
2.4 Matriks Akar Kuadrat
Misalkan A adalah matriks k x k matriks definit positif dengan dekomposisi spektral.

Jadi,
2.4 Matriks Akar Kuadrat

Sebab,
2.4 Matriks Akar Kuadrat
Kemudian,
Misal A⁻1 menunjukkanmatriks diagonal denganλ₁sebagaielemen diagonal ke-i

matriks Disebut dengan akar kuadrat dari A atau A⁻1/2

Akar kuadrat matriks dari, matriks A definit positif

2.5 Vektor dan Matriks Random

Vektor random adalah vektor yang elemen-elemennya variabel random.

Matriks random adalah matriks yang elemen –elemennya variabel random

Harga harapan matriks random adalah harga harapan masing-masing elemennya.

2.5 Vektor dan Matriks Random
misal X = {x ij} adalah matriks random berdimensi n x p , akan diberikan
definisi untuk harga harapan matriks random.
2.5 Vektor dan Matriks Random
Teorema 1.2

Bila X dan Y adalah matriks random dengan dimensi sama maka A dan B matriks
konstan yang conformabel dengan X dan Y maka :

E ( X + Y) = E ( X ) + E ( Y )
E ( AXB ) = AE ( X )B
Contoh :
Menghitung nilai yang diharapkan untuk variabel acak diskrit
Misalkan p = 2 dan n = 1, dan pertimbangkan vektor acak X’ – ( X 1, X2) .

misalkan variabel acak diskrit X1 memiliki fungsi probabilitas berikut:

2.6 Mean Vektor dan Matriks Kovariansi

MisalkanX '= [X1, X2 ,. , Xp] adalahvektoracakp × 1 dansetiapelemen X

adalahvariabelacakdenganprobabilitasdistribusimarjinalnyasendiri.
padaContoh 2.12 Marginal berarti µidanvariansdidefinisikansebagai µi = E (Xi)
dan= E (Xi - p)2i = 1,2, ..., p, masing-masing.
 Secara khusus,
jika Xi adalah variabel acak kontinu dengan fungsi
kepadatan probabilitas (PDF) fi ( xi )

jika Xi adalah variabel acak diskrit dengan

fungsi probabilitas pi ( xi )
2-25
jika Xi adalah variabel acak kontinu dengan fungsi
kepadatan probabilitas (PDF) fi ( xi )

jika Xi adalah variabel acak diskrit dengan

fungsi probabilitas pi ( xi )
Tetapi akan lebih mudah di bagian selanjutnya untuk menunjukkan
varians marginal dengansebagai gantinya daripada

Perilaku setiap pasangan variabel acak, seperti Xi dan Xkdijelaskan

oleh fungsi probabilitas gabungan mereka, dan ukuran hubungan
linier antara mereka disediakan oleh kovarian
 jika Xi , Xk adalah variabel acak
kontinu dengan Joint PDF
fi k (Xi ,Xk)

jika Xi , Xk adalah variabel

acak diskrit dengan fungsi
joint probabilitas
2-26 pi k (Xi ,Xk)

dan µi dan µk, i, k = 1,2, ..., P, adalah rata-rata marginal. Jika i = k,

kovarians menjadi varian marjinal.
 Secara lebih umum, sifat bersama dari p variabel acak
X1, X 2, ..., Xp atau, ekuivalen, vektor acak X'= [X1, X2, ..., Xp],
dijelaskan dengan pdf bersama f(X1,X2 ,....Xp) = f(x). , f (x) merupakan
fungsi kepadatan normal multivariat. (Lihat Bab 4.)
Jika probabilitas bersama P [ Xi ≤ xi dan Xk ≤ xk ] dapat dituliskan
sebagai hasil kali probabilitas marjinal yang sesuai, sehingga
(2-27)
untuk semua pasangan nilai xi , xk, lalu Xi dan Xk dikatakan independent bila
Xi dan Xk adalah variabel acak kontinu dengan joint density fik(xi , xk) dan
kepadatan marjinal fi(xi) dan fk(xk), memenuhi

untuk semua pasangan (xi , xk)

Variabel acak kontinu X1, X 2, ..., Xp independen jika joint density dapat
difaktorkan sebagai

(2-28)

untuk semua p-tuples (x1, x 2, ..., xp).

Independensi statistik memiliki implikasi penting untuk kovarians.
Faktorisasi dalam (2-28) menyiratkan bahwa Cov (XI , XK) =0.
Jadi,
(2-29) Cov (XI , XK) =0 jika XI dan XK independen

Tetapi (2-29 ) tidak berlaku untuk semuanya karena ada situasi

dimana Cov (XI , XK) = 0 tetapi XI dan XK tidak independen
 Rata-rata dan kovariansi dari vektor acak p x 1 ,X dapat ditetapkan
sebagai matriks. Nilai yang diharapkan dari setiap elemen terkandung dalam
rata-rata vektor µ = E (X), danvariansi sejumlah p, kovariansi sejumlah p(p-
1)/2 yaitu dengan matriks varians-kovariansi simetris. ∑ = E(X - µ) (X - µ ) '.
Contoh 2.13 (Menghitung matriks kovarians)
Tentukan matriks kovarians untuk dua variabel acak XI dan X2 pada Contoh 2.12 ketika fungsi probabilitas
gabungannya p12(xi ,xk) diwakili oleh entri dalam tubuh tabel berikut:
Akibatnya , dengan X’ = [X1 ,X2 ]

dan
 Kami mencatat bahwa penghitungan sarana, varians, dan kovarian untuk
variabel acak diskrit melibatkan penjumlahan (seperti pada Contoh 2.12 dan
2.13), sedangkan perhitungan analogi untuk variabel acak kontinu
melibatkan integrasi.

Karena akan lebih mudah untuk menulis matriks

yang muncul di (2-31) sebagai

Kita akan mengacu pada µ dan ∑ sebagai mean populasi (vektor) dan populasi varians-
kovarian (matriks), masing-masing.
Distribusi normal multivariat benar-benar ditentukan setelah vektor rata-rata
µ dan matriks varians-kovarians ∑ diberikan (lihat Bab 4), Sering kali untuk
memisahkan informasi yang terkandung dalam varians dari dalam
ukuran asosiasi dan dikenal sebagai koefisien korelasi populasi .
Koefisien korelasididefinisikandalamistilahkovariansidanvariansdan sebagai

Koefisien korelasi mengukur jumlah hubungan linier antara variabel acak X i dan Xk
Misalkan matriks korelasi populasi menjadi matriks simetris pxp
dan biarkan matriks deviasi standar p X P menjadi

Kemudian dengan mudah diverifikasi (lihat Latihan 2.23) bahwa

Bahwa ∑ dapat diperoleh dari V1/2dan , sedangkan dapat diperoleh dari∑
Selain itu, ekspresi hubungan ini dalam operasi matrix mudah dihitung
dengan komputer.
Contoh 2.14 (Menghitungmatrikskorelasidarimatrikskovarians)

V1/2dan
Partisi Matriks Kovarian
Seringkali, karakteristik yang diukur pada uji coba individu secara alami akan
jatuh ke dalam dua kelompok atau lebih.

Sebagai contoh, pertimbangkan pengukuran variabel yang mewakili konsumsi dan

pendapatan atau variabel yang mewakili ciri kepribadian dan karakteristik fisik. Salah
satu pendekatan untuk menangani situasi ini adalah membiarkan karakteristik yang
mendefinisikan kelompok yang berbeda menjadi himpunan bagian dari kumpulan
karakteristik total. Jika kumpulan total diwakili oleh vektor acak berdimensi (p X 1) X,
himpunan bagian dapat dianggap sebagai komponen X dan dapat diurutkan
berdasarkan mempartisi X
Secara umum, kita dapat mempartisi karakteristik p yang terkandung dalam
vektor acak p x 1 X menjadi, misalnya, dua kelompok berukuran q dan p - q,
masing-masing.
kita bisa menulis
dari definisi perkalian transpos dan matriks
setelah mengambil ekspektasi dari matriks kita mendapat

yang memberikansemuakovarian,i = 1,2, .., q j = q + 1, q + 2, ..., P,

antarakomponen X(1)dankomponen X(2).Perhatikanbahwamatriks
∑12tidakharussimetrisataubujursangkargenap.
MemanfaatkanpartisidalamPersamaan (2-38), denganmudahmenunjukkannya
Perhatikan bahwa ∑12 = ∑’21 .matriks kovariansi X(1) adalah ∑11 , matriks X(2) adalah ∑22 dan
unsur unsur dari X(1) dan X(2) adalah ∑12 (atau ∑21)
Terkadang lebih mudah menggunakan notasi Cov (X(1), X(2)) di mana Cov

Adalah matriks yang berisi semua kovarian antara komponen X(1) dan komponen X(2)
Vektor Rata-rata dan Matriks Kovarian
untuk Kombinasi linear Variabel Random
Ingatlah bahwa jika satu variabel acak, seperti X1, dikalikan dengan konstanta
c, maka
 Jika X2 adalah variabel acak kedua dan a dan b adalah konstanta, maka, dengan
menggunakan properti ekspektasi tambahan, kita dapatkan

Untuk kombinasi linier a X1 +bX2 kita mendapatkan

Dengan dapat ditulis

Demikian juga dengan dapat ditulis dengan

Jika kita membiarkan

matriks varians-kovariansi dari X, Persamaan (2-41) menjadi

semenjak

Hasil sebelumnya dapat diperluas ke kombinasi linier variabel acak p

Kombinasi linier mempunyai

Dimana
Secara umum, pertimbangkan kombinasi q linier · dari variabel acak p X1, X 2, ..., XP

Atau

Kombinasi linier Z=CX Mempunyai

Contoh 2.15

Misalkan X’= [X1, X2] menjadi vector acak dengan rata rata vector dan variansi kovariansi matriks

Temukan vektor rata-rata dan matriks kovarians untuk kombinasi linier

Catatan
Perhatikanbahwajikasemua = yaitu, jika X1dan X2memilikivarians yang sama-
theoff-diagonal} suku-suku di ∑zvanish. Inimenunjukkanhasil yang
terkenalbahwajumlahdanperbedaanduavariabelacakdenganvarianidentiktida
kberkorelasi.
Partisi Sampel Rata-rata Vektor dan Matriks
Kovarian
Banyak hasil matriks dalam bagian ini telah dinyatakan dalam mean populasi
dan varians (kovarian). Hasil dalam (2-36), (2-37), (2-38), dan (2-40) juga
berlaku jika jumlah populasi diganti dengan sampel yang ditentukan dengan
tepat.
● Misalkan menjadi vektor rata-rata sampel dibangun dari pengamatan n pada variabel p X1,
X 2, ..., XP dan misalkan

menjadi matriks varians-kovarians sampel yang sesuai

Vektor rata-rata sampel dan matriks kovarian dapat dipartisi untuk
membedakan jumlah yang sesuai dengan kelompok variabel. Jadi,
 di manadanadalahsampel rata-rata vektor yang
dibangundaripengamatan x(1)= [x1,..,xq] dan x(2) = [xq+1,..,xp] , masing-masing;
S11adalahmatrikskovariansampel yang dihitungdaripengamatan x(1),
S22adalahmatrikskovarianssampel yang dihitungdaripengamatan x(2)dan S12 =
S’21adalahmatrikskovariansampeluntukelemen x(1)danelemen x(2)
2.7 Ketaksamaan dan Maksimisasi matriks

Prinsip maksimalisasi memainkan peran penting dalam beberapa teknik

multivariat. Analisis diskriminan linier, misalnya, berkaitan dengan pengalokasian
observasi ke kelompok yang telah ditentukan sebelumnya. Aturan alokasi seringkali
merupakan fungsi pengukuran linier yang memaksimalkan pemisahan antara kelompok
relatif terhadap variabilitas dalam kelompok mereka. Sebagai contoh lain, komponen
utama adalah kombinasi pengukuran linier dengan variabilitas maksimum.
Ketidaksamaan matriks yang disajikan di bagian ini akan dengan mudah
memungkinkan kita untuk mendapatkan hasil maksimalisasi tertentu, yang akan
direferensikan di bab-bab selanjutnya.
Ketimpangan Cauchy-Schwarz. Misalkan b dan d adalah dua vektor p X 1. Kemudian

dengan persamaan jika dan hanya jika b = cd (atau d = cb) untuk beberapa konstanta c.
Bukti. Pertidaksamaan terlihat jelas jika b = 0 atau d = 0. Mengecualikan kemungkinan ini,
pertimbangkan vektor b - xd, di mana x adalah skalar arbitrer. Karena panjang b - xd positif untuk b - xd ≠ 0,
dalam kasus ini

Ekspresi terakhir adalah kuadrat di x. Jika kita menyelesaikan kuadrat dengan menambahkan dan
mengurangi skalar (b’d)2 / d’d kita dapatkan
Suku dalam tanda kurung adalah nol jika kita memilih x = b'd / d'd, jadi kita
menyimpulkannya

atau (b'd)2 <(b'b) (d 'd) if b ≠ xd untuk beberapa x. Perhatikan bahwa jika b =

cd, 0 = (b - cd) '(b - cd), dan menghasilkan argumen yang sama (b'd)2 = (b'b)
(d'd).
Perpanjangan sederhana, sangat penting, dari ketidaksetaraan Cauchy-
Schwarz mengikuti secara langsung
Ketimpangan Cauchy-Schwarz yang Diperpanjang. Misalkan dan adalah dua vektor, dan biarkan
m menjadi matriks pasti positif. Kemudian

dengan persamaan jika dan hanya jika b = c B-1 d (atau d = cB b) untuk beberapa konstanta c
Bukti. Pertidaksamaan ini terlihat jelas jika b = 0 atau d = 0. Untuk kasus selain ini, pertimbangkan matriks
akar kuadrat B1/2 yang didefinisikan dalam nilai eigennya A; dan
vektor eigen yang dinormalisasi ei sebagai Jika kita mengatur [lihat juga (2-22)]

itu mengikuti

dan pembuktian diselesaikan dengan menerapkan pertidaksamaan Cauchy-Schwarz pada vektor (B1/2b) dan
(B-1/2d)
Ketimpangan Cauchy-Schwarz yang diperpanjang menimbulkan hasil maksimalisasi
berikut
Lemma Maksimalisasi. Misalkan pasti positif dan menjadi vektor tertentu.
Kemudian, untuk sembarang vektor bukan nol

dengan pencapaian maksimal saat saat kontanta c ≠ 0

bukti. Dengan ketidaksetaraan Cauchy-Schwarz yang diperpanjang, Karena x ≠ 0
dan B pasti positif, x'Bx > O. Membagi kedua sisi pertidaksamaan dengan skalar positif
x'Bx menghasilkan batas atas

Mengambil maksimum atas x memberikan Persamaan (2-50) karena batasnya tercapai

untuk x = CB-1d. Hasil maksimisasi mal akan memberi kita interpretasi tentang nilai
eigen.
Maksimalisasi Bentuk Kuadrat untuk Titik pada Satuan Sphere. Misalkan adalah matriks pasti positif
dengan nilai eigen dan vektor eigen ternormalisasi e1, e2, .., ep Kemudian

Tambahan

Misalkan adalah matriks ortogonal yang kolomnya adalah eigen vector e1, e2, .., ep dan A adalah
matriks diagonal dengan eigenvalues sepanjang diagonal utama. Misalkan dan
Karena itu x ≠0 dan y ≠0 maka
x= e1 Memberi

Untuk pilihan x kita mempunyai atau

Argumen serupa menghasilkan bagian kedua dari (2-51)

Oleh karena itu, untuk x tegak lurus dengan k pertama. ketimpangan di (2-53) menjadi elgenvectors ei sisi
kiri dari pertidaksamaan di (2-53) menjadi

Mengambil memberikan nilai maksimum yang ditetapkan

Untuk tetap memiliki nilai yang sama dengan x'Bx, di mana
adalah satuan panjang. Karena itu. Persamaan (2-51) mengatakan
bahwa eigenvalue terbesar, adalah nilai maksimum dari bentuk kuadrat r'Bx
untuk semua titik x yang jaraknya dari titik asal adalah satu. Demikian pula,
adalah nilai terkecil dari bentuk kuadrat untuk semua poin x satu unit dari
asalnya. Jadi, nilai eigen terbesar dan terkecil mewakili nilai ekstrim x'Bx
untuk titik-titik pada bola satuan. Nilai eigen "perantara" dari matriks B pasti
positif p x p juga memiliki interpretasi sebagai nilai ekstrim ketika x
selanjutnya dibatasi untuk tegak lurus dengan pilihan sebelumnya.
TERIMA
KASIH