Reduksi dimensi menggunakan PCA

Dimensionality Reduction
Satu pendekatan terkait dengan dimensi yang tinggi adalah
mengurangi dimensi data tersebut.
Memproyeksikan data dimensi tinggi ke dimensi yang rendah
menggunakan transformasi linier dan non-linier

Dimensionality Reduction
Transformasi linier adalah sederhana dalam perhitungan dan
mudah dilakukan

Y U X
kx1

kxd

(bi u a )
t
i i

dx1

(k<<d)

Pendekatan yang sederhana adalah

Principal Component Analysis (PCA)
Fisher Discriminant Analysis (FDA)

Principal Component Analysis (PCA)

Setiap teknik reduksi dimensi adalah menemukan
transformasi yang memenuhi ketentuan/kriteria tertentu
(misal information loss, data discrimination, dll)
Tujuan dari PCA adalah mengurangn dimensi data dengan
mempertahankan variasi data yang ada

Principal Component Analysis (PCA)

Carilah basis dalam sub ruang dimensi rendah
Proyeksikan ke ruang dimensi yang rendah :
(1) Original space :

x a1v1 a2v2 ... aN vN

where v1 , v2 ,..., vn is a base in the original N-dimensionalspace
(2) Lower-dimensional sub-space dinyatakan
x b1u1 b2u2 ... bK u K
where u1 , u2 ,..., uK is a basein the K -dimensionalsub-space (K<N)

Note: if K=N, then x x

Principal Component Analysis (PCA)

Contoh (K=N):

Principal Component Analysis (PCA)

Information loss
Reduksi dimensi menyebabkan informasi hilang !!
PCA mempertahankan informasi:

min || x x ||

(reconstruction error)

Principal Component Analysis (PCA)

Methodology
misalkan x1, x2, ..., xM adalah N x 1 vectors

Principal Component Analysis (PCA)

Metodologi cont.

bi uiT ( x x )

Principal Component Analysis (PCA)

Eigenvalue spectrum

10

Principal Component Analysis (PCA)

Tranformasi linier dengan PCA
Transformasi linier RN RK yaitu melakukan reduksi dimensi

11

Principal Component Analysis (PCA)

Interpretasi Geometri
.

12

Principal Component Analysis (PCA)

Berapa banyak Principal Component?
Untuk memilik K, anda dapat menggunakan kriteria berikut:

13

Principal Component Analysis (PCA)

Error karena reduksi dimensi:

average error karena reduksi dimensi adalah:

e
14