Teori Principal

Components Analysis
(PCA)
Nama Kelompok :
Ayu Purnama Sari (09011281320028)
Ayu Rahayu (09011281320019)
Belly Putra (09011281320011)
Kharisma Desfian (09011281320014)
Nina Nuria Br. Karo (09011281320023)
Yogi Tiara Pratama (09011281320009)

Dosen Pembimbing : Sutarno, S.T., M.T.

Sejarah

PCA adalahteknik statistikyang sudah digunakan secara luas baik dalam hal
pengenalan wajah maupun pengenalan poladari sebuah gambar. Metode
Principal Component Analysis (PCA) dibuat pertama kali oleh para ahli statistik
dan ditemukan oleh Karl Pearson pada tahun l90l yang memakainya pada
bidang biologi. Kemudian tidak ada perkembangan baru pada teknik ini, dan.
perkembangannya baru mulai pesat pada akhir tahun l930 dan awal 1940.
Metode Principal Component Analysis (PCA) dibuat pertama kali oleh para ahli
statistik dan ditemukan oleh Karl Pearson pada tahun l90l yang memakainya
pada bidang biologi. Kemudian tidak ada perkembangan baru pada teknik ini,
dan. perkembangannya baru mulai pesat pada akhir tahun l930 dan awal
1940. Setelah itu perkembangannya berkurang sebentar sampai komputer
telah berhasil didesain sehingga dapat mengaplikasikan teknik ini pada
masalah-masalah yang masuk akal. Pada tahun 1947 teori ini muncul lagi dan
cukup independen sebagai teori probabilitas yang ditemukan oleh Karhunen,
dan kemudian dikembangkan oleh Loeve pada tahun l963, sehingga teori ini
juga dinamakan Karhunen-Loeve transform pada bidang ilmu telekomunikasi.
PCA adalah sebuah transformasi linier yang biasa digunakan pada kompresi
data.

Algoritma teori dan tahapan

prosesnya

Input data (mxn)

Data awal dipersiapkan dalam sebuah matriks ukuran mxn. Nantinya

jumlah
variablenakan
berkurang
menjadikjumlah
principal
component yang dipertahankan.

Pre-PCA
Cara standarisasi adalah dengan menggunakanZ-Score.
Cara menghitungnya adalah dengan:
Hasil dari Z-score ini adalah data dengan mean = 0 dan standar
deviasi = 1.
Sederhananya, proses Z-score: tiap data observasi pada sebuah
variabel dikurangi dengan mean variabel tersebut dan dibagi
dengan standar deviasinya (dengan kata lain, tiap baris per
kolom dikurangimeankolom tersebut, dibagi dengan standard
deviasi kolom yang sama).

Proses PCA
Untuk dapat mentransformasi dari data asal ke variabel yang saling tidak
berkorelasi, adalah dengan menggunakan eigenvector dari matriks korelasi.
1. Eigenvalue Decompisition
Mencari Eigenvalue

Nilai eigenvaluedari suatu matriks bujursangkar merupakan polynomial

karakteristik dari matriks tersebut; jika adalaheigenvaluedari A maka
akanekuivalendengan persamaan linier

(A I) v = 0

(dimana I adalah matriks identitas) yang memiliki pemecahan non-zero v (suatu

eigenvector), sehingga akanekuivalendengandeterminan.

det (A I) = 0

Fungsip()=det (A I)adalah sebuah polynomial dalam karena determinan

dihitung dengansum of product. Semua eigenvalue dari suatu matriks A dapat
dihitung dengan menyelesaikan persamaanpA()= 0. Jika A adalah matriks
ukurann x n, maka pA memiliki derajatndan A akan memiliki paling
banyaknbuaheigenvalue.

Mencari Eigenvector

Jika eigenvalue diketahui, eigenvector dapat dicari dengan memecahkan:

(A I)v= 0

Dalam beberapa kasus dapat dijumpai suatu matriks tanpa eigenvalue,

misalnya:

dimana karakteristik bilangan polynomialnya adalah 2 + 1 sehingga eigenvalue

adalah bilangan kompleks i, -i. Eigenvector yang berasosiasi juga tidak riil.

Jika diberikan matriks:

maka polynomial karakteristiknya dapat dicari sebagai berikut:

ini adalah persamaan kuadrat dengan akar-akarnya adalah = 2 dan = 3.

Adapun eigenvector yang didapat ada dua buah. Eigenvector pertama dicari
dengan mensubtitusikan = 3 ke dalam persamaan. Misalnya Y0adalah
eigenvector yang berasosiasi dengan eigenvalue = 3. Set Y0

dengan nilai:

Kemudian subtitusikan Y0 dengan v pada persamaan:

( A I) v = 0

sehingga diperoleh:

(2 3)X0+ (-Y0) = 0

0 + (3 3)Y0 = 0

dapat disederhanakan menjadi:

-X0-Y0= 0 atau Y0= -X0

sehingga eigenvector untuk eigenvalue = 3 adalah:

Hubungan antara eigenvalue dan eigenvectordari suatu matriks digambarkan

oleh persamaan :

C xvi= ixvi

dimana v adalah eigenvector dari matriks M dan adalah eigenvalue.

Terdapatnbuaheigenvectordaneigenvaluedalam sebuahn x nmatriks.

2. Singular Value Decomposition (SVD)

Singular Value Decomposition (SVD) adalah suatu pemfaktoran matrik
dengan mengurai suatu matrik ke dalam dua matrik P dan Q. Jika
diketahui suatu matrik adalah matrik A berukuran mn dengan rank r
> 0 , maka dekomposisi dari matrik A dinyatakan sebagai

PROSEDUR
(SVD)

PENYELESAIAN

SINGULAR

VALUE

DECOMPOSITION

. Prosedur Penyelesaian SVD untuk matrik berukuran mxm

1. Misal diketahui matrik B berukuran mxm non singular (matrik
fullrank / matrik yang determinannya tidak sama dengan nol).
2. Menghitung matrik BTB dan BBT. Misalkan matrik BTB = matrik Y dan
BBT = matrik Z.

3. Mencari eigenvalue () dari matrik Y dan Z . Dimana determinan dari matrik Y

dan Z dikurangi dikalikan dengan matrik identitas (I) sama dengan 0.
Banyaknya eigenvalue () yang akan diperoleh sama dengan ukuran matrik Y
dan Z yaitu sebanyak m.

4. Setelah diketahui nilai-nilai nya, langkah selanjutnya adalah mencari

eigenvektor untuk masing-masing . Eigenvektor diperoleh melalui rumus

Sehingga nanti akan diperoleh persamaan x dalam bentuk x 1, x2 hingga xm

(a1x1+a2x2+..+amxm=0). Kemudian dari beberapa variabel tersebut jadikan
menjadi satu variabel.

5. Menentukan D yang merupakan matrik diagonal dengan elemen

diagonalnya adalah akar dari eigenvalue matrik Y atau Z.

6. Diperoleh SVD dengan mengoperasikan PDQ dimana hasilnya akan

sama dengan matrik B.

Prosedur Penyelesaian SVD untuk matrik berukuran mxn

1. Misal diketahui matrik B berukuran mxn.
2. Menghitung matrik BTB dan BBT. Misalkan matrik BTB = matrik C(nxn)
dan BBT = matrik D(mxm).
3. Mencari eigenvalue () dari matrik C(nxn) dan D(mxm) . Dimana
determinan dari matrik C(nxn) dan D(mxm) dikurangi dikalikan dengan
matrik identitas (I) sama dengan 0

4. Setelah diketahui nilai-nilai nya, langkah selanjutnya adalah

mencari eigenvektor untuk masing-masing untuk setiap matrik C
dan D. Eigenvektor diperoleh melalui rumus :

5. Dekomposisi nilai singular matrik B dinyatakan dalam:

= matrik diagonal yang berisi akar kuadrat dari eigenvalue matrik

C atau D
-1 = invers
Q1 = eigenvektor dari matrik C (BTB)
Q1T

= transpose Q1