Anda di halaman 1dari 6

PENGENALAN KARAKTER TULISAN TANGAN MENGGUNAKAN EKSTRAKSI

FITUR PCA & LDA


Resmana Lim
Jurusan Teknik Elektro Universitas Kristen Petra
Siwalankerto 121-131, Surbaya. Fax: 031-8436418
e-mail: resmana@petra.ac.id

ABSTRAK
Paper ini membahas pengenalan karakter digit
tulisan tangan dengan 2 metode ekstraksi fitur
statistik yaitu PCA (Principal Components
Analysis) dan LDA (Linear Discrimination
Analysis). Pemilihan metode ekstraksi fitur yang
tepat
dan
efisien
sangat
menentukan
keberhasilan dari sistem pengenalan secara
keseluruhan. Perbandingan ke 2 metode ini
dilakukan pada pengenalan karakter tulisan
tangan yang diperoleh dari NIST database.
Percobaaan menunjukan bahwa metode LDA
menunjukan hasil yang lebih baik bila
dimanfaatkan pada classifier nearest mean.
Sedangkan untuk classifier nearest neighbor,
metode PCA tetap menunjukan hasil pengenalan
yang lebih baik.
Kata kunci: sistem pengenalan karakter tulisan
tangan, PCA, LDA, pengenalan pola.
I. PENDAHULUAN
Sistem pengenalan karakter tulisan tangan
banyak dimanfaatkan pada berbagai aplikasi
misalkan sebagai media input pengganti
keyboard pada PC genggam atau PDA (Personal
Data Assistant). Secara umum sistem pengenalan
karakter tulisan tangan tidak menggunakan
bitmap pixel secara langsung melainkan ia
bekerja
pada
domain
fitur.
Karakter
direpresentasikan kedalam bentuk fitur yang
lebih kompak yang kemudian digunakan untuk
pengenalan, dengan demikian dapat menghemat
komputasi. Berbagai metode ekstrasi fitur telah
dimanfaatkan seperti metode moment, fitur filter

Gabor, Wavelet, dan lain-lain [1]. Dalam paper


ini akan digunakan 2 metode ekstrasi fitur secara
statistik yang secara luas telah lama digunakan
yaitu PCA (Principal Component Analysis) [2]
dan LDA (Linear Discriminant Analysis) [3].
Metode PCA dikenal juga dengan nama
Karhunen-Loeve transformation (KLT), yang
telah dikenal sejak 30 tahun dalam dunia
pengenalan pola. PCA memberikan transformasi
ortogonal yang disebut dengan eigenimage yang
mana sebuah image direpresentasikan kedalam
bentuk proyeksi linier searah dengan eigenimage
yang bersesuaian dengan nilai eigen terbesar dari
matrix covariance (atau scatter matrix). Secara
praktis matrix covariance ini dibangun dari
sekumpulan image training yang diambil dari
berbagai obyek/kelas.
PCA memberlakukan properti statistik
yang sama bagi seluruh image training dari
berbagai obyek/klas. Tidak demikian halnya pada
LDA, ia memberlakukan properti statistik yang
terpisah untuk tiap-tiap obyek. Tujuan dari LDA
adalah mencari proyeksi liniear (yang biasa
disebut
dengan
fisherimage),
untuk
memaksimumkan matrix covariance antar obyek
(between-class covariance matrix) sementara itu
juga meminimumkan matrix covariance didalam
obyek itu sendiri (within-class covariance
matrix). Bila tersedia image training yang cukup
representatif dalam jumlah maupun variasi
bentuk untuk tiap-tiap obyek maka metode
ekstraksi LDA akan menunjukan performa yang
lebih baik dari pada PCA seperti yang ditunjukan
pada hasil-hasil percobaan dalam paper ini.
Berikutnya paper ini disusun sebagai
berikut: pada pasal 2 dan 3 akan dijelaskan
metode PCA dan LDA. Hasil-hasil percobaan

diberikan pada pasal 4 dan ditutup dengan


diskusi/kesimpulan pada pasal 5.
II. Principal Components Analysis (PCA)
Sebuah image 2D dengan dimensi b baris
dan k kolom dapat direpresentasikan kedalam
bentuk image 1D dengan dimensi n (n=b*k).
Dengan ekspresi lain dapat dituliskan sebagai
n , adalah ruang image dengan dimensi n.
Image training yang digunakan sebanyak K
sampel dinyatakan dengan {x1 , x2 ,..., xK } yang
diambil dari sebanyak c obyek/kelas yang
dinyatakan dengan { X 1 , X 2 ,..., X c } .
Total
matrix scatter S T (atau matrix covariance)
didefinisikan sebagai berikut:
K

S T ( x k )( x k ) T

(1)

k 1

dimana adalah rata-rata sampel image yang


diperoleh dengan merata-rata training image
{x1 , x2 ,..., xK } . Dengan dekomposisi eigen,
matrix covariance ini dapat didekomposisi
menjadi:
S T T

(2)

dimana adalah matrix eigenvector,


dan adalah is a diagonal matrix dari nilai
eigen. Kemudian dipilih sejumlah m kolom
eigenvector dari matrix yang berasosiasi
dengan sejumlah m nilai eigen terbesar.
Pemilihan eigenvector ini menghasilkan matrix
transformasi atau matrix proyeksi m , yang
mana terdiri dari m kolom eigenvector terpilih
yang biasa disebut juga dengan eigenimage.
Berikutnya sebuah image x (berdimensi n) dapat
diekstraksi kedalam fitur baru y (berdimensi m <
n) dengan memproyeksikan x searah dengan m
sebagai berikut:
y m x

(3)

Dengan kata lain metode PCA


memproyeksikan ruang asal n kedalam ruang

baru yang berdimensi lebih rendah m , yang


mana sebanyak mungkin kandungan informasi
asal tetap dipertahankan untuk tidak terlalu
banyak hilang setelah dibawa ke dimensi fitur
yang lebih kecil. Disini terlihat reduksi fitur yang
signifikan dari n buah menjadi m buah yang
tentunya akan sangat meringankan komputasi
dalam proses pengenalan berikutnya.
ST
Total matrix scatter
diatas
sesungguhnya adalah jumlahan dari matrix
scatter dalam kelas (within-class scatter matrix)
S W dan matrix scatter antar kelas (betweenclass scatter matrix) S B yaitu, S T SW S B .
Dengan demikian, kekurangan utama yang
terlihat disini adalah bahwa dalam proses PCA ke
dua matrix scatter ini termaksimalkan bersamasama. Sesungguhnya yang diinginkan adalah
hanya maksimalisasi S B saja, sedangkan S W
sebisa mungkin diminimalkan agar anggota
didalam kelas lebih terkumpul penyebarannya
yang pada akhirnya dapat meningkatkan
keberhasilan pengenalan. Misalkan pada variasi
perubahan iluminasi maupun skala dari image
yang terjadi pada obyek yang sama, dapat
menyebabkan matrix scatter dalam kelas menjadi
besar yang cukup menyulitkan dalam proses
pengenalan. Bila ini terjadi, dengan demikian
PCA akan menyertakan variasi iluminasi didalam
eigenimage-nya, dan konsekuensinya PCA
menjadi tidak handal terhadap variasi iluminasi
yang terjadi pada obyek. Dengan metode LDA,
S W akan diminimisasi sehingga ekstrasi fitur
yang dihasilkan menjadi lebih handal terhadap
variasi yang terjadi didalam kelas.

III. Linear Discrimination Analysis (LDA)


Matrix scatter dalam kelas S W , dan
S B didefinisikan
matrix scatter antar kelas
masing-masing sebagai berikut:
c

SW

(x

i 1 xk X i

i )(x k i ) T

(4)

S B N i ( i )( i ) T

(5)

i 1

dimana N i adalah jumlah sampel pada kelas X i


, dan i adalah image rata-rata dari kelas X i .
Seperti diutarakan sebelumnya bahwa sangat
diharapkan agar matrix scatter dalam kelas SW
bisa diminimalisasi sementara matrix scatter
antar kelas S B dimaksimalkan. Dengan kata lain
akan dicari matrix proyeksi l agar ratio
persamaan (6) menjadi maksimal.

det(l S B lT )
det(l SW lT )
Kriteria ini menghasilkan solusi
persamaan sebagai berikut [3]:
S B SW

(6)
dengan
(7)

dimana
adalah matrix
ortonormal

eigenvector, dan adalah matrix diagonal nilai


eigen. Kembali dilakukan pemilihan sebanyak l
kolom eigenvector dari yang berasosiasi
dengan nilai-nilai eigen terbesar. Pemilihan l
kolom eigenvector ini menghasilkan matrix
proyeksi l yang selanjutnya digunakan untuk
ekstraksi fitur seperti halnya pada PCA.

IV. HASIL-HASIL PERCOBAAN


Dalam percobaan ekstraksi fitur PCA dan
LDA digunakan image karakter digit tulisan
tangan dari NIST16 database. Pada database ini
terdapat sejumlah 2000 image yang terdiri dari 10
obyek/kelas (digit 0 sampai 9) dengan masingmasing sebanyak 200 image dengan berbagai
gaya/skala tulisan. Masing-masing image
berukuran 16x16=256 pixel. Contoh sebagian
database yang digunakan dapat dilihat pada
gambar 1.

Gambar 1. Contoh sebagian image karakter


tulisan tangan dari NIST database.
Dalam percobaan ini digunakan image sampel
sebanyak 100 buah per kelas untuk digunakan
membangun matrix proyeksi baik pada metode
PCA maupun LDA. Matrix proyeksi yang
diperoleh
selanjutnya
digunakan
untuk
memproyeksikan image asal menjadi fitur dengan
dimensi yang lebih rendah untuk diproses lebih
lanjut pada fase pengenalan pola. Disini
digunakan 2 metode pengenalan pola yaitu:
nearest mean classifier dan nearest neighbor
classifier.
Gambar 2 adalah hasil eigenimage yang
didapat dengan metode PCA.

Gambar 2. Limabelas EigenImage dari training


sample.

Gambar 3 & 4 adalah kurva error


pengenalan sistem terhadap fungsi variasi jumlah
komponen prinsipal yang digunakan. Dalam
percobaan ini digunakan metode klasifikasi
secara Nearest Neighbor dan Nearest Mean. Pada
klasifikasi nearest neighbor, fitur karakter yang
sedang diselidiki dibandingkan terhadap masingmasing sample pada database. Sedangkan pada
klasifikasi nearest mean, maka fitur input
dibandingkan dengan rata-rata fitur kelas pada
sampel database. Dalam pengujian pengenalan,
digunakan 100 image per kelas yang sebelumnya
tidak pernah diikutkan dalam proses training.
Terlihat pada gambar 3, ternyata metode
LDA lebih unggul dibandingkan dengan PCA
bila digunakan metode klasifikasi nearest mean.
Metode klasifikasi nearest mean dikenal

membutuhkan komputasi yang rendah karena


fitur input cukup dibandingkan dengan rata-rata
fitur kelas dalam database. Disini nampak bahwa
dengan LDA, fitur didalam kelas dibuat lebih
terkumpul penyebarannya, sehingga dengan
metode klasifikasi yang sederhana saja ia mampu
meningkatkan pengenalan. Sedangkan terlihat
pada gambar 4, bahwa dengan menggunakan
metode klasifikasi nearest neighbor ternyata LDA
lebih unggul hanya pada penggunaan jumlah
komponen prinsipal yang rendah, sedangkan pada
penggunaan jumlah komponen prinsipal yang
lebih banyak maka PCA nampak tetap lebih
unggul. Hal ini terjadi karena proses pengenalan
menggunakan nearest neighbor membangdingkan
fitur obyek yang sedang diteliti dengan seluruh
obyek yang ada dalam database.

Kurva Error Pengenalan metode Nearest Mean

0.5

PCA
LDA

0.45

Error Pengenalan

0.4
0.35
0.3
0.25
0.2
0.15
0.1

10

15
20
Dimensi fitur

25

30

Gambar 3. Kurva Error Pengenalan dengan Metode Nearest Mean.

Kurva Error Pengenalan metode Nearest Neighbor

0.4

PCA
LDA

0.35

Error Pengenalan

0.3
0.25
0.2
0.15
0.1
0.05

10

15
20
Dimensi fitur

25

30

Gambar 4. Kurva Error Pengenalan dengan Metode Nearest Neighbor.

V. KESIMPULAN
Dalam percobaan sederhana ini telah
digunakan metode ekstraksi fitur menggunakan
pendekatan statistik yaitu PCA dan LDA. Hasilhasil percobaan telah ditunjukan dengan
melakukan
pengenalan
karakter
digit
menggunakan database NIST. Percobaan
menunjukan bahwa penggunaan LDA ternyata
lebih unggul daripada PCA bila diterapkan pada
proses klasifikasi sederhana nearest mean.
Sedangkan pada klasifikasi metode nearest
neighbor LDA memberikan kontribusi lebih baik
hanya pada penggunaan jumlah komponen
prinsipal yang rendah. Secara umum LDA
membawa manfaat dan patut dipertimbangkan
sebagai metode ekstraksi fitur pada sistem
pengenalan pola terutama pada pengenalan obyek
yang memiliki variasi/keberagaman yang tinggi.
Untuk pengembangan lebih lanjut,
metode ekstraksi fitur ini dapat dikombinasikan
dengan metode klasifikasi Neural Network untuk

menghasilkan keberhasilan pengenalan yang


lebih tinggi.
PUSTAKA
[1] R. Chellappa, C. Wilson, and S. Sirohey,
"Human and machine recognition: A survey,"
Proceedings of the IEEE, vol. 83, no. 5, pp.
705--740, 1995.
[2] M. Turk and A. Pentland, "Eigenfaces for
recognition."
Journal
of
Cognitive
Neuroscience, Vol. 3, pp. 71-86, 1991.
[3] K. Etemad and R. Chellappa, "Discriminant
Analysis for Recognition of Human Face
Images," Journal of Optical Society of
America A, pp. 1724-1733, Aug. 1997.
[4] P.N. Belhumeur, J.P. Hespanha, and D.J.
Kriegman, "Eigenfaces vs. fisherfaces:
Recognition using class specific linear
projection", IEEE Trans. PAMI, Vol. 19, No.
7, July 1997.