ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.

2 April 2023 | Page 1808

Klasifikasi Gender Berdasarkan Citra

Wajah Menggunakan Vision Transformer
1st Ganjar Gingin Tahyudin
Fakultas Informatika
Universitas Telkom
Bandung, Indonesia
ganjarggt@students.telkomunivers
ity.ac.id
2nd Ema Rachmawati
Fakultas Informatika
Universitas Telkom
Bandung, Indonesia
emarachmawati@telkomuniversity
.ac.id
3rd Mahmud Dwi Sulistiyo
Fakultas Informatika
Universitas Telkom
Bandung, Indonesia
mahmuddwis@telkomuniversity.a
c.id

Abstrak-Gender seseorang dapat dilihat salah
satunya secara visual berdasarkan citra wajah
manusia. Selain itu, dengan kemajuan teknologi saat
ini, komputer juga dapat melakukan klasifikasi gender
berdasarkan data yang dilatih. Proses klasifikasi
gender menggunakan komputer dapat diaplikasikan
terhadap berbagai sektor seperti industri atau
pemerintahan. Pada penelitian sebelumnya, terdapat
berbagai metode konvensional yang digunakan untuk
melakukan klasifikasi citra, khusus klasifikasi gender
berdasarkan citra wajah, namun sebagian besar tidak
melakukan Cross-Dataset Evaluation untuk melakukan
uji performa terhadap model yang dihasilkan. Tugas
akhir ini akan membahas bagaimana melakukan
klasifikasi gender berdasarkan citra wajah
menggunakan metode Vision Transformer
menggunakan dataset AFAD sebagai dataset training
dan melakukan Cross-Dataset Evaluation terhadap
model yang dihasilkan menggunakan dataset
UTKFace. Model yang dibangun berhasilkan
mendapatkan akurasi validasi sebesar 0,9676 dan
akurasi testing sebesar 0,9661 pada pengujian training
atau Same-Dataset serta mendapatkan akurasi 0,8174,
Precision 0,8188, Recall 0,8189, dan F1 Score sebesar
0,8189 pada pengujian Cross-Dataset Evaluation.
Kata kunci- transformer, vision transformer,
gender classification, image processing, computer
vision.
Abstrac-tGender from a person can be seen visually
based on the face image. In addition, with current
technological advances, computers can also perform
gender classification based on trained data. The process
of gender classification using computers can be applied
to various sectors such as industry or government. In
previous studies, there were various conventional
methods used to classify images, specifically gender
classification based on facial images, but most of them
did not carry out Cross-Dataset Evaluation to test the
performance of the resulting model. This final project
will discuss how to perform gender classification based
on facial image using the Vision Transformer method
using the AFAD dataset as a training dataset and
conducting a Cross-Dataset Evaluation of the resulting
model using the UTKFace dataset. The model that was
built managed to get a validation accuracy of 0.9676 and
a testing accuracy of 0.9661 on the training test or Same-
Dataset and get an accuracy of 0.8174, Precision 0.8188,
Recall 0.8189, and F1 Score of 0.8189 on Cross-Dataset
Evaluation testing.
Keywords- transformer, vision transformer,
gender classification, image processing, computer
vision.
I. PENDAHULUAN
A. Latar Belakang
Pada era perkembangan teknologi visi
komputer yang sudah maju seperti sekarang, sistem
yang dapat melakukan kegiatan monitoring
meningkat hingga menjadi salah satu aspek penting
dalam kehidupan manusia. Beberapa contohnya
seperti gesture recognition, body tracking, face
recognition, age estimation, dan gender
classification. Beberapa contoh implementasi visi
komputer tersebut dapat meningkatkan sektor
kehidupan seperti smart building yang dapat
memberikan akses terbatas hanya pada gender
tertentu serta pengambilan beberapa data demografi
[1].
Pada kesempatan sebelumnya, terdapat
beberapa penelitian mengenai klasifikasi gender.
Liew, dkk [2] menggunakan metode Convolutional
Neural Network untuk melakukan klasifikasi gender.
Asmara, dkk [3] berhasil melakukan klasifikasi
gender menggunakan metode Naive Bayes.
Kemudian, Mohamed, dkk [4] berhasil melakukan
klasifikasi gender dengan beberapa fitur wajah dan
klasifikasi menggunakan metode K-Nearest-
Neighbor. Selanjutnya Azzopardi, dkk [5] dengan
melakukan ekstraksi fitur mata, pipi, dan mulut pada
wajah yang diklasifikasi menggunakan metode
Support Vector Machine. Selain itu Tianyu, dkk [6]
berhasil menggunakan metode Multi-Block Local
Binary Pattern untuk melakukan ekstraksi fitur dan
Support Vector Machine untuk melakukan
klasifikasi.
Selain itu, penggunaan Deep Learning
menggunakan Convolutional Neural Network
menjadi metode yang biasanya digunakan untuk
kasus computer vision [15]. Berdasarkan penelitian
[12] metode Vision Transformer dapat digunakan
untuk melakukan tugas klasifikasi citra. Metode
Vision Transformer bekerja dengan mekanisme self-
ISSN : 2355-9365
attention yaitu dengan melihat keterkaitan satu
elemen dengan elemen lainnya [11]. Tugas akhir ini
akan menguji performa metode tersebut pada
masalah klasifikasi gender berdasarkan citra wajah
karena berdasarkan penelitian yang dilakukan
Alexey, dkk.[12] metode tersebut berhasil
mendapatkan performa melampaui metode state-of-
the-art sebelumnya [12].
B. Perumusan Masalah
Berdasarkan latar belakang sebelumnya,
perumusan masalah yang ada pada tugas akhir ini
adalah bagaimana membangun sistem klasifikasi
gender berdasarkan citra wajah menggunakan
metode Vision Transformer.
C. Tujuan
Tujuan tugas akhir ini adalah merancang,
membangun dan menganalisis performa serta tingkat
misclassified berdasarkan umur dan ras pada kasus
klasifikasi gender berdasarkan citra wajah
menggunakan metode Vision Transformer.
D. Batasan Masalah
Beberapa batasan masalah yang ada pada
tugas akhir ini adalah sebagai berikut:
1. Menggunakan dataset AFAD (Asian Face
Age Dataset) sebagai data training.
2. Menggunakan dataset UTKFace untuk
melakukan proses Cross-Dataset
Evaluation untuk menganalisis performa
model.
3. Citra yang digunakan adalah citra wajah
tanpa bagian tubuh lainnya.
E. Kegiatan Penelitian
Pada tugas akhir ini penulis merancang
beberapa kegiatan yang sebelumnya akan
direncanakan agar proses tugas akhir menjadi lebih
F. Jadwal Kegiatan
sistematis. Berikut adalah rencana kegiatan yang ada
pada tugas akhir ini :
yang akan dilaksanakan pada tugas akhir ini :
1. Kajian Pustaka
TABEL 1.
JADWAL RENCANA KEGIATAN PENGERJAAN
Kegiatan
1 2
Kajian Pustaka
Pengumpulan Data
Perancangan Sistem
Pengujian dan Evaluasi Sistem
Penulisan Laporan
e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1809
Proses kajian pustaka pada tugas
akhir ini adalah kegiatan untuk
mempelajari berbagai teori yang
sebelumnya akan digunakan pada tugas
akhir ini, khususnya teori yang berkaitan
dengan sistem yang akan di bangun seperti
mengenai citra digital, Deep Learning,
Transformer, dan Vision Transformer.
2. Pengumpulan Data
Proses pengumpulan data pada
tugas akhir ini adalah kegiatan untuk
mengumpulkan data yang akan digunakan
selama proses tugas akhir, khususnya
dataset yang akan digunakan untuk proses
training dan Cross-Dataset Evaluation.
3. Perancangan Sistem
Proses perancangan sistem pada
tugas akhir ini adalah kegiatan untuk
melakukan perancangan secara garis besar
mengenai sistem yang akan dibangun
selama tugas akhir.
4. Pengujian Tugas Akhir
Proses pengumpulan data pada
tugas akhir ini adalah kegiatan untuk
melakukan pengujian berdasarkan model
yang sebelumnya sudah dirancang dan
dataset yang sudah ditentukan.
5. Analisis Hasil dan Penulisan Laporan
Tugas Akhir
Proses analisis hasil tugas akhir
adalah kegiatan untuk melakukan penulisan
laporan analisis hasil pengujian
berdasarkan pengujian sebelumnya guna
untuk mendapat kesimpulan tugas akhir.
Berikut adalah rencana jadwal kegiatan
Bulan
3 4 5
ISSN : 2355-9365
II. KAJIAN PUSTAKA
A. Penelitian Terkait
Pada kesempatan sebelumnya, terdapat
beberapa penelitian mengenai klasifikasi gender.
Liew, dkk [2] berhasil mendapatkan sebesar akurasi
99,38% dengan menggunakan metode Convolutional
Neural Network dan dataset AT&T face database
yang berisi 400 citra wajah serta citra yang
berukuran 32 x 32 pixel.
Asmara, dkk [3] berhasil melakukan
klasifikasi gender menggunakan metode Naive
Bayes yang menghasilkan akurasi 80% pada dataset
yang berjumlah 300 citra. Mohamed, dkk [4]
melakukan klasifikasi gender menggunakan FERET
dataset yang berisi 485 dan ESSEX database yang
berisi 153 citra serta ukuran citra sebesar 32x32
pixel berhasil mendapatkan akurasi sebesar 99,3%
dengan mengekstrak beberapa fitur wajah yang
kemudian diklasifikasi menggunakan metode K-
Nearest-Neighbor. Kemudian Azzopardi, dkk [5]
menggunakan dataset GENDER-COLOR-FERET
( , )
( , )= ⋮ ⋱
( − ,)
Sebuah citra adalah sekumpulan nilai-nilai
real yang didefinisikan sebagai fungsi f(x,y) dimana
nilai x dan y adalah suatu koordinat dan nilai fungsi f
pada pasangan (x,y) disebut sebagai nilai intensitas
atau tingkat grayscale pada titik tersebut. Sebuah
citra dapat dikatakan sebagai citra digital apabila
citra tersebut memiliki nilai x, y, dan intensitas yang
finite atau terbatas [8]. Persamaan 1 adalah bentuk
representasi citra digital yang berukuran × .
C. Data Augmentation
Data augmentation adalah salah satu teknik
GAMBAR 1.
CITRA HASIL AUGMENTASI
Tujuan data augmentation adalah
menyelesaikan masalah overfitting yang berada pada
training dataset. Permasalahan tersebut dapat
diselesaikan dengan melakukan ekstraksi data yang
berasal dari training dataset melalui augmentation.
Mekanisme augmentation akan membuat dataset
buatan yang bersumber dari training dataset
sehingga jumlah training dataset dapat meningkat.
e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1810
yang berisi 836 citra serta melakukan ekstraksi
beberapa bagian wajah seperti mata, pipi, dan mulut
yang diklasifikasi menggunakan metode SVM
menghasilkan akurasi sebesar 96,4%.
Selain itu Tianyu, dkk [6] menggunakan
dataset Fowl face library dan metode Multi-Block
Local Binary Pattern untuk melakukan ekstraksi
fitur, serta Support Vector Machine untuk
melakukan klasifikasi berhasil mendapatkan akurasi
sebesar 94,7%.
Tugas akhir ini menawarkan metode Vision
Transformer untuk klasifikasi gender berdasarkan
citra wajah. Metode Vision Transformer adalah
salah satu alternatif metode Deep Learning yang
menggunakan model Transformer [12]. Berdasarkan
penelitian yang dilakukan Alexey, dkk [12] metode
Vision Transformer dapat menghasilkan performa
yang lebih baik dibandingkan dengan model state-
of-the-art Deep Learning lainnya pada kasus
klasifikasi citra.
B. Citra Digital
⋯ ( , − )
⋮ (1)
⋯ ( − , − )
yang digunakan untuk membangun suatu model
Deep Learning yang baik dengan terus mengurangi
jumlah validation error pada saat proses training.
Data augmentation sendiri dapat mengatasi
permasalahan klasik yang terdapat pada model Deep
Learning seperti overfitting [9]. Overfitting sendiri
adalah keadaan akurasi yang dihasilkan pada saat
proses training model sangat tinggi dan akurasi yang
dihasilkan pada saat validation rendah [10].
Beberapa contoh proposes data augmentation adalah
geometric and color transformation, random
erasing, random zoom, dan random flip [10].
Gambar 1 adalah salah satu contoh citra hasil dari
proses data augmentation.
D. Log Softmax
Pada Deep Learning, sebuah deep neural
network menggunakan fungsi softmax untuk
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1811

mempelajari probability distribution pada M kelas matrix pada output layer, maka output dari sebuah
dengan pada input x dengan ( | ) dan fungsi softmax yang merepresentasikan
adalah parameternya. Apabila ℎ( ) adalah kemungkinan pada index ke-i adalah sebagai berikut
sebuah hidden vector dan sebagai weight [16]:
([ ( )] )
( | )=[ ℎ( ) ] = ∑ ([ ( )] )
(2)

Nilai dari [ ] merepresentasikan elemen Untuk melakukan training pada model

ke-i pada . Nilai dari sendiri memiliki rentang berhasis softmax, sebuah fungsi negative likelihood
dari 0 – 1 karena output dari operasi tersebut adalah (cross entropy) [16] digunakan sebagai loss function.
eksponensial yang nonnegative. Selain itu, hasil Pada loss function, meminimalkan gradient pada
perhitungan dari seluruh elemen adalah 1. Dari stochastic gradient descent adalah hal yang sangat
hal tersebut dapat diketahui bahwa output dari penting [16]. Perhitungan gradient untuk log-
softmax yang dilatih adalah dengan meminimalkan softmax adalah sebagai berikut dengan = ℎ( )
negative log-likelihood [16]. dan adalah input untuk element ke-j.
[ ( )] 1 − [ ( )] , =
= (3)
−[ ( )] , ≠

E. Negative Log Likelihood loss function informasi, noise inference, atau karena probability
Resiko terjadinya missclassified pada process [17]. Resiko akan terjadinya hal tersebut
proses klasifikasi terjadi karena kekurangan dapat dituliskan sebagai berikut :
( )= ∑ ( ( ), ) (4)

Dengan m adalah training sample, f fungsi
untuk prediksi, x input vector, y kelas label, dan
L(f(x), y) adalah sebuah loss function. Sebuah loss
function pada model Deep Neural Network bersifat
fleksibel, sebagai contoh cross-entropy biasanya
digunakan karena menghitung perbedaan dari hasil
( ( ), ) = − ̂( | )
prediksi model dan label sebenarnya serta dapat
diminimalkan dengan menggunakan metode
stochastic gradient descent [17]. Dengan C adalah
target kelas atau label sebenarnya, x feature vector
input, maka sebuah cross-entropy loss function dapat
ditulis sebagai berikut:
(5)

Selain itu, feature distribution p(x) dan uniform, berdasarkan Bayesian inference, Persamaan
class distribution p(y) tidak relevan terhadap 5 dapat ditulis sebagai berikut [17] :
parameter model serta diasumsikan distribusi yang
( ( ), ) = − ̂( | ) (6)

Persamaan 6 diatas adalah sebuah negative
log likelihood loss function pada sampel x.
F. Transformer
Pada awalnya Transformer adalah model
yang diusulkan untuk kasus Natural Language
Processing, model tersebut dikenalkan pada tahun
2017 dan menjadi model yang berstatus state-of-the-
art untuk kasus Natural Language Processing[13].
Model Transformer mengikuti konsep encoder-
decoder. Lapisan encoder bekerja sebagai penerima
input kontinu yang disimbolkan sebagai ( , . . . , )
dan kemudian melakukan operasi mapping input
tersebut sehingga dihasilkan = ( , . . . , ).
Kemudian pada block decoder, diberikan sehingga
dihasilkan output berupa ( , . . . , ) per elemen
pada satu waktu secara kontinu. Setiap langkah
tersebut bersifat autoregressive dan simbol yang
akan sebelumnya sudah dibuat akan digunakan
sebagai input pada iterasi selanjutnya [11].
Transformer adalah suatu sequence atau
deep learning model yang menggunakan metode
stacked self-attention dan pointwise. Kemudian
setiap block self-attention yang tersambung dengan
fully connected layers pada setiap barisan encoder
dan decoder [11].
G. Vision Transformer
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1812

GAMBAR 2.
ARSITEKTUR VISION TRANSFORMER [13]

Sebuah citra, khususnya citra digital pada
dasarnya memiliki struktur ( , ) dan nilai
intensitasnya, setiap titik tersebut adalah satuan
terkecil dari citra digital yang biasanya disebut
sebagai pixel. Kemudian, pada model Transformer
dengan self-attention, tidak mungkin dilakukan
proses input per-pixel karena jumlahnya akan sangat
besar, karena setiap pixel harus berjumpa dengan
pixel lainnya sehingga dihasilkan nilai kuadrat yang
sangat besar [12].

GAMBAR 3.
CONTOH PERUBAHAN CITRA KE 1D VECTOR

Agar sebuah citra digital dapat menjadi digital yang sebelumnya telah dimodifikasi. Apabila
input pada model Vision Transformer yang memiliki adalah anggota . , , dan sebagai
input berupa 1D vector, maka proses modifikasi tinggi, lebar, dan jumlah channel pada citra,
dibutuhkan terhadap citra. Pada Gambar 2 terlihat kemudian patchesnya adalah yang didefinisikan
bahwa sebuah citra dipecah menjadi beberapa pada Persamaan (7) yang merupakan resolusi setiap
bagian kecil. Pertama sebuah citra digital tersebut patches.
diubah menjadi beberapa 2D patches, patches
tersendiri merupakan potongan-potongan citra
×( × )
(7)

= × (8)

Selanjutnya, pada Persamaan (8), adalah banyaknya jumlah patches yang dihasilkan. Namun
ISSN : 2355-9365
untuk menjadi input bagi model Transformer yang
memiiliki constant latent D pada semua layer nya,
patches yang dihasilkan harus berukuran 1D vector
yang konstan, sehingga dibutuhkan operasi flattened
dan mapping patches tersebut ke dalam bentuk 1D
vector menggunakan trainable linear projection
Persamaan (9). Hasil pada operasi disini adalah
patch embedding yang dituliskan sebagai E pada
Persamaan (9) [12].
= ; ; ;...; ; + , ℜ . × ,
′ = (ln( )) + , = 1. . .
′ = (ln( ′ )) + ′ , = 1. . .
= ln( )
Transformer encoder sendiri terdiri atas
beberapa Multi Self-Attention Persamaan (10), Multi
Layer Perceptron, dan Layer normalization.
Sebelum dilakukan operasi, sebuah Layer
Normalization (LN) diaplikasikan Persamaan (10)
dan Persamaan (11) sehingga menghasilkan prediksi
y sesuai pada Persamaan (12) [12].
e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1813
Selanjutnya, positional embedding
ditambahkan pada setiap patch embedding agar
patches hasil operasi pada Transformer yang
memilliki depth sebanyak L layer tetap berurutan.
Sebuah token yang merupakan label dari setiap kelas
ditambahkan pada patches pertama dan proses
klasifikasi diimplementasikan oleh Multi Layer
Perceptron Persamaan (10) dan Persamaan (11)
[12].
ℜ( )× (9)
( 10 )
( 11 )
( 12 )
III. METODE
Tugas akhir ini menggunakan metode
model Vision Transformer untuk melakukan
klasifikasi gender terhadap citra wajah yang
diberikan. Setiap citra wajah yang ada pada dataset
training sebelumnya telah diberi label. Untuk
penjelasannya mengenai sistem yang akan dibangun
terdapat pada Gambar 4.
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1814

GAMBAR 4.
FLOWCHART PROSES TRAINING DAN CROSS-DATASET EVALUATION

A. Input Data

GAMBAR 5.
CONTOH DATASET AFAD
Tugas akhir ini menggunakana dataset adalah dataset yang berisi citra wajah dengan jumlah
AFAD sebagai training dataset. AFAD sendiri 165.432 citra wajah yang terdiri dari 63.680 citra
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1815

wajah dengan kelas wanita serta 100.752 citra wajah
dengan kelas pria. Gambar 5 adalah contoh citra
dataset AFAD.
Pada dataset tersebut citra wajah bersifat
close up sehingga yang tampak sebagian besar hanya
bagian wajah saja.
B. Data Preprocessing
Tugas akhir ini menggunakan teknik
preprocessing terhadap training data, yaitu dengan
melakukan random rotation, random zoom, dan
random horizontal flip. Pada penelitian [8] dapat
dihasilkan performa yang cukup baik setelah proses
data preprocessing.
C. Pembangunan model
Pada tahap ini dilakukan proses training
menggunakan metode Vision Transformer. Citra
dikelompokkan berdasarkan train data dan test data.
Proses training pada tugas akhir ini dibagi menjadi
beberapa skenario yaitu citra dengan ukuran
160x160 pixel dengan ukuran patches 10, 160x160
pixel dengan ukuran patches 20, 224x224 pixel
dengan ukuran patches 14, dan 224x224 pixel
dengan ukuran patches 16.
D. Cross-dataset Evaluation

GAMBAR 6.
CONTOH DATASET UTKFACE.
Setelah melakukan training menggunakan kinerja sistem pada tugas akhir ini adalah
AFAD dataset, proses selanjutnya adalah melakukan confusion matrix, F1 Score, precision, dan recall.
Cross-dataset Evaluation terhadap dataset UTKFace
yang berisi 11.316 citra wajah pria dan 12.392 citra 1. Confusion Matrix
wajah wanita untuk mengetahui performa model Confusion matrix adalah yang digunakan
yang sesungguhnya dengan melakukan evaluasi untuk mengukur hasil klasifikasi berdasarkan hasil
terhadap dataset UTKFace yang memiliki domain true positive, false positive, false negative, dan true
sama, yaitu citra wajah. negative. Gambar 7 adalah gambaran sederhana
Output yang dihasilkan pada proses ini confusion matrix. Pada gambar tersebut Actual
adalah metrik pengukuran performa yang terdiri dari Value adalah label sebenarnya dari data sedangkan
Confusion Matrix, Precision, Recall, dan F1-Score. Predicition Value adalah label hasil prediksi.
E. Metrik Pengukuran
Metrik yang digunakan untuk mengukur

GAMBAR 7.
CONFUSION MATRIX [15]
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1816

2. Accuracy negatif. Accuracy digunakan untuk melihat

Accuracy adalah rasio yang bagaimana model dapat melakukan prediksi secara
membandingkan antara true positive dan true benar. Nilai accuracy dapat dihasilkan
negative terhadap seluruh hasil prediksi positif dan menggunakan Persamaan (12) [18].
( )
= ( )
( 13 )
Sebagai contoh nilai precision dapat
3. Precision digunakan untuk melihat rasio seluruh hasil prediksi
Precision adalah rasio yang yang terprediksi sesuai dengan labelnya. Nilai
membandingkan antara hasil prediksi true positive precision dapat dihasilkan menggunakan Persamaan
dengan seluruh hasil prediksi positive. Metrik (14) [18].
precision digunakan untuk menghitung
perbandingan seluruh hasil prediksi positif.
= ( 14 )

4. Recall yang benar. Sebagai contoh nilai recall dapat

Recall adalah rasio yang membandingkan digunakan untuk melihat rasio seluruh hasil prediksi
antara hasil prediksi true positif dengan seluruh hasil yang sesuai dengan labelnya. Nilai recall dapat
prediksi yang benar. Metrik recall digunakan untuk dihasilkan menggunakan Persamaan (15) [18].
menghitung perbandingan seluruh hasil prediksi
= ( 15 )

5. F1 Score dapat dihasilkan menggunakan Persamaan (16) [18].

F1 Score adalah bobot perbandingan rata-
rata antara hasil precision dan recall. Nilai F1 Score
∗( ∗ )
1 = ( 16 )

IV. HASIL DAN PEMBAHASAN
Bab ini akan membahas hasil pengujian
berdasarkan beberapa skenario sebelumnya,
pengujian tersebut meliputi pengujian terhadap
Same-Dataset atau dataset yang digunakan pada
training serta Cross-Dataset atau dataset yang
berbeda namun memiliki domain yang sama dengan
dataset training. Representasi hasil kuantitatif yang
digunakan adalah metrik akurasi validasi dan testing
serta representasi hasil kualitatif yang digunakan
adalah menampilkan perbandingan prediksi antara
model dengan metrik akurasi tertinggi dan terendah.
A. Pengujian terhadap Same-Dataset
Pengujian yang dilakukan adalah pengujian
akurasi yang dihasilkan sistem setelah melakukan
proses training data. Terdapat total 8 skenario
pengujian yang melibatkan ukuran dan patch size
nya. Citra 224x224 pixel dengan patch size 16, 32,
dan 14, citra 160x160 pixel dengan patch size 10 dan
20. Gambar 8 adalah contoh citra yang memiliki
ukuran 224x224 pixel dan patch 14.

GAMBAR 8.
CONTOH CITRA UKURAN 224X224 PIXEL DENGAN PATCH 14.

Nilai hyperparameter yang digunakan pada depth 12. Dataset yang digunakan pada proses
pengujian kali ini adalah learning rate sebesar training adalah AFAD dataset, yaitu jumlah 165.432
0,001, epochs sebesar 100, dan transformer layer citra wajah yang terdiri dari 63.680 citra wajah
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1817

dengan kelas wanita serta 100.752 citra wajah
dengan kelas pria. Dataset tersebut dibagi menjadi
90% data untuk training yang berisi 91300 citra 1.
dengan label pria dan 57700 citra dengan label
wanita, 5% untuk validation yang berisi 5190 citra
dengan label pria serta 3086 citra dengan label
wanita, dan 5% untuk test yang berisi 5067 citra
dengan label pria dan 3208 citra dengan label
wanita.
1. Hasil Kuantitatif
Tabel 2 adalah hasil kuantatif dari proses
pengujian Same-Dataset atau dataset yang
digunakan pada proses training. Metrik yang
digunakan adalah akurasi validation dan testing.

TABEL 2.
HASIL PERCOBAAN PROSES TRAINING TERHADAP UKURAN CITRA DAN PATCH

Ukuran citra patch size Akurasi validation Akurasi test

224 x 224 8 0,9639 0,9631

224 x 224 14 0,9667 0,9644

224 x 224 16 0,9633 0,9622

224 x 224 28 0,9492 0,9843

224 x 224 32 0,9381 0,9362

160 x 160 8 0,9676 0,9661

160 x 160 10 0,9628 0,9598

160 x 160 16 0,9609 0,9610

160 x 160 20 0,9485 0,9460

160 x 160 32 0,9196 0,9154

Berdasarkan Tabel 2, nilai akurasi training model yang dihasilkan cenderung mengalami
validation diperolah saat menggunakan ukuran citra penurunan.
160x160 dan ukuran patch 8 yaitu sebesar 0,9676.
Selain itu, akurasi validation terendah diperoleh saat
menggunakan citra dengan ukuran 160x160 dan
ukuran patch sebesar 32 yaitu sebesar 0,9196.
Kemudian, nilai akurasi test tertinggi diperolah saat
menggunakan ukuran citra 160x160 dan ukuran
patch 8 yaitu sebesar 0,9661. Selain itu, akurasi test 2. Hasil Kualitatif
terendah diperoleh saat menggunakan citra dengan Gambar 9 adalah representasi hasil
ukuran 160x160 dan ukuran patch sebesar 32 yaitu kualitatif dari proses pengujian Same-Dataset atau
sebesar 0,9154. Berdasarkan Tabel 2, semakin besar dataset yang digunakan pada proses training.
ukuran patch yang digunakan, akurasi atau performa

GAMBAR 9.
HASIL KUALITATIF DARI SKENARIO CITRA BERUKURAN 160X160 PIXEL DAN PATCH 8 SERTA SKENARIO CITRA
BERUKURAN 160X160 PIXEL DAN PATCH 32
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1818

B. Hasil pengujian Cross-Dataset Evaluation

Model yang sebelumnya telah melalui
proses training selanjutnya akan diujikan
menggunakan Teknik Cross-Dataset Evaluation
yaitu pada dataset lain yang memiliki domain sama,
yaitu citra wajah. Dataset yang digunakan untuk
melakukan Cross-Datasaet Evaluation adalah
UTKFace Dataset yang berisi 26.132 citra wajah.
1.Confusion matrix
Model yang dihasilkan dengan metode
Vision Transformer terbukti dapat melakukan
klasifikasi citra berdasarkan citra wajah. Terlepas
dari performa yang sudah cukup baik, model yang
sudah dilatih menggunakan dataset AFAD yang
berisi 165.432 citra wajah yang terdiri dari 63.680
citra wajah dengan kelas wanita serta 100.752 citra
wajah dengan kelas pria tersebut memang tetap
mengalami misclassified. Untuk lebih memahami bagaimana
Dari hasil yang diperoleh pada Gambar 10 mengevaluasi model pada Tugas Akhir ini, berikut
memperlihatkan bahwa model dapat melakukan ditunjukkan salah satu contoh perhitungan metrik-
klasifikasi gender berdasarkan citra wajah, namun metrik evaluasi yang digunakan, berdasarkan contoh
memang pada Gambar
terdapat 10 untuk

beberapa skenario
misclassified. 224-pixel, patch
14 (perhatikan

bagian kanan
bawah).

GAMBAR 10.
CONFUSION MATRIX HASIL UJI KLASIFIKASI GENDER PADA DATASET UTKFACE
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1819

a. Akurasi
+
= = ,
+ + +
b. Precision
= = ,
+
= = ,
+
, + ,
= = ,
c. Recall
= = ,
+
= = ,
+
, + ,
= = ,
d. F1 Score
, ∗ ,
= ∗ = ,
, + ,
2.
Tingkat misclassified tertinggi untuk kasus 3. 2. Hasil Kuantatif
model melakukan prediksi gender pria, namun label Setelah model melalui proses training,
sebenarnya adalah wanita adalah pada skenario citra berikutnya adalah pengujian perfomasi masing-
dengan ukuran 224x224 pixel dan patch 32, masing model menggunakan metrik accuracy,
sedangkan tingkat misclassified tertinggi untuk precision, recall, dan F1-Score. Tabel 3 adalah hasil
kasus model mendapatkan prediksi wanita, namun pengujian yang dilakukan berdasarkan skenario
label sebenarnya adalah pria adalah pada skenario sebelumnya.
citra dengan ukuran 160x160 pixel dan patch 10.

TABEL 3.
HASIL CROSS-DATASET EVALUATION

Ukuran citra patch size Accuracy Precision Recall F1 Score

224 x 224 8 0,8096 0,8096 0,8085 0,8089

224 x 224 14 0,8174 0,8188 0,8189 0,8189

224 x 224 16 0,8032 0,8109 0,8066 0,7983

224 x 224 28 0,7854 0,7921 0,7886 0,7903

224 x 224 32 0,7734 0,7734 0,7740 0,7737

160 x 160 8 0,8061 0,8070 0,8074 0,8072

160 x 160 10 0,7820 0,8050 0,7999 0,8024

160 x 160 16 0,7810 0,7814 0,7819 0,7817

160 x 160 20 0,7915 0,7947 0,7938 0,7942

160 x 160 32 0,6789 0,6970 0,6857 0,6913

14, dan F1-Score tertinggi adalah 0,8189 dengan

Berdasarkan hasil yang diperoleh pada
Tabel 3, nilai akurasi tertinggi diperoleh adalah saat
menggunakan ukuran citra 224x224 dan ukuran
patch 14 yaitu sebesar 0,8174, Precision tertinggi
adalah 0,8188 dengan citra 224x224 pixel dan patch
size 14, nilai recall tertinggi yang diperoleh adalah
0,8189 dengan citra 224x224 pixel dan ukuran patch
citra 224x224 pixel dan ukuran patch 14.
Selain itu, akurasi terendah diperoleh
adalah 0,6789 saat menggunakan citra dengan
ukuran 160x160 dan ukuran patch 32, selanjutnya
precision terendah yang diperoleh adalah 0,6970 saat
menggunakan citra 160x160 pixel dan ukuran patch
32, kemudian nilai recall terendah yang diperoleh
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1820

adalah 0,6857 saat menggunakan citra 160x160 3. Hasil Kualitatif

pixel dan ukuran patch 32, dan nilai F1-Score Gambar 11 adalah representasi hasil
terendah adalah 0,6913saat menggunakan citra kualitatif dari proses pengujian Cross-Dataset atau
160x160 pixel dan ukuran patch 32. dataset yang berbeda dengan training dataset namun
memiliki domain yang sama.

GAMBAR 11.
HASIL KUALITATIF DARI SKENARIO CITRA BERUKURAN 22X224 PIXEL DAN PATCH 14 SERTA SKENARIO CITRA
BERUKURAN 160X160 PIXEL DAN PATCH 32

4. Hasil Analisis hasil misclassified pada citra dengan ukuran 224x224 pixel dan
skenario Cross-Dataset Evaluation terbaik patch 14 mendapatkan nilai akurasi yang
Berdasarkan confusion matrix pada Gambar paling tinggi serta memiliki tingkat
11 dan Tabel 3, diketahui bahwa skenario misclassified terendah.

GAMBAR 12.
STATISTIK KESALAHAN KLASIFIKASI YANG DIKELOMPOKKAN BERDASARKAN RAS. SKENARIO YANG DIGUNAKAN
PADA EKSPERIMEN INI ADALAH UKURAN CITRA 224X224 PIXEL DAN PATCH 14
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1821

GAMBAR 13.
CONTOH CITRA MISCLASSIFIED DENGAN LABEL RAS WHITE ATAU KULIT PUTIH PADA SKENARIO UKURAN CITRA
224X224 PIXEL DAN PATCH 14
india, serta citra bayi atau anak kecil yang memang
Berdasarkan Gambar 12, model yang dihasilkan sulit dibedakan juga menjadi penyebab terjadinya
cenderung cenderung mengalami misclassified misclassified pada model yang dihasilkan. Pada
ketika melakukan klasifikasi pada citra dengan label Gambar 13 terlihat beberapa contoh citra yang
ras kulit putih atau white. Selain itu dataset yang mengalami misclassified untuk citra dengan label ras
tidak memiliki data dengan label ras kulit putih dan kulit putih atau white.

GAMBAR 14.
STATISTIK KESALAHAN KLASIFIKASI YANG DIKELOMPOKKAN BERDASARKAN USIA.PADA SKENARIO UKURAN CITRA
224X224 PIXEL DAN PATCH 14

Selain itu, tingkat misclassified pada citra dengan lainnya. Berdasarkan Gambar 14, model yang
label anak-anak atau pada kasus ini ditulis dengan dihasilkan cenderung mengalami misclassified
citra yang memiliki label umur 0 - 10 tahun memang ketika melakukan klasifikasi pada citra dengan label
lebih besar dibandingkan citra dengan label umur umur 0 - 10 tahun.
ISSN : 2355-9365
GAMBAR 15.
CONTOH CITRA MISCLASSIFIED DENGAN LABEL USIA 0 - 10 TAHUN PADA SKENARIO UKURAN CITRA
224X224 PIXEL DAN PATCH 14
Berdasarkan Gambar 15, gender pada citra
wajah dengan usia 0 - 10 tahun relatif sulit
dibedakan, bahkan manusia seringkali sulit
membedakan gender pada wajah bayi. Selain itu,
AFAD dataset yang digunakan untuk training juga
tidak memiliki data citra wajah anak kecil ataupun
bayi.
V. KESIMPULAN
A. Kesimpulan
Berdasarkan percobaan yang dilakukan
pada Tugas Akhir ini, metode Vision Transformer
dapat melakukan klasifikasi gender pria dan wanita
dengan memanfaatkan citra wajah close-up
berdasarkan label dari setiap kelasnya. Selain itu,
percobaan Cross-Dataset Evaluation terhadap
dataset UTKFace juga berhasil dilakukan pada
model yang melalui proses training menggunakan
dataset AFAD. Hasil skenario terbaik percobaan
proses training dan Cross-Dataset Evaluation adalah
sebagai berikut:
1. Berdasarkan beberapa skenario percobaan
yang dilakukan pada proses training, skenario
terbaik yang didapat adalah saat menggunakan
ukuran citra 160x160 pixel dan patch 8 yang
menghasilkan akurasi validation 0,9676 dan
akurasi test 0,9661
2. Berdasarkan beberapa skenario percobaan
yang dilakukan pada proses Cross-Dataset
Evaluation, skenario yang terbaik yang didapat
adalah saat menggunakan citra berukuran
224x224 pixel dan patch 14 serta menghasilkan
akurasi sebesar 0,8174, precision 0,8188, recall
0,8189, dan F1-Score 0,8189.
3. Tren tertinggi kesalahan klasifikasi pada
proses Cross-Dataset Evaluation dalam
beberapa skenario Tugas Akhir ini adalah pada
citra dengan label usia pada rentang 0 - 10 tahun
serta citra dengan label ras white atau kulit
putih.
e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1822
5.2.
B. Saran
Saran yang dapat diberikan berdasarkan
hasil percobaan pada Tugas Akhir ini adalah sebagai
berikut :
1. Menambahkan dataset citra dengan label
umur 0 - 10 tahun
2. Menambahkan dataset citra dengan label
ras kulit putih dan kulit hitam.
REFERENCE
[1] Moghaddam, B., & Yang, M. H. (2002).
Learning gender with support faces. IEEE
Transactions on Pattern Analysis and Machine
Intelligence, 24(5), 707–711.
https://doi.org/10.1109/34.1000244
[2] Liew, S. S., Khalil-Hani, M., Ahmad Radzi, S.,
& Bakhteri, R. (2016). Gender classification: A
convolutional neural network approach. Turkish
Journal of Electrical Engineering and Computer
Sciences, 24(3), 1248–1264.
https://doi.org/10.3906/elk-1311-58
[3] Asmara R, Andjani B, Rosiani U, Choirina P.
(2018). Klasifikasi jenis kelamin pada citra wajah
menggunakan metode naive bayes. Jurnal
Informatika Polinema, 4(3), 212–217.
[4] Mohamed, S., Nour, N., & Viriri, S. (2018).
Gender identification from facial images using
global features. In Proceedings of the 2018
Conference on Information Communications
Technology and Society, 1–6.
doi:10.1109/ICTAS.2018.8368761
[5] Azzopardi, G., Foggia, P., Greco, A., Saggese,
A., & Vento, M. (2018). Gender recognition from
face images using trainable shape and color features.
In Proceedings of the 2018 24th International
ISSN : 2355-9365 e-Proceeding of Engineering : Vol.10, No.2 April 2023 | Page 1823

Conference on Pattern Recognition, 1983–1988. [17] Zhu, D., Yao, H., Jiang, B., & Yu, P. (2018).
doi:10.1109/ICPR.2018.8545771 Negative Log Likelihood Ratio Loss for Deep
Neural Network Classification.
[6] Tianyu, L., Fei, L., & Rui, W. (2018). Human doi:10.48550/ARXIV.1804.10690
face gender identification system based on MB-LBP.
In Proceedings of the 2018 Chinese Control And [18] Anwar, T., & Zakir, S. (2020). Deep learning
Decision Conference, 1721–1725. based diagnosis of COVID-19 using chest CT-scan
doi:10.1109/CCDC.2018.8407405 images. In Proceedings of the 2020 IEEE 23rd
International Multitopic Conference, 1–5.
[7] Pham TC., Luong CM., Visani M., Hoang VD. doi:10.1109/INMIC50486.2020.9318212
(2018). Deep CNN and data augmentation for skin
lesion classification. In: Nguyen N., Hoang D.,
Ho P., Ph H., w ńsk B. ds
Information and Database Systems. ACIIDS 2018.
Lecture Notes in Computer Science, vol 10752,
573–582. https://doi.org/10.1007/978-3-319-75420-
8_54
[8] Gonzalez, R. C., & Woods, R. E. (2018). Digital
image processing. New York, NY : Pearson, pp.18.
[9] Ying X. (2019). An Overview of Overfitting and
its Solutions. In Proceedings of Journal of Physics:
Conference Series.
[10] Shorten, C., & Khoshgoftaar, T. M. (2019). A
survey on image data augmentation for deep
learning. Journal of big data, 6(1), 1–48.
https://doi.org/10.1186/s40537-019-0197-0
[11] Vaswani, A., Shazeer, N., Parmar, N.,
Uszkoreit, J., Jones, L., Gomez, A. N., ... &
Polosukhin, I. (2017). Attention is all you need.
Advances in neural information processing systems,
30. Neural information processing systems
foundation.
[12] Zhai, X., Unterthiner, T., Dehghani, M.,
d , ., H o d, G., G y, S., … Ho sby, N.
(2021). An Image Is Worth 16 X 16 Words.
[13] Guo, P., Xue, Z., Rodney Long, L., & Antani,
S. (2020). Cross-dataset evaluation of deep learning
networks for uterine cervix segmentation.
Diagnostics, 10(1), 44.
https://doi.org/10.3390/diagnostics10010044
[14] Singh, J., & Shekhar, S. (2018). Road Damage
Detection And Classification In Smartphone
Captured Images Using Mask R-CNN.
[15] Xia, B., Zhang, H., Li, Q., & Li, T. (2015).
PETs: a stable and accurate predictor of protein-
protein interacting sites based on extremely-
randomized trees. IEEE transactions on
nanobioscience,14(8), 882-893.
doi:10.1109/TNB.2015.2491303
[16] Kanai, S., Fujiwara, Y., Yamanaka, Y., &
Adachi, S. (2018). Sigsoftmax: Reanalysis of the
softmax bottleneck. Advances in Neural Information
Processing Systems, 31.
doi:10.48550/ARXIV.1805.10829