MAKALAH IT FORENSICS

REVIEW JURNAL: 2D-3D FACIAL IMAGE ANALYSIS FOR IDENTIFICATION

OF FACIAL FEATURES USING MACHINE LEARNING ALGORITHMS
WITH HYPER-PARAMETER OPTIMIZATION FOR
FORENSICS APPLICATIONS

OLEH:
ROMIZA ZILDJIAN
(2001020037)

DENPASAR 2023

PROGRAM STUDI TEKNIK INFORMATIKA

TAHUN AJARAN 2023/2024

i
 KATA PENGANTAR

Puji dan syukur penulis panjatkan kepada Tuhan Yang Maha Esa atas selesainya
Makalah ini dengan judul: “Review Jurnal: 2D-3D Facial Image Analysis for Identification
of Facial Features Using Machine Learning Algorithms with Hyper-parameter
Optimization for Forensics Applications”. Atas dukungan moril dan materiil yang
diberikan selama penyusunan makalah, maka penulis mengucapkan terima kasih yang
sebesar–besarnya kepada:

1. Bapak I Made Artana, S.Kom., M.M. selaku Founder dan Rektor Primakara
University.
2. Bapak Made Raka Dwija Wiradiputra, S.Pd., M.Kom. selaku dosen pengampu
Mata Kuliah IT Forensics.
3. I Wayan Adi Sudirtayasa selaku teman yang sudah memberikan kontribusi
terhadap pemahaman soal deepfake dan system development.

Penulis menyadari bahwa makalah ini belumlah sempurna. Oleh karena itu, saran
dan kritik yang membangun dari rekan-rekan semua sangat dibutuhkan untuk
penyempurnaan makalah ini.

Denpasar, 30 Desember 2023,

Romiza Zildjian, AWP®

ii
 DAFTAR ISI

KATA PENGANTAR .................................................................................................... II

DAFTAR ISI .............................................................................................................. III
BAB I PENDAHULUAN ............................................................................................... 4
1.1. LATAR BELAKANG ................................................................................................ 4
1.2. RUMUSAN MASALAH............................................................................................ 5
1.3. TUJUAN PENELITIAN ............................................................................................. 5
1.4. MANFAAT TINJAUAN PENELITIAN ............................................................................ 6
BAB II LANDASAN TEORI ........................................................................................... 7
2.1. INFORMASI UMUM PENELITIAN .............................................................................. 7
2.2. ANTROPOMETRI WAJAH SECARA DIGITAL.................................................................. 7
2.3. ANTHROPOMETRIK 2D AND 3D DALAM FRS-ML ..................................................... 10
2.4. PENELITIAN SEBELUMNYA PADA PENELITIAN YANG DITINJAU ....................................... 11
BAB III METODE PENELITIAN .................................................................................. 13
3.1. METODE PENELITIAN .......................................................................................... 13
3.2.1. Studi Literatur ........................................................................................... 13
3.2.2. Alur Penelitian .......................................................................................... 13
BAB IV PEMBAHASAN ............................................................................................. 15
4.1. METODE .......................................................................................................... 15
4.2. MODEL ALGORITMA MACHINE LEARNING ............................................................... 15
4.3. HASIL AKURASI MODEL ML ................................................................................. 17
4.4. KESIMPULAN DAN SARAN DARI PENELITI ASLINYA ..................................................... 19
BAB IV PEMBAHASAN ............................................................................................. 20
5.1. ALASAN REVIEW ................................................................................................ 20
5.2. SARAN REVIEW ................................................................................................. 20
DAFTAR PUSTAKA................................................................................................... 21

iii
 BAB I
PENDAHULUAN

1.1. Latar Belakang

Akhir-akhir ini Artificial Inteligence (AI) banyak dibicarakan oleh masyarakat dunia
dalam topik sehari-hari, karena algoritma pada AI yang mampu memberikan rekomendasi
hingga keputusan yang mirip dengan perilaku serta kecerdasan manusia pada umumnya
[1]. Salah satu pengembangan AI yang populer saat ini berkaitan dengan olah citra, yakni
biometrik. Setiap orang pada nyatanya memiliki biometrik yang sifatnya unik, salah satunya
Face Recognition System (FRS) yang dapat mengenali wajah sebagian faktor terpenting
dalam pengenalan permukaan wajah seseorang. Tanpa hasil yang pasti, computer vision
telah mencoba meniru kemampuan mata manusia. Namun, pengenalan wajah tampaknya
menjadi teknologi yang berharga dan praktis yang digunakan oleh pemeriksa forensik
dalam penyelidikan kriminal.
Pengenalan wajah adalah pendekatan ilmiah yang populer dengan berbagai aplikasi;
namun, rentan terhadap beberapa masalah. Tantangan yang muncul biasanya tidak jauh
dari sistem deteksi yang dibuat seperti wajah otomatis, penuaan wajah, kembar identik dan
ekspresi wajah. Dalam olah citra di ML terdapat beberapa hal yang dapat diatur untuk
menentukan hasil yang akurat, yakni: kondisi pencahayaan, resolusi rendah, metode
kuantitatif dan kualitatif untuk mengatur parameter dan mengestimasi karakteristik
wajah, mencari solusi melalui digital antropometri. Studi terbaru, menunjukkan sistem
pengenalan wajah tidak berfungsi dengan baik dalam kasus kembar identik dibandingkan
dengan kasus orang lain. Selama bertahun-tahun, banyak pendekatan telah diusulkan
menggunakan beberapa algoritma dan basis data yang baru dikembangkan dan berkinerja
baik, mempertimbangkan situasi yang menguntungkan dan tidak menguntungkan, namun
upaya ini belum berhasil. Oleh karena itu, tujuan utama dari penelitian yang di review ini
adalah menentukan secara akurat identifikasi kriminal dalam penipuan terkait Information
Technology (IT) Forensics dan Cybercrime.
Berkaitan dengan olah citra yang dilakukan, umumnya FRS dapat dibagi menjadi 2
jenis, yakni 2 Dimensional (2D) dan 3 Dimensional (3D). Penelitian yang di review
menggunakan pengenalan wajah 3D yang memiliki keunggulan dalam memperoleh
informasi geometris lebih banyak tentang wajah, seperti kurva margin wajah, karakteristik
kelengkungan, dan jarak geodesik, yang dapat secara signifikan meningkatkan akurasi
model ML yang dibuat. Batasan utama dari pendekatan berbasis model 3D adalah
ketidakmampuannya untuk menyimpan file data besar, yang secara komputasional mahal
dan tidak dapat diterapkan pada sistem pengenalan wajah di kehidupan nyata. Namun,
jurnal yang di review memiliki solusi alternatif dalam menangani keterbatasan model 3D
dengan kombinasi modalitas 2D dan 3D. Ukuran kemiripan permukaan wajah 3D telah
 5
menjadi topik yang hangat, dengan aplikasi penting dalam pengenalan wajah, rekonstruksi
wajah 3D, animasi 3D, biometrik, forensik, dan bidang lainnya. Dengan peningkatan laju
kelahiran kembar dan para pelaku cybercrime, yang menjadi penyebab penipuan dan
peningkatan tingkat kejahatan (contohnya seperti deepfake), ada kebutuhan mendesak
untuk mengintegrasikan FRS otomatis yang ada dengan metode pengenalan wajah
forensik, yang memiliki tanggung jawab besar untuk mengikuti prosedur hukum.
Pengembangan FRS diterapkan dengan media pipeline 468 landmark secara real-
time untuk meningkatkan akurasi FRS dibandingkan dengan pendekatan yang sudah ada,
seperti Multi-Task Cascaded Convolutional Networks (MTCNN) dan Digital Library (DLIB)
Setelah itu, Euclidean Distance dan Geodesic diukur dari titik landmark yang dipilih untuk
features extractions. Ukuran kemiripan kuantitatif kemudian diberikan sebagai input ke
berbagai algoritma klasifikasi seperti Extreme Gradient Boosting (XGBoost), Adaptive
Boosting (AdaBoost) classifiers, Random Forest (RF) classifiers, Bernoulli Naive Bayes (NB),
Decision Tree (DT), Logistic Regression (LR), Light Gradient Boosting Model (LGBM), Extra
Tree Classifier (ETC), Support Vector Machine (SVM) dan Nearest Centroid (NC) classifiers
untuk mengidentifikasi pelaku kriminal dalam penyelidikan forensik dengan
menyajikannya sebagai bukti statistik dari aspek forensik dan aplikasi dari FRS biometrik.

1.2. Rumusan Masalah

1) Bagaimana metode investigasi dengan ITF pada kasus mengidentifikasi pelaku
kriminal dalam penyelidikan forensik dengan FRS biometrik?
2) Seberapa tepat fine-tune hyperparameter yang diterapkan untuk optimalisasi model
algoritma pada kasus mengidentifikasi pelaku kriminal dalam penyelidikan forensik
dengan FRS biometrik?
3) Seberapa tingkat keakuratan algoritma pada kasus mengidentifikasi pelaku kriminal
dalam penyelidikan forensik dengan FRS biometrik?

1.3. Tujuan Penelitian

1) Mengetahui metode investigasi dengan ITF pada kasus mengidentifikasi pelaku
kriminal dalam penyelidikan forensik dengan FRS biometrik.
4) Mengetahui kesesuaian optimalisasi model dengan menggunakan fine-tune
hyperparameter pada kasus mengidentifikasi pelaku kriminal dalam penyelidikan
forensik dengan FRS biometrik.
2) Mengetahui level akurasi algoritma pada kasus mengidentifikasi pelaku kriminal
dalam penyelidikan forensik dengan FRS biometrik.
1.4. Manfaat Tinjauan Penelitian
1) Sebagai fondasi dasar dalam menganalisis gambar biometrik dengan menggunakan
pengukuran berbasis antropometrik dan morfometrik untuk menghasilkan bukti
berdasarkan pendapat ahli dengan pendekatan AI/ML untuk memberikan bukti yang
efektif. Oleh karena itu, pendekatan yang diusulkan menghasilkan fitur-fitur
signifikan yang dapat digunakan dalam aplikasi forensik dunia nyata.
2) Sebagai thinking framework untuk mengenali wajah yang terlibat dalam kejahatan
dan penipuan dan mendukung penyelidikan kriminal oleh para ahli forensic science
menjadi mungkin untuk diterapkan.

6
 7

BAB II
LANDASAN TEORI

2.1. Informasi Umum Penelitian

Penelitian yang penulis review dalam makalah ini berjudul “2D-3D Facial Image
Analysis for Identification of Facial Features Using Machine Learning Algorithms with
Hyper-parameter Optimization for Forensics Applications.” Penelitian tersebut dibuat oleh:
a. Gangothri Sanil
Information and Communication Technology, Manipal Institute of Technology (MIT),
Manipal Academy of Higher Education (MAHE), Manipal, Karnataka 576104, India.
b. Krishna Prakash
Information and Communication Technology, Manipal Institute of Technology (MIT),
Manipal Academy of Higher Education (MAHE), Manipal, Karnataka 576104, India.
c. Srikanth Prabhu
Computer Science and Engineering, Manipal Institute of Technology (MIT), Manipal
Academy of Higher Education (MAHE), Manipal, Karnataka 576104, India.
d. Vinod C. Nayak
Forensic Medicine, Kasturba Medical College (KMC), Manipal Academy of Higher
Education (MAHE), Manipal, Karnataka 576104, India.
e. Saptarshi Sengupta
Computer Science Department, San Jose State University, San Jose, CA 95192, USA.

2.2. Antropometri Wajah secara Digital

Ilmu Antropometri mempelajari tentang dimensi pada tubuh manusia dan
merupakan cabang ilmu yang diinisiasi pada akhir abad ke-13 oleh Marco Polo (1254–1324)
yang merupakan seseorang Forensics Science yang berasal dari Italia. Kemudian pada
tahun 1853–1914 (abad ke-19), polisi asal Prancis dan peneliti biometrik menemukan
sistem identifikasi kriminal berdasarkan Ilmu tersebut, yang menjadi landasan terciptanya
Face Recognition System (FRS). Pada Ilmu Antropometri terdapat cabang ilmu matematika
yang dikenal dengan morfometri yang menangani analisa kuantitatif (ukuran dan bentuk)
dengan menggabungkan studi 2 Dimensi (2D) dan/atau 3 Dimensi (3D). Morfometri adalah
cabang matematika yang berurusan dengan analisis kuantitatif ukuran dan bentuk. Ini
merupakan kombinasi antara geometri dan biologi yang menangani studi bentuk dalam
dua atau tiga dimensi. Fitur kualitatif dan kuantitatif digunakan untuk menggambarkan
wajah manusia. Pengukuran antropometrik melibatkan identifikasi titik-titik tertentu pada
wajah subjek, yang disebut titik landmark. Ekstraksi landmark wajah adalah proses
penempatan titik-titik kunci wajah yang mewakili daerah-daerah penting seperti ujung
hidung, tengah mata, dan lain-lainl. Seperti pada Gambar 2.1. dan keterangan Tabel 2.1. di
bawah, ini memungkinkan untuk mengidentifikasi bentuk dan orientasi wajah, serta
mengekstrak fitur wajah.

Gambar 2.1. Representasi titik landmark antropometrik pada

(a) gambar wajah frontal dan (b) posisi samping wajah [here]

Tabel 2.1. Titik landmark antropometrik pada wajah beserta deskripsinya

Gambar 2.2. menunjukkan proses pengukuran berbagai jarak, seperti Euclidean

Distance (ED) dan Geodesic Distance (GD). Adapun jarak ED dan GD pada wajah yang di ukur
sebagai berikut:
a. Glabella
Titik tengah di antara alis mata, tepat di atas jembatan hidung.
b. Nasion
Titik terdalam pada akar hidung, di mana dahi dan hidung bertemu.
c. Alare
Titik terluar pada sayap hidung.

8
 9
d. Subnasale
Titik tengah di philtrum, di mana bibir atas bertemu dasar hidung.
e. Labrale Superius
Titik tengah bibir atas.
f. Stomion
Titik tengah antara bibir atas dan bawah saat mulut tertutup.
g. Cheilion
Titik terluar di sudut mulut.
h. Gnathion
Titik paling inferior di tengah pada dagu tulang.

Dengan menggunakan jarak-jarak yang diukur ini, rasio wajah yang berbeda seperti
lebar Inter canthal terhadap kelebaran bizygomatic, lebar mulut terhadap lebar mulut, tinggi
vermilion bibir atas terhadap tinggi vermilion bibir bawah dapat diperoleh.

Gambar 2.2. Euclidean Distance (ED) dan Geodesic Distance (GD)

Dalam pendekatan penelitian yang di review, pendeteksian posisi wajah dalam

gambar dilakukan dengan menemukan 468 landmark menggunakan media pipe. Media
pipe adalah kerangka kerja open-source untuk membangun ML menggunakan Google yang
cepat dan sangat akurat. Gambar wajah 2D digunakan untuk mendeteksi mesh wajah 3D
dengan kondisi pencahayaan yang berbeda, wajah yang terhalang, dan wajah dengan
berbagai ukuran dan orientasi secara real-time. Lebih banyak informasi diperoleh dari
topologi mesh wajah daripada yang diperlukan, yang juga memungkinkan untuk memilih
hanya informasi yang diperlukan. Sebanyak 468 landmark diperoleh untuk gambar wajah
dengan pose yang berbeda sebagai fitur penting yang ditunjukkan pada Gambar 2.3. di
bawah.

Gambar 2.3. Media Pipe 468 landmark []

2.3. Anthropometrik 2D and 3D dalam FRS-ML

Untuk mendukung proses penyelidikan kejahatan, terdapat sistem ML yang dibuat
menggunakan kumpulan fitur untuk membedakan dua wajah yang mirip dari identitas
yang berbeda. Penelitian ini berhasil meningkatkan sistem pengenalan wajah yang sudah
ada dengan menggunakan AI yang juga dikenal sebagai ML untuk mendukung penyelidikan
IT Forensics. Dengan menggunakan klasifikasi K-NN atau Neural Network (NN) akurasi dan
waktu yang dibutuhkan untuk proses pengenalan sistem ini dapat dilakukan dengan lebih
cepat dibandingkan dengan algoritma seperti SVM. Analisis Gambar Forensik adalah set
parameter baru yang menggunakan indeks untuk mengidentifikasi karakteristik wajah
berdasarkan rasio gambar yang didefinisikan secara geometris. Untuk meningkatkan
akurasi pengenalan wajah, penelitian tentang pengukuran dan rasio antropometrik
mungkin diperlukan. Identifikasi wajah forensik, sebuah teknik ahli forensik untuk
membandingkan wajah secara manual. Ada penjelasan tentang kerangka Bayessian dan
bagaimana itu dapat diterapkan untuk pengenalan wajah forensik dan digunakan untuk
memeriksa keandalan sistem dan beberapa masalah terkait diterimanya di pengadilan.
Organisasi seperti ENFSI mendorong penggunaan kerangka Bayessian untuk melaporkan
bukti ke Pengadilan Kehakiman sebagai metode yang tepat untuk menstandardisasi
penalaran. Metode ini menggunakan tiga sistem open source seperti OpenFace, SeetaFace,
dan FaceNet dengan algoritma CNN. Kesamaan atau jarak yang diperoleh kemudian diubah
menjadi rasio probabilitas.

10
 11
2.4. Penelitian Sebelumnya pada Penelitian yang Ditinjau
Dalam penyusunan makalah ini, terdapat beberapa penelitian yang berkaitan
dengan jurnal yang di review, sebagaimana dijabarkan pada Tabel 2.2. dibawah ini:

Tabel 2.1. Penelitian Sebelumnya

Penelitian 1
Judul Penelitian Research on 3D Face Recognition Method based on LBP and SVM [2]
Penulis Liangliang Shi, Xia Wang, Yongliang Shen
Tahun 2020
Hasil Temuan Mengusulkan pendekatan yang menggabungkan LBP (Local Binary
Pattern) dan SVM (Support Vector Machine) untuk mengembangkan
sistem pengenalan wajah 3D. Penulis menggunakan algoritma LBP dan
klasifikasi SVM untuk ekstraksi fitur dan klasifikasi secara berturut-
turut. Hasilnya membuktikan bahwa algoritma ini memerlukan waktu
yang lebih sedikit, meningkatkan akurasi, lebih sedikit kompleks, dan
lebih cepat.
Penelitian 2
Judul Twins and Similar Faces Recognition using Geometric and Photometric
Penelitian Features with Transfer Learning [3]
Penulis Khalid Mohamed Nahar, Bilal Abul-Huda, Abeer Al. bataine
dan Ra'ed M. Al-Khatib
Tahun 2022
Hasil Temuan Metode Transfer Learning (TL) diterapkan dengan karakteristik
geometris dan fotometrik digunakan. Kombinasi fitur geometris dan
fotometrik menghasilkan akurasi sebesar 98%. Oleh karena itu, ada
kebutuhan akan lebih banyak data gambar kembar identik. Data Google
mencakup empat pasang kembar, masing-masing dengan 17 posisi
berbeda. Karakteristik fotometrik memberikan akurasi sebesar 96%.
Modalitas yang sudah ada, seperti sidik jari telapak tangan, wajah,
suara, dan lainnya, dapat digunakan dengan metode TL yang lain.
Penelitian 3
Judul Penelitian Component-based Face Recognition under Transfer Learning for
Forensic Applications [4]
Penulis Rupali Sandip Kute, Vibha Vyas, dan Alwin Anuse
Tahun 2018
Hasil Temuan Dua metode ekstraksi fitur digunakan untuk menciptakan sistem
pengenalan wajah 2D dengan menggunakan titik-titik fitur wajah yang
terdeteksi, kemudian menghitung jarak antara titik-titik tersebut
menggunakan Geodesic Distance (GD) dan Euclidean Distance (ED),
seperti dalam Geometri Riemannian dan Geometri Euclidean yang lebih
efisien untuk diimplementasikan dalam TL di IT Forensics.
Penelitian 4
Judul Penelitian Face Recognition with Convolutional Neural Network and Transfer
Learning [5]
Penulis Khawla Alhanaeea, Mitha Alhammadia, Nahla Almenhalia dan Maad
Shatnawi
Tahun 2021
Hasil Temuan Menghadirkan sistem kehadiran pengenalan wajah berbasis deep
learning. SqueezeNet, GoogleNet, dan AlexNet adalah tiga jaringan yang
digunakan. Wajah yang mirip atau tersembunyi tidak dikenali
menggunakan teknologi ini. Untuk meningkatkan kinerja, lebih banyak
model CNN yang sudah dilatih sebelumnya dapat digunakan.
Penelitian 5
Judul Penelitian Feature Fusion and Classifier Ensemble Technique for Robust Face
Recognition
Penulis Hamayun A. Khan
Tahun 2017
Hasil Temuan Mempertimbangkan teknik Classifier Ensemble dan Feature Fusion
untuk mengusulkan sistem pengenalan wajah yang dapat disesuaikan.
Untuk mencapai hasil klasifikasi yang ditingkatkan, mereka
menggunakan teknik Classifier Ensemble daripada hanya
menggunakan satu classifier. Jenis dan jumlah base classifier, jenis
fitur, dimensionalitas fitur yang dikumpulkan dalam ruang fitur, dan
teknik ensemble learning, adalah berbagai faktor yang memengaruhi
kinerja sistem klasifikasi yang diterapkan.

Dari hasil penelitian yang sebelumnya penelitian yang di review memiliki

12
 BAB III
METODE PENELITIAN

3.1. Metode Penelitian

Metode yang digunakan dalam jurnal yang di review antara lain:
3.2.1. Studi Literatur
Teknik kajian literatur dilakukan dengan mencari sumber-sumber referensi yang
ada, hal ini dibuktikan dengan analisis State of The Art yang jelas pada BAB II.
3.2.2. Alur Penelitian

Gambar 3.1. Alur Metodologi Penelitian

Pada alur penelitian yang dibuat, dibagi menjadi beberapa bagian yakni:
a. Image Preprocessing
Data wajah 2D diperoleh untuk menyediakan wajah yang "bersih" untuk deteksi
dan normalisasi. Dalam pendekatan yang diusulkan, gambar wajah awalnya
dipilih, dan operasi prapemrosesan seperti pemotongan dan penskalaan dilakukan
untuk menghasilkan kumpulan data gambar wajah.
b. Face Detection
Proses mendeteksi wajah manusia dalam sebuah gambar menggunakan
kumpulan dataset yang diperoleh. Mendeteksi wajah dalam foto sulit karena
temuan yang diidentifikasi didasarkan pada beberapa elemen, seperti lingkungan,
pencahayaan, gerakan, orientasi, dan emosi wajah.

13
c. Landmark Detection
Hal ini memungkinkan identifikasi landmark wajah yang akurat dan dapat
diandalkan. Beberapa gambar yang akurat dipetakan ke foto wajah individu untuk
mendapatkan pengukuran yang diperlukan. Pendekatan yang diusulkan
digunakan untuk menemukan dan mengekstrak fitur secara otomatis.
d. 3D Face Mesh Generation
Generasi mesh wajah 3D adalah proses pembuatan model yang
merepresentasikan bentuk dan topologi wajah seseorang. Proses ini melibatkan
penggunaan titik landmark pada wajah untuk membuat model 3D yang mencakup
detail geometris dan spasial.
e. Feature Extraction
Ekstraksi fitur adalah proses identifikasi dan pilihan ciri-ciri yang signifikan atau
karakteristik dari suatu data. Dalam konteks pengolahan citra atau analisis pola,
ekstraksi fitur berfokus pada pengidentifikasian atribut-atribut penting yang
dapat digunakan untuk merepresentasikan suatu objek atau pola.
f. Classification
Hasil klasifikasi didasarkan pada dua kelas gambar: SAMA dan BERBEDA. Fitur
berbasis rasio yang diekstraksi diberikan sebagai input ke beberapa klasifikasi
seperti XGBoost, AdaBoost, RF, NB, DT, LR, LGBM, ETC, SVM, dan NC classifiers guna
mengembangkan sistem yang sempurna untuk pengenalan wajah dan verifikasi
pelaku kejahatan yang mendukung serta meningkatkan penyelidikan forensik.
Dalam pembuatan model, penelitian ini menerapkan fine-tuning hyperparameter.
g. Evaluations
Hasil kinerja framework thinking yang diusulkan dievaluasi untuk akurasi adalah
tingkat error, recall, precision, dan F-measure.

14
 BAB IV
PEMBAHASAN

4.1. Metode
Penelitian ini menganalisis gambar biometrik dengan menggunakan pengukuran
berbasis antropometrik dan morfometrik untuk menghasilkan bukti berdasarkan
pendapat ahli dengan pendekatan AI/ML untuk memberikan bukti lebih kuat.
Keputusan pencocokan yang benar di bawah variasi ekspresi wajah dan variasi pose
dalam lingkungan yang tidak terbatas dapat diperoleh dalam metode analisis forensik
pada ML yang diusulkan untuk mengenali wajah yang terlibat dalam kejahatan dan
penipuan serta mendukung penyelidikan kriminal oleh ahli sains forensik menjadi
mungkin. Sebuah kumpulan data yang terdiri dari 600 gambar wajah yang dikumpulkan
dari berbagai sumber (publik) termasuk wajah individu pria dan wanita, gambar-gambar
berbeda dari orang yang sama, kemiripan wajah, dan masalah-masalah lainnya
digunakan dalam penelitian yang diusulkan seperti yang ditunjukkan pada Gambar 4.1.

Gambar 4.1. Sampel Dataset yang Dipakai

4.2. Model Algoritma Machine Learning

Analisis wajah adalah praktik menganalisis wajah manusia secara real-time, baik
dalam video atau gambar, dengan menggunakan algoritma komputer dan teknik
pembelajaran mesin. Untuk manusia dan sistem komputer, gambar wajah
menyampaikan detail seperti usia, identifikasi, jenis kelamin, ras, mood, dan daya tarik.
Teknik analisis wajah berbasis pembelajaran mesin telah menarik perhatian yang besar
dalam beberapa tahun terakhir karena berbagai tugas yang dapat mereka lakukan. Ada

15
minat yang berkelanjutan dalam bidang ini terkait penemuan wajah, penentuan fitur
wajah, interpretasi foto wajah, dan identifikasi wajah. Analisis wajah melibatkan
penentuan dan pengukuran fitur wajah dalam sebuah gambar.
Selanjutnya, gambar wajah dianalisis untuk ekstraksi fitur dengan mengukur
jarak antara dua landmark menggunakan jarak Euclidean dan geodesik sepanjang kurva
wajah. Landmark sampel ditunjukkan pada Gambar 9 dan 10 karena annotasi manual
dari 468 titik cukup sulit. Selain itu, 32 jarak antara landmark diusulkan, termasuk Ft-Ft,
Tr-G, Enl-Enr, Exr-Enr, Exl-Enl, Sn-N, Prn-Sn, N-Prn, Ls-Gn, Ls-Li, Zy-Zy, Chl-Chr, Exl-Chl,
Exr-Chr, Exl-Prn, All-Chl, Alr-Chr, Alr-Prn, Alr-Sn, Ps-Pi, Ls-N, Sto-Sn, dan Gn-N. Gambar
9 dan 10, menunjukkan analisis gambar wajah menggunakan landmark antropometrik
dari berbagai wilayah wajah. Analisis gambar wajah yang dilakukan dalam ruang 3D
direpresentasikan di sini dengan mempertimbangkan gambar wajah 2D.
Menyetel hiperparameter dari algoritma pembelajaran mesin adalah tugas yang
memakan waktu, namun sangat penting. Pemilihan hiperparameter dapat secara
signifikan memengaruhi kinerja algoritma. Menentukan nilai hiperparameter yang tepat
untuk algoritma pembelajaran mesin tertentu dan dataset tertentu dikenal sebagai
penyetelan hiperparameter atau optimisasi hiperparameter. Optimisasi hiperparameter
adalah pemilihan set nilai hiperparameter ideal selama pelatihan model.
Hiperparameter digunakan untuk mengatur proses pembelajaran dan memiliki dampak
yang substansial pada efektivitas model pembelajaran mesin. Hasil model yang
digunakan dalam penelian yang di review adalah sebagai berikut:

Tabel 4.1. Hasil Fine-tuning Hyperparameters Tiap Model ML

16
4.3. Hasil Akurasi Model ML
Sebanyak 70% data dalam penelitian ini digunakan untuk pelatihan, sementara
30% digunakan untuk pengujian. Untuk mencapai tingkat akurasi terbaik, berbagai
teknik pembelajaran mesin, hiperparameter, dan metrik kinerja digunakan. Untuk
mengidentifikasi pelaku kejahatan dalam gambar wajah, kinerja beberapa
pengklasifikasi pembelajaran mesin terawasi diukur menggunakan data uji berdasarkan
matriks kebingungan menggunakan berbagai algoritma klasifikasi untuk dataset
tersebut. Berbagai metrik evaluasi digunakan untuk membenarkan analisis
perbandingan. Jumlah prediksi yang benar dan salah dihitung menggunakan matriks
kebingungan, yang disediakan oleh modul metrik sklearn dan digunakan untuk
mendapatkan presisi, recall, akurasi, dan metrik lainnya.

Gambar 4.2. Confusion matrix dari Model XGBoost, AdaBoost,

Random Forest, and Logistic Regression Classifiers

17
 Gambar 4.3. menunjukkan Kurva ROC dari pengklasifikasi pembelajaran
mesin seperti XGBoost, AdaBoost, RF, NB, DT, LR, LGBM, ETC, SVM, dan NC, di
mana prediksi acak dengan AUC=0.5 ditentukan oleh garis putus-putus. Area di
Bawah Kurva (AUC) diterapkan dalam klasifikasi untuk menentukan model mana
yang memprediksi hasil terbaik. Menurut kurva ROC, XGBoost, AdaBoost, dan RF
memiliki kinerja lebih baik dibandingkan model lainnya dari segi AUC. Dalam
Gambar ini, area di bawah kurva (AUC) untuk XGBoost, AdaBoost adalah 0,74%,
Random Forest adalah 0,74%, Logistic Regression adalah 0,72%, Extra Tree
Classifier adalah 0,67%, Light Gradient Boosting Model adalah 0,60%, dan SVM
adalah 0,62%.
Gambar 4.4. menunjukkan grafik batang perbandingan akurasi dari
berbagai pengklasifikasi untuk kategori-kategori berbeda dari gambar wajah.
Evaluasi dan validasi kinerja serta analisis kualitas gambar wajah didasarkan
pada akurasi, spesifisitas, dan sensitivitas dari hasil eksperimen teknik yang
diusulkan. Hasil eksperimen menunjukkan bahwa XGBoost adalah model
klasifikasi terbaik yang memberikan akurasi terbaik (78%) untuk memprediksi
gambar wajah dibandingkan dengan pengklasifikasi lainnya seperti AdaBoost
(77%), RF (75%), NB (68%), DT (57%), LR (71%), LGBM (58%), ETC (57%), SVM (58%), dan
NC (62%).

Gambar 4.3. ROC-AUC Curve Gambar 4.4. Metriks Akurasi dari

CM

18
4.4. Kesimpulan dan Saran dari Peneliti Aslinya
Masalah kesamaan wajah, seperti kemiripan dan kembar identik, terutama
dalam situasi kriminal, menjadi hambatan signifikan dalam penyelidikan forensik
dan deteksi. Metode yang diusulkan dalam karya ini mengenali wajah dengan
menggunakan gambar wajah 2D yang dikumpulkan dari web untuk
mengaproksimasi mesh wajah 3D menggunakan 468 landmark dari kerangka
media pipe, mengukur jarak Euclidean dan geodesik beserta rasio mereka, serta
menggunakan berbagai pengklasifikasi yang dapat memberikan keputusan
pencocokan yang benar dalam lingkungan yang tidak terbatas. Penggunaan
optimisasi hiperparameter untuk membandingkan kinerja pengenalan model
pembelajaran mesin secara statistik menunjukkan bahwa pengklasifikasi Extreme
Gradient Boosting (XGB) memberikan akurasi terbaik (78%) untuk memprediksi
gambar wajah dibandingkan dengan Adaptive Boosting (77%), Random Forest
(75%), Bernoulli Naive Bayes (68%), Decision Tree (57%), Logistic Regression (71%),
Light Gradient Boosting Model (58%), Extra Tree Classifier (57%), Support Vector
Machine (58%), dan Nearest Centroid (62%).
Mampu membedakan antara wajah-wajah yang mirip seperti kembar dan
kembar identik masih merupakan tantangan yang sulit, oleh karena itu studi masa
depan kami akan melibatkan pembangunan sistem FRS multimodal dengan
menggunakan berbagai modalitas untuk mengatasi tantangan tersebut.
Pekerjaan masa depan juga akan meneliti metode yang lebih dapat diandalkan
untuk meningkatkan akurasi dari penelitian ini dengan mengembangkan dataset
gambar wajah yang lebih besar dan klasifikasi terbaik.

19
 BAB IV
PEMBAHASAN

5.1. Alasan Review

Alasan review jurnal ini terletak pada ketertarikan reviewer terhadap machine
learning, dan menariknya penelitian ini memiliki Gap dan Novelty yang sangat bagus
sesuai dengan topik yang sangat penting untuk dibahas saat ini, mengingat sekarang
banyak kejahatan siber seperti deepfake yang bertebaran disekitar masyarakat luas.

Gambar 4.5. Analisa dari Vos Viewer

Penelitian ini menarik karena menggabungkan Forensics Science dan

Development untuk Artificial Intelligence (AI) yang memang diperlukan untuk
pengembangannya.

5.2. Saran Review

a. Penggunaan Metode Pembanding yang Lebih Komprehensif dengan
memastikan penelitian mencakup pembanding yang lebih komprehensif dengan
mempertimbangkan lebih banyak metode atau pendekatan alternatif. Hal ini
dapat memberikan wawasan yang lebih mendalam tentang keunggulan atau
kelemahan dari metode yang diusulkan.
b. Evaluasi yang Lebih Mendalam terhadap Aspek Keamanan dan Privasi
melibatkan penggunaan teknologi pengenalan wajah untuk keperluan keamanan
atau forensik, perlu diperhatikan evaluasi lebih mendalam terhadap aspek
keamanan dan privasi. Ini termasuk pertimbangan etika, keamanan data, dan
kepatuhan terhadap regulasi privasi yang berlaku. Menjaga privasi individu dan
mengidentifikasi potensi risiko keamanan harus menjadi perhatian utama dalam
penelitian teknologi ini.

20
 DAFTAR PUSTAKA

[1] S. Lefcourt dan G. Falco, AI Forensics, 2023.

[2] L. Shi, X. Wang dan Y. Shen, “Research on 3D Face Recognition Method Based
on LBP and SVM,” Journal Pre-proof, 2020.
[3] B. A.-H. Khalid Mohamed Nahar, A. A. Bataine dan R. M. Al-Khatib, “Twins and
Similar Faces Recognition Using Geometric and Photometric Features with
Transfer Learning,” International Journal of Computing and Digital Systems,
2022.
[4] R. S. Kute, V. Vyas dan A. Anuse, “Component-based Face Recognition under
Transfer Learning for Forensic Applications,” Information Sciences, 2018.
[5] K. Alhanaeea, M. Alhammadia, N. Almenhalia dan M. Shatnawia, “Face
Recognition Smart Attendance System using Deep Transfer Learning,”
Procedia Computer Science, 2021.

21