PENERAPAN METODE CONVOLUTIONAL NEURAL

NETWORK UNTUK MENDETEKSI EKSPRESI WAJAH

BERBASIS MULTIPLATFORM

Oleh:

WAHYU SYARIF HIDAYATULLAH

1810530134

PROGRAM STUDI ILMU KOMPUTER

UNIVERSITAS BUMIGORA
MATARAM
2019
1. Latar Belakang
Emosi adalah suatu reaksi tubuh dalam menghadapi situasi
tertentu. Sifat dan intensitase emosi biasanya terkait erat dengan
aktivitas kognitif (berpikir) manusia sebagai hasil persepsi terhadap
sesuatu. Setiap emosi akan di ekspresikan kedalam bentuk verbal
dan non verbal. Salah satu contoh dari ekspresi non verbal adalah
bentuk raut wajah, dengan hanya melihat bentuk raut muka wajah,
kita bisa mengetahui kondisi emosi seseorang.
Deep Learning adalah bagian dari kecerdasan buatan dan
machine learning, yang merupakan pengembangan dari neural
network multiple layer untuk memberikan ketepatan tugas seperti
deteksi objek, pengenalan suara, terjemahan bahasa dan lain –
lain. Deep Learning berbeda dari teknik machine learning yang
tradisional, karena deep learning secara otomatis melakukan
representasi dari data seperti gambar, video atau text tanpa
memperkenalkan aturan kode atau pengetahuan domain manusia.
Deteksi objek, salah satu masalah yang paling mendasar
dan menantang dalam visi komputer, berusaha untuk menemukan
contoh objek dari sejumlah besar kategori yang telah ditentukan
dalam gambar. Teknik pembelajaran mendalam telah muncul
sebagai strategi yang kuat untuk mempelajari representasi fitur
langsung dari data dan telah menyebabkan terobosan luar biasa di
bidang deteksi objek generik.
Pada beberapa penelitian sebelumnya, peneliti menerapkan
metode Siamese Neural Network untuk memverifikasi kemiripan
wajah dan menggunakan phyton sebagai bahasa pemrogaman
yang dimana hasil dari penelitian tersebut tersebut tidak bisa
dijalankan oleh media perangkat lain. Sedangkan pada penelitian
lainnya, peneliti menggunakan platform android sebagai media
yang digunakan untuk mengidentifikasi tanaman obat secara non
realtime.
 Berdasarkan pada pemaparan diatas, penulis tertarik untuk
melakukan penelitian kembali tentang Deep Learning dengan
memanfaatkan kerangka kerja tensorflow untuk menganalisa
ekspresi dari raut muka seseorang secara real-time menggunakan
metode Convolutional Neural Network (CNN) yang bisa dijalankan
pada multiplatform (smartphone, web, dan desktop).

2. Rumusan Masalas
a. Bagaimana untuk menganalisa emosi dari bentuk ekspresi
wajah seseorang menggunakan algoritma Convolutional
Neural Network (CNN).
b. Bagaimana Mendesain system tersebut agar dapat berjalan
di multiplatform device.

3. Batasan Masalah
a. Pada penelitian ini hanya menganalisa emosi seseorang dari
raut muka wajah.
b. Metode deep learning yang digunakan adalah Convolutional
Neural Network (CNN).
c. Dataset yang digunakan bersumber dari internet.
d. Menggunakan Framework Flutter untuk pembuatan aplikasi.
e. Pembelajaran mesin menggunakan kerangka kerja
Tensorflow.

4. Tujuan dan Manfaat

Adapun tujuan dan manfaat dari penelitian ini adalah sebagai
berikut :
I. Tujuan
Tujuan dari penelitian ini adalah untuk mengenali ekspresi
wajah dengan menggunakan metode Convolutional Neural
Network dan menganalisa kinerja algoritma CNN tersebut.
 II. Manfaat
Adapun manfaat dari penelitian ini adalah sebagai berikut
1. Bagi penulis, menambah dan memperdalam pengetahuan
tentang cara kerja algoritma Convolutional Neural
Network (CNN) dalam penerapan Deep Learning dalam
menganalisa emosi dari raut muka wajah.
2. Bagi pengembangan illmu, hasil dari penelitian ini dapat
dijadikan referensi bagi mahasiswa mengenai algoritma
Convolutional Neural Network (CNN) dan penerapannya
dalam mengidentifikasi emosi dari raut muka wajah.
3. Bagi Masyarakat, memberikan wawasan terkait algoritma
CNN dan Deep Learning.

5. Metodologi
a. Metode Waterfall
Dalam penelitian kali ini metode yang digunakan
adalah metode waterfall. Metode waterfall menggunakan
pendekatan SDLC paling awal yang digunakan untuk
pengembangan perangkat lunak. Metode ini dilakukan
dengan pendekatan yang sistematis, mulai dari tahap
kebutuhan sistem lalu menuju ke tahap analisis, desain,
coding, testing/verification, dan maintenance. Langkah demi
langkah yang dilalui harus diselesaikan satu per satu dan
berjalan secara berurutan.
a. Requirement Analisis
Tahap ini pengembang sistem diperlukan komunikasi
yang bertujuan untuk memahami perangkat lunak yang
diharapkan oleh pengguna dan batasan perangkat lunak
tersebut. Informasi ini biasanya dapat diperoleh melalui
wawancara, diskusi atau survei langsung. Informasi
 dianalisis untuk mendapatkan data yang dibutuhkan oleh
pengguna.
b. System Design
Spesifikasi kebutuhan dari tahap sebelumnya akan
dipelajari dalam fase ini dan desain sistem disiapkan.
Desain Sistem membantu dalam menentukan perangkat
keras(hardware) dan sistem persyaratan dan juga
membantu dalam mendefinisikan arsitektur sistem secara
keseluruhan.
c. Implementation
Pada tahap ini, sistem pertama kali dikembangkan di
program kecil yang disebut unit, yang terintegrasi dalam
tahap selanjutnya. Setiap unit dikembangkan dan diuji
untuk fungsionalitas yang disebut sebagai unit testing.
d. Integration & Testing
Seluruh unit yang dikembangkan dalam tahap
implementasi diintegrasikan ke dalam sistem setelah
pengujian yang dilakukan masing-masing unit. Setelah
integrasi seluruh sistem diuji untuk mengecek setiap
kegagalan maupun kesalahan.
e. Operation & Maintenance
Tahap akhir dalam model waterfall. Perangkat lunak
yang sudah jadi, dijalankan serta dilakukan
pemeliharaan. Pemeliharaan termasuk dalam
memperbaiki kesalahan yang tidak ditemukan pada
langkah sebelumnya. Perbaikan implementasi unit sistem
dan peningkatan jasa sistem sebagai kebutuhan baru.

b. Convolutional Neural Networks (CNN)

Convolutional Neural Network (CNN) termasuk dalam
jenis deep learning karena kedalaman jaringannya. Deep
learning adalah cabang dari machine learning yang dapat
mengajarkan komputer untuk melakukan pekerjaan
selayaknya manusia, seperti komputer dapat belajar dari
proses training (Deng & Yu, 2013). CNN merupakan operasi
konvolusi yang menggabungkan beberapa lapisan
pemrosesan, menggunakan beberapa elemen yang
beroperasi secara paralel dan terinspirasi oleh sistem saraf
biologis (Hu et al., 2015). Pada CNN setiap neuron
dipresentasikan dalam bentuk 2 dimensi, sehingga metode
ini cocok untuk pemrosesan dengan input berupa citra
(Maggiori et al., 2016). Arsitektur jaringan dengan
menggunakan CNN ditunjukkan pada Gambar 1. Struktur
CNN terdiri dari input, proses ekstraksi fitur, proses
klasifikasi dan output. Proses ekstraksi dalam CNN terdiri
dari beberapa lapisan tersembunyi atau hidden layer, yaitu
lapisan konvolusi, fungsi aktifasi (ReLU), dan pooling. CNN
bekerja secara hierarki, sehingga output pada lapisan
konvolusi pertama digunakan sebagai input pada lapisan
konvolusi selanjutnya. Pada proses klasifikasi terdiri dari
fully-connected dan fungsi aktivasi (softmax) yang outputnya
berupa hasil klasifikasi (Katole et al., 2015).

Gambar 1 Arsitektur CNN

6. Perbandingan dengan Skripsi/ TA Sebelumnya

Tahu
No. Penulis Judul Pembahasan
n
1 Kartarina 2021 Deep Learning Membangun aplikasi
, Lalu Zazuli Identifikasi yang dapat
Azhar Mardedi, Tanaman Obat mengidentifikasi
Miftahul Madani, Menggunakan tanaman
Miftahul Jihad Konsep Siamese berdasarkan gambar
, Regina Aprilia Neural Network daun berbasis
Riberu android dengan
menerapkan
pendekatan Siamese
Neural Network.
2 Kartarina, Hairul 2019 Deep Leaarnign Perancangan model
Imam Kemiripan Wajah Siamese Neural
dengan Network dengan
Arsitektur menerapkan ResNet-
Jaringan 50 yang telah
Siamese dimodifikasi untuk
mempelajari fitur
yang ada pada
gambar sehingga
mampu mereduksi
dimensi gambar yang
tinggi menjadi vektor
baris rendah yang di
sebut embedding.
3 Taufiq A, 2021 Rancang Bangun Merancang dan
Pratama M, Aplikasi Android membangun sebuah
Pratama A "Kuliah Apa?" aplikasi Android yang
 Berbasis Flutter dapat memberikan
dan TensorFlow rekomendasi
Lite program studi
kepada calon
mahasiswa baru
berdasarkan nilai
mata pelajaran,
minat, dan data diri
lainnya.
4 Chris A. 2019 Deep Facial Memenafaatkan
Mattmann, Recognition kerangka kerja
Zhao Zhang using Tensorflow Tensorflow untuk
mereproduksi model
pengenalan wajah
Deep Learning yang
disebut VGG-Face.
5 HaoBiao, Dae- 2017 The Research of Menggunakan
Seong Kang Face Expression kerangka kerja
Recognition Tensorflow untuk
based on CNN membangun jaringan
using Tensorflow deep learning untuk
mengklasifikasikan
ekspresi seseorang
menggunakan
Convolutional Neural
Network (CNN).
7. Jadwal Kegiatan

Waktu Kegiatan
N Kegiata
Novembe Desembe Januar Februar Mare Apri
o n
r r i i t l
1 Bab 1
2 Bab 2
3 Bab 3
4 Bab 4
5 Bab5
6 Uji
Seminar
dan
Revisi

Telah dikonsultasikan dengan Mataram, 4 November 2021

calon dosen pembimbing Mahasiswa

( Hairani, S.Kom, M.Eng ) ( Wahyu Syarif Hidayatullah )

NIK. 18.6.298 NIM. 1810530134

Disetujui oleh Disetujui oleh

Ka Prodi S1 Teknik Informatika Dosen penguji

( Lilik Widyawati, M.Kom ) ( Hairani, S.Kom, M.Eng )

NIK. 19.6.356 NIK. 18.6.298
Halaman Tambahan :

IDENTITAS

NIM : 1810530134

NAMA LENGKAP : WAHYU SYARIF HIDAYATULLAH

PRODI : ILMU KOMPUTER

PEMINATAN (u/ s1 TI) : RPL

EMAIL : Wahyush04@gmail.com

TOPIK SKRIPSI : DEEP LEARNING

KATAKUNCI : CNN, DEEP LEARNING, TENSORFLOW

DOSEN CALON
: Hairani, S.Kom, M.Eng
PEMBIMBING