DETEKSI PENGGUNA MASKER PADA RUANGAN UNTUK KENDALI

PINTU OTOMATIS BERBASIS DEEP LEARNING

Oleh :
Muh. Arsandi (1929142039)
Farros Taufiqur Rahman (1929140002)
Cyahrani Wulan Purnama Rasyid (1929142009)
Nurul Rahma (1929142055)
Jumilah (1929140017)
Iswanda (1929142051)
Muh Aldi Islami (1929142045)
Ihlasul Amal (1929141034)
Maulana Muhammad (1929141016)
Andi Muh Weeby Bryantita (1929142018)
St.Aisyah (1829142025)
Silfia Andriani (1929142052)

PROGRAM STUDI
TEKNIK INFORMATIKA DAN KOMPUTER
FAKULTAS TEKNIK
UNIVERSITAS NEGERI MAKASSAR
2022
 DAFTAR ISI

DAFTAR ISI ii
DAFTAR GAMBAR iii
BAB I 1
PENDAHULUAN 1
A. Latar Belakang 1
B. Rumusan masalah 2
C. Tujuan 2
D. Manfaat 2
BAB II 4
LANDASAN TEORI 4
A. Selenoid Pintu 4
B. Esp 32 4
C. Esp32 Camera 4
D. Kabel Jumper 5
E. Power Supply 6
F. Relay 5V 6
G. Tensorflow 7
H. Keras 8
I. YOLO Face Recognition 8
BAB III 9
ANALISIS DAN RANCANGAN SISTEM 9
A. Desain Alur Kerja 9
B. Rancangan Sistem Arsitektur 9

ii
BAB IV
IMPLEMENTASI
A. Spesifikasi Hardware
B. Spesifikasi Software
C. Akuisisi Data
BAB V
HASIL DAN PEMBAHASAN
A. Koding Training Citra
B. Koding Arduino
BAB VI
KESIMPULAN DAN SARAN
A. Kesimpulan
B. Saran

ii
DAFTAR GAMBAR
Gambar 2.1 Selenoid Door Lock 4
Gambar 2.2 ESP32-CAM 5
Gambar 3.1 Kabel Jumper 6
Gambar 2.4 Power Supply 6
Gambar 2.5 Relay 5V 7
Gambar 3.1 Flowchart 9
Gambar 3.2 Rancangan Sistem Arsitektur 10

iv
BAB I
PENDAHULUAN
A. Latar Belakang
Penyakit coronavirus (COVID-19) dikategorikan sebagai pandemi oleh
Organisasi Kesehatan Dunia (WHO). Saat ini, jumlah penderita COVID-19 di
Indonesia terus meningkat, dimana data terakhir menunjukan ada lebih dari
300.000 orang yang terkonfirmasi positif. Menurut Pusat Pengendalian dan
Pencegahan Penyakit (CDC), gejala-gejala COVID-19 bisa sangat ringan hingga
berat, termasuk diantaranya; demam hingga 38°C, batuk, dan sesak nafas.
COVID19 lebih dari sekedar krisis kesehatan, karena memberikan imbas pada
krisis kemanusiaan, ekonomi dan sosial (Sheikhi et al., 2020). Selain berimbas di
ekonomi, sosial dan kemanusiaan juga berimbas ke bidang pendidikan. Saat ini di
dunia pendidikan masih melaksanakan pembelajaran via online atau bisa disebut
dengan daring dikarenakan pandemi COVID-19. Baik dari tingkat PAUD,
TK/RA, SD/MI, SMP/MTS, SMA/SMK, Universitas maupun Perguruan Tinggi
saat ini merasakan dampak dari COVID-19.
Oleh sebab itu penting adanya sebuah sistem otomasi yang dapat mendeteksi
masker untuk menjaga/mencegah orang orang yang tidak menggunakan masker
agar tidak dapat memasuki tempat/ruangan yang wajib untuk menggunakan
masker secara otomatis. Pada penelitian ini yang menjadi fokusan utama adalah
untuk mendeteksi masker yang digunakan oleh pengunjung dengan berbagai
variasi masker yang ada di pasaran saat ini, dan selanjutnya adalah mengontrol
motor servo sesuai dengan kondisi pendeteksian apakah menggunakan masker
ataupun tidak secara realtime yang dimana motor servo berfungsi untuk membuka
dan menutup pintu secara otomatis.
Penelitian ini akan menggunakan Arduino uno dan sebagai mikrokontroler
yang dilengkapi untuk mengirimkan data hasil monitoring suhu ke komputer yang
telah ditentukan. Perangkat input akan menggunakan kamera webcam untuk
mendeteksi wajah dan sensor suhu inframerah MLX90614 karena telah terbukti
keakuratannya dalam mengukur suhu tubuh. Alat yang dibuat juga akan
dilengkapi dengan LCD 16x2 dan buzzer untuk memberi peringatan bila ada suhu
tubuh terdeteksi lebih dari 37°C. Metode deteksi wajah yang digunakan adalah
metode Haar Cascade Classifier. Hasil dari rancang bangun alat ini diharapkan
dapat membantu dalam monitoring suhu tubuh pengunjung kampus Universitas
Negeri Makassar untuk meminimalisir penyebaran COVID-19.

1
B. Rumusan masalah
Pada tahapan ini dilakukan perumusan masalah yang terjadi di lapangan. Pada
masa pandemi seperti sekarang adalah kebiasaan masyarakat yang harus diubah,
di mana setiap orang harus menggunakan masker dan melakukan physical
distancing untuk dapat menekan penyebaran virus COVID-19 ini. Terutama
ketika masuk ke dalam lingkungan kantor di mana terkadang orang lupa untuk
menjaga jarak ataupun menggunakan masker ketika bekerja
C. Tujuan
Adapun tujuan dari aplikasi deteksi masker ini untuk memahami dan mengerti
tentang bagaimana cara membuat dan mengimplementasikan aplikasi deteksi
masker untuk mencegah penularan COVID-19. tujuan dari aplikasi ini juga untuk
mengembangkan pemahaman mengenai matakuliah Perpasive Computing dan
Deep Learning.
D. Manfaat
Adapun manfaat dari aplikasi deteksi masker ini adalah dapat membantu
petugas dalam mengawasi masyarakat yang tidak taat aturan protocol covid-19.
Sehingga dengan adanya aplikasi deteksi masker ini dapat mencegah orang yang
tidak menggunakan masker untuk memasuki ruangan dan juga petugas yang ada
di area tersebut dapat segera menanganinya.

2
 BAB II
LANDASAN TEORI
A. Selenoid Pintu
Selenoid door lock merupakan perangkat elektronik yang prinsip kerjanya
menggunakan elektromagnetik. Selenoid door lock umumnya menggunakan
tegangan kerja 12 volt. Pada kondisi normal perangkat ini dalam kondisi tertutup
(mengunci pintu), ketika diberi tegangan 12 volt maka kunci akan terbuka. Untuk
mengendalikan Selenoid door lock dari arduino dibutuhkan rangkaian antarmuka
atau driver. Salah satunya dapat menggunakan relay 5 volt. Dengan menggunakan
relay ini maka Selenoid door lock dapat dikendalikan oleh mikrokontroler pada
Arduino.

Gambar 2.1 Selenoid Door Lock

B. Esp 32
ESP32 adalah microcontroller yang dikenalkan oleh Espressif System dan
merupakan penerus dari microcontroller ESP8266. Pada microcontroller ini sudah
tersedia modul WiFi dalam chip sehingga sangat mendukung untuk membuat
sistem aplikasi Internet of Things. ESP32 sendiri tidak jauh berbeda dengan
ESP8266 yang familiar di pasaran, hanya saja ESP32 lebih kompleks
dibandingkan ESP8266.
C. Esp32 Camera
Esp32 Camera merupakan salah satu mikrokontroler yang memiliki fasilitas
tambahan berupa bluetooth, wifi, kamera, bahkan sampai ke slot mikroSD. Esp32
Camera ini biasanya digunakan untuk project IoT (Internet of Things) yang
membutuhkan fitur kamera. Modul Esp32 Camera memiliki lebih sedikit pin I/O
dibandingkan modul ESP32 produk sebelumnya, yaitu ESP32 Wroom. Hal ini
dikarenakan sudah banyak pin yang digunakan secara internal untuk fungsi
kamera dan fungsi slot kartu microSD. Selain itu, modul Esp32 Camera juga tidak
memiliki port USB khusus (mengirim program dari port USB komputer). Jadi

3
 untuk memprogram modul ini Anda harus menggunakan USB TTL atau kita
dapat menambahkan modul tambahan berupa downloader khusus untuk Esp32
Camera.

Gambar 2.2 ESP32-CAM

D. Kabel Jumper
Kabel jumper adalah penghubung listrik dengan masa pakai ulang hanya
beberapa kali. Alat ini digunakan sebagai pengganti sakelar. Harga jumper lebih
murah dibandingkan sakelar. Kabel jumper dapat dipasang secara semipermanen.
Pemakaiannya banyak di papan sirkuit cetak selama percobaan. Dalam gambar
teknik listrik, tidak ada simbol standar yang mewakili kabel jumper. Bahan
pembuatan jumper adalah tab plastik berbentuk persegi panjang dengan ukuran
yang sangat kecil. Bagian penghantarnya terbuat dari sepasang logam atau lebih.
Jarak antarlogam biasanya sekitar 0,1 inci atau atau 2 mm. Tujuan pemasangan
kabel jumper adalah mempersingkat atau menyederhanakan jalur rangkaian
listrik.

Gambar 3.1 Kabel Jumper

E. Power Supply
Power Supply atau dalam bahasa Indonesia disebut dengan Catu Daya
adalah suatu alat listrik yang dapat menyediakan energi listrik untuk perangkat
listrik ataupun elektronika lainnya. Pada dasarnya Power Supply atau Catu daya

4
 ini memerlukan sumber energi listrik yang kemudian mengubahnya menjadi
energi listrik yang dibutuhkan oleh perangkat elektronika lainnya. Oleh karena
itu, power supply kadang-kadang disebut juga dengan istilah Electric Power
Converter.

Gambar 2.4 Power Supply

F. Relay 5V
Relay adalah Saklar (Switch) yang dioperasikan secara listrik dan merupakan
komponen Electromechanical yang terdiri dari 2 bagian utama yakni
Elektromagnetic (Coil) dan Mekanikal (seperangkat Kontak Saklar/Switch).
Relay menggunakan prinsip elektromagnetik untuk menggerakkan kontak saklar
sehingga dengan arus listrik yang kecil (low power) dapat menghantarkan listrik
yang bertegangan lebih tinggi. Sebagai contoh, dengan Relay yang menggunakan
Elektromagnetik 5V dan 50 mA mampu menggerakan Armature Relay (yang
berfungsi sebagai saklarnya) untuk menghantarkan listrik 220V 2A

Gambar 2.5 Relay 5V

5
G. Tensorflow
TensorFlow adalah library yang dikembangkan oleh google dan merupakan
salah satu library yang paling populer serta banyak digunakan untuk
mengembangkan dan menerapkan Machine Learning dan algoritma lain yang
memiliki banyak operasi matematika untuk dilakukan. Google meluncurkan
TensorFlow untuk memperkenalkan ekosistem yang menyediakan kumpulan alur
kerja untuk mengembangkan dan melatih model, untuk mengimplementasikan
Machine Learning di hampir semua aplikasi. Sebenarnya, kita semua
menggunakan TensorFlow begitu sering tanpa menyadari bahwa penggunaannya:
Google Foto atau Google voice, kamu menggunakan model TensorFlow secara
tidak langsung, model tersebut bekerja pada kelompok besar perangkat keras
Google dan sangat kuat dalam tugas perseptual. TensorFlow memiliki lebih dari
150 ribu bintang GitHub dan sekitar 83,2 ribu garpu GitHub (Github Forks). Repo
open source TensorFlow di GitHub adalah resource yang bagus.
H. Keras
Keras adalah API jaringan saraf tingkat tinggi yang ditulis dalam Python.
Library jaringan saraf yang bersifat open source ini dirancang untuk memberikan
eksperimen cepat dengan jaringan saraf yang dalam, dan dapat berjalan di atas
CNTK, TensorFlow, dan Theano. Keras berfokus untuk menjadi modular, user
friendly, dan bersifat extensible. Kerangka kerja ini tidak menangani komputasi
tingkat rendah namun sebaliknya, akan menyerahkan tugas tersebut ke library lain
yang disebut Backend. Keras diadopsi dan diintegrasikan ke dalam TensorFlow
pada pertengahan 2017. Pengguna dapat mengaksesnya melalui modul tf.keras.
Namun, library Keras masih dapat beroperasi secara terpisah dan mandiri.
I. YOLO Face Recognition
Metode pengenalan objek dalam satu tahap tanpa melakukan klasifikasi ulang
sehingga menjadi lebih cepat yaitu You Only Look Once atau YOLO. Modifikasi
YOLO yaitu YOLOv2 YOLOv3, dan YOLO-LITE. YOLO menerapkan neural
network pada sebuah citra, kemudian membagi citra menjadi daerah dan
memprediksi bounding box serta probabilitas untuk masing-masing daerah.
Probabilitas untuk setiap bounding box kemudian dihitung untuk
mengklasifikasikan sebagai objek atau bukan. YOLO dapat melakukan
pengenalan objek secara real-time dengan kecepatan 45 frame per second.
YOLO-LITE merupakan pengembangan dari YOLO yang dapat dijalankan pada
komputer portable seperti laptop atau cellphone dengan keterbatasan pada GPU.

6
 BAB III
ANALISIS DAN RANCANGAN SISTEM
A. Desain Alur Kerja
Pada bagian desain alur kerja yaitu 3.1 menjelaskan mengenai alur dari proses
bagaimana sistem deteksi pengguna masker pada ruangan untuk kendali pintu
otomatis bekerja. Jadi pada bagian ini merupakan alur proses awal mulai ESP32
CAM mendeteksi wajah pengguna yang akan memasuki ruangan. Apabila wajah
pengguna menggunakan masker maka proses akan berlanjut dan pintu terbuka,
sebaliknya apabila wajah pengguna tidak menggunakan masker maka pintu
terkunci dan buzzer menyala.

Gambar 3.1 Flowchart

B. Rancangan Sistem Arsitektur
Proses perancangan sistem ini dapat dilihat dan diketahui dari gambar 3.2.
dapat diketahui letak masing-masing komponen perangkat keras yang
diimplementasikan. Komponen utama yang digunakan adalah ESP32 CAM.
Rangkaian tersebut merupakan gabungan dari beberapa komponen yang
digunakan yaitu

7
Gambar 3.2 Rancangan Sistem Arsitektur

8
 BAB IV IMPLEMENTASI
A. Spesifikasi Hardware
1. ESP32 CAM
ESP32 CAM digunakan untuk melakukan pengambilan gambar wajah
yang ingin dideteksi. ESP32 CAM akan mengambil citra secara realtime
untuk memastikan tidak ada wajah yang terlewatkan. Untuk Spesifikasinya
sebagai berikut :
- Konektivitas : WiFi 802.11b / g / n + Bluetooth 4.2, mendukung
unggahan gambar melalui WiFi.
- Pin : UART, SPI, I2C, Dan PWM. Memiliki 9 pin GPIO.
- Kecepatan : hingga 160Mhz.
- Memory : 520KB SRAM + 4MB PSRAM + slot kartu SD
- Kamera: Mendukung kamera OV2640 yang dapat disertakan dalam
kemasan atau dibeli sendiri. Jenis kamera ini memiliki 2 MP pada
sensor, Ukuran citra UXGA 1622 × 1200 px, Format warna YUV422,
YUV420, RGB565, RGB555 dan kompresi data 8-bit, dan dapat
mentransfer gambar antara 15 dan 60 FPS.
2. Arduino
Arduino digunakan untuk menyambungkan dan mengendalikan modul
lainnya seperti ESP32 CAM, Buzzer dan Relay. Spesifikasi Arduino UNO
sebagai berikut :
- Microcontroller : ATmega328P
- Input Voltage : 6-20V
- Pin : Digital I/O Pins 14 (of which 6 provide PWM output), PWM
Digital I/O Pins 6, Analog Input Pins 6
- Memori : SRAM 2 KB, EEPROM 1 KB (ATmega328P)
- Kecepatan : 16 MHz
3. Solenoid Door Lock
Solenoid Door Lock adalah sebagai pengunci pintu dan apabila orang
tersebut menggunakan masker maka pintu akan terbuka

9
 4. Relay
Relay adalah berfungsi sebagai switch digital antara Power Supply dan
Solenoid Door Lock
5. Power Supply
Power Supply berfungsi sebagai pengubah tegangan AC ke DC dan
menurunkan tegangan seperti trasnformator untuk selenoid agar berfungsi
optimal dan tidak merusak komponen.
6. Buzzer
Buzzer berfungsi sebagai tanda peringatan untuk orang yang tidak
menggunakan masker
7. Led
Led berfungsi sebagai penanda apabila orang tersebut menggunakan masker
maka LED hijau akan menyala dan apabila orang tersebut tidak menggunakan
masker maka LED merah akan menyala.
8. Laptop
Laptop yang digunakan adalah untuk melakukan face recognition,
spesifikasi laptopnya adalah sebagai berikut :
- Prosesor : Intel Core I7 2.9GHz
- RAM : 8GB DDR4
- Memori : SSD SATA III 256GB + HDD 1 TB
B. Spesifikasi Software
1. Arduino IDE
Arduino IDE digunakan untuk melakukan pengkodean pada Arduino
dan ESP32 CAM. Untuk versi Arduino IDE yang digunakan adalah versi
1.8.19
2. Jupyter Notebook
Jupyter Notebook digunakan untuk melakukan pengkodean program
deteksi wajah. Untuk Jupyter Notebook yang digunakan adalah versi 6.4.5 dan
menggunakan metode YOLOv5 untuk pendeteksian wajahnya.

10
C. Akuisisi Data
Dataset training yang digunakan diambil dari website kaggle dimana
Dataset yang digunakan terbagi menjadi 2 folder dataset yaitu data train dan
data uji, data train digunakan pada saat proses pelatihan untuk mendapatkan
model terbaik sedangkan data uji adalah dataset yang digunakan untuk
melakukan pengujicobaan sistem yang diambil dari hasil take citra secara
realtime menggunakan esp 32 cam. Setiap folder dataset terdiri dari 3 kelas
yaitu menggunakan masker, penggunaan masker tidak baik, dan tidak
menggunakan masker. setiap kelas terdiri dari 30 citra latih jadi total dataset
training yang digunakan sebanyak 90 citra.

11
 BAB V HASIL DAN PEMBAHASAN
A. Koding Training Citra
1. Melakukan clone yolov5 dari github dan lakukan instalasi library yang
dibutuhkan

2. Mengimport library yang akan digunakan

3. Membuat tabel label dataset

12
4. label dataset dibaca dan dimasukkan dalam tabel

5. Membuat array nama label dengan kodenya 0, 1, dan 2

6. Membuat kolom class yang berisi kode dari label

13
7. Membagi dataset ,menjadi 90% data training, 7% data validasi, 3% data
testing.

8. Membuat direktori training, validasi, testing, dan labelnya

9. Membuat fungsi untuk membaca gambar dan mengubah ukurannya

10. Memindahkan gambar training, validasi, dan testing ke folder yang berbeda

14
11. Menyesuaikan data tabel label karena gambar telah diubah ukurannya

12. Membuat fungsi untuk membuat label

13. Membuat label training, validas, dan testing

15
14. import library torch dan yolov5 untuk proses training display untuk
menampilkan hasil

15. Menyiapkan data yaml

16. Membuka file yaml lalu

menulis datanya

17. Menyiapkan library dan

fungsi untuk membuat
layer kostum

18. Memasukkan layer kostum

16
 19. Melakukan training dengan jumlah 32 batch tiap epoch, jumlah epoch 100x,
dan menggunakan layer kostum.

20. Menampilkan hasil training

Label 0 untuk yang memakai masker, 1 untuk yang memakai masker tidak
baik, 2 untuk yang tidak memakai masker

17
21. Melakukan deteksi dari citra testing

22. Menampilkan gambar hasil testing dengan fungsi yang dapat memberikan
label

18
 Sebagai contoh menampilkan gambar nomor 466 dan 164

B. Koding Arduino
1. Mendefenisikan pin yang akan digunakan

19
2. Mendefenisikan variabel yang akan digunakan

3. Mendefenisikan rate dari serial dan pin output yang digunakan

4. Apabila ada serial yang dikirimkan oleh python, maka Arduino akan
membaca serial dalam bentuk char

5. Apabila belum ada enter yang diberikan oleh serial, maka akan terus
menambahkan index char dan menambahkan char baru. Bila terdapat enter
didalam serial, maka berhenti membaca serial lalu merubah serial yang
awalnya berbentuk char menjadi string, lalu reset index menjadi 0.

20
6. Apabila serial yang diterima adalah menggunakan masker tidak baik, maka
pintu terkunci dan led kuning menyala sebagai tanda peringatan lalu delay
selama 1000ms

7. Apabila serial yang diterima adalah tidak menggunakan masker, maka pintu
terkunci, led merah menyala dan buzzer berbunyi lalu delay selama 1000ms

8. Apabila serial menerima selain yang diatas, maka pintu terbuka dan led hijau
menyala.

21
9. Reset hasil string serial untuk melakukan deteksi selanjutnya

BAB VI KESIMPULAN DAN SARAN

A. KESIMPULAN

22
 Adapun kesimpulan yang dapat diambil dalam proses pengerjaan tugas akhir
ini adalah sebagai berikut:
Deteksi pengguna masker pada ruangan untuk kendali pintu otomatis berbasis
deep learning mampu mendeteksi masker yang digunakan oleh manusia
dengan cara menggunakan kamera. apabila lampu LED berwarna hijau maka
pintu akan terbuka yang menandakan bahwa orang tersebut menggunakan
masker dengan benar, apabila lampu LED berwarna kuning maka pintu tidak
akan terbuka yang menandakan bahwa orang tersebut menggunakan masker
dengan cara yang kurang benar dan apabila lampu LED berwarna merah maka
pintu tidak akan terbuka yang menandakan bahwa orang tersebut tidak
menggunakan masker , agar masker wajah terdeteksi dengan baik dibutuhkan
kondisi cahaya yang lebih baik, karena jika lokasi pemasangan dilakukan di
lokasi yang tidak cukup cahaya, masker detektor tidak cukup baik untuk
mendeteksinya.

B. SARAN
Adapun beberapa saran untuk peneletian lebih lanjut, diharapkan semua orang
dapat menggunakan masker yang lebih beragam sehingga memungkinkan
untuk meningkatkan akurasi pada alat ini untuk membantu pencegahan
penyebaran COVID-19 dari pengunjung yang tidak menggunakan masker,

23