Sherli Trisnawati Dan Suci v5 - No Template
Sherli Trisnawati Dan Suci v5 - No Template
JUDUL
Berdasarkan uraian dari tabel 1 diatas, dapat dilihat penggunaan YOLO belum digunakan untuk
deteksi karyawan, maka kami akan menggunakan YOLOv9 untuk mengisi kebaharuan dan
menutup celah penelitian sebelumnya, seperti yang dijabarkan pada tabel 2.
Table 2. Tabel Kontribusi
E. METODE
Penelitiam ini dilakukan selama 1 tahun, dimulai dari pengumpulan dataset gambar karyawan,
sampai dengan pengembangan model AI unttuk deteksi karyawan
Metode Penelitian
Penelitian ini bertujuan mengimplementasikan algoritma YOLO untuk mengatasi antrian
panjang di mesin absensi yang masih menggunakan sistem pengenalan wajah. Kami akan
menggunakan YOLOv9 dan edge computing untuk melakukan deteksi kehadiran dan kepulangan
banyak karyawan dalam 1 frame kamera secara otomatis.
Pada sistem ini, karyawan cukup melewati pintu utama yang telah terpasang IP Camera untuk
melakukan deteksi presensi karyawan. Seperti yang diilustrasikan digambar dibawah ini.
1. Tapo IP Camera
2. Edge Computing Jetson Nano Orin
3. HDMI Monitor untuk Monitoring
4. Smartphone untuk mengambil foto karyawan sebagai dataset
5. Tablet untuk melakukan anotasi
B. Software, Library dan Framework
Adapun kebutuhan piranti lunak yang digunakan dalam sistem ini adalah
1. Compute Unified Device Architecture (CUDA) untuk inferensi
2. Pytorch sebagai framework deep learning
3. Ultralytics sebagai library YOLOv9 yang akan digunakan dalam model kami
4. OpenCv-Python digunakan sebagai library untuk pengolahan gambar
5. Visual Studio Code digunakan sebagai software untuk pengkodean
6. Albumentation, python library untuk augmentasi gambar
7. VNC Remote, untuk melakukan remote dari HDMI Monitor ke Jetson
C. Pengumpulan Dataset
Untuk pengumpulan dataset kami akan menggunakan smartphone untuk memfoto karyawan
beserta varian atributnya seperti hijab, masker, kacamata, topi, cincin, kalung, dll.
D. Labelling dan Anotasi
Proses labelling akan dilakukan di roboflow, dengan komposisi 200 gambar per-karyawan yang
akan diaugmentasi dengan alb
E. Pengkodean Model Ai
Kami menggunakan Python dan OpenCV untuk melakukan pengkodean pada model AI deteksi
sampah.
E. Integrasi Model AI ke Jetson
IP Camera akan dihubungkan dengan wifi untuk mengalirkan feed ke Jetson yang akan diterima
oleh YOLO untuk dilakukan deteksi karyawan yang hadir dan pulang dan mencatat jam
kehadiran dan kepulangannya.
Adapun illustrasi penggunaan dari hardware dan software ini diilustrasikan pada gambar 11.
Algoritma YOLO
Penelitian ini menggunakan algoritma YOLO untuk mendeteksi objek secara real-time pada
gambar dan video yang menerapkan algoritma DeeP Learning, metode ini bekerja dengan
menggabungkan deteksi objek dan perhitungan bounding box dalam satu langkah. Berikut ini
adalah langkah-langkah umum cara YOLO bekerja.
1. Pada tahap pertama YOLO akan melakukan pemecahan gambar untuk dibagi menjadi
sel-sel (grid cells) (37) setiap sel berfungsi untuk memprediksi objek yang berada
didalamnya (38).
2. Selanjutnya, setiap sel akan memprediksi beberapa bounding box dengan skor
kepercayaan (confidence score) (39). Bounding box ini merupakan koordinat antara
objek yang dideteksi dengan koordinat yang ada di dataset (40).
3. Selanjutnya pada langkah terakhir, YOLO menggunakan teknik Non-Maximum
Supression (NMS) untuk menghapus bounding box yang memiliki kepercayaan rendah
(41) dan hanya mempertahankan bounding box dengan kepercayaan tinggi (42).
4. Terkahir, model memberikan output berupa bounding box yang berisi prediksi objek
bersama dengan skornya. Setiap bounding box juga menyertakan label kelas objek dan
tingkat kepercayaan model terhadap prediksi tersebut.
Dalam gambar 4 dibawah ini, kami menggunakan foto karyawan atas nama Ibu Sherli
Trisnawati sebagai sample Dataset dalam deteksi. Pada gambar 4, diilustrasikan bagaimana
YOLO melakukan deteksi pada gambar.
JADWAL PENELITIAN
Tahun ke-1
Bulan
No Nama Kegiatan
1 2 3 4 5 6 7 8 9 10 11 12
Mengumpulkan jurnal-jurnal
1 x
dan paper
Systematic literature review
2 x x
(SLR)
Melakukan pengambilan data
3 x x
karyawan
Resizing, Augmentasi, labeling
4 x x
dan training.
5 Implementasi Metode YOLO x x x
6 Integrasi Model AI ke Jetson x
7 Setup IP Camera x
Melakukan Testing dan
8 x
Evaluasi ke Jalan-Jalan Kota
Penyusunan naskah publikasi
9 x x x x
(jurnal internasional
Penyusunan dokumen untuk
10 x x
pendaftaran HKI
Penyusunan buku refrensi hasil
11 x x x x x x x
penelitian (ISBN)
Penyusunan laporan kemajuan
12 x x x
tahun pertama
Seminar atau monev laporan
13 x x
kemajuan tahun pertama
Penyerahan Laporan tahun ke-
14 x
1
REFERENSI
1. Pemerintah Provinsi Jawa Timur. PERGUB Prov. Jawa Timur No. 19 Tahun 2022 [Internet]. Database
Peraturan BPK, No 19 Indonesia: BD Provinsi Jawa Timur Tahun 2022 No 19 Seri E; Mar 31, 2022.
Available from: https://peraturan.bpk.go.id/Details/227659/pergub-prov-jawa-timur-no-19-tahun-2022