LAP-TA Tanpa Bab 5 - TW

PENDETEKSI SENJATA BERBAHAYA PADA PERCOBAAN
TINDAKAN KRIMINAL DENGAN MENGGUNAKAN

METODE YOLO (YOU ONLY LOOK ONCE)
TUGAS AKHIR
Diajukan Sebagai Salah Satu Syarat Untuk Memperoleh Gelar Sarjana Teknik
Pada Jurusan Teknik Informatika
Oleh:
ADE LUTHFI
11651103611
FAKULTAS SAINS DAN TEKNOLOGI

UNIVERSITAS ISLAM NEGERI SULTAN SYARIF KASIM RIAU
PEKANBARU
2021
i
ii
LEMBAR HAK ATAS KEKAYAAN INTELEKTUAL
Tugas Akhir yang tidak diterbitkan ini terdaftar dan tersedia di Perpustakaan
Universitas Islam Negeri Sultan Syarif Kasim Riau adalah terbuka untuk umum
dengan ketentuan bahwa hak cipta pada penulis. Referensi kepustakaan
diperkenankan dicatat, tetapi pengutipan atau ringkasan hanya dapat dilakukan
seizin penulis dan harus disertai dengan kebiasaan ilmiah untuk menyebutkan
sumbernya.
Penggandaan atau penerbitan sebagian atau seluruh Tugas Akhir ini harus
memperoleh izin dari Dekan Fakultas Sains dan Teknologi Universitas Islam
Negeri Sultan Syarif Kasim Riau. Perpustakaan yang meminjamkan Tugas Akhir
ini untuk anggotanya diharapkan untuk mengisi nama, tanda peminjaman dan
tanggal pinjam.
iii
LEMBAR PERNYATAAN
Dengan ini saya menyatakan bahwa dalam Tugas Akhir ini tidak terdapat
karya yang pernah diajukan untuk memperoleh gelar kesarjanaan di suatu
Perguruan Tinggi, dan sepanjang pengetahuan saya juga tidak terdapat karya atau
pendapat yang pernah ditulis atau diterbitkan oleh orang lain kecuali yang secara
tertulis diacu dalam naskah ini dan disebutkan didalam daftar pustaka.
Pekanbaru, 07 Februari 2021

Yang Membuat Pernyataan,
ADE LUTHFI
11351103611
iv
LEMBAR PERSEMBAHAN
Alhamdulillahi Rabbil ‘Alamin, puji syukur yang teramat dalam kepada

Allaw SWT, yang telah memberikan salah satu anugerah terindah yang tidak akan
pernah terlupakan seumur hidup.
Kepada kedua Orang Tua tercinta, terima kasih selalu berjuang,

memberikan kasih sayang dan do’a yang tak ternilai harganya, yang akan selalu
dibutuhkan kapanpun dan dimanapun. Dari lubuk hati yang paling dalam, ku
persembahkan gelar sarjan ini.
Kepada keluarga tersayang, terima kasih telah menjadi pendengar yang

baik, memberi motivasi serta semangat yang sangat berarti bagi penulis hingga
penulis bisa sampai ke titik ini.
Kepada teman-teman seperjuangan, terima kasih karena selalu ada dan

berjuang bersama. Yang sudah banyak membantu hingga penulis samapai ke titik
ini, yang sudah rela direpotkan dan tulus ikhlas membantu. Mari terus berjuang
bersama-sama dan saling memberi manfaat dan menjadi pengingat bagi sesama.
v
PENDETEKSI SENJATA BERBAHAYA PADA PERCOBAAN
TINDAKAN KRIMINAL DENGAN MENGGUNAKAN
METODE YOLO (YOU ONLY LOOK ONCE)
ADE LUTHFI
11651103611
Tanggal Sidang: 26 Januari 2020

Periode Wisuda:
Jurusan Teknik Informatika

Fakultas Sains dan Teknologi
Universitas Islam Negri Sultan Syarif Kasim Riau
ABSTRAK
Era Pandemi Covid-19 seperti sekarang ini, angka kriminalitas terus meningkat. Selain itu
CCTV (Closed Circuit Television) di indonesia saat ini tidak berperan optimal karena
CCTV masih belum berpengaruh besar dalam mengantisipasi tindakan kejahatan, serta
penggunaan CCTV khususnya di Indoesia hanya memantau kejadian dan tetap
membutuhkan manusia sebagai pengawasnya yang masih bisa lalai dalam tugasnya.
CCTV yang merekam sebuah kejadian dengan bantuan teknologi artificial inteligence
dapat mendeteksi dan mengenali suatu objek yang telah dilatih sebelumnya, Penelitian ini
memfokuskan pada tidakan kriminalitas pencurian dengan menggunakan senjata tajam
(pisau) dan senjata api yang sering terjadi pada penodongan dan memanfaatkan Artificial
Inteligent melalui kamera CCTV sehingga dapat mendeteksi dan langsung memberikan
peringatan dan tindakan kejahatan dapat dicegah. Metode YOLO (You Only Look Once)
adalah pendekatan terbaru dalam dunia pendeteksi objek. Yang mana untuk memenuhi
persyaratan deteksi dengan akurasi maupun kecepatan tinggi dan operasi secara langsung
(real-time). YOLO merupakan detektor dengan model terpadu (unified), yang mana
dengan jaringan saraf tunggal (single neural network) dapat memprediksi kotak
pembatas (Bounding Box) dan probabilitas kelas secara langsung dalam satu
gambar penuh pada sekali evaluasi. Nilai akurasi pada pengujian menggunakan
kamera webcam = 66%, presisi atau penggambaran akurasi antara data yang
diminta dengan hasil prediksi yang diberikan oleh model = 64%, dan recall atau
penggambaran keberhasilan model dalam menemukan kembali sebuah informasi
= 75%, dan testing pada video camera CCTV didapat hasil akurasi = 56%
Kata Kunci : CCTV, CNN, Deep Learning, Image Recognition, Real-time, YOLO
vi
DETECTION OF DANGEROUS WEAPONS IN CRIMINAL
ACTION EXPERIMENT USING YOLO (YOU ONLY LOOK
ONCE) METHOD
ADE LUTHFI
11651103611
Date of Final Exam : 26th January 2020

Date of Graduation Ceremony :
Informatic Engineering Department

Faculty of Science and Technology
Universitas Islam Negeri Sultan Syarif Kasim Riau
ABSTRACT
In the era of the Covid-19 Pandemic as it is today, the crime rate continues to increase. In
addition, CCTV (Closed Circuit Television) in Indonesia currently does not play an
optimal role because CCTV has not had a major influence in anticipating crime, and the
use of CCTV, especially in Indonesia, only monitors events and still requires humans as
supervisors who can still be negligent in their duties. CCTV that records an incident with
the help of artificial intelligence technology can detect and recognize an object that has
been trained before. This research focuses on the crime of theft using sharp weapons
(knives) and firearms that often occur in mugging and utilizing Artificial Intelligence
through CCTV cameras. so that it can detect and immediately provide warnings and
crime can be prevented. The YOLO (You Only Look Once) method is the newest
approach in the world of object detection. Which to meet the detection requirements with
high accuracy and speed and operation directly (real-time). YOLO is a detector with an
integrated model (unified), which with a single neural network can predict the bounding
box (bounding box) and class probability directly in one full image at one evaluation. The
accuracy value on testing using a webcam camera = 66%, the precision or depiction of
accuracy between the requested data and the prediction results given by the model = 64%,
and recall or depiction of the success of the model in finding back information = 75%,
and testing on the video camera CCTV results obtained accuracy = 56%
Keywords : CCTV, CNN, Deep Learning, Image Recognition, Real-time, YOLO
vii
DAFTAR ISI
LEMBAR PERSETUJUAN...................................................................................i
LEMBAR PENGESAHAN...................................................................................ii
LEMBAR HAK ATAS KEKAYAAN INTELEKTUAL..................................iii
LEMBAR PERNYATAAN..................................................................................iv
LEMBAR PERSEMBAHAN................................................................................v
ABSTRAK.............................................................................................................vi
ABSTRACT..........................................................................................................vii
DAFTAR ISI.......................................................................................................viii
DAFTAR GAMBAR............................................................................................xii
DAFTAR TABEL................................................................................................xx
BAB I PENDAHULUAN....................................................................................I-1
Latar Belakang ..........................................................................................I-1
Rumusan Masalah .....................................................................................I-4
Batasan Masalah........................................................................................I-4
Tujuan........................................................................................................I-4
Sistematika Penulisan................................................................................I-5
BAB II LANDASAN TEORI ........................................................................... II-1

Tindak Kriminalitas................................................................................. II-1
Senjata ..................................................................................................... II-1
2.2.1 Senjata Tajam ................................................................................ II-2
2.2.2 Senjata Api..................................................................................... II-2
Citra Digital............................................................................................. II-3
Pengolahan Citra Digital (Digital Image Processing) ............................ II-
4 Pengenalan Pola ......................................................................................
II-5
2.5.1 Pendekatan Secara Statistik ........................................................... II-5
2.5.2 Pendekatan Secara Struktural ........................................................ II-6
viii
Artificial Intelligence.................................................................................I-7
Machine Learning ................................................................................... II-7
Deep Learning......................................................................................... II-8
Artificial Neural Network ........................................................................ II-8
CNN / ConvNet (Convolutional Neural Network).................................. II-9
2.10.1 YOLO (You Only Look Once)................................................ II-13
Penelitian Terkait .................................................................................. II-
27
BAB III METODOLOGI PENELITIAN ..................................................... III-1

Alur Penelitian........................................................................................ III-1
Perencanaan............................................................................................ III-2
3.2.1 Identifikasi Masalah...................................................................... III-2
3.2.2 Perumusan Masalah ...................................................................... III-2
3.2.3 Kajian Pustaka .............................................................................. III-2
Pengumpulan Data ................................................................................. III-2
Analisa Dan Perancangan....................................................................... III-3
3.4.1 Analisis Permasalahan .................................................................. III-3
3.4.2 Analisa Kebutuhan Data ............................................................... III-3
3.4.3 Labelling data citra ....................................................................... III-5
3.4.4 Analisa Proses Deteksi.................................................................. III-5
3.4.5 Perancangan Flowchart ................................................................ III-7
Implementasi .......................................................................................... III-8
3.5.1 Training (pelatihan) ...................................................................... III-9
Pengujian ................................................................................................ III-9
Kesimpulan dan Saran.......................................................................... III-10
BAB IV ANALISA DAN PERANCANGAN .................................................IV-1
ix
Analisi Permasalahan...............................................................................V-1
Analisa Kebutuhan Data......................................................................... IV-2
Labelling Data Citra ............................................................................... IV-3
Analisa Proses Deteksi ........................................................................... IV-5
4.4.1 Resize Citra ................................................................................... IV-5
4.4.2 Analisa Arsitektur Yolo ................................................................ IV-7
4.4.3 Proses Metde CNN ..................................................................... IV-13
BAB V IMPLEMENTASI DAN PENGUJIAN.............................................. V-1

Implementasi ........................................................................................... V-1
Batasan Implementasi ............................................................................. V-1
Implementasi Pemodelan ........................................................................ V-2
5.3.1 Implementasi Training (Pelatihan) ................................................ V-2
Pengujian ................................................................................................. V-4
5.4.1 Konfusion Matrik........................................................................... V-4
5.4.2 Pengujian Testing........................................................................... V-9
5.4.3 Analisa Hasil Pengujian............................................................... V-12
BAB VI PENUTUP ..........................................................................................VI-1

Kesimpulan............................................................................................. VI-1
Saran....................................................................................................... VI-2
DAFTAR PUSTAKA..........................................................................................xiv
LAMPIRAN A................................................................................................... A-1
A.1 File Konfigurasi YOLO ........................................................................... A-1
LAMPIRAN B ................................................................................................... A-4

B.1 Hasil pengujian pada data pistol .............................................................. B-4
B.2 Hasil Pengujian pada data Pisau ............................................................ B-16
LAMPIRAN C................................................................................................... B-1
x
C.1 Hasil Pengujian dengan menggunakan kamera CCTV.............................C-1
C.2 Pengujian Menggunakan data mirip pistol dan pisau .............................. C-9
xi
DAFTAR GAMBAR
Gambar 2. 1 Contoh Senjata Tajam......................................................................I-2
Gambar 2. 2 Contoh Senjata Api ........................................................................ II-3
Gambar 2. 3 Citra Digital dalam sumbu kordinat x dan y. ................................. II-3
Gambar 2. 4 Diagram Pendekatan Secara Statistik............................................. II-6
Gambar 2. 5 Diagram Pendekatan Secara Struktual. .......................................... II-7
Gambar 2. 6 struktur jaringan saraf tiruan .......................................................... II-9
Gambar 2. 7 Arsitektur Convolutional Neural Network ................................... II-
10 Gambar 2. 8 Arsitektur CNN. ...........................................................................
II-11
Gambar 2. 9 Arsitektur sederhana YOLO. ....................................................... II-14
Gambar 2. 10 Model dari metode YOLO. ........................................................ II-15
Gambar 2. 11 Arsitektur YOLO ....................................................................... II-18
Gambar 2. 12 Gambar kiri membagi membuat grid pada citra ukuran SxS, gambar
kanan map untuk probabilitas kelas............................................. II-19
Gambar 2. 13 Pembagian nilai dari setiap grid sel............................................ II-19
Gambar 2. 14 Intersection Over Union............................................................. II-20
Gambar 2. 15 Mengukur Tensor dari 2 kelas yang sama.................................. II-20
Gambar 2. 16 Perhitungan bbox dengan class yang sama. ............................... II-21
Gambar 2. 17 Perhitungan bbox dengan class yang sama. ............................... II-
21 Gambar 2. 18 Hasil perhitungan matrix bb.......................................................
II-22
Gambar 2. 19 Perhitungan bbox dengan class yang berbeda............................ II-22
Gambar 2. 20 Perhitungan bbox dengan class yang berbeda............................ II-23
Gambar 2. 21 Perhitungan bbox dengan class yang berbeda............................ II-
23 Gambar 2. 22 Hasil dari matriks bb ..................................................................
II-24
Gambar 2. 23 Pengurutan Class berdasarkan Skor ........................................... II-
24 Gambar 2. 24 Pendaftaran Semua bbox dengan Skor kelas .............................
II-25 Gambar 2. 25 Mencari nilai IoU pada setiap bbox
........................................... II-25
Gambar 2. 26 Mencari nilai IoU pada setiap bbox ........................................... II-26
Gambar 2. 27 Mencari nilai IoU pada setiap bbox ........................................... II-26
Gambar 2. 28 Hasil akhir peneteksian YOLO .................................................. II-27
xii
Gambar 3. 1 Diagram Alur Penelitian...................................................................I-1
Gambar 3. 2 Kiri Atas (Flinlock), Kanan Atas (Revolver), Bawah Kiri (Pistol Semi
Otomatis), Bawah kanan (Pistol Otomatis) .................................. III-4
Gambar 3. 3 Dari berbagai jenis pisau dapur diatas pisau Cleaver tidak
dimasukkan ke dalam dataset karna bentuk yang berbeda dari pisau
pada umumnya
...................................................................................................... III-4
Gambar 3. 4 Proses Labelling pada tools LabelImg .......................................... III-5
Gambar 3. 5 Proses Deteksi Objek pada YOLO................................................ III-6
Gambar 3. 6 Flowchart Alur kerja sistem .......................................................... III-7
Gambar 4. 1 Proses Labelling pada tools LabelImg .......................................... IV-3
Gambar 4. 2 Kordinat Pada Pelabelan ............................................................... IV-5
Gambar 4. 3 Citra Gambar Seorang Memegang Pistol...................................... IV-6
Gambar 4. 4 Citra berukuran 416 x 416............................................................. IV-6
Gambar 4. 5 Citra yang sudah di beri grid cell 7 x 7 ......................................... IV-7
Gambar 4. 6 Ilustrasi Intersection Over Union (IoU) ........................................ IV-9
Gambar 4. 7 Objek Pistol ................................................................................. IV-10
Gambar 4. 8 Ilustrasi proses pencarian bounding box ..................................... IV-11
Gambar 4. 9 Objek yang didapatkan oleh Bounding Box ................................ IV-11
Gambar 4. 10 IOU prediction .......................................................................... IV-12
Gambar 4. 11 Contoh proses Max Pooling ...................................................... IV-18
Gambar 4. 12 Proses Fully Connected Layer untuk mencariprobabilitaskelasIV-20
Gambar 5. 1 Proses training ................................................................................ V-3
Gambar 5. 2 kiri pengujian dengan cahaya (0-60 lx) dan kanan pengujian dengan
cahaya (>60 lx) .............................................................................. V-
7
Gambar 5. 3 Pengujian posisi objek depan (kiri), samping (tengah) dan atas (kanan)
....................................................................................................... V-8
Gambar 5. 4 Pengujian dengan jarak dari kiri ke kanan dengan jarak 50 cm, jarak
100 cm, jarak 180 cm, jarak 250.................................................... V-
8
Gambar 5. 5 Pengujian dengan camera CCTV jarak 180 cm (kanan) dan jarak
180cm (kiri) ................................................................................. V-10
xiii
Gambar 5. 6 Pengujian dengan data mirip dengan posisi pengambilan depan
depan jarak 50cm dan posisi pengambilan atas jarak 180cm.......V-12
Gambar B. 1 Pengujian Pistol pada jarak 50cm, posisi pengambilan depan dan
cahaya 0-60 lux ...............................................................................B-
4
Gambar B. 2 Pengujian pistol pada jarak 100cm, posisi pengambilan depan dan
cahaya 0-60 lux .............................................................................. B-
4
cahaya 0-60 lux .............................................................................. B-
5
cahaya 0-60 lux .............................................................................. B-
5
Gambar B. 5 Pengujian pistol pada jarak 50cm, posisi pengambilan samping dan
cahaya 0-60 lux .............................................................................. B-
6
cahaya 0-60 lux .............................................................................. B-
6
cahaya 0-60 lux .............................................................................. B-
7
cahaya 0-60 lux .............................................................................. B-
7
Gambar B. 9 Pengujian pistol pada jarak 50cm, posisi pengambilan atas dan
cahaya 0-60 lux
.......................................................................................... B-8
cahaya 0-60 lux .............................................................................. B-
8
cahaya 0-60 lux .............................................................................. B-
9
cahaya 0-60 lux .............................................................................. B-
9
cahaya >60 lux ............................................................................. B-
10
cahaya >60 lux ............................................................................. B-10
xiv
cahaya >60 lux..............................................................................B-11
Gambar B. 16 Pengujian pistol pada jarak 250cm, posisi pengambilan dan cahaya
>60 lux ......................................................................................... B-11
Gambar B. 17 Pengujian pistol pada jarak 50 cm, posisi pengambilan samping dan
cahaya >60 lux ............................................................................. B-
12
Gambar B. 18 Pengujian pistol pada jarak 250cm, posisi pengambilan samping
dan cahaya >60 lux .............................................................................
B-12
dan cahaya >60 lux .............................................................................
B-13
dan cahaya >60 lux .............................................................................
B-13
cahaya >60 lux ............................................................................. B-
14
cahaya >60 lux ............................................................................. B-
14
cahaya >60 lux ............................................................................. B-
15
dan cahaya >60 lux .............................................................................
B-15
Gambar B. 25 Pengujian pisau pada jarak 50cm, posisi pengambilan depan dan
cahaya 0-60 lux ............................................................................ B-
16
cahaya 0-60 lux ............................................................................ B-
16
cahaya 0-60 lux ............................................................................ B-
17
cahaya 0-60 lux ............................................................................ B-
17
Gambar B. 29 Pengujian pisau pada jarak 50cm, posisi pengambilan samping dan
cahaya 0-60 lux ............................................................................ B-
18
xv
Gambar B. 30 Pengujian pisau pada jarak 100cm, posisi pengambilan samping
dan cahaya 0-60 lux......................................................................B-18
dan cahaya 0-60 lux ............................................................................
B-19
dan cahaya 0-60 lux ............................................................................
B-19
Gambar B. 33 Pengujian pisau pada jarak 50cm, posisi pengambilan atas dan
cahaya 0-60 lux ............................................................................ B-
20
cahaya 0-60 lux ............................................................................ B-
20
cahaya 0-60 lux ............................................................................ B-
21
cahaya 0-60 lux ............................................................................ B-
21
cahaya >60 lux ............................................................................. B-
22
cahaya >60 lux ............................................................................. B-
22
cahaya >60 lux ............................................................................. B-
23
cahaya >60 lux ............................................................................. B-
23
Gambar B. 41 Pengujian pisau pada jarak 50cm, posisi pengambilan sampingdan
cahaya >60 lux ............................................................................. B-
24
dan cahaya >60 lux .............................................................................
B-24
Gambar B. 43 Pengujian pisau pada jarak 180cm, posisi pengambilan sampingdan
cahaya >60 lux ............................................................................. B-
25
dan cahaya >60 lux .............................................................................
B-25
xvi
cahaya >60 lux..............................................................................B-26
cahaya >60 lux ............................................................................. B-
26
cahaya >60 lux ............................................................................. B-
27
Gambar B. 48 Pengujian pisau pada jarak 250cm, sudut samping dan cahaya >60
lux ................................................................................................ B-27
Gambar C. 1 Pengujian pada data pistol jarak 140cm, posisi pengambilan depan
dan threshold 0.3.............................................................................C-1
Gambar C. 2 Pengujian pada data pistol jarak 140cm, posisi pengambilan depan
dan threshold 0.2............................................................................ C-1
Gambar C. 3 Pengujian pada data pisau jarak 140cm, posisi pengambilan depan
dan threshold 0.3...................................................................................
C-2
Gambar C. 4 Pengujian pada data pisau jarak 140cm, posisi pengambilan depan
dan threshold 0.2...................................................................................
C-2
Gambar C. 5 Pengujian pada data pisang jarak 140cm, posisi pengambilan depan
dan threshold 0.3............................................................................ C-3
Gambar C. 6 Pengujian pada data pisang jarak 140cm, posisi pengambilan depan
dan threshold 0.2............................................................................ C-3
Gambar C. 7 Pengujian pada data palu jarak 140cm, posisi pengambilan depan
dan threshold 0.3...................................................................................
C-4
Gambar C. 8 Pengujian pada data palu jarak 140cm, posisi pengambilan depan
dan threshold 0.2...................................................................................
C-4
Gambar C. 9 Pengujian pada data pistol jarak 180cm, posisi pengambilan
belakang dan threshold
0.3............................................................................ C-5
belakang dan threshold
0.2............................................................................ C-5
Gambar C. 11 Pengujian pada data pisau jarak 180cm, dengan posisi pengambilan
belakang dan threshold 0.3 ............................................................ C-6
xvii
Gambar C. 12 Pengujian pada data pisau jarak 180cm, dengan posisi pengambilan
belakang dan threshold 0.2.............................................................C-6
Gambar C. 13 Pengujian pada data pisang jarak 180cm, dengan posisi
pengambilan belakang dan threshold 0.3
............................................................ C-7
............................................................ C-7
Gambar C. 15 Pengujian pada data palu jarak 180cm, dengan posisi pengambilan
Gambar C. 16 Pengujian pada data palu jarak 180cm, dengan posisi pengambilan
Gambar C. 17 Pengujian menggunanakn penggaris besi dengan jarak 50cm, posisi
pengambilan depan ........................................................................ C-9
Gambar C. 18 Pengujian menggunakan penggaris besi dengan jarak 180cm dan
posisi pengambilan atas ................................................................. C-
9
Gambar C. 19 Pengujian menggunakan deodoran dengan jarak 50cm dan posisi
pengambilan depan ...................................................................... C-10
Gambar C. 20 Pengujian menggunakan deodorant dengan jarak 190cm dan posisi
pengambilan atas.......................................................................... C-10
Gambar C. 21 Pengujian menggunakan botol spray dengan jarak 50cm dan posisi
Gambar C. 22 Pengujian menggunakan botol spray dengan jarak 180cm dan
posisi pengambilan
atas.......................................................................... C-11
Gambar C. 23 Pengujian menggunakan pasta gigi dengan jarak 50 cm dan posisi
Gambar C. 24 Pengujian menggunakan pasta gigi dengan jarak 180cm dan posisi
Gambar C. 25 Pengujian menggunakan palu dengan jarak 50cm dan posisi
xviii
Gambar C. 27 Pengujian menggunakan sisir dengan jarak 50cm dan posisi
pengambilan depan.......................................................................C-14
Gambar C. 29 Pengujian menggunakan pena dengan jarak 50cm dan posisi
Gambar C. 31 Pengujian menggunakan HP dengan jarak 50cm dan posisi
xix
DAFTAR TABEL
Tabel 2. 1 Tabel Penelitian Terkait.....................................................................I-28

Tabel 4. 1 Ilustrasi isi pada setiap grid sel output .............................................. IV-7
Tabel 4. 2 Arsitektur Yolo per layer .................................................................. IV-8
Tabel 4. 3 Matrik citra pada kordinat R(152,100) ........................................... IV-14
Tabel 4. 4 Matrik citra pada kordinat G(152,100) ........................................... IV-14
Tabel 4. 5 Matrik citra pada kordinat B(152,100) ........................................... IV-14
Tabel 4. 6 Tabel Filter atau bobot pada proses convolusi................................ IV-
15 Tabel 4. 7 Matrik Hasil Konvolusi R(152,100) ...............................................
IV-15
Tabel 4. 8 Matrik Hasil Konvolusi G(152,100) ............................................... IV-15
Tabel 4. 9 Matrik Citra Hasil Konvolusi B(152, 100) ..................................... IV-16
Tabel 4. 10 Contoh Matriks A (kiri) di transformasikan dengan Relu menjadi
Matriks B (kiri) ................................................................................................ IV-
16
Tabel 4. 11 Hasil dari Proses Relu pada Matrik R(152,100) ........................... IV-17
Tabel 4. 12 Hasil dari Proses Relu pada Matrik G(152,100) ........................... IV-17
Tabel 4. 13 Hasil dari Proses Relu pada Matrik B(152,100) ........................... IV-17
Tabel 4. 14 Matrik Hasil Max pooling pada citra R(152,100)......................... IV-18
Tabel 4. 15 Matrik Hasil Max pooling pada citra G(152,100)......................... IV-19
Tabel 4. 16 Matrik Hasil Max pooling pada citra B(152,100)......................... IV-19
Tabel 5. 1 Detil pengujian sebanyak 48 kali percobaan...................................... V-
5 Tabel 5. 2 Hasil Pengujian pada data video dengan kamera CCTV ................. V-
10 Tabel 5. 3 Pengujian Menggunakan data mirip pistol dan pisau ......................
V-11
xx
BAB I
PENDAHULUAN
Latar Belakang
Tindakan kriminalitas ada berbagai macam diantaranya pencurian,
pembunuhan, pemerkosaan, aksi terorisme dan lainnya. Tindakan kriminal adalah
tindakan yang melanggar hukum dan dapat diganjar dengan hukum yang berlaku.
Tindakan kriminal biasanya terjadi apabila terdapat kesempatan yang
memungkinkan pelaku untuk berbuat kejahatan. Pelaku tindakan kriminalitas
biasanya disebut dengan Kriminal dan orang yang dirugikan biasanya disebut
dengan Korban.
Era Pandemi Covid-19 seperti sekarang ini, menurut Markas Besar
Kepolisian RI telah terjadi peningkatan angka kriminalitas di Indonesia sebesar
4,49% terhitung dari pekan sebelumnya, hal ini bermula dari awal wabah virus
Corona masuk ke Indonesia pada maret 2020(http://bit.ly/tempo-kriminal, 2020).
Selain itu CCTV (Closed Circuit Television) di indonesia saat ini tidak berperan
optimal karena CCTV masih belum berpengaruh besar dalam mengantisipasi
tindakan kejahatan serta penggunaan CCTV khususnya di Indoesia hanya
memantau kejadian dan tetap membutuhkan manusia sebagai pengawasnya yang
masih bisa lalai dalam tugasnya.
CCTV hanya merekam kejadian kriminalitas yang terjadi pada masa
lampau, hal tersebut masih belum bisa mengantisipasi tindakan kriminalitas secara
real-time. Seperti perampokan berpistol pada sebuah minimarket dimana pelaku
berhasil melancarkan aksinya dan CCTV masih sebatas barang bukti kejadian dan
masih belum mampu mencegah (http://bit.ly/tempo-kriminal-cctv, 2018). CCTV
yang merekam sebuah kejadian dengan bantuan teknologi artificial inteligence
dapat mendeteksi dan mengenali suatu objek yang telah dilatih sebelumnya,
Sehingga memudahkan kinerja manusia dalam pengawasan benda-benda yang
tidak diperboleh pada suatu tempat, seperti pada penelitian pendeteksian objek
yang dilarang pada ATM seperti helm (Rachman wasril et al., 2019).
I-1
Artificial Intelligence atau Kecerdasan Buatan adalah ilmu yang
mempelajari kemampuan dari sebuah sistem untuk mengartikan data eksternal
dengan benar, untuk dipelajari dan menggunakan pembelajarannya sehingga
tercapai sebuah tujuan maupun tugas melalui adaptasi yang fleksibel (Kaplan &
Haenlein, 2019). Salah satunya adalah YOLO, YOLO (You Only Look Once)
adalah pendekatan terbaru dalam dunia pendeteksi objek. Yang mana untuk
memenuhi persyaratan deteksi dengan akurasi maupun kecepatan tinggi dan
operasi secara langsung (real-time). YOLO merupakan metode detektor dengan
model terpadu (unified), yang mana dengan jaringan saraf tunggal (single neural
network) dapat memprediksi kotak pembatas (Bounding Box) dan probabilitas
kelas secara langsung dalam satu gambar penuh pada sekali tangkapan. Pada
model YOLO, dapat memproses gambar inputan hingga pada 45 FPS (frame per
second), bahkan dengan versi jaringan neural yang lebih kecil lagi, yakni Fast
YOLO dapat memproses hingga 155 FPS dan menjadi algoritma tercepat dalam
perbandingan dengan algoritma pendeteksian real-time lainya seperti Fastest R-
CNN (Redmon et al., 2016).
Pada penelitian Junita Sri Wisna yang berjudul Deteksi Kendaraan Secara
Real-Time Menggunakan Meode YOLO Berbasis android menyimpulkan bahwa,
Pendeteksian kendaraan dengan menerapkan metode YOLO memiliki hasil yang
bagus dan dapat mendeteksi kendaraan sesuai dengan varian kendaraan seperti
sepeda motor, mobil, truk dan bus. Berdasarkan pengujian dengan trained model
yang paling stabil menunjukkan nilai akurasi pendeksian sebesar 83% (Wisna et
al., 2019).
Penelitian berikutnya yang berjudul Pembuatan Pendeteksi Obyek dengan
Metode You Only Look Once (YOLO) untuk Automated Teller Machine (ATM)
(Rachman wasril et al., 2019). Pada penelitian ini Yolo bertindak sebagai
pendeteksi objek-objek yang dilarang dibawa ke dalam ATM seperti helm.
Berdasarkan hasil uji camera dapat mendeteksi helm yang terpakai di kepala
manusia. Pada penelitian berikutnya dengan judul Sistem Cerdas Pemantauan
Arus Lalu Lintas dengan YOLO (You Only Look Once v3), disimpulkan juga
bahwa YOLOv3 juga dapat mengklasifikasikan kendaraan dengan mAP(Mean
Average
I-2
Precision) pada CCTV fix dengan nilai tertinggi mencapai 97% sedangkan pada
CCTV PTZ adalah 99% (Harahap et al., 2019).
Sementara itu pada penelitian dengan kasus pendeteksian senjata
berbahaya terdapat pada penelitian dengan judul Automatic Handgun Detection
Alarm in Videos Using Deep Learning (Alarm Pendeteksi Handgun Otomatis
dengan Video dengan menggunakan Deep Learning) dengan hasil yang menjadi
temuan baru dalam pendeteksian pistol otomatis sistem dengan video dan cocok
untuk pengawasan dan pengontrolan, Hasil terbaik didapatkan dari model berbasis
Faster R-CNN dengan memberikan hasil nol False Positive, 100% recall (recall
=True Positif / True Positif + False Negatif), angka besar untuk True Negatif dan
Precision sebesar 84,21% (Precision = True Positif / True Positif + False Positif),
dan hasil tinggi juga didapatkan dari video youtube beresolusi rendah sehingga
sangat memuaskan sebagai sistem alarm otomatis. dengan 30 adegan 27
diantaranya berhasil mengaktifkan alarm setelah lima true positif berturut-turut
dalam selang waktu kurang dari 0,2 detik (Olmos et al., 2018).
Penilitian (Santoso et al., 2017) dengan judul Deteksi Objek Senjata Tajam
Pada Citra X-Ray dengan Metode Pengukuran Dimensi Citra, dengan melakukan
pengujian menggunakan proses segmentasi berbasis citra yaitu proses filterisasi
menggunakan operasi morphologi dan pengukuran RV didapatkan hasil sebesar
96% dengan objek sample sebanyak 27 citra dengan berhasil mendeteksi 59 objek
dari 63.
Penelitian berikutnya berjudul Deteksi Senjata Tajam Dengan Metode
Haar Cascade Classifier Menggunakan Teknologi Sms Gateway. Dengan methode
Haar Cascade Classifier dengan citra inputan dari CCTV didapatkan hasil
pengujian pendeteksian senjata tajam dengan nilai akurasi 63,3% pada cahaya
remang- remang, dan 70% pada cahaya normal dan 86% pada cahaya terang,
dengan menambahkan bahwa cahaya dan jarak adalah parameter penting yang
dapat mempengaruhi akurasi pendeteksian (Mahmudi & Rusda, 2014).
Mengacu pada penelitian terkait sudah ada yang menerapkan pendeteksian
senjata tajam dan beberapa menerapkan video, namun belum ada yang melakukan
pendeteksian secara real-time dengan metode YOLO. Berdasarkan masalah
I-3
tersebut maka dibutuhkan sebuah sistem yang dapat mendeteksi senjata
berbahaya. Penelitian memfokuskan pada tidakan kriminalitas pencurian dan
penodongan dengan menggunakan senjata tajam dan senjata api yang sering
terjadi dengan memanfaatkan model Artificial Inteligent melalui tangkapan
kamera CCTV sehingga dapat mendeteksi dan memberikan peringatan berupa
alarm dan tindakan kejahatan dapat dicegah.
Rumusan Masalah
Berdasarkan latar belakang yang telah disebutkan, maka dapat dirumuskan
yaitu, Bagaimana membangun sebuah model Artificial intelligent yang dapat
mengidentifikasi senjata tajam (pisau) dan pistol melalui tangkapan kamera
CCTV secara real-time serta membunyikan alarm.
Batasan Masalah
Agar tidak meluasnya permasalahan dalam penelitian ini, maka
dibutuhkannya batasan masalah. Adapun batasan masalah pada penelitian ini
adalah:
1. Tindakan kriminalitas yang dimaksud adalah tindakan pencurian
dengan menodongkan pisau dan psitol kepada korban.
2. Penelitian hanya membangun sebuah model AI yang dapat mendeteksi
dan membunyikan alaram jika mendeteksi pisau dan pistol dengan
inputan citra video CCTV maupun real-time.
3. Pistol yang digunakan dalam penelitian adalah pistol merupakan
senjata api genggam dan biasanya berlaras pendek dan digunakan
hanya dengan satu tangan.
4. Pisau yang digunakan dalam penelitian adalah pisau yang memiliki
bentuk tidak jauh berbeda dari bentuk umum pisau, maka dari itu
pisau daging yang berbentuk persegi tidak dimasukkan.
Tujuan
Tujuan dari penelitian ini adalah merancang dan membangun sebuah
model Artificial Inteligent yang dapat mengidentifikasi senjata tajam (pisau) dan
pistol melalui tangkapan kamera CCTV secara real time serta membunyikan
alarm.
I-4
Sistematika Penulisan
Berikut merupakan ringkasan uraian masing-masing bab yang akan
ditemukan pada halaman berikutnya.
BAB I PENDAHULUAN
Bab ini membahas mengenai dasar-dasar dari penulisan tugas
akhir dan terdiri dari latar belakang, rumusan masalah, tujuan
penelitian, batasan masalah dan sistematika penulisan.
BAB II LANDASAN TEORI

Bab ini menjelaskan teori-teori yang berhubungan dengan
penelitian seperti: tindakan kriminal, senjata, citra digital,
pengolahan citra digital, pengenalan pola, artificial intelligence,
machine learning, deep learning, artificial neural network,
convolutional neural network, dan penelitian terkait
BAB III METODOLOGI PENELITIAN

Bab ini membahas apa saja yang dilakukan dalam proses
penelitian yaitu Alur penelitian, Perencanaan, Pengumpulan Data,
Analisa Dan Perancangan, Implementasi, Pengujian, Kesimpulan
dan Saran
BAB IV ANALISA DAN PERANCANGAN

Bab ini membahas tentang Analisa kebutuhan model yang akan
dibuat serta merancang model dapat berjalan sesuai dengan
kebutuhan.
BAB V IMPLEMENTASI
Bab ini berisi implementasi dari hasil Analisa dan perancangan
yang sudah dilakukan pada bab sebelumnya dan sesuai dengan
Batasan masalah yang dibuat.
I-5
BAB VI PENUTUP
Bab ini berisi kesimpulan dan saran dari hasil model yang
dibangun.
I-6
BAB II
LANDASAN TEORI
Tindak Kriminalitas
Tingkat kriminalitas ternyata dipengaruhi oleh beberapa faktor diantaranya
yaitu Pendidikan, upah yang tidak memadai, hukum yang tidak tegas dan
tingginya tingkat pengangguran (Khairani & Ariesa, 2019). Dari beberapa faktor
tersebut dapat dilihat dua diantaranya bisa dikategorikan dampak dari ekonomi.
Apalagi pada saat wabah Corona seperti sekarang ini menurut Markas Besar
Kepolisian RI, tercatat bahwa sejak Indonesia dilanda wabah virus Corona tingkat
kriminalitas terus mengalami peningkatan, tercatat peningkatan terjadi sebesar
4.49% dari pekan sebelumnya (http://bit.ly/tempo-kriminal, 2020) .
Ningsih dan Kuncoro pada penelitiannya menyebutkan bahwa pelaku
tindak kriminal bisa siapa saja, baik pria maupun wanita dan juga dari berbagai
kalangan usia pula. Tindak kriminal bisa saja terjadi secara sadar atau dipikirkan
terlebih dahulu, direncanakan dengan matang, dan dilakukanlah tindakan kriminal
dan dalam keadaan yang benar-benar sadar, dan adapula yang dilakukan dalam
keadaaan setengah sadar dengan dipengaruhi oleh tekanan-tekanan yang kuat dari
dalam diri seseorang. Dan juga bisa dalam keadaaan tidak sadar yang mana
biasanya terjadi karena pelaku terpaksa untuk tetap bertahan hidup dengan upaya
membalas maupun menyerang yang berujung pada periwtiwa pembunuhan.
(Ningsih & Kuncoro, 2017)
Penelitian ini berfokus pada tindakan kriminalitas pencurian dengan
menggunakan senjata tajam atau handgun yang digunakan untuk memeras korban
sehingga korban melakukan apa saja yang diperintahkan oleh pelaku. Maka dari
itu rasanaya dibutuhkan suatu sistem yang mampu mendeteksi awal tindakan
kriminalitas.
Senjata
Senjata adalah sebuah alat yang digunakan untuk melukai, membunuh,
atau menghancurkan sesuatu dan juga digunakan untuk menyerang,
mempertahankan,
II-1
mengancam dan melindungi diri. Menurut Kamus Besar Bahasa Indonesia Senjata
adalah alat yang dipakai untuk berkelahi atau berperang (KBBI, 2016). Terdapat
berbagai macam jenis senjata, pada penelitian ini senjata yang dibahas adalah
senjata tajam dan senjata api.
2.2.1 Senjata Tajam

Undang-undang Nomor 2 Tahun 2002 Tentang Kepolisian Negara
Republik Indonesia pada Pasal 15 ayat 2 huruf e disebutkan bahwa yang
dimaksud senjata tajam adalah senjata yang memiliki kemampuan penikam,
penusuk, dan pemukul, tidak termasuk barang-barang yang dipergunakan untuk
keperluan pertanian, pekerjaan rumah tangga, kepentingan melakukan pekerjaan
yang sah atau nyata, untuk tujuan barang pusaka, barang kuno, dan barang ajaib
sebagaimana diatur dalam Undang-undang Nomor 12/Drt/1951 (Indonesia, 2002).
Dan pada penelitian kali ini senjata tajam yang di gunakan adalah jenis pisau
Gambar 2. 1 Contoh Senjata Tajam

2.2.2 Senjata Api
Pengertian Senjata Api menurut Kamus Besar Bahasa Indonesia adalah
senjata penggunaannya memerlukan mesiu (senapan, pistol dan sebagainya)
(KBBI, 2016). Sedangkan dalam Buku Petunjuk Pelaksanaan Pengawasan dan
Pengendalian Senjata Api Non Organik TNI/Polri diterangkan juga Senjata Api
adalah senjata yang memiliki kemampuan melepaskan keluar satu atau sejumlah
II-2
proyektil dengan bantuan bahan peledak. Dan pada penelitian kali ini senjata api
yang di gunakan adalah jenis pistol
Gambar 2. 2 Contoh Senjata Api
Citra Digital
Gambar 2. 3 Citra Digital dalam sumbu kordinat x dan y.

Citra adalah sebuah fungsi dua dimensi, f(x, y) dimana x dan y adalah
sebuah koordinat pada bidang datar, dan nilai fungsi f pada setiap koordinat (x,y)
disebut dengan intensitas atau level keabuan (grayscale) dari sebuah gambar pada
titik tersebut. Citra digital biasanya memiliki elemen yang berhingga dan
setiapnya memiliki lokasi dan nilai tersendiri Elemen-elemen ini disebut sebagai
picture element, image element, pels atau pixels. Pixel adalah istilah yang
digunakan untuk menunjukkan elemen dari citra digital. Pixel-pixel itu sendiri
II-3
memainkan peran paling peting dalam persepsi manusia sehingga membentuk
suatu objek yang dapat dikenali oleh manusia.
Pengolahan Citra Digital (Digital Image Processing)

Pengolahan citra digital adalah pengolahan suatu citra digital untuk
mendapatkan kualitas citra yang lebih baik dengan operasi pengolahan citra.
Langkah-langkah dasar pada pengolahan citra digital terdiri dari
(Gonzalez et al., 2002) :
1. Image acquisition (akuisi citra), proses pertama dalam proses
pengolahan citra digital yang menangkap sinyal citra analog dari
inputan dan mengubahnya menjadi bentuk digital. Image acquisition
biasanya melibatkan tahap pre-processing, seperti pengubahan ukuran
(scaling).
2. Image enhancement (perbaikan citra), adalah proses memperbaiki
kualitas citra dari sebelumnya dengan tujuan untuk mengeluarkan detail
yang dikaburkan atau menonjolkan fitur tertentu yang menarik dalam
citra. Salah satu contohnya meningkatkan kontras citra agar terlihat
lebih baik.
3. Image restoration (pemulihan citra), adalah proses yang berkaitan
dengan peningkatan tampilan citra, namun dalam pengertian teknik
restorasi ini lebih cenderung ke model matematis atau probabilistik dari
degradasi citra.
4. Color image processing (pemrosesan citra warna), adalah proses yang
berurusan dengan pemodelan warna citra.
5. Wavelets, adalah proses menjadi fondasi untuk merepresentasikan citra
dalam berbagai tingkat resolusi.
6. Compression (kompresi), adalah proses yang berhubungan dengan
teknik untuk mengurangi ruang penyimpanan yang diperlukan atau
mengurangi ukuran untuk menyimpan citra.
7. Morphological processing (pemrosesan morfologi), adalah proses yang
behubungan dengan alat yang dapat mengekstraksi komponen citra
yang berguna dalam representasi dan deskripsi bentuk.
II-4
8. Segmentation (segmentasi), adalah prosedur mempartisi sebuah gambar
menjadi bagian-bagian penyusun objek dari sebuah citra.
9. Representation and description, adalah proses yang hampir mengikuti
keluaran tahap segmentasi yang biasanya yaitu bermula dari data piksel
mentah, yang merupakan batas suatu wilayah, atau semua titik yang
terdapat pada wilayah itu sendiri. Dalam kasus lainnya, merupakan
proses mengkonversi data ke bentuk yang sesuai untuk kebutuhan
pemrosesan komputer.
10. Recognition, adalah proses yang memberikan label ke objek
berdasarkan deskriptornya.
Pengenalan Pola
Pengenalan Pola adalah suatu langkah pengolahan citra digital. Secara
garis besar pengenalan pola dikelompokkan menjadi dua yaitu data numerik dan
data simbolik secara otomatis oleh mesin (komputer). Pengelompokkan data pada
pengenalan pola bertujuan untuk mengenali suatu objek yang terdapat didalam
sebuah citra. Pada manusia biasanya dapat langsung dapat mengklasifikasi dan
membedakan sebuah objek sehingga dapat mengenali sebuah objek dalam sekali
lihat. Pada mesin biasanya menerima inputan objek berupa data citra dan
diidentifikasi melalui proses citra dan menghasilkan sebuah output yang memuat
dekripsi dari objek yang ada didalam file citra. Pengenalan pola bertujuan untuk
mengkategorikan pola yang muncul pada citra berdasarkan ciri-cir pada pola
tersebut. Terdapat dua pendekatan dalam pengenalan pola menurut Rinaldi Munir,
yaitu (Munir, 2004):
2.5.1 Pendekatan Secara Statistik

Dilihat dari namanya Pendekatan ini memanfaatkan ilmu statistik.
Distribusi statistiknya dari suatu pola digunakan untuk mengkalsifikasikan
polanya. Setiap pola memiliki distribusi pola yang berbeda. Jadi, dengan
menggunakan teori keputusan pada ilmu statitika maka kita dapat menggunakan
distribusi ciri untuk
II-5
mengklasifikasi pola. Sistem pengenalan pola dengan pendekatan secara statistik
dapat dilihat pada Gambar 2.4.
Gambar 2. 4 Diagram Pendekatan Secara Statistik.
Pada pengenalan pola terdapat dua fase yaitu fase pelatihan dan fase
pengenalan. Fase pelatihan membutuhkan inputan beberapa contoh citra sehingga
dapat dilatih dan dipelajari ciri dan pola sehingga dapat melakukan pengenalan
pada pola. Sedangkan fase pengenalan citra yaitu dengan diambil ciri dari citra
lalu dapat ditentukan kelas kelompoknya. Tahap awal yang dilakukan adalah
tahap preprocessing, pada tahap ini suatu citra diperbaiki kualitas citranya dengan
menekan noise yang tidak diinginkan di dalam citra sehingga dapat dianalisa lebih
lanjut. Kemudian masuk ke tahap feature extraction pada tahap ini objek yang
terdapat pada citra mulai di deteksi tepinya, lalu dikalkulasi kemiripan-kemiripan
yang berkaitan dengan objek sebagai cirinya. Kemudian pada tahap classification
atau pengelompokkan, mulai dilakukan pengelompokkan objek ke dalam kelas
yang dirasa sesuai dan memiliki kemungkinan yang tinggi. Lalu pada tahap
feature selection menseleksi ciri pada sebuah objek sehingga ciri tersebut dapat
menjadi pembeda dengan ciri yang lain. Kemudian di tahap learning yaitu proses
belajar membuat aturan klasifikasi sehingga jumlah class yang tumpang tindih
ditekan sekecil mungkin sehingga klasifikasi mendapat akurasi yang tepat dan
sesuai.
2.5.2 Pendekatan Secara Struktural

Pendekatan secara struktural adalah pendekatan dengan menerapkan teori
bahasa formal. Ciri yang terdapat pada pola ditentukan hubungan primitive dan
II-6
strukturalnya sehingga dapat disusun tata bahasanya (Munir, 2004). Diagram
pengenalan pola dengan pendekatan secara struktural dapat dilihat pada Gambar
2.5.
Gambar 2. 5 Diagram Pendekatan Secara Struktual.

Berbeda dengan pendekatan secara statistik, pada pengenalan pola secara
struktural lebih dekat ke strategi pengenalan pola yang dilakukan oleh manusia.
Pendekatan ini membentuk tata bahasa dalam mengenali pola, dengan melihat
tepian objek dan segmen garis yang terhubung satu sama lain. Kemudian
mengartikan setiap garis dan setiap segmen garis adalah primitif pembentuk dari
sebuah objek.
Artificial Intelligence
Artificial Intelligence atau kecerdasan buatan adalah ilmu yang
mempelajari kemampuan dari sebuah sistem untuk mengartikan data dari luar
dengan benar, untuk dipelajari dan menggunakan pembelajarannya sehingga
tercapai sebuah tujuan maupun tugas melalui adaptasi yang fleksibel (Kaplan &
Haenlein, 2019).
Machine Learning
Machine Learning (Pembelajaran Mesin) adalah bagian dari ilmu yang
mempelajari kecerdasan buatan (Artificial Intelligence) yang memungkinkan
sebuah program menggunakan sebuah data untuk menulis dirinya sendiri,
mengumpulkan pengetahuan dalam bentuk model statistik untuk diterapkan pada
data terutama data visual (Kolokouris, 1986).
II-7
Deep Learning
Deep Learning atau pembelajaran mendalam atau Deep Structured
Learning adalah cabang dari ilmu Machine Learning yang dibangun dari
algoritma pemodelan abstak tingkat tinggi pada sebuah data dengan
memanfaatkan fungsi transformasi non-linear dan ditata dengan berlapis-lapis dan
mendalam (Deng & Yu, 2013).
Artificial Neural Network

Artificial Neural Networks (Jaringan Syaraf Tiruan/JST) adalah sistem
pemrosesan komputasi yang sangat terinspirasi dari cara kerja sistem saraf
biologis (seperti otak manusia). Jaringan saraf tiruan utama terhubung dengan
sejumlah besar node komputasi yang saling berhubungan (neuron), yang bekerja
terjalin di mode terdistribusi untuk secara kolektif belajar dari input untuk
mengoptimalkannya hasil akhir (O’Shea & Nash, 2015).
Sebuah jaringan saraf tiruan dibentuk dari representasi matematik pada jaringan
saraf biologis pada manusia, dengan pengasumsian bahwa:
a. Proses informasi terjadi pada banyak elemen sederhana (neuron).
b. Sinyal yang dikirimkan di antara neuron satu ke neuron lainnya melalui
sebuah penghubung-penghubung.
c. Sinyal yang lewat melalui penghubung-penghubung antara neuron
memiliki bobot yang dapat memperkuat sinyal atau memperkecil sinyal.
d. Hasil output biasanya ditentukan pada setiap neuron menggunakan fungsi
aktivasi (biasanya bukan fungsi linier) yang ada pada jumlah input yang
diterima. Dan nantinya output ini akan dibandingkan sengan sebuah
ambang batas
II-8
Gambar 2. 6 Struktur jaringan saraf tiruan
Seperti pada Gambar 2.6 sebuah jaringan tiruan biasanya terdiri dari 3
layer, lapisan input atau input layer, lapisan tersembunyi atau hidden layer, dan
satu lapisan keluaran atau output layer. Pada lapisan input menerima sinyal yang
berasal dari luar, kemudian dilewatkan kelapisan tersembunyi pertama, yang akan
diteruskan sehingga akhirnya mencapai lapisan output dan menghasilkan
keluaran. (O’Shea & Nash, 2015)
CNN / ConvNet (Convolutional Neural Network)

CNN didesan khusus untuk pengolahan data dua dimensi yang merupakan
pengembangan dari Multilayer Perceptron (MLP) . CNN memiliki kedalaman
jaringan yang tinggi maka digolongkan juga kedalam Deep Neural Network dan
banyak diaplikasikan pada data citra (Eka Putra, 2016). Pada awalnya
diperkenalkan dengan nama awal NeoCognitron oleh seorang peneliti dari NHK
Broadcasting Science Research Laboratories yaitu Kunihiko Fukushima, Kinuta,
Setagaya, Tokyo, Jepang (Fukushima, 1980). Lalu dimutakhirkan oleh LeChun
seorang peneliti dari AT&T Bell Laboratories di Holmdel, New Jersey, USA.
Dengan model CNN bernama LeNet yang dapat mengenali tulisan tanganya
sendiri. Kemudian di tahun 2012 Alex Krizhevsky telah berhasil mengungguli
metode Machine Learning lainnya, bahkan SVM pada kasus klasifikasi objek
pada citra dengan Metode CNN, dan berhasil menjuarai kompetisi ImageNet
Large Scale Visual Recognition Challenge 2012 (Eka Putra, 2016).
II-9
Convolutional Neural Network (CNN) adalah jaringan syaraf tiruan (JST)
yang neuron di dalam layer-nya terbagi menjadi tiga dimensi (O’Shea & Nash,
2015). arsitektur CNN dapat dilihat pada Gambar 2.7
Gambar 2. 7 Arsitektur Convolutional Neural Network
Menurut (O’Shea & Nash, 2015) Arsitektur dari CNN dapat dipecah
menjadi 4 bidang utama yaitu:
1. Input Layer, Seperti pada JST pada umumnya, merupakan masukkan dari
nilai input gambar.
2. Convolutional Layer, Lapisan konvolusional yang akan menentukan
output dari neuron yang terhubung ke wilayah lokal input melalui
perhitungan skalar dari produk antara bobotnya dengan wilayah yang
terhubung ke volume input. terdapat unit linear yang diperbaiki (rectiﬁed
linear unit/ReLu) yang dapat menerapkan fungsi aktivasi 'elementwise'
seperti sigmoid ke output dari aktivasi yang dihasilkan dari lapisan
sebelumnya.
3. Pooling Layer, dilakukan downsampling pada input yang diberikan, dan
juga akan mengurangi jumlah parameter dalam aktivasi.
4. fully-connected layers, atau lapisan yang terhubung sepenuhnya akan
melakukan tugas seperti JST standar dan juga berupaya untuk
II-10
menghasilkan nilai skor kelas dari aktivasi, kemudian digunakan untuk
pengklasifikasian. ReLu juga dapat digunakan pada setiap lapisan untuk
meningkatkan kinerja dari layer.
Menurut LeCun, Koray Kavukcuoglu dan Clément Farabet menjelaskan

bahwa CNN adalah arsitektur trainable yang terinspirasi secara biologis dari
manusia dan dapat mempelajari fitur-fitur yang terdapat pada citra, yang tersusun
oleh multiple stages (multi-tahap). Tahapan dalam convolutional network terdiri
dari filter bank layer, non-linearity layer, dan feature pooling layer. Dengan
multi- tahap, convolutional network dapat juga mempelajari hirarki fitur multi-
level. Input dan output dari setiap tahap berupa sekumpulan larik (array) yang
disebut dengan feature maps. Untuk lebih jelas dijelaskan pada Gambar 2.8
(LeCun et al., 2010).
Gambar 2. 8 Arsitektur CNN.

Pada lapisan konvolusi terdapat Filter bank layer, pada lapisan inilah
terjadinya operasi konvolusi (convolution), dimana input dan output berupa larik
3- dimensi. Larik ini memiliki bentuk [N1, N2, N3] dimana terdapat sejumlah N3
feature map berukuran N1 x N2. Setiap komponen input dinotasikan sebagai Xijk
dan setiap feature map dinotasikan sebagai Xi. Sedangkan ouput feature map
dinotasikan dengan Yj. Operasi konvolusi ini melibatkan input larik 3-dimensi
dan kernel filter Kij yang memiliki ukuran L1 x L2. Untuk setiap output feature
map didapat dengan menggunakan persamaan (2.1). Setiap filter mendeteksi fitur
tertentu di setiap lokasi pada input, yang merupakan bagian fitur yang dimiliki
oleh input (LeCun et al., 2010)
II-11
𝒀𝒋 = 𝒃𝒋 + ∑ (2. 1)
𝒊
dimana:
* adalah operator konvolusi diskrit 2-dimensi
bj adalah parameter bias yang dapat dilatih
Pada operasi konvolusi, selain memiliki parameter kernel filter dan jumlah
filter, terdapat pula parameter lain yang berpengaruh penting pada konvolusi,
yaitu padding dan stride. Padding merupakan jumlah penambahan border di
seluruh tepian dari input, sehingga dapat berperan sebagai peminimalisir
kehilangan informasi pada tepian citra (input). Hal ini dilakukan agar filter kernel
tidak melewati bagian jika operasi convolusi tidak memiliki padding, kecuali
untuk kernel berukuran 1x1. Metode zeropadding adalah yang paling sering
digunakan, yaitu menambahkan nilai 0 pada setiap tepian citra (input) sehingga
tepian citra tidak lagi dilewatkan. Sedangkan stride adalah parameter yang
digunakan untuk memperkecil jumlah ukruan output, yaitu dengan melakukan
pergeseran Langkah oleh kernel filter dalam melakukan operasi. Ukuran output
dari sebuah operasi konvolusi dapat dihitung dengan menggunakan persamaan
(2.2).
𝑵 + 𝟐𝑷 − 𝑭
𝑶=𝟏+
𝑺 (2. 2)
dimana:
O adalah ukuran output yang didapat setelah proses konvolusi.
N adalah ukuran input.
P adalah jumlah padding.
F adalah ukuran kernel filter.
S adalah jumlah stride.
II-12
Non-linearity layer adalah lapisan yang melakukan operasi penyesuaian
dengan pemotongan output, pemotongan dilakukan untuk membatasi output.
Salah satu jenis non-linearity yang popular adalah ReLU (Rectified Linear Unit).
ReLU melakukan pemotongan terhadap nilai negatif, dan menggantikannya
dengan nilai
0. Operasi ReLU dapat dilihat pada persamaan (2.3) dan (2.4).
𝑹𝒆𝑳𝑼(𝒙) = 𝐦𝐚𝐱 (𝟎, 𝒙) (2. 3)
𝒙, 𝒊𝒇 𝒙 > 𝟎
𝑹𝒆𝑳𝑼(𝒙) = { (2. 4)
𝒐𝒕𝒉𝒆𝒓𝒘𝒊𝒔𝒆, 𝟎
dimana:
x adalah nilai dari posisi (i,j) sebuah sel output.
Feature pooling layer meruakan lapisan yang melakukan operasi down-
sampling agar dapat mereduksi kompleksitas dari lapisan sebelumnya. Metode
pooling yang paling popular adalah average pooling dan max pooling. Average
pooling menghitung nilai rata-rata dari suatu lingkungan di setiap feature map,
sedangkan max pooling mencari nilai maksimum dari suatu lingkungan di setiap
feature map. Operasi pooling juga memiliki parameter F dan S (stride) sama
halnya seperti operasi konvolusi. Ukuran kernel yang sering digunakan adalah 2x2
dengan stride 2 (LeCun et al., 2010). Adapaun pengembangan salah satu
arsitektur dari CNN yang digunakan pada penelitian ini adalah YOLO (You Only
Look Once)
2.10.1 YOLO (You Only Look Once)

YOLO (You Only Look Once) merupakan sebuah varian model dari
metode Convolutional Neural Network (CNN). YOLO adalah sebuah pendekatan
baru dalam sistem pendeteksian objek, yang ditargetkan untuk pemrosesan data
secara realtime. YOLO memproses gambar dengan simple dan mudah, sistem
YOLO tahapannya hanya me-resize gambar input, menjalankan single
convolutional network (jaringan konvolusi tunggal) pada gambar, dan setting
threshold untuk hasil deteksi dengan nilai confidence dari model (Redmon et al.,
2016), untuk lebih jelas dapat dilihat pada gambar 2.9.
II-13
Gambar 2. 9 Arsitektur sederhana YOLO.
Sistem pendeteksian yang digunakan pada YOLO adalah dengan
repurpose classifier atau localizer dalam pendeteksian. Sebuah model yang
diterapkan pada sebuah citra di dengan pengskoran wilayah pada citra inputan
sehingga wilayah pada citra yang memiliki skor tinggi akan dianggap sebuah
objek yang terdeteksi (Jupiyandi et al., 2019). YOLO pada awalnya input dibagi
menjadi grid S × S. pada setiap sel grid memiliki tangung jawab untuk
memprediksi objek yang ada di dalamnya. Setiap sel grid bertugas untuk
memprediksi kotak pembatas B, nilai keyakinan, dan nilai probabilitas kelas C
pada grid. Prediksi pada kotak B membawa 5 komponen yang sangat penting
dalam proses pendeteksian yaitu x, y, w, h, dan box confidence score. Koordinat
(x, y) mewakili pusat dari kotak, yang mengarah terhadap batas-batas kotak grid.
Koordinat ini dinormalisasi untuk jatuh di antara 0 dan 1. Dimensi kotak (w, h)
adalah ukuran gambar. Box confidence score (nilai keyakinan) menggambarkan
seberapa yakin kotak pembatas B berisi objek. Oleh karena itu, prediksi YOLO
memiliki bentuk vektor output [S, S, B×5+C] (Redmon et al., 2016).
YOLO mengeluarkan nilai confidence pada setiap kotak B sebagai nilai
probabilitas kotak yang diyakini berisi objek nantinya akan dikalikan dengan IoU
(intersection over union) antara kotak prediksi dan kebenaran dasar (ground
truth), dimana nilai kebenaran dasar yang didapat dari training. IoU adalah
pengukuran keakuratan pendeteksi objek pada suatu dataset. Perhitungan box
confidence score atau nilai confidence untuk sebuah kotak ditunjukkan pada
persamaan (2.5) dan (2.6).
II-14
𝒃𝒐𝒙 𝒄𝒐𝒏𝒇𝒊𝒅𝒆𝒏𝒄𝒆 𝒔𝒄𝒐𝒓𝒆 = 𝑷𝒓 (𝒐𝒃𝒋𝒆𝒄𝒕) ∙ 𝐈𝒐𝑼𝒕𝒓𝒖𝒕𝒉 (2. 5)
𝒑𝒓𝒆𝒅
𝒕𝒓𝒖𝒕𝒉 𝑨𝒓𝒆𝒂 𝒐𝒇 𝑶𝒗𝒆𝒓𝒍𝒂𝒑 (2. 6)

𝐈𝒐𝑼𝒑𝒓𝒆𝒅 = 𝑨𝒓𝒆𝒂 𝒐𝒇 𝑼𝒏𝒊𝒐𝒏
dimana:
Pr (Object) adalah probabilitas kotak berisi objek, jika ada bernilai 1,

sebaliknya bernilai 0.
I𝑜𝑈𝑝𝑟𝑒𝑑
𝑡𝑟𝑢𝑡ℎ
adalah IoU antara kotak prediksi dan kebenaran dasar.
Probabilitas kelas kondisional C yang diprediksi oleh setiap sel grid adalah
nilai probabilitas bahwa objek yang terdeteksi merupakan milik kelas tertentu.
Yang akan di kondisikan pada setiap kotak yang dianggap berisi objek. YOLO
hanya akan memprediksi satu set probabilitas kelas per sel, terlepas dari jumlah
kotak B yang ada, sehingga hanya akan ada total S × S × C probabilitas yang
dimiliki oleh YOLO.
Gambar 2. 10 Model dari metode YOLO.
II-15
Dalam menentukan hasil prediksi final, factor utama penentunya adalah
class confidence score yang didapat dari probabilitas kondisional kelas dan box
confidence score. Yang mana masing-masing memiliki peran untuk mengukur
nilai kepercayaan. Persamaan pada class confidence score untuk setiap kotak
prediksi ditunjukkan pada persamaan (2.7) berikut.
𝐏𝐫(𝑪𝒍𝒂𝒔𝒔|𝒐𝒃𝒋𝒆𝒄𝒕) ∙ 𝒃𝒐𝒙 𝒄𝒐𝒏𝒇𝒊𝒅𝒆𝒏𝒄𝒆 𝒔𝒄𝒐𝒓𝒆 = 𝐏𝐫 (𝑪𝒍𝒂𝒔𝒔𝒔𝒊) ∙ 𝑰𝒐𝑼𝒑𝒓𝒆𝒅
𝒕𝒓𝒖𝒕𝒉
(2. 7)
dimana:
Pr (Class|object) adalah probabilitas kondisional kelas i.
Pr (Classi) adalah probabilitas kelas i
YOLO memprediksi beberapa kotak B untuk setiap sel gridnya. Dengan

hasil, hanya akan ada satu kotak pembatas B prediktor yang bertanggung jawab
untuk setiap objek. YOLO memiliki fungsi loss (loss function), yang merupakan
penjumlahan kuadrat error antara prediksi dan kebenaran dasar. Loss function
YOLO tersusun atas classification loss, localization loss, dan confidence loss,
dimana final loss didapatkan dari penjumlahan ketiga fungsi loss tersebut
(Redmon et al., 2016).
1. Classification Loss
Classification loss pada setiap sel grid tugasnya yaitu menghitung kuadrat
error dari probabilitas kelas kondisional untuk masing-masing kelas.
Fungsi loss ini hanya memutuskan kesalahan klasifikasi jika dan hanya
jika suatu objek ada dalam sel grid tersebut.
Classification loss dihitung menggunakan persamaan (2.8) berikut.
𝐶𝑙𝑎𝑠𝑠𝑖𝑓𝑖𝑐𝑎𝑡𝑖𝑜𝑛 𝐿𝑜𝑠𝑠 =
𝑆2 (2. 8)
∑ 𝗄𝑖 𝑂𝑏𝑗 ∑ 𝑐 ∈ 𝑐𝑙𝑎𝑠𝑠𝑒𝑠(𝑝𝑖(𝑐) − 𝑝̂𝑖(𝑐))2
𝑖=0
dimana:
𝗄𝑖𝑂𝑏𝑗 bernilai 1 jika sebuah objek muncul di sel i, jika tidak maka
bernilai 0.
II-16
𝑝̂𝑖(𝑐) menunjukkan probabilitas kelas kondisional untuk kelas c
pada sel i.
2. Localization Loss
Localization loss bertugas mengukur kesalahan pada lokasi dan ukuran
kotak pembatas yang akan diprediksi. Fungsi ini hanya digunakan pada
kotak yang bertanggung jawab untuk mendeteksi objek sehingga tidak ada
pada semua kotak. Localization loss dihitung dengan menggunakan
persamaan (2.9).
𝒍𝒐𝒄𝒂𝒍𝒊𝒛𝒂𝒕𝒊𝒐𝒏 𝒍𝒐𝒔𝒔 =
𝟐
𝝀 ∑𝑺 ∑𝑩 𝗄𝑶𝒃𝒋 [(𝒙 − 𝒙̂ )𝟐 + (𝒚 − 𝒚̂ )𝟐 ] +
𝒄𝒐𝒐𝒓𝒅 𝒊=𝟎
𝟐 𝒋=𝟎 𝒊𝒋 𝒊 𝒊 𝒊 𝒊
𝑶𝒃𝒋
𝝀 ∑𝑺 ∑𝑩 𝗄 [(√𝒘 − (√𝒘̂ )𝟐 + (√𝒉 − (2. 9)
𝒄𝒐𝒐𝒓𝒅 𝒊=𝟎 𝒋=𝟎 𝒊𝒋 𝒊 𝒊 𝒊
( √𝒉 ̂ ) 𝟐 ]
𝒊
dimana:
𝜆𝑐𝑜𝑜𝑟𝑑 adalah parameter untuk menambah bobot loss pada
koordinat kotak pembatas, dengan nilai default =5.
3. Confidence Loss
Confidence loss bertugas untuk mengukur loss yang terkait dengan nilai
keyakinan pada setiap kotak pembatas prediktor. Fungsi ini terdiri atas
perhitungan pada kondisi ada objek atau tidak adanya objek pada kotak.
Confidence loss dihitung dengan menggunakan persamaan (2.10) berikut.
II-17
𝐶𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒 𝐿𝑜𝑠𝑠
𝑆2 𝐵
= ∑ ∑ 𝗄𝑂𝑏𝑗 (𝐶𝑖 − 𝐶̂𝑖 )2 (2. 10)
𝑖𝑗
𝑖=0 𝑗=0
𝑆2 𝐵
𝑛𝑜𝑜𝑏𝑗
+ 𝜆𝑛𝑜𝑜𝑏𝑗 ∑ ∑ 𝗄 (𝐶𝑖 − 𝐶̂𝑖 )2
𝑖𝑗
𝑖=0 𝑗=0
dimana:
𝗄𝒏𝒐𝒐𝑏𝑗 adalah komplemen dari nilai 𝗄𝑂𝑏𝑗
𝑖𝑗 𝑖𝑗
𝐶̂𝑖 adalah nilai box confidence score untuk kotak j pada sel i
𝜆𝒏𝒐𝒐𝒃𝒋 adalah parameter untuk mengurangi bobot loss pada saat
mendeteksi background, dengan nilai default = 0.5
Arsitektur YOLO terdiri dari 24 lapisan konvolusi (convolutional layer), 4

lapisan max pooling, dan 2 lapisan yang terhubung penuh (fully connected layer).
Sebagian lapisan konvolusi menggunakan lapisan reduksi 1×1 sehingga dapat
mengurangi kedalaman feature maps (Redmon et al., 2016). Arsitektur yang
diperkenalkan oleh Joseph Redmon ditunjukkan seperti pada Gambar 2.11
berikut.
Gambar 2. 11 Arsitektur YOLO

Berikut adalah tahapan algoritma YOLO (Jupiyandi et al., 2019):
1. Membaca inputan data citra dengan ukuran sembarang
II-18
2. Ubah data citra menjadi ukuran 448 x 448, lalu dibuat grid pada citra
dengan ukuran S x S grids.
Gambar 2. 12 Gambar kiri membagi membuat grid pada citra

ukuran SxS, gambar kanan map untuk probabilitas kelas
Jika ukuran S=7, maka setiap grid cell ukurannya menjadi 7 x 7 karna
rumus S x S grids. Sehingga terdapat sebanyak 49 grid cell. Dan pada
contoh kasus kita misalkan pada citra terdapat 2 kelas (nC=2), yaitu
“Manusia” (c1), “Kuda” (c2), dan “Background”.
3. Pada setiap grid cell, misal B ke-n=2, terdapat B yang berisi 5 nilai, yaitu
lokasi koordinat x diasumsikan berdasar baris (x_br), koordinat y berdasar
kolom (y_kol), ukuran dan nilai confidence (x,y,w,h,cf) terhadap nB bbox
yang ada, yaitu B1 dan B2.
Gambar 2. 13 Pembagian nilai dari setiap grid sel

cf = 0 (akan selalu di-set = 0, jika dalam grid cell hanya background).
Confidence (cf) = P(object)*IoU, yang mana, Bn merupakan banyaknya
II-19
bbox, B1 untuk bbox1, B2 untuk bbox2, dan bbox menyatakan bounding
𝑡𝑟𝑢𝑡ℎ
box. Persamaan 2.6 merupakan Intersection Over Union (I𝑜𝑈𝑝𝑟𝑒𝑑 ).
Gambar 2. 14 Intersection Over Union

Pada perhitungan untuk mencari confidence (cf) = P(object)*IoU,
P(object) dapat dilewati terlebih dahulu, sehingga cukup dengan cf = IoU.
Karena P(classi | object)* P(object)*IoU= P(classi)*IoU.
4. Jika terdapat 2 bbox mengacu pada kelas yang sama, maka hasil ukuran
tensornya menjadi (S x S x (nB x 5 + nC)) = (7 x 7 x (2 x 5 + 2)) = (7 x 7 x
12) tensor.
Gambar 2. 15 Mengukur Tensor dari 2 kelas yang sama
II-20
Lalu hitung matriks bb dengan ukuran (nC x (S x S x nB)) = 2 x (7 x 7 x 2)
= (2 x 98), mulai dari grid cell ke-1 sampai ke-49 pada 2 bbox yang pada
kelas yang sama, misal untuk bb75 dan bb76.
Gambar 2. 16 Perhitungan bbox dengan class yang sama.
Gambar 2. 17 Perhitungan bbox dengan class yang sama.
Hasil dari matrix bb adalah:
II-21
Gambar 2. 18 Hasil perhitungan matrix bb
5. Jika 2 terdapat bbox pada kelas yang berbeda atau karena terdapat
overlapping object, maka hasil ukuran tensornya berubah menjadi (S x S x
(nB x 5 + 2 x nC)) = (7 x 7 x (2 x 5 + 2 x 2)) = (7 x 7 x 14) tensor.
Gambar 2. 19 Perhitungan bbox dengan class yang berbeda
bbox ke-1 dan bbox ke-2, mengarah ke objek yang berbeda kelas. Lalu
hitung matriks bb dengan ukuran (nC x (S x S x nB)) = 2 x (7 x 7 x 2) = (2
x 98), mulai dari grid cell ke-1 sampai ke-49 pada 2 bbox yang mengarah
pada kelas yang berbeda, misal untuk bb77 dan bb78.
II-22

Hasil dari matriks bb adalah sebagai berikut:
II-23
Gambar 2. 22 Hasil dari matriks bb
6. Tiap kelas pada matriks bb, dilakukan set skor = 0, jika skor kecil dari
threshoold (0.02), kemudian diurutkan secara descending.
Gambar 2. 23 Pengurutan Class berdasarkan Skor
7. Lalu lakukan Non-Maximum Suppression (NMS) dengan langkah sebagai

berikut:
II-24
a. Daftarkan semua bbox.
Gambar 2. 24 Pendaftaran Semua bbox dengan Skor kelas

b. Set bbox dengan skor paling tinggih, sebagai “bbox_max”. Misal
bb64 diketahui sebagai bbox_max dengan skor 0.732.
c. Bandingkan “bbox_max” dengan bbox lainnya sebagai “bbox_cur”
yang memiliki skor lebih kecil dari “bbox_max” dan tidak sama
dengan nol. Jika IoU (bbox_max,bbox_cur) > 0.5, maka set skor
menjadi nol untuk bbox_cur. Dari hasil perbandingan, jika
bbox_max = bb64, bbox_cur = bb24, maka
IoU(bbox_max,bbox_cur) > 0.5 (true), maka set skor bb24 = 0.
Gambar 2. 25 Mencari nilai IoU pada setiap bbox
II-25
d. Lanjutkan ke bb22, dari hasil perbandingan, jika bbox_max =
bb64, bbox_cur = bb22, maka IoU(bbox_max,bbox_cur) > 0.5
(false), maka skor bb22 tetap dan tidak berubah.

e. Lanjutkan ke bb36, dari hasil perbandingan, jika bbox_max =
bb64, bbox_cur = bb36, maka IoU(bbox_max,bbox_cur) > 0.5
(false), maka skor bb36 tetap dan tidak berubah.

f. Lanjutkan prose pembandingan sampai ke bbox_max = bb64,
bbox_cur = bb98. Lalu set bbox_max = bb22, dan bbox_cur =
bb36, dan seterusnya begitu sampai selesai.
g. Kemudian lanjutkan ke kelas berikutnya dengan proses yang sama
seperti yang telah dilakukan pada kelas manusia.
II-26
8. Plot bounding box berdasar hasil NMS
Gambar 2. 28 Hasil akhir peneteksian YOLO

YOLO memiliki beberapa kelebihan jika dibandingkan dengan sistem
serupa yang berorientasi pada classifier, yaitu dari seluruh citra pada saat
dilakukan test dengan prediksi yang diinformasikan secara global pada citra
(Redmon et al., 2016). Membuat prediksi dengan jaringan saraf tiruan ini tidak
seperti sistem Region Convolutional Neural Network (R-CNN) yang waktu yang
lama untuk sebuah citra sehingga membuat YOLO lebih cepat hingga beberapa
kali daripada R-CNN.
Penelitian Terkait
Tabel 2.1 berikut merupakan table yang berisi jurnal-jurnal dari penelitian
yang terkait dengan penelitian tugas akhir ini.
II-27
Tabel 2. 1 Tabel Penelitian Terkait
No Author Tahun Judul Penelitian Kesimpulan
1 Junita Sri Wisna, 2019 Deteksi Kendaraan Penelitian telah berhasil

Tekad Matulatan, Secara Real-Time mendeteksi kendaraan dengan
Nurul Hayaty Menggunakan Metode training step terbaik adalah pada
YOLO Berbasis step 1.200 dengan akurasi 83%.
Android Selain mendeteksi juga
menampilkan nilai keyakinan,
dan jumlah data latih dan
resolusi kamera juga
mempengaruhi kualitas deteksi
2 Mahwaddah 2019 Sistem Cerdas Penelitian membuktikan bahwa

Harahap, Juni Pemantauan Arus dengan YOLOv3 dapat
Elfrida, Pasrah Lalu Lintas Dengan mengklasifikasikan kendaraan
Agusman, Mario YOLO (You Only dengan mAP(Mean Average
Rafael, Rahul Look Once v3) Precision) pada CCTV fix
Abram, Kiki dengan nilai tertinggi mencapai
Andrianto 97% sedangkan pada CCTV
PTZ adalah 99%
3 Abi Rachman 2019 Pembuatan Pendeteksi Pada penelitian sistem yang

Wasril, M. Obyek dengan dibuat masih dalam
Shiddiq Ghozali, Metode You Only pengembangan sehingga masih
M. Banu Mustafa Look Once (YOLO) menggunakan command promt
untuk Automated dan belum memiliki GUI. Dan
Teller Machine pada kesimpulan sistem dapat
(ATM) mendeteksi barang yang tidak
diperbolehkan didalam ATM
seperti Helm yang sedang
digunakan oleh manusa
4 Kevin Adiputra 2019 Deteksi Jenis Mobil Penelitian menyimpulkan bahwa

Shianto, Kartika Menggunakan Metode akurasi prediksi YOLO lebih
Gunadi, Endang YOLO Dan Faster R- rendah dari Faster R-CNN
Setyati CNN dikarenakan YOLO lebih
banyak tidak mendapatkan
region saat melakukan prediksi
dibandingkan dengan prediksi
FasterRCNN. Keakuratan dalam
melakukan klasifikasi
dipengaruhi oleh region yang
berhasil diprediksi.
II-28
5 Windra Swastika, 2019 Monitoring Ruangan Setelah melakukan penelitian
Untuk Deteksi disimpulakan bahwa bobot
Albert Wahyudi Manusia Berbasis YOLO v2 yang dilatih dirasa
Nur, CNN Dengan Fitur berhasil mendeteksi objek
Oesman Hendra Push Notification berupa manusia secara realtime
Kelana dengan nilai akurasi sebesar
72,1% dan sensitivitas sebesar
56,49% dan spesifitas sebesar
94,9%
6 M. H. Putra, Z. 2018 Convolutional Neural Dengan menggunakan YOLO

M. Yussof, K. C. Network for Person dengan 7 layer konvolusi
Lim, S. I. Salim and Car Detection penelitian ini mampu
using YOLO mendeteksi orang dan mobil
Framework dengan kecepatan pendeteksian
yang baik tanpa mengorbankan
akurasi pendeteksian.
7 Roberto Olmos, 2018 Automatic Handgun dengan hasil yang menjadi

Siham Tabik, dan Detection Alarm in temuan baru dalam pendeteksian
Francisco Herrera Videos Using Deep pistol otomatis sistem dengan
Learning (Alarm video dan cocok untuk
Pendeteksi Handgun pengawasan dan pengontrolan,
Otomatis dengan Hasil terbaik didapatkan dari
video menggunakan model berbasis Faster R-CNN
Deep Learning) dengan memberikan hasil nol
False Positive, 100% recall
(recall =True Positif / True
Positif + False Negatif), angka
besar untuk True Negatif dan
Precision sebesar 84,21%
(Precision = True Positif / True
Positif + False Positif), dan
hasil tinggi juga didapatkan dari
video youtube beresolusi rendah
sehingga sangat memuaskan
sebagai sistem alarm otomatis.
dengan 30 adegan 27
diantaranya berhasil
mengaktifkan alarm setelah lima
true positif berturut-turut dalam
selang waktu kurang dari 0,2
detik
8 Sisco Jupiyandi, 2018 Pengembangan Dengan pengujian pada 13 data

Fadhil Rizqullah Deteksi Citra Mobil citra menunjukkan bahwa
Saniputra,Yoga untuk Mengetahui algoritma mampu mendeteksi
Pratama, Jumlah Tempat Parkir jumlah mobil dengan tepat
Muhammad Menggunakan CUDA dengan akurasi mencapai 100%
Robby dan Modified YOLO Ketika menjalankan program
II-29
Dharmawan, yang menampilkan nilai
Imam estimasi dari tiap objek sebagai
Cholissodin mobil yang ada pada slot parker.
9 Agung Santoso, 2017 Deteksi Objek Senjata dengan melakukan pengujian

Tajam Pada Citra X- menggunakan proses segmentasi
Ulitonang, Ray Dengan Metode berbasis citra yaitu proses
Isturom Arif, Pengukuran Dimensi filterisasi menggunakan operasi
Moch. Hatta Citra morphologi dan pengukuran RV
didapatkan hasil sebesar 96%
dengan objek sample sebanyak
27 citra dengan berhasil
mendeteksi 59 objek dari 63
10 Kadek Oki 2017 Pendeteksian Objek dengan hasil ujicoba yang

Sanjaya, Gede Rokok Pada Video dianggap metode yang diangkat
Indrawan, Kadek Berbasis Pengolahan mampu mendeteksi objek satu
Yota Ernanda Citra Dengan rokok hingga 93,3% dan pada
Aryanto Menggunakan Metode kondisi 2 objek rokok dengan
Haar Cascade akurasi 86,7%. Pengujian juga
Classifier di variasikan dengan ukuran
pixel inputan, dan semakin kecil
pixel maka hasil akurasi deteksi
juga akan mengecil pula
11 Ali Mahmudi, 2014 Deteksi Senjata Tajam Pengujian dilakukan dengan 2

M.Taufiqur Dengan Metode Haar parameter yaitu pencahayaan
Rusda Cascade Classifier dan jarak, pada pencahayaan
Menggunakan aplikasi dapat mendeteksi
Teknologi Sms senjata tajam dengan akurasi
Gateway terkecil 63% pada cahaya
remang dan terbesar pada
cahaya terang dengan nilai 86%
dan pengujian terhadap jarak
aplikasi dapat mendeteksi
senjata tajam dengan akurasi
66% pada jarak 0-30 cm dan
terendah pada jarak 61-90 cm
dengan nilai 26%
II-30
BAB III
METODOLOGI PENELITIAN
Alur Penelitian
Alur Penelitian yang digunakan pada penelitian ini dapat dilihat pada
Gambar 3.1 berikut:
Gambar 3. 1 Diagram Alur Penelitian
III-1
Perencanaan
Perencanaan adalah langkah awal dari penelitian, pada tahap ini dijelaskan
langkah - langkah merencanakan penelitian yang dibuat, adapan tahapannya
terbagi sebagai berikut:
3.2.1 Identifikasi Masalah

Identifikasi Maslah adalah tahap awal untuk mengenal masalah yang harus
dilakukan seorang peneliti setealah memperoleh topik penelitian yang ingin di
buat, Pada penelitian ini identifikasi masalah dilakukan dengan mengamati berita
di tv maupun media sosial mengenai tindakan yang terjadi pada masa pandemi
seperti sekarang ini yang semakin meningkat.
3.2.2 Perumusan Masalah

Setelah mengenal masalah dan mengidentifikasi masalah, maka
selanjutnya peneliti melakukan perumusan masalah yang ingin diangkat, hal ini
bertujuan agar terdapat batas-batas permasalahan pada penelitian sehingga
cakupan penelitian tidak keluar dari tujuan. Perumusan masalaha pada penelitian
ini ialah Bagaimana membangun sebuah sistem yang dapat mengidentifikasi
senjata tajam dan pistol melalui tangkapan kamera CCTV serta membunyikan
alarm
3.2.3 Kajian Pustaka

Kajian Pustaka berguna untuk pembelajaran teori-teori yang digunakan
dalam penelitian sehingga penelitian memiliki landasan yang kuat dan dapat
dipertanggungjawabkan. Kajian Pustaka yang dilakukan pada penelitian ini adalah
melalui buku, jurnal ilmia, serta artikel yang berhubungan dengan topik
penelitian.
Pengumpulan Data
Data yang dibutuhkan adalah sebanyak ±500 foto untuk satu buah class.
dengan data yang didapat dari berbagai sumber diantaranya:
1. Mengambil data yang terdapat pada situs Open Image Dataset yang
merupakan kumpulan dataset open source milik google.
2. Menambah beberapa data dari potongan video CCTV kejadian
pencurian supermarket.
III-2
3. Memanfaatkan fitur Image Search pada Google.
4. Memotret sendiri objek class dengan kamera android
Analisa Dan Perancangan

Tahapan analisa adalah tahapan yang dilakukan setelah mendapatkan data
dan informasi yang dibutuhkan seperti dataset dan informasi mengenai proses
deteksi objek. Adapun tahapan yang dilakukan adalah sebagai berikut:
3.4.1 Analisis Permasalahan

Pada tahap ini akan dibahas hasil Analisa masalah oleh peneliti sehingga
masalah ini dapat diangkat menjadi latar penelitian. Selain itu juga akan dibahas
lebih rinci mengenai permasalahan dan kelebihan serta kekurangan dari
penggunaan CCTV di indonesia
3.4.2 Analisa Kebutuhan Data

Penilitian kali ini hanya menggunakan 2 class yaitu Pistol (Senjata Api
Genggam) dan Pisau untuk lebih jelasnya berikut penjabaran mengenai data yang
digunakan:
1. Pistol (Senjata Api Genggam)
Senjata Api yang digunakan dikhususkan hanya senjata api genggam
dan biasanya berlaras pendek dan digunakan dengan satu tangan.
Terdapat tiga jenis pistol yang akan di gunakan sebagai data yaitu:
a. Flintlock, dengan mekanisme pelatuk yang ditarik pada saat ingin
menembak.
b. Revolver, dengan ciri khas memiliki silinder berputar yang berisi
kamar peluru.
c. Pistol Semi Otomatis, adalah jenis yang paling umum dan biasanya
banyak digunakan pada kepolisian dengan kapasitas peluru pada
ganggang.
d. Pistol Otomatis, adalah pistol dengan kemampuan menembak
sepenuhnya otomatis dan sangat jarang digunakan pada karna sulit
dikontrol dan kurang akurat.
III-3
Gambar 3. 2 Kiri Atas (Flinlock), Kanan Atas (Revolver), Bawah Kiri (Pistol
Semi Otomatis), Bawah kanan (Pistol Otomatis)
2. Knife (Pisau)
Pisau yang digunakan adalah pisau yang memiliki bentuk tidak jauh
berbeda dari bentuk umum pisau, maka dari itu pisau daging yang
berbentuk persegi tidak dimasukkan.
Gambar 3. 3 Dari berbagai jenis pisau dapur diatas pisau Cleaver tidak
dimasukkan ke dalam dataset karna bentuk yang berbeda dari pisau
pada umumnya
III-4
3.4.3 Labelling data citra
Gambar 3. 4 Proses Labelling pada tools LabelImg

Setelah melakukan pengumpulan data, maka data yang didapat dilakukan
pelabelan data citra sesuai dengan kelasnya. Pelabelan dilakukan karena YOLO
merupakan jenis algoritma supervise learning atau memerlukan label dalam
proses pembelajaran, sehingga proses training dapat berjalan dengan baik. Dalam
pelabelan digunakan tool yaitu LabelImg v1.8.3 yang merupakan salah satu
library pada Python. dan hasilnya akan berupa file ber-extensi XML file dengan
memuat informasi dari citra untuk proses selanjutnya, yaitu proses training.
Pelabelan dilakukan pada setiap dataset yang diperoleh dan pada satu
dataset atau foto terdapat satu pula label dan pada satu foto bisa terdapat objek
kelas lebih dari satu.
3.4.4 Analisa Proses Deteksi

Pada tahap ini akan dijelaskan tahap-tahap yang dilakukan dalam
pendeteksian objek yang dapat dilihat pada Gambar 3.5 berikut:
III-5
Gambar 3. 5 Proses Deteksi Objek pada YOLO
1. Input Data Citra baik berupa foto dan video. Pada video bisa dengan
real-time video ataupun record video
2. Proses YOLO
a. Resize Image atau data citra menjadi 416 x 416
b. Ekstraksi fitur dan klasifikasi citra oobjek dengan proses CNN
i. Convolution atau operasi konvolusi citra bekerja dengan
tujuan untuk mendapatkan ekstraksi fitur dari inputan citra
dan kernel yang digunakan adalah 3x3
ii. ReLu (Rectified Linear Unit) adalah operasi tambahan pada
setiap operasi konvolusi selesai.
iii. Maxpooling adalah proses downsampling yang bekerja
dengan mencari nilai max dari nilai pixel yang didapat dari
proses ReLu
iv. Fully Connected Layer atau lapisan yang terhubung
sepenuhnya akan melakukan tugas seperti JST standar dan
juga berupaya untuk menghasilkan skor kelas dari aktivasi,
kemudian digunakan untuk klasifikasi.
c. Tampilkan Bounding Box, Label dan Confidence Score apabila
sudah menemukan objek dan nilai keyakinan melebihi dari
threshold yang ditentukan.
III-6
d. Bunyikan alaram jika objek terdeteksi dengan nilai confidence
sudah melebihi dari batas yang diatur dan terdeteksi melebihi 3
detik.
3.4.5 Perancangan Flowchart
Gambar 3. 6 Flowchart Alur kerja sistem
III-7
Flowchart dirancang agar dapat menggambarkan secara garis besar proses
kinerja sistem dalam melakukan pendeteksian. Dapat dilihat dari Gambar 3.6
flowchart alur kerja sistem yang dirancang terbagi pada dua tahap yang dari tahap
pertama dan tahap kedua berkelanjutan. Tahap pertama bisa disebut dengan proses
trainig dan tahap kedua adalah proses implementasi model
1. Tahapan training, adalah tahapan awal yang mulai dari mempersiapkan
data latih yang sudah dilabel untuk selanjutnya dimasukkan pada proses
CNN untuk menekstraksi fitur pada data latih, setelah proses CNN
selesai maka akan didapat hasil Model yang selanjutnya akan dicoba
pada tahapan berikutnya
2. Tahapan menjalankan model, setelah menyelesaikan proses training
maka model yang didapatkan dapat dijalankan dengan metode Yolo
ketika diberikan inputan video, dari setiap frame pada video diproses
pada yolo untuk menemukan kelas, jika sudah menemukan objek yang
dirasa memiliki nilai confidence melebihi threshold maka bounding box,
label dan nilai confidence akan muncul pada objek tersebut, dan jika
objek tersebut memiliki nilai confidence melebihi dari nilai X (nilai yang
ditentukan untuk membunyikan alaram) dan objek dengan nilai lebih dari
X tadi terdeteksi lebih dari 3 detik maka alarm akan dibunyikan.
Implementasi
Implementasi sistem adalah sebuah tahapan dalam membuat atau
menyusun perangkat lunak melalui proses coding. Implementasi dilakukan dengan
cara melakukan training model di perangkat laptop lalu pengujian dilakukan pada
video CCTV. Pengimplementasian dmembutuhkan perangkat pendukung yang
dapat menunjang keberhasilan penelitian. Perangkat yang dimaksud adalah
hardware (perangkat keras) dan software (perangkat lunak).
Perangkat yang diperlukan adalah:
III-8
1. Perangkat keras:
1) Laptop
a. Processor : AMD Rayzen 5 3550H
b. Memory : 8 GB
c. Storage : 500 GB SSD
d. VGA : NVIDIA GeForce GTX 1050
2. Perangkat lunak:
a. Platform : Microsoft
b. Operating System : Windows 10 Home Single Langueage 64-bit
c. Bahasa Pemograman : Python
3.5.1 Training (pelatihan)

Setelah dilakukan pelabelan pada semua dataset citra maka didapat pula
informasi yang diperlukan yaitu berupa file berextensi XML yang memuat
informasi data citra yang akan digunakan pada proses training.
Proses training sendiri memerlukan beberapa library pendukung agar dapat
berjalan dengan baik. Library tersebut adalah sebagai berikut:
a. Darkflow
b. NumPy 1.16.2
c. Protobuf 3.6.1
d. OpenCV-Python 4.0.0.21
Library OpenCV disertakan untuk membantu dalam preprosesing citra
pada dataset. Sedangkan Library Darkflow digunakan untuk membantu mengubah
bobot pra-latih (pretrained weight) yang disediakan oleh Joseph Redmon serta
membentuk model sesuai konfigurasi arsitektur YOLO yang dibuat oleh peneliti.
Bobot pra-latih tersebut dapat diunduh pada url https://pjreddie.com/media/files/-
voc.weights, yang merupakan milik dari Joseph Redmon.
Pengujian
Pengujian adalah tahapan ketika Model dianggap sudah maksimal dan siap
dijalankan, tahap ini bertujuan untuk menguji kinerja model. Untuk mengetahui
kelayakan model tersebut maka akan dilakukan pengujian menggunakan
Confusion
III-9
Matrix dan Testing. Hasil dari tahapan ini, diharapkan agar kita mengetahui nilai
threshold terbaik dan variabel-variabel yang mempengaruhi akurasi model serta
dapat ditingkatkan pada penelitian selanjutnya.
Kesimpulan dan Saran

Kesimpulan dan saran berisi tentang kesimpulan atau intisari yang didapat
dari penelitian yang telah dilakukan dan untuk meningkatkan hasil penelitian
kedepannya maka dibutuhkan saran.
III-10
BAB IV
ANALISA DAN PERANCANGAN
Bab ini akan dilakukan proses mempelajari serta mendalami penyelesaian
masalah-masalah yang ada pada penelitian. Bab ini juga akan membahas 4 hal
yang menyangkut proses penelitian yaitu analisi masalah, analisa kebutuhan data,
labelling data citra dan analisa proses deteksi.
Analisi Permasalahan
Awal tahun 2020 wabah virus corona mulai masuk di Indonesia,
bersamaan dengan wabah virus Corona, mulai muncul masalah–masalah yang
timbul akibat wabah virus Corona ini mulai dari Pendidikan, dimana pelajar harus
mulai melakukan proses pembelajaran jarak jauh (PJJ) hingga ke sektor ekonomi
yang membuat beberapa negara dunia termasuk Indonesia mengalami resesi
ekonomi atau penurunan signifikan dalam kegiatan ekonomi yang berlangsung
dalam kurun waktu tertentu. Selaras dengan penurunan ekonomi juga naiknya
angka kejahatan di Indonesia, menurut Markas Besar Kepolisian RI tercatat angka
kriminalitas terus meningkat sepanjang tahun dan kasus kejahatan semakin tinggi
sejak Indonesia dilanda wabah Corona pada Maret lalu. Peningkatan terjadi
sebesar 4.49% dari pekan sebelumnya (http://bit.ly/tempo-kriminal, 2020).
Closed Circuit Television atau biasa disebut dengan CCTV
penggunaannya di indonesia saat ini tidak berperan optimal karena CCTV masih
belum berpengaruh besar dalam mengantisipasi tindakan kejahatan serta
penggunaan CCTV khususnya di Indoesia hanya memantau kejadian dan tetap
membutuhkan manusia sebagai pengawasnya yang masih bisa lalai dalam
tugasnya. CCTV hanya merekam kejadian kriminalitas yang terjadi pada masa
lampau, hal tersebut masih belum bisa mengantisipasi tindakan kriminalitas secara
real-time. Seperti perampokan berpistol pada sebuah minimarket dimana pelaku
berhasil melancarkan aksinya dan CCTV masih sebatas barang bukti kejadian dan
masih belum mampu mencegah (http://bit.ly/tempo-kriminal-cctv, 2018). CCTV
yang merekam sebuah kejadian dengan bantuan teknologi artificial inteligence
dapat mendeteksi dan mengenali suatu objek yang telah dilatih sebelumnya,
Sehingga memudahkan kinerja manusia
IV-1
dalam pengawasan benda-benda yang tidak diperboleh pada suatu tempat, seperti
pada penelitian pendeteksian objek yang dilarang pada ATM (Rachman wasril et
al., 2019).
Analisa Kebutuhan Data

Penelitian ini juga membutuhkan banyak sekali data citra agar dapat
membangun model yang baik pada saat proses pembelajaran. Terdapat 4 cara
untuk mendapatkan data citra yang didapat dari berbagai sumber diantaranya:
5. Mengambil data yang terdapat pada situs Open Image Dataset yang
merupakan kumpulan dataset open source milik google.
6. Menambah beberapa data dari potongan video CCTV kejadian
pencurian supermarket.
7. Memanfaatkan fitur Image Search pada Google.
8. Memotret sendiri objek class dengan kamera android
Dari semua cara yang dilakukan didapatlah data yang digunakan
berjumlah 4146 Foto dengan rata-rata ukuran per foto adalah 4 MB dengan
jumlah size keseluruhan sekitar 920 MB, dengan jumlah class pada foto yaitu:
1. Kelas Pistol terdapat 2423 label training
2. Kelas Knife (pistol) terdapat 2462 label training
Dari Keseluruhan 4146 foto, terdapat 1 sampai 2 kelas pada setiap fotonya
sehingga memperkecil jumlah foto yang digunakan dan lebih effisien dalam segi
ukuran dataset penelitian.
Setelah dirasa data cukup maka dilakukan pelabellan data sebelum lanjut
ke tahap pelatihan (training). Pelabelan dilakukan karena YOLO merupakan jenis
algoritma supervise learning atau memerlukan label dalam proses pembelajaran,
sehingga proses training dapat berjalan dengan baik.
IV-2
Labelling Data Citra
Gambar 4. 1 Proses Labelling pada tools LabelImg
Setelah melakukan pengumpulan data, maka data yang didapat dilakukan

pelabelan data citra sesuai dengan kelasnya. Pelabelan dilakukan karena YOLO
merupakan jenis algoritma supervise learning atau memerlukan label dalam
proses pembelajaran, sehingga proses training dapat berjalan dengan baik. Dalam
pelabelan digunakan tool yaitu LabelImg v1.8.3 yang merupakan salah satu
library pada Python. Dan hasilnya akan berupa file ber-extensi XML file dengan
memuat informasi dari citra untuk proses selanjutnya, yaitu proses training.
Pelabelan dilakukan pada setiap dataset yang diperoleh dan pada satu
dataset atau foto terdapat satu pula label dan pada satu foto bisa terdapat objek
kelas lebih dari satu. Berikut adalah contoh kode pelabelan pada file XML
IV-3
<annotation>
<folder>Dataset</folder>
<filename>dataset (126).jpg</filename>
<path>D:\WISUDA\Android Skripsi APP\TA MODEL\darkflow-
master\Dataset\dataset (126).jpg</path>
<source>
<database>Unknown</database>
</source>
<size>
<width>700</width>
<height>475</height>
<depth>3</depth>
</size>
<segmented>0</segmented>
<object>
<name>Knife</name>
<pose>Unspecified</pose>
<truncated>0</truncated>
<difficult>0</difficult>
<bndbox>
<xmin>106</xmin>
<ymin>94</ymin>
<xmax>297</xmax>
<ymax>337</ymax>
</bndbox>
</object>
<object>
<name>Knife</name>
<pose>Unspecified</pose>
<truncated>0</truncated>
<difficult>0</difficult>
<bndbox>
<xmin>433</xmin>
<ymin>144</ymin>
<xmax>605</xmax>
<ymax>296</ymax>
</bndbox>
</object>
</annotation>
Melalui file XML yang merupakan hasil pelabelan dapat dilihat bahawa
pada file dengan nama dataset (126).jpg dengan ukuran 700 x 475 terdapat dua
object yang dilabelkan, label pertama dengan nama Knife (pisau) terdapat pada
kordinat xmin/ymin = 70/94 dan xmax/ymax =297/406. Untuk penjelasan
kordinat pelabelan dapat dilihat pada Gambar 4.2 berikut:
IV-4
Gambar 4. 2 Kordinat Pada Pelabelan
Analisa Proses Deteksi

Analisa Proses Deteksi akan lebih dijelaskan proses pendeteksian objek
yang melalui berbagai macam tahapan sehingga mendapatkan hasil akhir sebuah
objek yang terdeteksi, berikut adalah tahapan-tahapanya:
4.4.1 Resize Citra

Langkah awal sebelum data citra diolah maka perlu sesuaikan inputan data
dengan konfigurasi arsitektur YOLO maka di resize-lah data inputan, selain itu
resize data inputan juga berguna untuk menyamakan semua ukuran data inputan
yang memiliki variasi ukuran citra, berikut adalah contoh data yang dapat dilihat
pada Gambar 4.3
IV-5
Gambar 4. 3 Citra Gambar Seorang Memegang Pistol
Gambar 4.4 adalaha gambar asli dengan ukuran 1024 x 681 piksel. Citra
tersebut sebelum diporses pada jaringan maka akan diubah menjadi 416 x 416
piksel seperti pada gambar 4.5
Gambar 4. 4 Citra berukuran 416 x 416

Data Inputan dengan bentuk (416, 416, 3) atau citra berukuran 416 x 416
dengan 3 channel, setelah melalui proses resize selanjutnya membagi citra
menjadi kotak-kotak sebanyak 7 x 7 seperti pada Gambar 4.5, kotak ini
dinamakan grid cell setiap kotak bertangung jawab untuk memprediksi apakah
terdapat objek apa tidak didalamnya, jika ada maka akan diberi nilai 1 dan jika
tidak diberi nilai 0, kotak yang bernilai 1 akan menghasilkan Bounding Box dan,
Setiap sel terdiri dari 5 bounding box dengan 7 komponen pada setiap box (bx, by,
bw, bh, confidence, pc0, pc1). Tabel 4.1 akan menampilkan ilustrasi dari setiap
grid sel pada vektor output.
IV-6
Gambar 4. 5 Citra yang sudah di beri grid cell 7 x 7
Tabel 4. 1 Ilustrasi isi pada setiap grid sel output
bx by bw bh confidence Pc0 Pc1

Bbox1 … … … … … … …
Bbox2 … … … … … … …
Bbox3 … … … … … … …
Bbox4 … … … … … … …
Bbox5 … … … … … … …
4.4.2 Analisa Arsitektur Yolo

YOLO pada arsitekturnya menggunakan reduction factor 32 untuk
melakukan downsampling pada citra inputan. Input dengan bentuk (416, 416, 3)
atau citra berukuran 416 x 416 dengan 3 channel, selama proses convolutional
network akan mengalami penurunan resolusi pada output menjadi 416 / 32 = 13,
outputnya akan menghasilkan vektor dengan bentuk (13, 13, 35), dimana 13 x 13
adalah grid akhir, dan 35 adalah hasil dari formula Bx(5+C). dimana B (bounding
box) pada YOLO berjumlah 5 box, sedangkan C (kelas) pada penelitian ini
berjumlah 2 kelas (pistol, pisau). Arsitektur YOLO lebih rinci yang akan
digunakan pada penelitian kali ini dapat dilihat pada Tabel 4.2 dimana
arsitekturnya menampilkan summary pada saat training sesuai konfigurasi yang
terdapat pada Lampiran A.1, dengan F = ukuran kernel filter, P = padding, dan S
= Stride.
IV-7
Tabel 4. 2 Arsitektur Yolo per layer
# Input Operasi F P S
1 (416, 416, 3) Conv with batch norm (3.3) 1 1
and leaky ReLU
2 (416,416, 16) Max Pooling (2.2) 0 2
3 (208, 208, 16) Conv with batch norm (3,3) 1 1
and leaky ReLU
4 (208, 208, 32) Max Pooling (2,2) 0 2
and leaky ReLU
6 (104, 104, 64) Max Pooling (2,2) 0 2
and Leaky ReLU
8 (52, 52, 128) Max Pooling (2,2) 0 2
and Leaky ReLU
10 (26, 26, 256) Max Pooling (2,2) 1 1
and Leaky ReLU
12 (13, 13, 512) Max Pooling (2,2) 0 1
and Leaky ReLU
14 (13,13, 1024) Conv with batch norm (3,3) 1 1
and Leaky ReLU
15 (13, 13, 1024) Conv with linear (1,1) 0 1
activation
Pada layer pertama, dilakukan operasi konvolusi dengan ukuran kernel

filter 3x3, padding 1, stride 1, terdapat input berukuran 416x416. Hal ini dapat
dibuktikan dengan persamaan (4.1) perhitungan berikut:
IV-8
𝑁 + 2𝑃 − 𝐹 416 + 2(1) − 3 416 − 1 (4. 1)
0=1+ =1+ =1+ = 1 + 415
𝑆 1 1
Berikutnya pada layer kedua, opeasi max pooling dengan ukuran kernel 2
x 2, padding 0 stride 2, terhadap input berukuran 416 x 416 menghasilkan
output
ukuran 208 x 208 sesuai dengan persamaan (4.2)
𝑁 + 2𝑃 − 𝐹 416 + 2(0) − 2 416 − 2 (4. 2)
0 =1+ =1+ =1+ = 1 + 207
𝑆 2 2
Sampai pada layer ketiga dan begitu seterusnya dengan menampilkan hasil
output seusai pada Tabel 4.2 diatas. Berbeda pada layer terakhir, dimana
sebelumnya melewati konvolusi dengan aktivasi ReLU, sedangkan pada terakhir
melewati proses konvolusi dengan aktivasi linear dan juga layer terakhir adalah
layer yang memprediksi probabilitas kelas dan bounding box.
Probabilitas kelas yang didapat dari nilai box confidence score yang
merupakan komponen dari bounding box seperti pada Tabel 4.1. box confidence
ini hanya akan bernilai jika dan hanya jika bounding box menganggap ada objek
didalamnya, dan nilai akhirnya nanti akan berkaitan dengan IoU dari bounding
box itu sendiri. IoU (Intersection over Union) merupakan perbandingan antara
ukuran bounding box dengan ground truth yang didapat selama masa training
untuk masing-masing kelas, seperti yang di tunjukkan pada persamaan (2.6)
contoh ilustrasi IoU dapat dilihat pada gambar.
Gambar 4. 6 Ilustrasi Intersection Over Union (IoU)

Source : http://datahacker.rs/deep-learning-intersection-over-union/
IV-9
Bounding box berwarna merah adalah ground truth bounding box (dimana
terdapat mobil pada foto) sedangkan bounding box warna ungu adalah output
YOLO maka disinilah tugas persamaan IoU untuk menghitung nilai box
confidence score nya. Sesuai yang dikutip oleh Joseph Redmon dalam jurnalnya
mengatakan bahwa nilai akhir dari prediksi (class confidence score) merupakan
perkalian antara box confidence score dengan probabilitas kondisional kelas
sesuai persamaan (2.7). Nilai probabilitas kondisional untuk masing-masing kelas
(pc0, pc1) adalah nilai kemungkinan bahwa objek yang terdapat pada bounding
box adalah kelas i dengan rentang 1-0 (true or false), sehingga bernilai 0 jika tidak
terdapat objek pada bounding box dan bernilai 1 jika terdapat objek pada
bounding box.
Untuk perhitungan manual kita akan cobakan pada Gambar 4.6 yang sudah
di di resize dan dibagi grid cell nya sebanyak 7 x 7. Diketahui titik yang dilihat
adanya objek pistol ada pada titik kordinat (x,y) dalam bentuk piksel RGB adalah
sebagai berikut:
Titik RGB (x,y) = (153,100)
Lebar (w) = (51)
Tinggi (h) = (50)
Potongan gambar yang menunjukkan titik kordinat (153,100) dapat dilihat
pada Gambar 4.8
Gambar 4. 7 Objek Pistol

Selanjutnya pencarian bounding box dari gambar 4.6 yang telah di bagi
grid 7 x 7 bagian. Gambar 4.9 adalah contoh ilustrasi proses pencarian bounding
box.
IV-10
Gambar 4. 8 Ilustrasi proses pencarian bounding box
Proses pencarian bounding box pada Gambar 4.9 dapat dilihat bahwa
setiap grid cell memiliki tangung jawab untuk melakukan pencarian dengan
menggunakan anchor box dengan berbagai ukuran, dalam aturan untuk pencarian
anchor box adalah apabila keluar dari tepian maka tidak di hitung.
Setelah diberikan anchor untuk memprediksi bounding box pada ilustrasi
pencarian pada Gambar 4.9 maka didapat prediksi bounding box pada titik
kordinat sebagai berikut:
Titik RGB (x,y) = (152,100)
Lebar (w) = (51)
Tinggi (h) = (51)
Potongan gambar hasil bounding box dengan kordinat (152, 100) dapat
dilihat pada Gambar 4.10
Gambar 4. 9 Objek yang didapatkan oleh Bounding Box

Bounding box yang dihitung adalah kotak berwarna merah pada Gambar
4.10. dan selanjutnya masuk ke perhitungan IOU dapat dilihat pada Gambar 4.11
IV-11
Gambar 4. 10 IOU prediction
Sesuai dengan rumus IOU pada persamaan 2.6 maka dihitung sebagai
berikut:
A n Gtruth = 50 x 50 = 2500
A u TruthP = (51 x 50) + (51 x 51) = 2550 + 2601 = 5151
𝐴 𝑛 𝐺𝑡𝑟𝑢𝑡ℎ 2500
𝐼𝑂𝑈 = = = 0.4853
𝐴 𝑢 𝑇𝑟𝑢𝑡ℎ𝑃 5151
Karena nilai yang didapat lebih besar dari 0.2 maka data Bounding box
dapat digunakan dengan titil kordinat:
Titik RGB (x,y) = (152,100)
Lebar (w) = (51)
Tinggi (h) = (51)
Data Bounding Box yang didapat ini nantinya akan terus digunakan hingga
ke jaringan Fully Connected Layer. Selain itu nilai 0.48 juga akan dijadikan
sebagai nilai box confidence score sesuai dengan persamaan 2.5, dimana nilai 0.48
disebut juga dengan confidence pada bounding box. Sebagaimana yang di
sebutkan Joseph Redmon pada papernya yaitu nilai akhir dari prediksi (class of
confidence score) merupakan perkalian antara box confidence score dengan
probabilitas kondisional kelas, sesuai dengan persamaan 2.7. Nilai Probabilitas
kondisional untuk masing
IV-12
masing kelas (pc0, pc1) adalah nilai kemungkinan objek yang ada pada bounding
box merupakan kelas pistol. Nilai ini memiliki rentang 0-1, 1 jika kotak ada objek
keals dan 0 jika kotak tidak ada objek kelas. Pada bounding box contoh memiliki
probabilitas kondisional kelas “pistol” bernilai 1 jadi pc0 = 1, maka class
confidence score akan dihitung sebagai berikut:
Pr(𝐶𝑙𝑎𝑠𝑠𝑃𝑖𝑠𝑡𝑜𝑙) = 𝑃𝑐0 . 𝑏𝑜𝑥 𝑐𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒 𝑠𝑐𝑜𝑟𝑒 = 1 ∙ 0.48 = 0.48
4.4.3 Proses Metde CNN

YOLO tergolong dalam kelompok algoritma CNN, tak heran pada
arsitekturnya banyak menggunakan operasi-operasi CNN pada umumnya seperti:
1. Convolution
Convolution adalah tahap awal ekstraksi citra yang dilakukan pada
jaringan YOLO setelah melalui proses resize dan pencarian IOU
prediction sehingga data kordinat yang didapat akan diolah pada operasi
konvolusi dan seterusnya hingga ke layer terakhir, cara kerja convolution
adalah dengan menjumlahkan hasil dari perkalian pada setiap perkalian
antara matrik inputan dan matrik filter atau biasa disebut dengan bobot.
Untuk perhitungan manualnya Pada Tabel 4.3 adalah contoh matrik filter
atau bobot yang digunakan dapa proses convolusi dengan stride 2 dan
ukuran 7x7 dan akan dikonvolusikan dengan matrik RGB dari kordinat
citra yang didapat dari hasil proses IOU sebagai berikut:
Titik RGB (x,y) = (152,100)
Lebar (w) = (51)
Tinggi (h) = (51)
Dengan informasi titik kordinat diatas maka matrik R(x,y) (red) dapat
dilihat pada tabel 4.3, matrik G(x,y)(green) pada tabel 4.4 dan B(x,y)(blue)
pada tabel 4.5
IV-13
Tabel 4. 3 Matrik citra pada kordinat R(152,100)
x,y 1 2 3 … 49 50 51
1 255 255 255 … 253 254 254
2 254 254 252 … 250 253 252
3 254 254 252 … 246 248 249
… … … … … … … …
49 246 246 245 … 21 83 108
50 249 250 249 … 23 71 102
51 250 251 251 … 24 44 96
Tabel 4. 4 Matrik citra pada kordinat G(152,100)
x,y 1 2 3 … 49 50 51
1 255 255 255 … 251 254 254
2 255 254 254 … 255 255 254
3 254 254 254 … 252 252 253
… … … … … … … …
49 254 254 253 … 21 82 110
50 254 255 254 … 23 72 106
51 255 255 255 … 24 45 100
Tabel 4. 5 Matrik citra pada kordinat B(152,100)
x,y 1 2 3 … 49 50 51
1 255 255 254 … 251 254 254
2 253 254 254 … 254 255 255
3 254 254 254 … 251 253 254
… … … … … … … …
49 253 253 252 … 39 108 140
50 253 254 253 … 41 93 131
51 254 255 255 … 42 66 125
IV-14
Tabel 4. 6 Tabel Filter atau bobot pada proses convolusi
x,y 1 2 3 4 5 6 7
1 0 0 0 0 0 0 0
2 0 1 0 1 0 1 0
3 0 0 -1 0 -1 0 0
4 0 0 0 1 0 0 0
5 0 0 -1 0 -1 0 0
6 0 1 0 1 0 1 0
7 0 0 0 0 0 0 0
Setelah dilakukan convolusi dengan filter seperti pada tabel 4.6 maka
didapat hasil dengan ukuran 45 x 45 seperti pada tabel 4.7, tabel 4.8 dan
tabel 4.9
Tabel 4. 7 Matrik Hasil Konvolusi R(152,100)
x,y 1 2 3 … 43 44 45
1 755 756 754 … 746 627 624
2 760 754 755 … 649 502 587
3 734 727 727 … 263 319 369
… … … … … … … …
43 749 743 745 … 179 197 185
44 741 733 741 … 184 189 208
45 755 750 752 … 169 205 224
Tabel 4. 8 Matrik Hasil Konvolusi G(152,100)
x,y 1 2 3 … 43 44 45
1 761 763 763 … 771 649 640
2 761 759 761 … 671 524 606
3 766 761 770 … 237 292 343
… … … … … … … …
IV-15
43 765 761 765 … 193 212 193
44 766 761 761 … 201 207 218
45 766 762 760 … 179 218 233
Tabel 4. 9 Matrik Citra Hasil Konvolusi B(152, 100)
x,y 1 2 3 … 43 44 45
1 760 760 762 … 766 646 637
2 762 757 760 … 667 521 604
3 765 763 770 … 244 298 347
… … … … … … … …
43 752 749 750 … 206 233 233
44 751 743 739 … 294 297 320
45 765 761 763 … 249 283 303
2. Rectified Linear Unit (ReLu)

ReLu adalah sebuah fungsi yang digunakan untuk mengubah nilai piksel
negative menjadi 0 dan nilai yang lebih dari 255 di ubah menjadi 255.
Tabel 4. 10 Contoh Matriks A (kiri) di transformasikan dengan

Relu menjadi Matriks B (kiri)
125 180 -230 145 125 180 0 145

-140 155 265 125 0 155 255 125
255 -222 152 155 255 0 152 155
122 232 220 140 122 232 220 140
Untuk masuk ke dalam contoh dengan matriks sudah melalui proses

konvolusi dapata dilihat pada tabel
IV-16
Tabel 4. 11 Hasil dari Proses Relu pada Matrik R(152,100)
x,y 1 2 3 … 43 44 45
1 255 255 255 … 255 255 255
2 255 255 255 … 255 255 255
3 255 255 255 … 255 255 255
… … … … … … … …
43 255 255 255 … 179 197 185
44 255 255 255 … 184 189 208
45 255 255 255 … 169 205 224
Tabel 4. 12 Hasil dari Proses Relu pada Matrik G(152,100)
x,y 1 2 3 … 43 44 45
1 255 255 255 … 255 255 255
2 255 255 255 … 255 255 255
3 255 255 255 … 237 255 255
… … … … … … … …
43 255 255 255 … 193 212 193
44 255 255 255 … 201 207 218
45 255 255 255 … 179 218 233
Tabel 4. 13 Hasil dari Proses Relu pada Matrik B(152,100)
x,y 1 2 3 … 43 44 45
1 255 255 255 … 255 255 255
2 255 255 255 … 255 255 255
3 255 255 255 … 244 255 255
… … … … … … … …
43 255 255 255 … 206 233 233
44 255 255 255 … 255 255 255
45 255 255 255 … 249 255 255
IV-17
3. Max Pooling
Max Pooling adalah proses penyeleksian nilai matriks yang lebih besar
(maksimal) diantara nilai tetangganya. Pada penelitian ini dengan max
pooling berukuran 2 x 2 dan stride 2, dan jika matrik hasil nantinya kurang
dari 7 x 7, maka matrik akan dilengkapi dengan nilai 0 agar tetap menjadi
matrik 7 x 7.
Gambar 4. 11 Contoh proses Max Pooling

Gambar 4.12 adalah operasi max pooling dengan menggeser matrik 2 x 2
atau disebut dengan stride. Dari gambar matrik 2 x 2 pertama dapat
disimpulkan bahwa nilai tertinggi adalah 6 dari ke 4 nilai tetangganya.
jika kita cobakan pada data matrik citra RGB(152,100) yang sudah
melewati proses konvolusi dan ReLu maka akan menghasilkan matrik baru
dengan ukuran 23 x 23 seperti pada tabel
Tabel 4. 14 Matrik Hasil Max pooling pada citra R(152,100)
x,y 1 2 3 … 21 22 23
1 255 255 255 … 255 255 255
2 255 255 255 … 255 255 255
3 255 255 255 … 255 255 255
… … … … … … … …
21 255 255 255 … 255 255 255
IV-18
22 255 255 255 … 223 197 208
23 255 255 255 … 196 205 224
Tabel 4. 15 Matrik Hasil Max pooling pada citra G(152,100)
x,y 1 2 3 … 21 22 23
1 255 255 255 … 255 255 255
2 255 255 255 … 255 255 255
3 255 255 255 … 255 255 255
… … … … … … … …
21 255 255 255 … 255 255 255
22 255 255 255 … 234 212 218
23 255 255 255 … 210 218 233
Tabel 4. 16 Matrik Hasil Max pooling pada citra B(152,100)
x,y 1 2 3 … 21 22 23
1 255 255 255 … 255 255 255
2 255 255 255 … 255 255 255
3 255 255 255 … 255 255 255
… … … … … … … …
21 255 255 255 … 255 255 255
22 255 255 255 … 255 255 255
23 255 255 255 … 255 255 255
4. Fully Connected Layer

Setelah semua proses CNN selesai maka fully connected layer baru bisa
dilakukan, fully connected layer merupakan layer yang berfungsi sebagai
pengklasifikasian kelas objek. Pada step pengkalsifikasian dilakukan
dengan pencocokan data citra yang sudah di proses pada step-step
sebelumnya dengan data training kelas yang sudah dilabel. Pencocokkan
IV-19
satu per satu dilakukan pengurangan antara data, hasil selisihnya akan
dipilih yang terkecil sebagai kelas objek mewakili nilai confidence.
Gambar 4. 12 Proses Fully Connected Layer untuk mencari

probabilitas kelas
Gambar 4.13 adalah proses untuk mencari selisih dari data hasil CNN
dengan kedua data kelas dan hasil dengan selisih terkecil dapat di
simpulkan adalah kelas yang memiliki nilai kemungkinan muncul pada
citra inputan
IV-20
BAB VI
PENUTUP
Kesimpulan
Adapun berdasarkan pembahasan yang dilakukan pada bab-bab
sebelumnya dalam penelitian ini dapat disimpulkan:
1. YOLO merupakan algoritma yang mementingkan aspek kecepatan
pendeteksian (real-time) serta hasil yang tepat namun pada penelitian kali
ini model yang didapat masih jauh dari kata sempurna, karena masih
memiliki nilai confidence rendah, hal ini bisa disebabkan karena
algoritma YOLO yang digunakan masih pada versi 2 yang merupakan
versi pengembangan.
2. Pada pengujian menggunakan data mirip pistol dan pisau dapat
disimpulkan bahwa, error yang sering terjadi pada kelas pisau yaitu
ketika dihadapkan dengan data yang memiliki sudut lurus seperti persegi
dan terkadang agak miring pada satu sisinya, maka akan cenderung
menampilkan hasil pendeteksian pisau. Sedangkan pada pistol error yang
sering terjadi yaitu pada saat dihadapkan pada benda yang memiliki
sudut mirip dengan pistol dan digenggam, dan terkadang juga peka
terhadap warna hitam. maka akan cenderung menampilkan hasil
pendeteksian pistol.
3. Nilai confidence yang di set agar bisa membunyikan alarm bisa diatur
sebesar 50% karna pada data hasil pengujian data yang mirip pisatol dan
pisau dapat dilihat nilai confidence yang ditimbulkan oleh data palsu
yaitu jarang melebihi 50% .
4. Akurasi dalam pengujian dengan menggunakan konfusion matrik didapat
nilai akurasi = 66%, presisi atau penggambaran akurasi antara data yang
diminta dengan hasil prediksi yang diberikan oleh model = 64% dan
recall atau penggambaran keberhasilan model dalam menemukan
kembali
VI-1
sebuah informasi = 75% sedangkan dengan cara testing pada video
camera CCTV didapat hasil akurasi = 56%
5. Akurasi pada klasifikasi kelas Pistol lebih tinggi dari kelas Pisau dilihat
dari data pada tabel 5.1 bahwa hasil dengan nilai salah dari pengujian
kelas pisau lebih banyak dari kelas pistol.
Saran
Saran dan masukkan yang berguna bagi pengembangan model kedepannya
antara lain:
1. Pada penelitian kali ini model masih belum sempurna maka dari itu agar
dapat tercipta model yang lebih baik lagi maka data latih yang di
gunakan diperbanyak untuk meningkatkan peforma model dalam
melakukan klasifikasi
2. Pengembangan berikunya dapat menggunakan metode YOLO versi
terbaru yang lebih mutakhir seperti YOLO pada versi 3 dengan jaringan
yang sedikit lebih besar dari sebelumnya tetapi lebih akurat dan masih
cepat seperti sebelumnya, bahkan pada jaringan 320 x 320 YOLOv3
dapat berjalan lebih akurat dari algoritma SSD (Single Shot Detector)
dan 3 kali lebih cepat. (Redmon & Farhadi, 2018)
3. Menambah jumlah kelas senjata tajam seperti: pedang, senjata laras
Panjang.
VI-2
DAFTAR PUSTAKA
Deng, L., & Yu, D. (2013). Deep learning: Methods and applications. In
Foundations and Trends in Signal Processing.
https://doi.org/10.1561/2000000039
Eka Putra, W. S. (2016). Klasifikasi Citra Menggunakan Convolutional Neural
Network (CNN) pada Caltech 101. Jurnal Teknik ITS, 5(1).
https://doi.org/10.12962/j23373539.v5i1.15696
Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for
a mechanism of pattern recognition unaffected by shift in position. Biological
Cybernetics. https://doi.org/10.1007/BF00344251
Gonzalez, R. C., Woods, R. E., & Masters, B. R. (2002). Digital Image Processing.
Prentice Hall.
Harahap, M., Elfrida, J., Agusman, P., Rafael, M., Abram, R., & Andrianto, K.
(2019). Sistem Cerdas Pemantauan Arus Lalu Lintas Dengan YOLO ( You
Only Look Once v3 ). 367–376.
http://bit.ly/tempo-kriminal-cctv. (2018, July). Perampok berpistol di minimarket
tertangkap kamera cctv. Koran.Tempo.Co, 1.
https://koran.tempo.co/read/metro/433231/perampok-berpistol-di-
minimarket-tertangkap-kamera-cctv?read=true
http://bit.ly/tempo-kriminal. (2020, September). kriminalitas meningkat selama
masa pandemi. Koran.Tempo.Co, 1.
https://koran.tempo.co/read/metro/457569/kriminalitas-meningkat-selama-
masa-pandemi?read=true
Indonesia, R. (2002). UNDANG-UNDANG REPUBLIK INDONESIA NOMOR 2
TAHUN 2002 Pasal 15 ayat 2 huruf e. Sekretariat Negara.
Jupiyandi, S., Saniputra, F. R., Pratama, Y., Dharmawan, M. R., & Cholissodin, I.
(2019). Pengembangan Deteksi Citra Mobil untuk Mengetahui Jumlah
Tempat Parkir Menggunakan CUDA dan Modified YOLO. Jurnal Teknologi
Informasi Dan Ilmu Komputer. https://doi.org/10.25126/jtiik.2019641275
xiv
Kaplan, A., & Haenlein, M. (2019). Siri, Siri, in my hand: Who’s the fairest in the
land? On the interpretations, illustrations, and implications of artificial
intelligence. In Business Horizons.
https://doi.org/10.1016/j.bushor.2018.08.004
KBBI. (2016). KBBI - Kamus Besar Bahasa Indonesia (dalam jaringan).
Kbbi.Kemdikbud.Go.Id.
Khairani, R., & Ariesa, Y. (2019). Analisis Faktor-Faktor Yang Mempengaruhi
Tingkat Kriminalitas Sumatera Utara (Pendekatan Ekonomi). Jurnal Kajian
Ekonomi Dan Kebijakan PUBLIK, 4(2), 99–110.
Kolokouris, A. T. (1986). MACHINE LEARNING. Byte.
https://doi.org/10.4018/ij3dim.2017070101
LeCun, Y., Kavukcuoglu, K., & Farabet, C. (2010). Convolutional networks and
applications in vision. ISCAS 2010 - 2010 IEEE International Symposium on
Circuits and Systems: Nano-Bio Circuit Fabrics and Systems.
https://doi.org/10.1109/ISCAS.2010.5537907
Mahmudi, A., & Rusda, M. T. (2014). Deteksi Senjata Tajam Dengan Metode
Haar Cascade Classifier Menggunakan Teknologi Sms Gateway. Matics,
1(1), 27– 30. https://doi.org/10.18860/mat.v1i1.2646
Mauricio Menegaz. (2018). Understanding YOLO – Hacker Noon. Hackernoon.
Munir, R. (2004). Pengantar Pengolahan Citra (pp. 1–14).
Ningsih, K. R., & Kuncoro, J. (2017). Persepsi Terhadap Perilaku Tindak
Kriminal Ditinjau dari Kepribadian The Big Five & Satus Hukum Wanita
Narapidana & Wanita Non Narapidana. Proyeksi, 12(1), 27–33.
O’Shea, K., & Nash, R. (2015). An Introduction to Convolutional Neural Networks.
1–11. http://arxiv.org/abs/1511.08458
Olmos, R., Tabik, S., & Herrera, F. (2018). Automatic handgun detection alarm in
videos using deep learning. Neurocomputing, 275(July 2020), 66–72.
https://doi.org/10.1016/j.neucom.2017.05.012
Rachman wasril, A., Gozhali, Shiddiq, M., & Banu Mustafa, M. (2019).
Pembuatan Pendeteksi Obyek Dengan Metode You Only Look Once (YOLO)
untuk Automated Teller Machine (ATM). 17(1),
69–76.
xv
https://doi.org/https://doi.org/10.34010/miu.v17i1
Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once:
Unified, real-time object detection. Proceedings of the IEEE Computer
Society Conference on Computer Vision and Pattern Recognition.
https://doi.org/10.1109/CVPR.2016.91
Redmon, J., & Farhadi, A. (2018). YOLO v.3. Tech Report, 1–6.
https://pjreddie.com/media/files/papers/YOLOv3.pdf
Santoso, A., Uliontang, Arif, I., & Hatta, M. (2017). Deteksi Objek Senjata Tajam
Pada Citra X-Ray Dengan Metode Pengukuran Dimensi Citra. Teknika :
Engineering and Sains Journal, 1(1), 1–10.
https://doi.org/10.5281/zenodo.1115943
Wisna, J. S., Tekad, M., & Hayaty, N. (2019). Deteksi Kendaraan Secara Real
Time menggunakan metode YOLO berbasis android. Object Detection, Deep
Learning.
xvi
KONFIGURASI YOLO
A.1 File Konfigurasi YOLO

Berikut kode konfigurasi YOLO yang digunakan pada penelitian berikut:
[net]
# Testing
batch=1
subdivisions=1
# Training
# batch=64
# subdivisions=2
width=416
height=416
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1
learning_rate=0.001
max_batches = 40200
policy=steps
steps=-1,100,20000,30000
scales=.1,10,.1,.1
[convolutional]
batch_normalize=1
filters=16
size=3
stride=1
pad=1
activation=leaky
[maxpool]
size=2
stride=2
[convolutional]
batch_normalize=1
filters=32
size=3
stride=1
pad=1
A-1
activation=leaky
[maxpool]
size=2
stride=2
[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky
[maxpool]
size=2
stride=2
[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky
[maxpool]
size=2
stride=2
[convolutional]
batch_normalize=1
filters=256
size=3
stride=1
pad=1
activation=leaky
[maxpool]
size=2
stride=2
[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky
[maxpool]
A-2
size=2
stride=1
[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky
###########
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
[convolutional]
size=1
stride=1
pad=1
filters=35
activation=linear
[region]
anchors = 1.08,1.19, 3.42,4.41, 6.63,11.38, 9.42,5.11,
16.62,10.52
bias_match=1
classes=2
coords=4
num=5
softmax=1
jitter=.2
rescore=1
object_scale=5
noobject_scale=1
class_scale=1
coord_scale=1
absolute=1
thresh = .6
random=1
A-3
AM
FOTO HASIL PENGUJIAN KONFUSION MATRIKS
B.1 Hasil pengujian pada data pistol
Gambar B. 1 Pengujian Pistol pada jarak 50cm, posisi pengambilan depan

dan cahaya 0-60 lux
Gambar B. 2 Pengujian pistol pada jarak 100cm, posisi pengambilan depan

dan cahaya 0-60 lux
B-4
dan cahaya 0-60 lux

dan cahaya 0-60 lux
B-5
dan cahaya 0-60 lux
Gambar B. 6 Pengujian pistol pada jarak 100cm, posisi pengambilan

samping dan cahaya 0-60 lux
B-6

B-7
cahaya 0-60 lux

atas dan cahaya 0-60 lux
B-8
Gambar B. 11 Pengujian pistol pada jarak 150cm, posisi pengambilan atas
dan cahaya 0-60 lux

dan cahaya 0-60 lux
B-9
dan cahaya >60 lux

dan cahaya >60 lux
B-10
dan cahaya >60 lux
Gambar B. 16 Pengujian pistol pada jarak 250cm, posisi pengambilan dan

cahaya >60 lux
B-11
Gambar B. 17 Pengujian pistol pada jarak 50 cm, posisi pengambilan
samping dan cahaya >60 lux

B-12

B-13
dan cahaya >60 lux

dan cahaya >60 lux
B-14
dan cahaya >60 lux

B-15
B.2 Hasil Pengujian pada data Pisau
Gambar B. 25 Pengujian pisau pada jarak 50cm, posisi pengambilan depan

dan cahaya 0-60 lux

dan cahaya 0-60 lux
B-16
dan cahaya 0-60 lux

dan cahaya 0-60 lux
B-17
Gambar B. 29 Pengujian pisau pada jarak 50cm, posisi pengambilan

B-18

B-19
Gambar B. 33 Pengujian pisau pada jarak 50cm, posisi pengambilan atas
dan cahaya 0-60 lux

dan cahaya 0-60 lux
B-20
dan cahaya 0-60 lux

dan cahaya 0-60 lux
B-21
dan cahaya >60 lux

dan cahaya >60 lux
B-22
dan cahaya >60 lux

dan cahaya >60 lux
B-23
sampingdan cahaya >60 lux

B-24
sampingdan cahaya >60 lux

B-25
dan cahaya >60 lux

dan cahaya >60 lux
B-26
dan cahaya >60 lux
Gambar B. 48 Pengujian pisau pada jarak 250cm, sudut samping dan cahaya
>60 lux
B-27
FOTO HASIL PENGUJIAN TESTING
C.1 Hasil Pengujian dengan menggunakan kamera CCTV

depan dan threshold 0.3

C-1
Gambar C. 3 Pengujian pada data pisau jarak 140cm, posisi pengambilan
Gambar C. 4 Pengujian pada data pisau jarak 140cm, posisi pengambilan

C-2
Gambar C. 5 Pengujian pada data pisang jarak 140cm, posisi pengambilan
Gambar C. 6 Pengujian pada data pisang jarak 140cm, posisi pengambilan

C-3
Gambar C. 7 Pengujian pada data palu jarak 140cm, posisi pengambilan
Gambar C. 8 Pengujian pada data palu jarak 140cm, posisi pengambilan

C-4
belakang dan threshold 0.3

belakang dan threshold 0.2
C-5
Gambar C. 11 Pengujian pada data pisau jarak 180cm, dengan posisi
Gambar C. 12 Pengujian pada data pisau jarak 180cm, dengan posisi

C-6

C-7
Gambar C. 15 Pengujian pada data palu jarak 180cm, dengan posisi
Gambar C. 16 Pengujian pada data palu jarak 180cm, dengan posisi

C-8
C.2 Pengujian Menggunakan data mirip pistol dan pisau
Gambar C. 17 Pengujian menggunanakn penggaris besi dengan jarak 50cm,

posisi pengambilan depan
Gambar C. 18 Pengujian menggunakan penggaris besi dengan jarak

180cm dan posisi pengambilan atas
C-9
Gambar C. 19 Pengujian menggunakan deodoran dengan jarak 50cm dan
Gambar C. 20 Pengujian menggunakan deodorant dengan jarak

C-10
Gambar C. 21 Pengujian menggunakan botol spray dengan jarak 50cm dan
Gambar C. 22 Pengujian menggunakan botol spray dengan jarak

C-11
Gambar C. 23 Pengujian menggunakan pasta gigi dengan jarak 50 cm dan
Gambar C. 24 Pengujian menggunakan pasta gigi dengan jarak 180cm dan

posisi pengambilan atas
C-12
pengambilan depan
Gambar C. 26 Pengujian menggunakan palu dengan jarak 180cm dan

posisi pengambilan atas
C-13
pengambilan depan

pengambilan atas
C-14
pengambilan depan

pengambilan atas
C-15
pengambilan depan

pengambilan atas
C-16

LAP-TA Tanpa Bab 5 - TW

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

LAP-TA Tanpa Bab 5 - TW

Diunggah oleh

Hak Cipta:

Format Tersedia

PENDETEKSI SENJATA BERBAHAYA PADA PERCOBAAN

TINDAKAN KRIMINAL DENGAN MENGGUNAKAN

FAKULTAS SAINS DAN TEKNOLOGI

Pekanbaru, 07 Februari 2021

Alhamdulillahi Rabbil ‘Alamin, puji syukur yang teramat dalam kepada

Kepada kedua Orang Tua tercinta, terima kasih selalu berjuang,

Kepada keluarga tersayang, terima kasih telah menjadi pendengar yang

Kepada teman-teman seperjuangan, terima kasih karena selalu ada dan

Tanggal Sidang: 26 Januari 2020

Jurusan Teknik Informatika

Date of Final Exam : 26th January 2020

Informatic Engineering Department

Keywords : CCTV, CNN, Deep Learning, Image Recognition, Real-time, YOLO

Rumusan Masalah .....................................................................................I-4

BAB II LANDASAN TEORI ........................................................................... II-1

Senjata ..................................................................................................... II-1

2.2.1 Senjata Tajam ................................................................................ II-2

2.2.2 Senjata Api..................................................................................... II-2

Citra Digital............................................................................................. II-3

Pengolahan Citra Digital (Digital Image Processing) ............................ II-

4 Pengenalan Pola ......................................................................................

2.5.1 Pendekatan Secara Statistik ........................................................... II-5

2.5.2 Pendekatan Secara Struktural ........................................................ II-6

Machine Learning ................................................................................... II-7

Deep Learning......................................................................................... II-8

Artificial Neural Network ........................................................................ II-8

CNN / ConvNet (Convolutional Neural Network).................................. II-9

2.10.1 YOLO (You Only Look Once)................................................ II-13

Penelitian Terkait .................................................................................. II-

BAB III METODOLOGI PENELITIAN ..................................................... III-1

3.2.1 Identifikasi Masalah...................................................................... III-2

3.2.2 Perumusan Masalah ...................................................................... III-2

3.2.3 Kajian Pustaka .............................................................................. III-2

Pengumpulan Data ................................................................................. III-2

Analisa Dan Perancangan....................................................................... III-3

3.4.1 Analisis Permasalahan .................................................................. III-3

3.4.2 Analisa Kebutuhan Data ............................................................... III-3

3.4.3 Labelling data citra ....................................................................... III-5

3.4.4 Analisa Proses Deteksi.................................................................. III-5

3.4.5 Perancangan Flowchart ................................................................ III-7

Implementasi .......................................................................................... III-8

3.5.1 Training (pelatihan) ...................................................................... III-9

Pengujian ................................................................................................ III-9

Kesimpulan dan Saran.......................................................................... III-10

BAB IV ANALISA DAN PERANCANGAN .................................................IV-1

Analisa Kebutuhan Data......................................................................... IV-2

Labelling Data Citra ............................................................................... IV-3

Analisa Proses Deteksi ........................................................................... IV-5

4.4.1 Resize Citra ................................................................................... IV-5

4.4.2 Analisa Arsitektur Yolo ................................................................ IV-7

4.4.3 Proses Metde CNN ..................................................................... IV-13

BAB V IMPLEMENTASI DAN PENGUJIAN.............................................. V-1

Batasan Implementasi ............................................................................. V-1

Implementasi Pemodelan ........................................................................ V-2

5.3.1 Implementasi Training (Pelatihan) ................................................ V-2

Pengujian ................................................................................................. V-4

5.4.1 Konfusion Matrik........................................................................... V-4

5.4.2 Pengujian Testing........................................................................... V-9

5.4.3 Analisa Hasil Pengujian............................................................... V-12

BAB VI PENUTUP ..........................................................................................VI-1

LAMPIRAN B ................................................................................................... A-4

B.2 Hasil Pengujian pada data Pisau ............................................................ B-16

LAMPIRAN C................................................................................................... B-1