Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 5, No. 2, Februari 2021, hlm. 814-819 http://j-ptiik.ub.ac.id

Sistem Deteksi dan Klasifikasi Jenis Kendaraan berbasis Citra dengan

menggunakan Metode Faster-RCNN pada Raspberry Pi 4B
Mela Tri Audina1, Fitri Utaminingrum2, Dahnial Syauqi3

Program Studi Teknik Komputer, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: 1_audii14@student.ub.ac.id, 2f3_ningrum@ub.ac.id, 3dahnial87@ub.ac.id

Abstrak
Kendaraan yang melebihi kapasitas jalanan akan berdampak buruk disekitarnya salah satunya
menyebabkan kecelakaan. Contoh kasus kecelakaan yang sering terjadi yaitu kendaraan melintas di jalur
yang tidak seharusnya, seperti kendaraan selain busway melintas di jalur busway dan saat berkendara di
jalan raya pantura yang memiliki lebih dari 2 jalur, terkadang si pengemudi sangat kesulitan untuk
memperhatikan jalur di sebelah kiri, jika ingin menyalip kendaraan di depannya. Maka dari itu perlu
sistem untuk memberi notifikasi kepada pengemudi agar lebih berhati-hati saat mengemudi. Di dalam
sistem ini terdapat pemberitahuan jika di depan terdapat jumlah dan jenis kendaraannya. Sistem ini
menggunakan permodelan Faster Regional Convolutional Neural Network yang dibuat pada Tensorflow
dengan memprosesnya di mini komputer atau Raspberry Pi 4B. Hasil Akurasi pada sistem ini sebesar
0.9025 atau sebesar 90.25% dengan rata-rata waktu komputasi didalam Raspberry Pi 4B sebesar 7.638
detik per gambar.
Kata kunci: Faster Regional Convolutional Neural Network, Jenis Kendaraan, TensorFlow, Komputasi Citra
Abstract
Vehicles that exceed road capacity will have a negative impact on their surroundings, one of which
causes accidents. Examples of cases of accidents that often occur are vehicles traveling in lanes that
are not supposed to be, such as vehicles other than the busway crossing the busway lane and when
driving on the Pantura highway which has more than 2 lanes, sometimes drivers find it very difficult to
pay attention to the lane on the left, if you want. overtaking the vehicle in front of him. Therefore a
system is needed to notify drivers to be more careful when driving. In this system there is a notification
if there are numbers and types of vehicles in front. This system uses the Faster Regional Convolutional
Neural Network modeling made on Tensorflow by processing it on a mini computer or Raspberry Pi 4B.
The accuracy result in this system is 0.9025 or 90.25% with an average computation time in the
Raspberry Pi 4B of 7,638 seconds per image.
Keywords: Faster Regional Convolutional Neural Network, Trasnportation Type, TensorFlow, Computer Vision.

berjumlah 146.858.759 (Badan Pusat Statistik,

1. PENDAHULUAN
Salah satu pendukung kegiatan manusia
untuk bekerja dan melakukan kegiatan setiap
harinya yaitu transportasi. Setiap hari
masyarakat pasti berhubungan dengan lalu
lintas. Hal ini menyebabkan kendaraan melebihi
kapasitas jalanan. Dalam data Badan Pusat
Statistik Perkembangan Jumlah Kendaraan
Bermotor Menurut Jenisnya di Indonesia yang di
ambil tahun 2018 yaitu Mobil Penumpang
berjumlah 16.440.987, Mobil Bus berjumlah
2.538.182, Mobil Barang berjumlah 7.778.554,
Sepeda Motor 120.101.047 dan dari keseluruhan
2018).
Karena Hal itu akan berdampak buruk
disekitarnya salah satunya menyebabkan
kecelakaan. Kecelakaan yang sering dialami
yaitu melintas di jalur yang tidak diharuskan dan
saat berkendara di jalan raya pantura yang
memiliki lebih dari 2 jalur, terkadang pengemudi
sangat kesulitan untuk memperhatikan jalur di
sebelah kiri, jika ingin menyalip kendaraan di
depannya
Selain dibidang tranportasi, ada salah satu
bidang yang cukup mendukung teknologi saat
ini yaitu di bidang komputerisasi. Salah satunya

Fakultas Ilmu Komputer

Universitas Brawijaya 814
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 815

yaitu computer vision. Salah satu metode untuk • Convolution Layer

mempelajari hal tersebut dalam computer vision
Pada proses konvolusi ini merupakan
adalah jaringan saraf tiruan atau Convolutional
sebuah proses untuk memanipulasi pada proses
Neural Network (CNN). CNN atau
pengolahan citra supaya menciptakan hasil citra
Convolutional Neural Network merupakan
yang baru . Total dari hasil proses kali untuk
metode mechine learning yang inputannya
setiap elemennya yang sesuai pada 2 matriks ini
menggunakan dataset tiga dimensi. Ada
merupakan proses konvolusi, bisa dilihat pada
beberapa teknik yang popular memanfaatkan
gambar 2 dibawah ini ::
Convolutional Neural Network, salah satunya
yaitu Faster Regional Convolutional Neural
Network (Faster-RCNN).
Seperti dalam penelitian yang dilakukan
oleh Derry Alamsyah dan Dicky Pratama dalam
penelitian yang berjudul Deteksi Ujung Jari
Menggunakan Faster-RCNN dengan Arsitektur
Inception v2 pada Citra Derau. Hasil dalam
penelitian ini menunjukkan citra yang tidak
memiliki derau hasil akurasinya sebesar 91%
Gambar 2. Convolutional Layer
dan untuk masing-masing ditra yang memiliki
derau yaitu Gaussian sebesar 34%, Sal and Representasi convolutional layers pada
Pepper sebesar 5%, Poisson sebesar 80% dan persamaan 2.1 berikut :
𝐺[𝑚, 𝑛] = (𝑓 ∗ ℎ)[𝑚, 𝑛] = ∑𝑗 ∑𝑘 ℎ[ , 𝑘]𝑓[𝑚 −
Speckle sebesar 21%.
𝑗, 𝑛 − 𝑘] (1)
Sehingga pada penelitian ini membuat suatu Keterangan :
sistem yang dapat mendeteksi dan G = matrix output
mengklasifikasikan jenis kendaraan dengan m = baris
menggunakan metode deep learning yang cocok n = kolom
untuk pendeteksian terhadap objek ini yaitu f = input image
menggunakan Faster Regional Convolutional h = kernel
Neural Network. Pada metode ini memerlukan
• ReLu Aktivasi
proses pelatihan yang berulang sehingga
Rectified linear unit adalah sebuah proses
mendapatkan akurasi yang paling terbaik.
dimana proses ini memperkenalkan sebuah non-
Output sistem ini berupa tampilan pada monitor
linearitas ke dalam jaringan saraf. Fungsi ini
dan berupa suara melalui speaker.
hanya max (0, x).
2. METODOLOGI • Max Pooling
Max Pooling adalaha proses mereduksi
2.1 Convolutional Neural Network ukuran sebuah data citra, hasil output dari
Convolutional Neural Network (CNN) convolution layer yang kemudian dibagi menjadi
merupakan deep learning yang sebelumnya beberapa potongan kecil dan diambil nilai
pengembangan dari MLP atau Multilayer maksimum dari potongan kecil tersebut. Proses
Perceptron yang sering diterapkan pada max pooling dilakukan seperti Gambar 3.
pendeteksian ataupun pengklasifikasian

Gambar 3. Pooling
Gambar 1. Arsitektur Convolutional Neural Network Representasi pooling layer pada persamaan
Convolutional Neural Network (CNN) ini berikut :
𝑓−1
mempunyai beberapa layer. Untuk layer utama 𝑃= 2 (2)
memiliki 5 layer yaitu terdiri dari convolution
layer, ReLu Aktivasi, Max Pooling, Fully 𝑛𝑖𝑛 +2𝑝−𝑓
𝑛𝑜𝑢𝑡 = 𝑠
+1 (3)
Connected Layer dan Fungsi Aktivasi
Keterangan :
P = Padding

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 816

f = Dimensi dari kernel

n = Image
s = Stride
• Fully Connected Layer
Beberapa proses konvolusi ini dijadikan
satu yang disebut Fully Connected Layer (Hijazi
et al., 2015). Inputan pada layer ini merupakan
output dari proses sebelumnya dimana pada
proses ini menentukan sebuah fitur yang sesuai
dengan kelas yang sudah ditentukan. Pada layer
ini node-node akan dijadikan sebuah 1 dimensi
(Albelwi & Mahmood, 2017). Gambar 4. F-RCNN
• Fungsi Aktivasi Softmax
Pada Fungsi aktivasi softmax ini 3. PERANCANGAN DAN
menghasilkan hasil klasifikasi dimana hasil ini IMPLEMENTASI
berupa nilai yang dijadikan sebagai peluang
untuk menentukan kelas yang sudah ditentukan. 3.1. Perancangan Perangkat Keras
Nilai kelas dihitung dengan menggunakan fungsi Sistem ini terdiri dari beberapa komponen
softmax (Vedaldi & Lenc, 2015). perangkat keras yaitu Raspberry Pi 4B, kamera
Webcam, Speaker dan LED Monitor. Cara kerja
dari sistem yaitu kamera Webcam sebagai
2.2 Faster Regional Neural Network inputan, hasil tangkapan citra objek tersebut
akan menjadi input pada Raspberry Pi 4B. Pada
Ada beberapa algoritma yang Raspberry Pi 4B citra objek akan di proses
memanfaatkan Convolutional Neural Network, dengan menggunakan metode Faster Region
salah satunya yaitu Faster Regional Convolutional Neural Network. Dari hasil
Convolutional Neural Network (Faster-RCNN). proses tersebut maka menampilkan hasil deteksi
Pada penggunaan Selective Search ekternal dan klasifikasi jenis kendaraan ke LED Monitor
masih menjadi sebuah masalah dalam sebuah Setelah terdeteksi maka akan mengeluarkan
proses untuk mendeteksi sebuah objek pada suara melalui speaker.
algoritma R-CNN. Karena pada R-CNN atau
pada selective search itu membutuhkan timing
yang sangat lama untuk menghasilkan sebuah
daerah yang terdeteksi. Maka dari itu terdapat
sebuah algoritma baru yaitu Faster Regional
Convolutional Neural Network (Faster R-CNN)
oleh Shaoqing Ren. Pada Faster Regional
Convolutional Neural Network (Faster R-CNN)
ini menggunakan RPN untuk menggantikan
Selective search pada algoritma sebelumnya.
Gambar 5. Perancangan Sistem
Didalam RPN ini menghasilkan sebuah kotak-
kotak atau bounding box dimana setiap box ada
2 skor peluang adalah objek atau bukan objek
pada lokasi tersebut. Hasil dari region-region ini
akan dijadikan input. Berikut adalah arsitek dari
Faster Regional Convolutional Neural Network
(Faster R-CNN).

Gambar 6. Ilustrasi Sistem

Dapat dilihat pada gambar 6 merupakan
gambar ilustrasi dari sistem deteksi dan
klasifikasi jenis kendaraan yang di
implementasikan ke dashboard mobil. Sistem ini
diletakkan diposisi bagian kanan pengemudi.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
3.2. Pelatihan Data Latih
Pada pelatihan data latih ini akan
menunjukkan objek yang sudah melakukan
anotasi sebelumnya yaitu sudah melakukan
konfigurasi dataset terlebih dahulu. Untuk data
latih dan data uji menggunakan 6 objek atau 6
kelas yaitu mobil, sepeda motor, truk, bis, sepeda
dan becak. Dapat dilihat gambar 7 flowchart
utama pada pelatihan dengan menggunakan
metode Faster Region Convolutional Neural
Network di bawah ini. Flowchart ini digunakan
untuk melakukan pelatihan yang sudah dibuat
dalam file yang berformat *.record
Gambar 7. Main Program Pelatihan
3.3 Pengujian Data Uji
Setelah melakukan pelatihan pada data latih
akan dilakukan pengujian pada data uji. Pada
pengujian data uji akan dilakukan proses
pendeteksian objek yang dilakukan pada video
dan gambar. Dapat dilihat proses pengujian data
uji pada Gambar 8 yaitu melakukan pengujian
pada data uji yang berupa foto.
Fakultas Ilmu Komputer, Universitas Brawijaya
817
Gambar 8. Main Program Pengujian
Pada proses pengujian ini menggunakan
grafik kesimpulan terakhir yang berformat *.pb
dan pemetaan label dataset yang berformat
*.pbtxt. Setiap melakukan pendeteksian pada
proses pengujian ini akan memanggil berkas
dataset yang berformat *.jpg yang ada pada
direktori file data uji. Setelah itu membuat iterasi
untuk mengecek urutan gambar datasetnya. Pada
pengujian gambar ini menghasilkan akurasi,
waktu komputasi dan hasil suara dari
pendeteksiannya. Pada proses pengujian ini jika
ada interupsi dengan menekan tombol q maka
program akan berhenti dan keluar dari program
apabila menekan tombol p maka program akan
berhenti (pause) untuk mendeteksi gambar
tersebut.
4. PENGUJIAN
4.1 Pengujian Hasil Akurasi
Pengujian pada foto atau gambar ini yaitu
berupa visualisasi pendeteksian yang digunakan
untuk mendapatkan nilai akurasi disetiap foto
atau gambar yang diujikan. Dapat dilihat
dibawah ini merupak hasil visualisasi pengujian
gambar atau foto dari dataset.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Gambar 9. Hasil Visualisasi Pengujian
Dapat dilihat dibawah ini merupakan
terminal hasil dari pendeteksian jenis kendaraan
pada setiap foto atau gambar. Pada terminal
terdapat nama jenis kendaraan, hasil akurasi
setiap objek yang terdeteksi, waktu komputasi,
dan hasil integrasi sistem untuk ouput.
Gambar 10. Hasil Akurasi
Untuk pengujian ini dilakukan pada 82 foto
data uji. Hasil dari pengujian tersebut perlu
disesuaikan dengan objek actual pada masing-
masing foto dan selanjutntya melakukan
perhitungan rata-rata nilai akurasi
pendeteksiannya dengan menggunakan Faster
RCNN. Analisis pengujian pada pendeteksian
ini akan dilakukan menggunakan persamaan
akurasi pada persamaan (4).
𝐽𝑢𝑚𝑙𝑎ℎ 𝑝𝑟𝑒𝑑𝑖𝑘𝑠𝑖 𝑏𝑒𝑛𝑎𝑟
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 𝑅𝑎𝑡𝑎 − 𝑟𝑎𝑡𝑎 =
𝐽𝑢𝑚𝑙𝑎ℎ 𝑡𝑜𝑡𝑎𝑙 𝑝𝑟𝑒𝑑𝑖𝑘𝑠𝑖
4.2 Pengujian Waktu Komputasi
Pada pengujian hasil waktu komputasi ini
berisi tentang hasil waktu komputasi
pendeteksian dan pengklasifikasian pada jenis
kendaraan ini yang menggunakan metode
FRCNN pada Raspberry Pi 4B. Hasil
pengujian pada foto atau gambar ini yaitu
berupa visualisasi pendeteksian yang
digunakan untuk mendapatkan nilai
komputasi disetiap foto atau gambar yang
diujikan. Dapat dilihat pada gambar dibawah
ini hasil dari pendeteksian disetiap foto atau
gambar.
Fakultas Ilmu Komputer, Universitas Brawijaya
818
Gambar 11. Hasil Waktu Komputasi
Analisis pengujian waktu komputasi sudah
diketahui, maka data waktu komputasi setiap
foto atau gambar perlu untuk melakukan
perhitungan rata-rata waktu komputasi. Dapat
dlilihat perhitungan rata-rata waktu komputasi
pada persamaan (5).
𝑇𝑜𝑡𝑎𝑙 𝑤𝑎𝑘𝑡𝑢 𝑘𝑜𝑚𝑝𝑢𝑡𝑎𝑠𝑖
𝑅𝑎𝑡𝑎 − 𝑅𝑎𝑡𝑎 𝑊𝐾 = (5)
𝐽𝑢𝑚𝑙𝑎ℎ 𝑑𝑎𝑡𝑎 𝑢𝑗𝑖
4.3 Pengujian Integrasi Sistem
Pada pengujian hasil integrasi sistem ini
berisi tentang hasil dari integrasi sistem inputan
gambar dan output pada speaker pada saat proses
pendeteksian yang menggunakan metode
FRCNN pada Raspberry Pi 4B. Hasil pengujian
pada foto atau gambar ini yaitu berupa
visualisasi pendeteksian yang digunakan untuk
mendapatkan hasil output untuk speaker disetiap
foto atau gambar yang diujikan.
× 100%
(4) Gambar 12. Hasil Integrasi Sistem
Analisis pengujian pada saat pengujian dari
deteksi dan klasifikasi kendaraan ini telah selesai
maka dapat dilihat output pada speaker setiap
foto atau gambar. Dapat dlilihat perhitungan
rata-rata hasil integrasi pengujian sistem berikut
pada persamaan (6)
𝐽𝑢𝑚𝑙𝑎ℎ ℎ𝑎𝑠𝑖𝑙
𝑅𝑎𝑡𝑎 − 𝑅𝑎𝑡𝑎 𝐻𝑆𝐼 = × 100%
𝐽𝑢𝑚𝑙𝑎ℎ 𝑑𝑎𝑡𝑎 𝑢𝑗𝑖
5. PENUTUP
• Kesimpulan
1. Rancangan algoritma pada sistem deteksi dan
klasifikasi jenis kendaraan ini menggunakan
algoritma Faster Regional Convolutional
Neural Network.
2. Tingkat akurasi sistem deteksi dan
klasifikasi jenis kendaraan pada proses
pengujian pada penelitian ini yaitu sebesar
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 819

0.9025 atau sebesar 90.25%. Suartika, W. E. P, Wijaya, A. Y., Soelaiman, R.

3. Rata-rata waktu komputasi dari Klasifikasi Citra Menggunakan
pendeteksian dan pengklasifikasian pada Convolutional Neural Network (Cnn)
jenis kendaraan menggunakan metode pada Caltech 101. JURNAL TEKNIK ITS
Faster Regional Convolutional Neural Vol.5, No. 1,(2016).
Network pada pengujian di Raspberry Pi 4B
Rohim, A., Sari, Y. A., Tibyani. Convolution
yaitu sebesar 7.638 detik
Neural Network (CNN) Untuk
4. Hasil Integrasi dari sistem deteksi dan Pengklasifikasian Citra Makanan
klasifikasi jenis kendaraan yang Tradisional. Jurnal Pengembangan
menggunakan metode Faster Region Teknologi Informasi dan Ilmu Komputer
Convolutional Neural Network pada Vol. 3, No. 7, Juli 2019.
perangkat lunak inputan gambar dengan
Dewa, C. K., Fadhilah, A. L., Afiahayati.
perangkat keras yaitu speaker hasilnya Convolutional Neural Networks for
sebesar 100%. Menunjukkan bahwa Handwritten Javanese Character
output untuk speaker telah sesuai dengan Recognition. IJCCS (Indonesian Journal
jumlah hasil dan jenis yang terdeteksi of Computing and Cybernetics Systems).
pada sistem ini. Vol.12, No.1, Januari 2018..
• Saran Harani, N, H, prianto, C., Hasanah, M. 2019.
1. Perancangan dataset pada penelitian ini Deteksi Objek dan Pengenalan Plat
hanya memiliki 6 kelas yaitu 6 jenis Nomor Kendaraan Indonesia
kendaraan yang terdiri dari sepeda motor, Menggunakan Metode Convolutional
mobil, truk, bis, sepeda dan becak untuk Neural Network (CNN) Berbasis Python.
kedepannya mungkin bisa dibuat menjadi Jurnal Teknik Informatika, Vol. 11, No. 3,
lebih dari 6 jenis kendaraan yang sudah Agustus 2019..
disebutkan tadi yang digunakan untuk
menguji kekurangan dari Convolutional PERATURAN MENTERI PERHUBUNGAN
Neural Network yang terdapat di dalam REPUBLIK INDONESIA NOMOR 98
Faster Regional Convolutional Neural TAHUN 2017 tersedia di <
Network http://jdih.dephub.go.id/assets/uudocs/per
2. Untuk penelitian selanjutnya agar dapat men/2017/PM_98_TAHUN_2017.pdf >
melakukan pengujian pada sistem deteksi Badan Pusat Statistik, 2018. Jumlah Kendaraan
dan klasifikasi jenis kendaraan yang Bermotor (Unit) 2016-2018.[pdf] Badan
menggunakan metode Faster Regional Pusat Statistik. Tersedia di:
Convolutional Neural Network ini secara riil <https://www.bps.go.id/indicator/17/57/1
pada dashboard mobil. /jumlah-kendaraan-bermotor.html>
[Diakses 16 Oktober 2020].
6. DAFTAR PUSTAKA
Fadlia, N., Kosasih, R. Klasifikasi Jenis
Kendaraan Menggunakan Metode
Convolutional Neural Network . Jurnal
Ilmiah Teknologi dan Rekayasa Volume
24 No. 3 Desember 2019.
Alamsyah, D., Pratama,D 2019. Deteksi Ujung
Jari menggunakan Faster-RCNN dengan
Arsitektur Inception V2 pada Citra Derau.
2019 Jurnal Sistem & Teknologi
Informasi Komunikasi.
Karlita,T., et al. Deteksi Region of Interest
Tulang pada Citra B-mode secara
otomatis Menggunakan Region Proposal
Networks. JNTETI Vol. 8, No. 1, Februari
(2019)

Fakultas Ilmu Komputer, Universitas Brawijaya