PROPOSAL TUGAS AKHIR

KLASIFIKASI JENIS BUAH APEL SECARA REAL-TIME

MENGGUNAKAN SSD-MOBILENET

DEDDY F. SIHOMBING
161402010

PROGRAM STUDI S1 TEKNOLOGI INFORMASI

FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA
2021
 2

BAB 1

PENDAHULUAN

1.1 Latar Belakang

Buah apel termasuk dalam salah satu kategori buah yang sangat digemari oleh
masyarakat Indonesia secara luas untuk di konsumsi dikarenakan buah tersebut
mengandung lemak baik, karbohidrat, protein, vitamin C, vitamin A, vitamin B1, dan
vitamin B2 sehingga membuat buah tersebut memiliki daya saing dan nilai ekonomis
yang tinggi. Pengolahan hasil perkebunan apel pada saat ini sudah berkembang pesat
dikarenakan sudah banyak industri yang menggunakan teknologi canggih dalam tiap
proses pengolahannya. Salah satu tahap pengolahan pada pengolahan hasil perkebunan
apel ialah pengelombokan hasil panen apel berdasarkan jenisnya. Dalam
mengelompokan jenis buah apel ditentukan oleh beberapa parameter, diantaranya
adalah ukuran, berat, ciri, warna, dan masih banyak lagi lainnya. Pengelompokan buah
apel dari sisi bentuk dan warna kulit buah merupakan salah satu faktor penting dalam
proses pengidentifikasian.

Pada tahapan mengidentifikasi jenis buah apel secara manual oleh mata manusia
memiliki persepsi yang cenderung subyektif dikarenakan faktor komposisi warna. Maka
dari itu, dibutuhkan suatu alat dengan sebuah sistem yang dapat melakukan pemilihan
buah apel berdasarkan jenisnya secara otomatis.

SSD-MobileNet merupakan gabungan antara model MobileNet digunakan sebagai

ekstrasi fitur dan model SSD akan digunakan sebagai deteksi objek pada citra.
MobileNet merupakan model yang berbasis arsitektur streamlined yang menggunakan
depthwise separable convolutions dalam membangun deep neural network, depthwise
seperable convolution terdiri dari dua layer yaitu depthwise convolution yang berfungsi
untuk menerapkan filter pada citra input, dan pointwise convolution digunakan untuk
menggabungkan hasil output dari depthwise convolution sehingga menghasilkan beban
komputasi lebih ringan (Howard et al. 2017). SSD merupakan sebuah feed forward
based convolution network yang menghasilkan kotak prediksi dan nilai skor prediksi
pada objek citra. SSD menerapkan convolution feature layer untuk melakukan prediksi
deteksi pada objek citra, ukuran feature layer tersebut akan berkurang secara bertahap
sehingga dapat
melakukan deteksi pada ukuran yang bervariasi (Liu et al. 2016).

Sebelumnya telah beberapa penelitian yang telah dilakukan sebagai referensi

penelitian ini. Antara lain penelitian yang berjudul ”Fruit and Vegetables Classification
Using Image Saliency and Convolutional Neural Network” yang dibuat oleh Zeng pada
tahun 2018 dalam mengklasifikasi jenis buah dan sayuran. Penelitian selanjutnya,
dilakukan oleh Biswas pada tahun 2018 tentang perkiraan kepadatan lalu-lintas
menggunakan SSD-MobileNet dan menghasilkan akurasi 92,97%. Selanjutnya ialah
penelitian dengan judul “Multiple Real-Time Object Identification Using Single Shot
Multibox Detector (SSD)” dan objek yang digunakan adalah peralatan rumah tangga
dengan proses identifikasi secara real-time dan menghasilkan akurasi identifikasi yang
baik. Penelitian selanjutnya dilakukan oleh Novan Wijaya pada tahun 2019 dengan
judul “Klasifikasi Jenis Buah Apel dengan Metode K-Nearest Neighbors” dan
menghasilkan akurasi sebesar 94%. Penelitian selanjutnya dilakukan oleh Arabi pada
tahun 2019 yang membahas mengenai deteksi objek dan pelabelan nama objek
menggunakan SSD- MobileNet. Objek yang dideteksi adalah kendaraan konstruksi
seperti ekskavator, truk, roller, dan truk mixer. Penelitian ini menggunakan 3 alat dalam
mendeteksi objek yaitu raspberry pi, jetson NX, dan komputer dengan spesifikasi gpu
GTX 108 dan menghasilkan akurasi sebesar 91%.
Pada penelitian ini, input dari sistem adalah citra buah apel dan menggunakan
metode SSD-MobileNet v2 untuk melakukan proses klasifikasi jenis buah apel secara
real-time menggunakan kamera. Memberikan label dan bounding box pada objek jenis
apel yang tertangkap oleh frame kamera. Berdasarkan latar belakang diatas, penulis
mengajukan penelitian yang berjudul “KLASIFIKASI JENIS BUAH APEL SECARA
REAL-TIME MENGGUNAKAN SSD-MOBILENET”.

1.2 Rumusan Masalah

Apel merupakan salah satu jenis komoditas buah yang sangat mudah dan sering
dijumpai di Indonesia. Dalam mengidentifikasi dan mengklasifikasi jenis buah apel
secara manual memiliki persepsi yang cenderung subyektif dikarenakan faktor
komposisi warna. Maka dari itu, dibutuhkan suatu sistem pada alat dalam
menentukan jenis buah apel secara ekonomis dan cepat (real-time) menggunakan
SSD-Mobilnet berdasarkan warna dan bentuk.
1.3 Tujuan Penelitian

Tujuan pada penelitian ini berguna untuk klasifikasi jenis buah apel secara real-time
menggunakan SSD-MobileNet.

1.4 Batasan Masalah

Adapun batasan masalah pada penelitian ini antara lain :

1. Jenis buah apel yang digunakan pada penelitian ini adalah apel Manalagi, apel
Fuji, dan apel Granny Smith.
2. Sistem hanya memproses citra digital (video) secara real-time yang diambil
menggunakan webcam ataupun handphone.

3. Sistem yang dibuat berbasis desktop.

4. Sistem tidak bisa mengklasifikasi jika pada kondisi gelap atau pencahayaan
yang kurang.
5. Sistem tidak bisa mengklasifikasi jika jarak objek lebih dari 25 sentimeterdari
kamera.

1.5 Manfaat Penelitian

Adapun manfaat pada penelitian ini yaitu:

1. Memberikan informasi kepada masyarakat tentang bagaimana mengenali
jenis- jenis buah apel yang ditemukan di Indonesia.
2. Mengetahui hasil klasifikasi jenis-jenis buah apel dengan menggunakan
SSD-MobileNet.
3. Dapat menjadi referensi pada penelitian bidang image processing, khususnya
dalam penerapan real-time.
1.6 Metodologi Penelitian
Tahapan-tahapan yang dilakukan pada penelitian ini adalah sebagai berikut :

1. Studi Literatur
Pada tahap studi literatur ini dilakukan dengan mengumpulkan data citra dari buah
apel dan mempelajari referensi tentang SSD-MobileNet, ciri-ciri dari tiap jenis apel
yang diperoleh dengan mengumpulkan bahan dari jurnal, skripsi, artikel, buku,
panduan dan sumber referensi lainnya untuk proses pengumpulan bahan.

2. Analisis Permasalahan
Pada tahap ini dilakukan analisis terhadap tahapan yang ada dilakukan sebelumnya
untuk mendapatkan penelitian dari berbagai informasi yang terkait dari penelitian
beberapa sumber yang didapatkan.

3. Perancangan
Pada tahap ini dilakukan perancangan arsitektur umum sebagai berikut :

Gambar 1. Arsitektur Umum

Keterangan :

-------- : Training

: Testing

Berikut penjelasan arsitektur umum pada Gambar 1:

3.1. Input Data (Data Masukkan)

Tahap ini dilakukan pengumpulan citra buah apel. Pada penelitian ini, data citra dari
jenis apel digunakan sebagai data input citra. Input yang berupa citra ini kemudian
digabungkan dan terbagi menjadi dua jenis menggunakan fungsi split dengan
perbandingan 80:20 menjadi data training dan data testing.

3.2. Pre-processing

Tahap ini merupakan tahapan penting yang harus dilakukan untuk lanjut pada tahapan
selanjutnya, ini dilakukan agar data citra yang telah dikumpulkan menjadi selaras
ukuran pikselnya dan tidak membebani pada proses komputasi nantinya.

3.2.1. Resizing Data

Pada tahapan ini seluruh citra yang didapat melalui kamera smartphone akan diubah
ukuran piksel dan ukuran file nya, pada awalnya data citra yang diambil masih
memiliki ukuran pixel 3000 x 4000 dan berukuran kurang lebih 5MB per data, yang
mana itu masihlah tergolong sangat besar dan tentunya sangat mempengaruhi proses
komputasi. Maka dari itu proses resizing data dilakukan menjadi 1000 x 2000 pixel
dan ukuran perdata yang semula 5MB dikompress menjadi kurang lebih 200KB.

3.3. Label Gambar (Data Annotation)

Pada tahap ini dilakukan data annotation dengan cara melabeli seluruh citra untuk
menentukan ground truth box yang berguna sebagai pemberian tanda per setiap jenis.
Pemberian tanda pada setiap data ini dilakukan untuk melanjutkan ke proses training
yaitu sistem akan melakukan klasifikasi objek. Hasil pelabelan data annotation ini
berekstensi .xml dari PASCALVOC yang berisikan nama dari objek yang dilabeli,
lokasi path dimana data disimpan, ukuran pixel citra dan bounding box (xmin, ymin,
xmax, ymax). Data yang dilabeli berjumlah 2300, dimana penulis menyelesaikannya
dalam kurun waktu 8 jam lamanya. Aplikasi yang digunakan untuk melabeli data
adalah Label Img.

3.4. Generate CSV File

Tahapan ini dilakukan proses penggabungan dari tahapan data annotation, jumlah data
.xml yang telah dilabeli sebanyak 1900 pada data training dan 300 pada data evaluasi,
generate .csv file berguna untuk menggabungkan menjadi 1 file yang berekstensi .csv.
Karena data training dan data evaluasi dipisah maka akan ada 2 file csv, yaitu
test_label.csv dan train_label.csv. Isi dari file .csv tersebut meliputi nama file, ukuran
piksel, kelas, dan bounding box (xmin, ymin, xmax, ymax).

3.5. Config Pre-Trained SSD MobileNet V2

Ini merupakan tahapan yang penting karena menentukan berapa lama proses training
yang diatur nantinya, seperti menentukan jumlah cara yang dilakukan, pengaturan
batch size, learning rate, menentukan lokasi path checkpoint dan file TFRecord. Pada
tahap ini penulis menggunakan Pre-Trained SSDMobileNet v2.

3.6. Training
Ini merupakan tahapan inti dari proses pre-processing, semua tahapan yang dilakukan
sebelumnya seperti resizing, data annotation, generate csv, generate tfrecord danyang
terakhir config pre-trained model menentukan pengaturan yang akan dilatih. Jumlah
dataset yang akan dilatih berjumlah 2200 data, dengan 1900 sebagai data training dan
300 sebagai data evaluasi yang berguna untuk mengevaluasi data training untuk pengenalan
dan ground truth box objek sebelum menghasilkan sebuah modelnya. Pada proses training
jumlah cara yang dibuat berjumlah 200,000 cara, yang memakan waktu kurang lebih 24 jam.
Pada saat melakukan training juga terdapat sebuah checkpoint yang berguna jika proses
training terhenti ditengah jalan maka tidak harus mengulangi training dari awal lagi.
3.7. Learned Model
Tahapan ini merupakan hasil dari proses training yang sudah selesai, format yang
tergenerate nantinya berupa saved_model.pb. Library Tensorflow lah yang bertugas
mengeksport model yang telah diproses tersebut kedalam format saved_model.pb.
Karena penulis menggunakan tensorflow v2, maka format yang tergenerate adalah
saved_model.pb, jika pada penggunaan tensorflow v1 format yang ter-generate adalah
frozen_graph.pb. Learned model inilah nantinya yang berguna sebagai pendeteksian
objek yang akan dikenali.

3.8. Load Model

Pada tahapan ini adalah pengambilan model yang telah dieksport sebelumnya untuk
digunakan pada testing, proses pendeteksian yang dilakukan pada penelitian ini adalah
secara real-time, yaitu dengan mengarahkan webcam pada ke-4 jenis buah apel.
Kemudian hasilnya nanti akan tampak pada tab yang ditampilkan pada komputer atau
laptop yang dipakai sebagai alat testing.

3.9. Object Classification SSD-MobileNet

Pada tahapan sebelumnya pada pengklasifikasian ada beberapa tahapan yang akan
dilakukan terlebih dahulu yaitu Feature Extractor Mobile-Net, SSD Layers dan
melakukan Non- Maximum Suppression.

3.10. Output Result

Ini merupakan tahapan yang paling akhir, yaitu menampilkan hasil dari semua proses
yang telah dilakukan dari awal. Saat program dijalankan maka secara otomatis sebuah
tab berukuran 600 x 600 piksel yang disertai dengan pengaktifan webcam yang
digunakan akan muncul pada workspace. Dalam hal ini penulis tidak menggunakan
kamera bawaan laptop melainkan webcam eksternal yang memiliki kualitas resolusi
yang jauh lebih baik sebesar 720- 1080p, tujuannya agar objek apel yang akan
diklasifikasi akan terbaca secara jelas oleh kamera. Hasil akhirnya adalah sistem akan
melakukan pendeteksian.
1.7 Landasan Teori

7.1. Buah Apel

Buah Apel atau dalam ilmu botani disebut Malus sylvestris Mill. merupakan buah
yang dihasilkan oleh tanaman apel dan berasal daerah Asia Barat dan cocok ditanam
pada iklim subtropis. Di Indonesia, apel telah ditanam sejak tahun 1934 hingga saat ini
(Suhardjo, H. L., Deaton B. J., & Driskel, 1985). Buah apel biasanya berkulit merah,
hijau atau kuning, sesuai jenis apelnya. Memiliki kulit buah yang lembek dan daging
buah yang keras. Jenis-jenis apel yang sering dijumpai dipasaran antara lain jenis Red
Delicious, Gala, Granny Smith, Manalagi, Fuji dan masih banyak lagi. Adapun
beberapa manfaat dari buah apel antara lain mencegah kanker, menurunkan kolesterol,
meningkatkan sistem kekebalan tubuh, mengobati asma, mengeluarkan racun, dan
masih banyak lagi (Padia Games, 2017).

7.2. Jenis Apel yang digunakan

1) Apel Manalagi
Apel manalagi memiliki ukuran yang kecil. Sebagai perbandingan, ukuran apel
manalagi lebih kecil daripada apel rome beauty dan apel anna. Bentuk dari apel ini
bulat simetris dengan pucuk buah yang berlekuk dangkal. Memiliki diameter buah
sekitar 5-7 sentimeter dan berat 75-100 gram per buah. Jenis apel ini juga memiliki
daging buah yang berwarna putih halus dan rasa yang manis. Keunikan dari jenis apel
ini yaitu memiliki harum yang semerbak dan khas walaupun belum matang yang
membuat jenis buah apel ini merajai pasaran buah apel lokal. Dari sekian kelebihan
yang dimiliki, jenis apel ini pun memiliki kekurangan yakni memiliki waktu simpan
yang pendek dan sangat mudah sekali busuk walaupun kulit buat yang hanya tergores.

Gambar 2. Apel Manalagi

2) Apel Fuji
Jenis apel Fuji adalah jenis apel yang berasal dari Jepang dan pertama kali
dikembangkan di Jepang pada tahun 1930-an. Pada sekarang ini, apel Fuji banyak di
kembangkan pada negara China sehingga menjadi negara penghasil apel Fuji terbesar.
Apel Fuji merupakan hasil persilangan antara varietas delicious dan virginia sehingga
membuat apel ini memiliki rasa manis dan sedikit asam.

Gambar 3. Apel Fuji

3) Apel Granny Smith

Jenis apel yang berasal dari Australia ini memiliki kulit berwarna hijau cerah, daging
yang bertekstur renyah dan rasa asam yang sangat kuat. Jenis apel ini ditemukan pada
tahun 1867. Pada keadaan benar-benar matang, warna kulit hijaunya akan muncil
warna kemerahan. Memiliki ukuran buah yang cukup besar dan dapat diolah menjadi
berbagai jenis makanan seperti pie, saus apel, keripik dan campuran salad.

Gambar 4. Apel Granny Smith

7.3. Pre-processing

7.3.1. Resizing
Pada tahap ini dilakukan suatu teknik pengolahan yang bertujuan untuk mengubah
ukuran suatu citra.

7.4. Tensorflow
Tensorflow adalah platform end-to-end yang bersifat open-source digunakan untuk
aplikasi machine learning. Ini adalah library simbol matematika yang menggunakan
aliran data dan pemrograman yang berbeda untuk melakukan berbagai tugas yang
berfokus pada training dan inference deep neural network. Saat ini library deep
learning yang paling terkenal adalah Tensorflow Google. Produk Google
menggunakan machine learning untuk meningkatkan mesin pencarian, terjemahan,
pemberian keterangan gambar atau rekomendasi.

7.5. Deteksi Objek

Deteksi Objek adalah metode dari computer vision untuk menemukan lokasi objek
dalam sebuah gambar atau video. Algoritma deteksi objek biasanya memanfaatkan
machine learning atau deep learning untuk menghasilkan suatu output. Manusia
mampu mengenali objek dan menemukan objek menarik dengan cepat. Tujuan dari
objek deteksi adalah meniru kecerdasan ini menggunakan komputer. Ada beberapa
macam metode yang dapat dilakukan untuk pembacaan fitur-fitur dari seluruh objek.
Sistem objek deteksi harus melatih dan menguji data yang sudah dilabeli pada objek
disetiap kelasnya untuk proses pengenalan. Ada banyak sekali tipe model data pada
deep learning salah satunya yang digunakan pada penelitian ini adalah PASCAL-
VOC.

7.6. MobileNet
Seperti namanya, Mobile. Para peneliti dari Google membuat arsitektur CNN yang
mampu digunakan untuk ponsel. MobileNet merupakan salah satu arsitektur CNN
(convolutional neural network) yang digunakan untuk memenuhi kebutuhan resource
berlebih. Perbedaan arsitektur MobileNet dan CNN adalah penggunaan layer konvulasi
atau penggunaan lapisan dengan ketebalan filter yang sesuai dengan ketebalan dari
input image. MobileNet membagi konvulasi menjadi depthwise convulation dan
pointwise convulation. Model dari MobileNet didasarkan pada depthwise separable
convolution yang merupakan bentuk dari standart convolution menjadi depthwise
convolution dan 1x1 convolution atau disebut juga pointwise convolution. Depthwise
convolution menerapkan single filter untuk setiap masukan pada channel, pada
pointwise convolution menerapkan 1x1 convolution untuk menggabungkan output dari
depthwise convolution dan pada standart convolution menggabungkan dan memfilter
input menjadi satu set output baru dalam satu langkah. Depthwise separable
convolution membagi ini menjadi 2 layer, yaitu lapisan pemfilteran dan lapisan
penggabungan yang digunakan untuk mengurangi komputasi dan ukuran model secara
drastis (Howard et al, 2017).

7.7. SSD (Single Shot Multibox Detector)

SSD merupakan kepanjangan dari Single Shot Multibox Detector yang didasarkanpada
feed-forward convolutional network yang menghasilkan kumpulan bounding box dan
nilai dari setiap kelas objek tersebut kemudian diikuti oleh langkah non-maximum
suppression untuk menghasilkan deteksi akhir. Lapisan jaringan awal didasarkan pada
standar arsitektur yang digunakan untuk klasifikasi gambar berkualitas tinggi yang
disebut dengan base network (Liu, 2016). SSD termasuk arsitektur neural network
yang dirancang untuk tujuan deteksi yang berarti lokalisasi (bounding box) dan juga
bertujuan untuk klasifikasi objek.

7.8. SSD-MobileNet
SSD-MobileNet merupakan pengembangan dari Single Shot MultiBox Detector (SSD).
SSD menggunakan VGG16 sedangkan SSD-MobileNet menggunakan MobileNet
sebagai feature extraction. Proses MobileNet unggul dalam hal kecepatan karena
menggunakan depthwise separable convolution (DSC). DSC menggunakan depthwise
convolution sebagai filtering dan pointwise convolution yang digabungkan dari hasil
depthwise untuk menghasilkan beban komputasi yang kecil. Ukuran MobileNet 30 kali
lebih kecil dibandingkan VGG16 dan juga memiliki kecepatan 10 kali lebih cepat
dengan hasil akurasi yang sama. Perbedaan lainnya SSD-MobileNet menggunakan
ground truth box untuk proses training sama seperti SSD namun berbeda feature
extraction.
7.9. Output
Hasil akhir dari keseluruhan tahap adalah menyatakan jenis-jenis apel dari tiap citra
input.
1.8 Penelitian Terdahulu

Tabel 1. Penelitian Terdahulu

No. Peneliti Judul Penelitian Keterangan

1. Zeng Fruit and Vegetables Model VGG dipilih untuk
Classification System melatih klasifikasi buah dan
et al.
Using Image Saliency and sayuran, hasilnya
(2017)
Convolutional Neural menunjukkan bahwa sistem
Network klasifikasi mencapai tingkat
akurasi yang sangat baik
sebesar 95,6%.
2 Biswas et An Automatic Traffic Objek yang dideteksi hanya 2
al. (2018) Density Estimation Using kelas yaitu kelas bagian
SSD and MobileNet-SSD depan mobil dan kelas bagian
belakang. Menggunakan
kamera lalu lintas sebagai
dataset. . SSD mencapai
akurasi 92,97% dan
MobileNet-SSD akurasinya
rata-rata 79,30%
3 Kanimozhi Multiple Real-Time Penelitian ini menggunakan
et al. Object Identification depthwise separable
(2019) Using Single Shot convolution atau sering
Multibox Detector (SSD) disebut MobileNet. Hasil
percobaan memaparkan
penggunaan MobileNet dan
SSD dapat meningkatkan
akurasi dalam
mengidentifikasi objek-objek
atau peralatan rumah tangga.
4 N.Wijaya Kamera digital digunakan
Klasifikasi Jenis Buah
et al. untuk mendapatkan gambar,
Apel dengan Metode K-
(2019) dan semua manipulasi
Nearest Neighbor dengan
dilakukan dalam lingkup
Ekstrasi Fitur HSV dan
MATLAB. Eksperimen diuji
LBP
dan dievaluasi menggunakan
serangkaian percobaan
dengan 178 gambar buah.
Menunjukan bahwa Random
Forest (RF) memberikan
akurasi yang lebih baik
dibandingkan dengan
algoritma machine learning
yang lain.
5 Arabi, et Pada penelitian ini digunakan
A Deep Learning Based
al.(2019) untuk mengklasifikasi jenis
Solution for Construction
kendaraan konstruksi seperti
Equipment Detection :
ekskavator, truk, roller, dan
From Development for
truk mixer. Dan menghasilkan
Deployment.
akurasi 91%.
 DAFTAR PUSTAKA

Arabi, S., Haghighat, A., & Sharma, A. (2019). A deep learning based solution for
construction equipment detection: from development to deployment. arXiv
preprint arXiv:1904.09021.
Biswas, D., Su, H., Wang, C., Stevanovic, A., & Wang, W. (2019). An automatic
traffic density estimation using Single Shot Detection (SSD) and MobileNet-SSD.
Physics and Chemistry of the Earth, 110, 176–184.
Kanimozhi, S., Gayathri, G., & Mala, T. (2019). Multiple real-time object
identification using single shot multi-box detection. ICCIDS 2019 - 2nd
International Conference on Computational Intelligence in Data Science,
Proceedings, 1–5.
Wijaya, N., & Ridwan, A. (2019). Klasifikasi Jenis Buah Apel Dengan Metode K-
Nearest Neighbors Dengan Ekstraksi Fitur HSV dan LBP. Jurnal Sisfokom
(Sistem Informasi dan Komputer), 8(1), 74-78.
Zeng, G. (2017, October). Fruit and vegetables classification system using image
saliency and convolutional neural network. In 2017 IEEE 3rd Information
Technology and Mechatronics Engineering Conference (ITOEC) (pp. 613-617).
IEEE.