STORE ACTIVITY RECOGNITION BASED RASPBERRY PI

HCI & AI PROPOSAL

INTRODUCTION
Dalam tugas ini kami akan berfokus pada project bernama “Store Activity Recognition
berbasis Raspberry pi”. Project ini bertujuan untuk mengetahui banyaknya pengunjung sebuah
swalayan dan mendeteksi minat pelanggan dalam pembelian barang belanjaan. Salah satu
strategi manajemen logistik barang perbelanjaan dan tata letak komoditi untuk meningkatkan
permintaan dari pelanggan.

TEAM JOB DESKS

 Supervisor
 Dr. Kahlil Muchtar, S.T., M.Eng.
 Back-End
 M. Jurej Alhamdi
 Jamalur Ridha
 Nizam Albar
 Front end
 Wildan Mumtaz
 Teuku Abrar Mifta

PROJECT DESCRIPTION
Project ini dimulai dengan perancangan back-end system dengan metode pembelajaran
deep learning untuk mindeteksi banyaknya pengunjung dan minat pembelian barang belanjaan
dalam cakupan 1 hari atau selama operasional. Dalam kasus ini mampu menganalisis tingkatan
pelanggan dalam perbelanjaan barang apa yang sering dibeli dan yang paling banyak diminati
dalam pusat perbelanjaan swalayan dengan menggunakan metode object tracking dan deteksi
berbasis deep learning. Sistem deteksi menggunakan pre-trained model untuk melakukan
deteksi pelanggan. Selanjutnya sistem akan memberikan informasi daya minat beli pelanggan
terhadap suatu barang.
 Project ini juga mencakup rancangan front-end system bagi pengelola swalayan untuk
memantau jumlah minat pelanggan pada swalayan tersebut. Tampilan front-end system akan
mengacu pada aplikasi–aplikasi swalayan yang pada umumnya. Rancangan back-end dan front-
end ini diharapkan dapat diterapkan pada Raspberry Pi 4 model B.

TOOLS AND FRAMEWORK

Tools yang akan digunakan untuk mendesain UI dan back-end adalah sebagai berikut :
1. Framework yang digunakan untuk mendesain UI pada project ini menggunakan TKinter dan
bahasa pemrograman Python.
2. Framework yang digunakan untuk mendesain back-end adalah OpenCV dan TfLite.
3. Operating System (OS) yang digunakan adalah OS Raspberry Pi.
4. Model yang digunakan adalah SSD Mobile Net V2.

MODEL AND DATASET

Dalam project ini akan digunakan pre-trained model SSD Mobile Net V2 untuk melakukan
tugas deteksi objek. Model untuk tugas ini dilatih dengan menggunakan dataset COCO
(Common Objects in Context). Dataset coco itu sendiri terdiri dari lebih dari 330.000 gambar
dari 100 kelas (seperti manusia, binatang, rumah tangga, dan objek alam), dimana dataset ini
dikhususkan melakukan tugas segmentasi dan object deteksi. Pada project ini model dikhusukan
untuk melakukan tugas mendeteksi objek manusia saja yang nantinya digunakan untuk
mengetahui posisi dan banyaknya jumlah pelanggan.
Bounding box yang diterapkan dalam project untuk menandai batas wilayah komoditi
barang pada swalayan tersebut sehingga pelanggan yang tertarik pada suatu barang di komoditas
swalayan tersebut terdata dan terditeksi sehingga informasi minat pelanggan didapatkan. Cara
melihat pelanggan masuk ke wilayah sebuah komoditi dengan, melihat bounding box komuditi
overlap dengan bounding box orang yang terdeteksi. Jika sudah dihitung orang masuk kedalam
sebuah area komoditi maka akan dihitung juga berapa lama orang tersebut di wilah komuditi itu.
Data jumlah orang dan waktu tersebut akan disimpan kedalam database dan kemudian akan di
visualkan kedalam front-end.
SSD MOBILE NET V2
Single Shoot Detector (SSD) Mobile Net V2 adalah salah satu jenis arsitektur deep
learning yang digunakan untuk deteksi objek. SSD Mobile Net V2 dikembangkan untuk
menjalankan deteksi objek pada perangkat mobile dan IoT (Internet of Things) dengan performa
yang baik dan efisiensi resource yang tinggi.

SSD MobileNet V2 menggabungkan teknik MobileNet dengan teknik SSD untuk membuat
sebuah arsitektur deteksi objek yang ringan dan efisien. MobileNet menggunakan teknik
depthwise separable convolution untuk mengurangi jumlah parameter dan operasi yang
diperlukan, sehingga membuat model lebih ringan dan efisiensi resource yang tinggi. SSD
menggunakan teknik single shot detection untuk melakukan deteksi objek dalam satu langkah,
sehingga membuat proses deteksi lebih cepat dan efisien.

PERBANDINGAN MOBILE NET SSD

Kami membandingkan SSD Mobile Net V2 memiliki beberapa kelebihan seperti performa
yang baik pada perangkat mobile dan IoT, efisiensi resource yang tinggi, dan latensi yang
rendah. Kelebihan-kelebihan ini membuat SSD Mobile Net V2 menjadi pilihan yang baik untuk
aplikasi-aplikasi yang membutuhkan deteksi objek pada perangkat mobile dan IoT, seperti
aplikasi pemantauan lingkungan, pengenalan wajah, dan lainnya :

1. Efisiensi resource : SSD Mobile Net V2 menggabungkan teknik Mobile Net dan SSD,
sehingga membuat model ringan dan efisiensi resource yang tinggi. Ini membuat SSD Mobile
Net V2 cocok untuk digunakan pada perangkat mobile dan IoT dengan spesifikasi hardware
yang terbatas.
2. Performa deteksi objek yang baik: SSD Mobile Net V2 memiliki performa deteksi objek yang
baik, terutama pada perangkat mobile dan IoT. Ini karena arsitektur yang diterapkan pada
SSD Mobile Net V2 membuat deteksi objek menjadi lebih cepat dan efisien.
3. Latensi rendah : SSD Mobile Net V2 memiliki latensi rendah, sehingga dapat bekerja dengan
cepat dan memberikan hasil deteksi objek dalam waktu yang singkat. Ini sangat penting untuk
aplikasi-aplikasi real-time seperti pemantauan lingkungan dan pengenalan wajah.
4. Skalabilitas : SSD Mobile Net V2 memiliki skalabilitas yang baik, sehingga dapat diterapkan
pada berbagai aplikasi dengan ukuran dan jenis objek yang berbeda.
5. Ekonomis : SSD Mobile Net V2 membutuhkan biaya hardware dan resource yang lebih
rendah dibandingkan dengan arsitektur deep learning lain yang digunakan untuk deteksi
objek. Ini membuat SSD Mobile Net V2 menjadi pilihan yang ekonomis untuk aplikasi-
aplikasi deteksi objek pada perangkat mobile dan IoT.

Dengan demikian, SSD Mobile Net V2 merupakan arsitektur deep learning yang efisien
dan handal untuk deteksi objek pada perangkat mobile dan IoT, dan merupakan pilihan yang baik
untuk optimasi pengenalan banyaknya pengunjung.

EVALUASI
Project di akhiri dengan evaluasi sistem terhadap pendeteksian jumlah pengunjung dan
informasi daya minat pelanggan yang terdeteksi pada sistem dan jumlah pelanggan sebenarnya
secara real time. Untuk mengetahui tingkat akurasi sistem dapat dihitung dengan persaman
dibawah ini :

Jumlah orang sebenarnya

% acc= x 100 %
Jumlah orang terdeteksi
OVERVIEW SYSTEM