Aplikasi Berbasis Website CONEY

(Control Your Money) Sebagai

Pengelola Keuangan Menggunakan
Algoritma YOLOv5 dan Easy OCR
Orbit Future Academy Final Project
 Our Team Layout

Ahnaf Zainul Syaipuddin

Kelvin Andrian Rahmat Aldino Nouratut Dini
Muttaqin Muda Pane
AlphaGo AlphaGo Devalopa Devalopa Devalopa
AI Developer, UI/UX Designer AI Developer, Front End Devel- Model Tester
backend devel- Database, dan oper
oper, dan De- Raw text Process-
ployment ing
 Coney
CONEY merupakan singkatan dari control
your money yang merupakan aplikasi
berbasis web untuk memonitor atau
merekap pengeluaran dari hasil ekstrasi
struk belanjaan. Aplikasi ini memiliku fitur
sign up dan login, jadi pengguna dapat
memiliki akun tersendiri dalam melakukan
monitoring atau perekapan pengeluaran. Se-
lain itu aplikasi ini dapat menampilkan pro-
duk belanjaan, harga, diskon, dan total pen-
geluaran dari struk belanjaan.
 AI Project Cycle
.

Problem Scoping

Data Acquisition

Data Exploration CONEY

De-
ploy- Control Your Money
ment
Modeling

Evaluation
Problem Scoping

Adakalanya kita perlu mencatatkan pengeluaran

untuk mengatur keuangan. Terutama mahasiswa
yang memiliki pendapatan yang sedikit. Menghi-
tung pengeluaran dapat menggunakan struk be-
lanjaan. Menyimpan struk belanjaan memiliki re-
siko dari kelunturan dan kehilangan serta
kadang orang terlalu malas untuk mencatat se-
cara manual.
 Data Acquisition

Anggota Tim

Orang Sekitar Media Sosial

 Data Exploration
Pada awalnya struk belanjaan yang dikumpulkan memiliki
berbagai jenis seperti alfamart, indomart, dan lain-lain. Sete-
lah dilakukan percobaan menggunakan ocr sederhana, struk
alfamart dan indomaret memliki pola yang lebih terlihat. Se-
lain itu dari berbagai struk belanjaan yang dikumpulkan, struk
alfamart dan indomaret memiliki jumlah terbanyak, Maka dari
itu untuk model awal, struk belanjaan yang digunakan yaitu
struk belanjaan dari alfamart dan indomaret.
 Modeling

Easy OCR Raw Text Pro- Untuk menyelesaikan

Yolo V5 cessing permasalahan sebelum-
nya, maka digunakan im-
plementasi dari artificaial
intelegent. Secara garis
besar model yang dibuat
untuk mengekstrak data
atau fitur dari struk belan-
jaan alfamart mengunakan
3 tahap pemodelan. Mod-
elnya yaitu :
Yolo v5 versi 1

Croping pada struk alfamart

Yolo v5 versi 2
Croping pada struk alfamart dan indomaret
EasyOCR
OCR pada struk hasil cropping
Raw text processing
Mengambil fitur penting pada hasil ocr
 Model Testing
Setelah dilakukan testing

• Model akan bekerja baik jika gambar/citra struk memiliki tampilan

yang jelas dan tulisannya tidak pudar
• Agak lambat jika digunakan pada computer tanpa gpu
• Model mampu untuk melakukan ekstrasi dengan baik khusus untuk
struk alfamaret dan indomaret
 Evaluation
• Model ocr yang digunakan dari
pytesseract menjadi easyocr kerena
setelah beberapa percobaan easyocr
lebih dapat melakukan ocr dengan lebih
baik
• Matriks evaluasi yang digunakan dalam
training yolo v5 yaitu MAP (Mean Aver-
age Precission) dengan nilai 0.6 pada
threshold 0.5:0.95
Deployment
Api dan Database
Menampung data hasil processing text pada database dan
akan disediakan service API yang akan diakses oleh
tampilan website dalam menampilkan data hasil ekstraksi
Sistem Login
Sistem login yang dibangun menggunakan framework flask
dan mongodb sebagai penyimpan data atay database
Integrasi AI dan Sistem Login
Menggabunkan model ai yang telah dibuat dalam api ke dalam sistem login
dan menampilkan hasil ekstrasi struk
UI/UX
Di desain menggunakan figma
User Interface
Halaman Sign Up dan Login
User Interface
Dashboard
User Interface
Upload Struk
User Interface
Dashboard
Kelebihan dan kekurangan
Agenda
Kelebihan Style Kekurangan

• Memiliki fitur sign up dan lo- • Belum ada update session.

gin • Minim Fitur
• User Interface mudah dipa- • Jenis struk terbatas
CONEY

hami
• Simple hanya perlu butuh
struk
 Pengembangan di Masa Depan
.

• Membuat aplikasi tersebut benar-benar seperti aplikasi pengatur keuan-

gan dengan menambahkan fitur pemasukan, input manual, pengeluaran
bulanan
• Memperbagus tampilan interface
• Deploy ke cloud
• Menambahkan fitur tambahan seperti rekomendasi produk bulanan
Thank you
.