oleh :
Muhammad Abubakar Rizvi / 03041381924096
TEKNIK ELEKTRO
FAKULTAS TEKNIK
UNIVERSITAS SRIWIJAYA
2022
Lembar Pengesahan
Jurusan Teknik Elektro Universitas Sriwijaya
oleh :
Muhammad Abubakar Rizvi / 03041381924096
oleh :
Muhammad Abubakar Rizvi / 03041381924096
Jakarta
AI Coach
Puji dan syukur kehadirat Allah SWT., karena berkat rahmat dan karunia-Nya,
penulis dapat menyelesaikan Laporan Akhir Studi Independen Bersertifikat yang
berjudul “Aplikasi Pembaca Nilai Mata Uang sebagai Sarana Pembantu
Penyandang Tuna Netra” dengan baik dan lancar. Adapun tujuannya untuk
melengkapi persyaratan kelulusan Program MSIB MBKM.
Penulis menyadari bahwa dalam penulisan dan penyusunan laporan ini masih
terdapat kekurangan dan jauh dari kata sempurna. Oleh karena itu, penulis sangat
mengharapkan bantuan berupa saran dan kritik yang bersifat membangun dan
membantu penulis dalam penyempurnaan projek akhir ini. Akhir kata penulis
mengucapkan terima kasih atas izin serta kesempatan yang akan diberikan oleh
intansi kepada penulis.
1
I.2 Lingkup
1. AI of Mastery
Program yang berfokus pada pengembangan AI Readiness atau kesiapan AI,
mempersiapkan mahasiswa dengan keterampilan dasar yang dibutuhkan
dalam pekerjaan di masa mendatang. Program ini bertujuan untuk
mengembangkan mindset dan skill set dalam dunia yang telah
berdampingan dengan AI [2]
2. Python
Python adalah bahasa pemrograman bermetode Oriented Object Program
(OOP) dengan manajemen memori otomatis (pointer). Program operasi
Python dapat dijalankan hampir pada semua sistem operasi seperti Windows,
Linux, Mac Os, Android, dan lain-lain [3].
3. Machine Learning
Secara artian, machine learning atau pembelajaran menis adalah ilmu yang
mempelajari algoritma dan model statistik yang terpasang dalam sistem
komputer untuk melakukan tugas tertentu tanpa instruksi manual [4].
4. Reinforcement Learning
Reinforcement Learning merupakan suatu mesin atau perangkat lunak yang
dapat melatih diri secara kontinyu berdasarkan kondisi dan pengaruh
lingkungan serta mempelajari pengetahuan untuk memecahkan suatu
masalah. Proses self learning dari mesin ini lebih sedikit melibatkan campur
tangan manusia sehingga dapat menghemat waktu [4].
5. Computer Vision
Menurut Ibnu firnas (2021), Computer Vision merupakan suatu kemampuan
dari pengembangan teknologi informasi yang mampu melakukan
pendeteksian atau pembacaan akan objek yang dilihat melalui sebuah
perangkat yang terhubung [5].
6. Natural Language Processing
Natural Language Processing (NLP) merupakan sebuah model komputasi
yang dapat memungkinkan terjadinya interaksi antara manusia dengan
komputer dalam perantaraan alami yang digunakan oleh manusia baik
2
kedalam bentuk teks (tertulis) maupun verbal (ucapan). NLP memodelkan
kemampuan terhadap komputasi dari segi kata hingga digabung menjadi
suatu kalimat dan konteks yang terstruktur [6].
7. Data Science
Data Science merupakan ilmu yang dapat memperoleh pengetahuan melalui
data. Dalam definisi lain, data science merupakan segala hal yang
berhubungan dengan mengambil data, menggunakan data untuk
memperoleh pengetahuan, dan kemudian menggunakan pengetahuan
tersebut untuk berbagai tujuan seperti membuat keputusan, memprediksi
masa depan, ataupun menciptakan produk atau industri baru [7].
8. AI Technology
Studi komputasi yang dikhususkan untuk menyelesaikan masalah yang
biasanya terkait dengan kecerdasan manusia seperti pembelajaran,
pemecahan masalah, dan pengenalan pola. Singkatnya, kecerdasan buatan
atau Artificial Intelegent merupakan kemampuan dari sebuah mesin yang
dapat menirukan perilaku dan memiliki kemampuan seperti manusia.
Penerapannya dapat berupa mesin, robotika, dan perangkat lunak [8].
I.3 Tujuan
Tujuan dari megikuti program MSIB :
1. Untuk menambah ilmu, skill, serta pengalaman yang tidak didapatkan pada
bangku perkuliahan
2. Ikut berkontribusi dalam perkembangan teknologi di Tanah Air terutama
dibidang Artificial Intelegent (AI) dan Internet of Things (IOT)
3. Merancang perangkat lunak yang dapat membantu kaum disabilitas
3
Bab II Orbit Future Academy
Orbit Future Academy (OFA) didirikan pada tahun 2016 dengan tujuan untuk
meningkatkan kualitas hidup melalui inovasi, edukasi, dan pelatihan keterampilan.
Label atau brand Orbit merupakan kelanjutan dari warisan mendiang Prof. Dr. Ing.
B. J. Habibie (presiden Republik Indonesia ke-3) dan istrinya, Dr. Hasri Ainun
Habibie. Mereka berdua telah menjadi penggerak dalam mendukung perkembangan
inovasi dan teknologi pendidikan di Indonesia. OFA mengkurasi dan melokalkan
program/kursus internasional untuk upskilling atau reskilling pemuda dan tenaga
kerja menuju pekerjaan masa depan. Hal ini sesuai dengan slogan OFA, yakni
“Skills-for-Future-Jobs”.
Visi:
Memberikan pembelajaran berbasis keterampilan transformatif terbaik untuk para
pencari kerja & pencipta lapangan kerja.
Misi:
1. Membangun jaringan Orbit Transformation Center (OTC) secara nasional
untuk menyampaikan kurikulum keterampilan masa depan berbasis
sertifikasi melalui Platform Konten Digital.
4
2. Secara proaktif bekerja dengan pemerintah & organisasi dengan mengubah
tenaga kerja mereka agar sesuai dengan perubahan pekerjaan yang terjadi
karena Industri 4.0.
3. Melatih pemuda dengan keterampilan kewirausahaan & mencocokkan
mereka dengan peluang masa depan yang muncul di berbagai industri.
4. Menghubungkan jaringan inkubator dan akselerator yang dikurasi ke
industri, investor, dan ekosistem start-up global.
5
b. Domain Coach
Domain coach bertugas menyampaikan materi tentang domain AI dan
memberikan penilaian pada student.
Lingkup pekerjaan student adalah mengikuti kelas bersama homeroom atau domain
coach, sesuai agenda kelas, hingga program selesai.
Student memiliki peran sebagai modeling yolo V4 dataset selama pengerjaan PA,
dengan deskripsi pekerjaan sebagai berikut:
a. Data acquisition
b. Data Exploriation YOLO V4
6
Tabel 2.1 Agenda Kelas
Pukul (WIB) Durasi (jam) Aktivitas
08.00 s.d. 11.30 3.5 Kelas Sesi Pagi
13.00 s.d. 16.30 3.5 Kelas Sesi Siang
16.30 s.d. 17.30 1 Self-Study
Program ini berlangsung dari bulan Februari 2022 sampai dengan bulan Juli 2022.
7
Bab III
Aplikasi Pembaca Nilai Mata Uang sebagai sarana pembantu
penyandang Tuna Netra
8
dilanjutkan dengan pembagian peran dan jobdesk dari setiap anggota kelompok
yang terdiri dari 5 orang. Selanjutnya dilakukan pengumpulan dataset yaitu gambar
dari setiap uang rupiah yang terdiri dari 10 kelas yaitu 500 koin, 1000 koin, 1.000
kertas, 5.000, 10.000, 20.000, 50.000, 75.000, dan 100.000. Masing-masing
anggota diminta untuk mengumpulkan gambar sebanyak-banyaknya atau mencapai
jumlah minimum gambar yang akan di train yaitu 75 gambar dari setiap kelasnya.
Setelah pengumpulan dataset selesai. Gambar-gambar tersebut diberi label sesuai
dengan kelasnya menggunakan website makesanse.ai yang dapat dilihat pada
gambar berikut:
9
Gambar 3.2 Output dari cell !nvidia-smi
1
# filter = (klass+5)*3
#maxbatch = classes*2000
Gambar 3.4 Kode membuat file yolov4_training.cfg
Setelah itu, buat file obj.data yang berisikan kelas dan folder menampung hasil train
yaitu folder weight yang ada telah dibuat sebelumnya pada google drive
%cd /content/drive/MyDrive/yolov4/darknet
!echo -
e 'classes= 10\ntrain = data/train.txt\nvalid = data/test.txt\nnam
es = data/obj.names\nbackup = /content/drive/MyDrive/yolov4/weight'
> data/obj.data
Gambar 3.5 Kode membuat file obj.data
kemudian download file pre-training yang berasal dari github dataset siap ditrain
dengan menggunakan program
!wget https://github.com/AlexeyAB/darknet/releases/download/darknet_
yolo_v4_pre/yolov4-tiny.conv.29
Gambar 3.6 Kode download file pre-training dari github
Setelah itu, unzip file dataset tadi menggunakan kode berikut dan dipindahkan ke
folder data di darknet
!unzip /content/drive/MyDrive/yolov4/duit.zip -d data/obj
Gambar 3.7 kode untuk unzip file
Setelah itu, run kode train di bawah untuk memulai train data dan dimasukkan ke
folder weight yang ada di google drive.
!./darknet detector train data/obj.data cfg/yolov4_training.cfg yolo
v4-tiny.conv.29 -dont_show
Gambar 3.8 Kode train dataset YOLO
Namun, jika google colab mengalami crash saat train data, maka melanjutkan
proses train dari checkpoint terakhir program mentrain data dengan kode
!./darknet detector train data/obj.data cfg/yolov4_training.cfg /con
tent/drive/MyDrive/yolov4/weight/yolov4_training_last.weights -
dont_show
Gambar 3.9 Kode train dataset untuk memulai saat terakhir terjadinya error
Train dataset ini memakan waktu selama kurang lebih 15 jam dengan kendala
google colab sering mengalami reset runtime sehingga proses train berhenti secara
tiba-tiba. Hasil train data ini disimpan dalam format file
yolov4_training_last.weight dan yolov4_training.cfg. Kedua file inilah yang akan
dimodeling dan diolah pada tahapan berikutnya.
1
Gambar 3.10 Hasil dari train data
III.3 Hasil Proyek Akhir
Aplikasi pendeteksi uang yang telah dibuat belum dapat mendeteksi uang
dikarenakan terjadi error pada saat memasukkan model hasil train kedalam aplikasi.
Namun aplikasi yang dibuat dapat dijalankan 100% walaupun tidak bisa
mendeteksi uang. Aplikasi dibuat menggunakan software Android Studio dan
bersifat artificial intelegent sehingga dapat mendeteksi uang secara otomatis. Jika
aplikasi berhasil dibuat 100%, maka tampilan akan seperti berikut:
1
Bab IV Penutup
IV.1 Kesimpulan
Berdasarkan hasil penelitian dan pengerjaan project akhir yang telah
dilakukan, maka dapat ditarik kesimpulan
1. Pelaksanaan Studi Independen Bersertifikat AI Mastery berjalan sesuai dengan
rencana kegiatan yaitu peserta studi independen dapat memahamidan mahir
dalam mengimplementasikan algoritma AI di kehidupan sehari hari.
2. Kegagalan dalam proses data modeling dan exploration dapat terjadi
diakibatkan kesalahan algoritma dan human error sehingga data yang telah di
train tidak dapat digunakan di aplikasi yang telah dibuat.
IV.2 Saran
Adapun saran dan perbaikan dalam pelaksanaan program MSIB dan proyek
akhir sebagai berikut
1. Proses pembelajaran dapat dilakukan secara tatap muka saat pandemi telah
berakhir agar peserta dapat lebih memahami dalam mempelajari materi AI
Mastery
2. Lakukan train data secara 2 sampai 4 kali dan menggunakan metode yang
berbeda agar mendapatkan perbandingan dari hasil train.
3. User Interface aplikasi dapat diperbaharui lagi agar dapat lebih simpel dan
mudah digunakan bagi kaum tunanetra.
13
Bab V Referensi
[1] Orbit Future Academy, “AI for GEN Z School Program,” PT. Orbit Ventura
Indonesia. https://orbitfutureacademy.id/aigenz/.
[2] Orbit Future Academy, “AI MASTERY Institution,” PT. Orbit Ventura
Indonesia. https://orbitfutureacademy.id/ai-mastery-program-institution/.
[3] M. K. F. KUDDUS, “SISTEM PRESENSI PEGAWAI BERBASIS
COMPUTER VISION,” 2021.
[4] M. A. Aditya, R. D. Mulyana, I. P. Eka, and S. R. Widianto, “Seminar
Nasional Teknologi Komputer & Sains (SAINTEKS) Penggabungan
Teknologi Untuk Analisa Data Berbasis Data Science,” pp. 50–51, 2020.
[5] Stanley and Daniel, “PENENTUAN DISTRIBUSI ARUS LALU LINTAS
PADA PERSIMPANGAN BERBASIS TEKNOLOGI COMPUTER
VISION & DEEP LEARNING,” vol. 11, no. 1, pp. 37–43, 2022.
[6] N. Busiarli, L. A. Aditya, and A. Y. Andika, “PENERAPAN ALGORITMA
NAÏVE BAYES & NATURAL LANGUAGE PROCESSING UNTUK
MENGKLASIFIKASI JENIS BERITA PADA ARSIP PEMBERITAAN,”
Semin. Nas. Teknol. Inf. dan Multimed., pp. 6–7, 2016.
[7] I. P. Sari, “Implementasi Data Science dalam Ritel Online: Analisis
Customer Retention dan Clustering Customer dengan Metode K-Means,” J-
SAKTI (Jurnal Sains Komput. dan Inform., vol. 5, no. 1, pp. 417–425, 2021.
[8] A. Amazon, “Apa Itu Kecerdasan Buatan?,” AWS. Amazon.
https://aws.amazon.com/id/machine-learning/what-is-ai/.
[9] B. Putra, G. Pamungkas, B. Nugroho, and F. Anggraeny, “Deteksi dan
Menghitung Manusia Menggunakan YOLO-CNN,” J. Inform. dan Sist. Inf.,
vol. 02, no. 1, pp. 67–76, 2021.
[10] F. Al Islama Achyunda Putra, J. Atur Firdaus, N. Achmad, F. Abdurrachman
Bachtiar, and dan Novanto Yudistira, “Pengaruh Resolusi Video Terhadap
Akurasi Menggunakan Algoritma YOLOv4 Dalam Deteksi Citra Objek Pada
CCTV,” pp. 1–9, 2021.
[11] R. A. W, H. Tolle, and O. Setyawati, “Pengembangan Aplikasi Text-to-
14
Speech Bahasa Indonesia Menggunakan Metode Finite State Automata
Berbasis Android,” vol. 5, no. 1, 2016.
15
Bab VI Lampiran A. TOR
A. Rincian Program
AI Mastery Program adalah program pelatihan Artificial Intelligence (AI)
daring yang bertujuan untuk memperkenalkan teknologi dan perangkat AI
kepada pelajar, sehingga diharapkan mereka dapat mengembangkan produk AI
yang memiliki dampak sosial. Program ini berfokus pada komponen utama AI,
seperti Data Science (DS), Natural Language Processing (NLP), Computer
Vision (CV), dan Reinforcement Learning (RL).
B. Tujuan Program
Tujuan yang diharapkan setelah peserta mengikuti program ini:
1. Mampu memahami apa itu AI, penerapan dan pemanfaatannya.
2. Mampu memahami terkait tiga domain utama AI (DS, NLP, dan CV).
3. Mampu mengelaborasi kemampuan terkait AI dengan bidang lain.
4. Mampu memahami pentingnya data dalam AI.
5. Mampu membuat project AI yang berdampak sosial.
6. Mampu menulis kode dengan bahasa pemrograman Python.
7. Mampu memahami operasi dan logika sederhana pada Python.
8. Mampu membuat project Python.
9. Mampu melakukan kolaborasi secara interaktif dengan Git/Github.
10. Mampu membuat repository di akun Git/Github.
11. Mampu membuat portfolio dengan Git/Github.
12. Mampu menganalisis algoritma Machine Learning (ML) yang paling
sesuai.
13. Mampu membuat model ML.
16
14. Mampu memahami dan menerapkan algoritma ML untuk membantu
kehidupan.
15. Mampu membuat model Deep Learning (DL).
16. Mampu membuat kode program untuk pengujian model data science.
17. Mampu melakukan pengujian model dan analisis.
18. Mampu membuat ramalan dan prediksi berdasarkan data.
19. Mampu mengolah data yang besar untuk membuat keputusan.
20. Mampu men-clustering untuk memetakan pola.
21. Mampu membuat dokumentasi hasil pengujian model DS.
22. Mampu Membuat model DS dengan ML & DL.
23. Memahami NLP.
24. Mampu membuat model pengenalan suara.
25. Mampu membuat chatbot.
26. Mampu membuat project terkait dengan RL.
27. Mampu mengkombinasikan dan membuat project terkait AI, IoT, dan
sensor.
28. Mampu mengaplikasikan konsep RL dan diterapkan bersama domain AI
lain.
29. Mampu memahami dan membuat project terkait CV.
30. Mampu menggunakan teknologi terkait Computer Vision.
31. Mampu mengembangkan project CV untuk kepentingan sosial.
32. Mampu membuat model ML dan DL untuk berbagai kasus.
33. Mampu men-deploy model menggunakan Heroku dan atau menggunakan
layan Machine learning as a service (MLaaS).
17
C. Jadwal dan Tempat Pelaksanaan
Jadwal pelaksanaan tertera dalam tabel berikut:
Tabel 6.1 Jadwal Pelaksanaan
Pukul (WIB) Durasi (jam) Aktivitas
08.00 s.d. 11.30 3.5 Kelas Sesi Pagi
13.00 s.d. 16.30 3.5 Kelas Sesi Siang
16.30 s.d. 17.30 1 Self-Study
D. Peserta
Peserta program ini adalah mahasiswa yang berasal dari Perguruan Tinggi di
bawah Kementerian Pendidikan, Kebudayaan, Riset, dan Teknologi Republik
Indonesia.
18
Bab VII Lampiran B. Log Activity
Tabel 7.1 Log Activity
Minggu/Tgl Kegiatan Hasil
9 Mei s/d 13 Diskusi bersama Coach dan teman Kelompok mengangkat
Mei sekelompok untuk mencari dan ide aplikasi deteksi uang
menentukan ide untuk dijadikan projek sebagai tema dari projek
akhir akhir
16 Mei s/d Diskusi pembagian tugas untuk setiap Pengumpulan dataset
20 Mei kelompok dan pencarian dataset dengan total 809 gambar
dari masing masing kelas
23 Mei s/d Riset jobdesk masing-masing anggota, Label dari masing-masing
27 Mei labeling dataset dari setiap kelas, dan kelas yaitu 500, 1000
konsultasi perkembangan dengan koin, 1000, 2000, 5000,
homeroom coach, 10000, 20000, 50000,
750000, dan 100000
30 Mei s/d 3 Riset jobdesk masing-masing anggota, Hasil train data dikirim
Juni fiksasi desain UI dan UX aplikasi, ke setiap anggota untuk
train dataset YOLO, dan konsultasi dilakukan proses
perkembangan dengan Domain Coach modeling dan evaluation
dan homeroom coach.
6 Juni s/d 10 Riset jobdesk masing-masing anggota, Aplikasi berjalan namun
Juni pengembangan aplikasi, testing dan tidak dapat mendeteksi
evaluation model, dan konsultasi model dikarenakan model
perkembangan dengan Domain Coach yang telah di train tidak
dan homeroom coach. kompatibel dengan
program pada aplikasi
13 Juni s/d Pemecahan masalah pada error Laporan dan program
17 Juni aplikasi, finishing program, konsultasi selesai.
dengan Domain Coach dan Homeroom
Coach, dan penyelesaian laporan
projek akhir.
19
Bab VIII Lampiran C. Dokumen Teknik
1. AI Project Cycle
a. Problem Scoping
Who:
21
b. Data Acquisition
Sumber dataset yang akan ditrain sebagian berasal dari google dan foto dari
kamera setiap anggota.
c. Data Exploration
Dataset berupa gambar yang dikumpulkan sebelumnya diberi label sesuai kelas
pada website makesanse.ai.
d. Modelling
Proses train data menggunakan YOLO v4 dari darknet agar nantinya dapat
mendeteksi gambar sesuai dengan dataset dan label. Hasil dari train data
merupakan modeling data yang selanjutnya akan diuji dan diproses pada
aplikasi yang telah dibuat. Algoritma yang digunakan adalah YOLO V4 dan
Google Text To Speech dari NLP
e. Evaluation
Pengujian model YOLO yang sebelumnya telah di train. Pengujian dilakukan
dengan mendeteksi mata uang pada gambar yang disematkan terlebih dahulu.
22
Gambar 8.2 Output dari test data menggunakan gambar dari webcam
f. Deployment
Aplikasi dibuat menggunakan software Android Studio menggunakan template
dan program yang berasal dari github.
23
Tugas : Data acquisition, labeling data, training data dengan YOLO V4
Anggota :
1. Rabbiul Rahmat
Kelas : Khasanah Ilmi
Tugas : Deployment aplikasi dengan Android Studio
2. Muhammad Azis Pangestu
Kelas : Khasanah Ilmi
Tugas : Text to Speech dengan NLP
3. Tri Wulandary
Kelas : Paradox
Tugas : Evaluation model YOLO V4 dengan gambar sampel dan webcam
4. Rizki Adi D.
Kelas : Paradox
Tugas : Algoritma menghitung jumlah uang yang dideteksi
3. Deskripsi Aplikasi
a. Nama dan Fungsi Aplikasi
Nama : Vispair
Fungsi : Menyebutkan nominal uang yang dideteksi melalui kamera dan
menjumlahkan uang yang telah dideteksi. Aplikasi ini diperuntukan untuk
kaum tunanetra yang kesulitan dalam mendeteksi nominal uang terutama uang
kertas
Proses : pada halaman awal aplikasi, terdapat icon “mulai” dan apabila icon
tersebut ditekan, halaman aplikasi berpindah dan akan membuka kamera dari
handphone. Dibawahnya terletak icon “ambil gambar”, kemudian aplikasi
memproses gambar untuk mendeteksi uang. Setelah mendeteksi uang, aplikasi
akan menyebutkan nominal uang yang dideteksi dan user akan memilih dua
aksi yaitu, “lanjut mendeteksi uang” dan “hitung jumlah uang”, jika memilih
opsi 1, maka aplikasi akan melanjutkan mendeteksi uang, jika memilih opsi 2,
maka aplikasi akan melanjutkan ke halaman berikutnya yaitu penghitungan
24
uang. Disini, aplikasi akan memproses jumlah uang yang telah dideteksi dan
aplikasi akan menyebutkan jumlahnya.
25
Gambar 8.5 Tampilan aplikasi saat mendeteksi dan menghitung uang
d. Keterangan Lainnya
Aplikasi belum berjalan dengan sempurna sehingga harus banyak
dikembangkan lagi di masa mendatang. Dimulai dari tampilan dan proses
algoritma aplikasi.
26