1 Artikel

2 Pengembangan Visual Aid Alat Untuk Tunanetra

3 Berdasarkan Cepat R-CNN Menggunakan Raspberry Pi
4 Iswahyudi 1, Khairul Anam 2 dan Bambang Sujanarko 2, *

5 1 Mahasiswa Teknik Elektro, Universitas Jember, Indonesia; yudiokyes@gmail.com

6 2 Jurusan Teknik Elektro, Universitas Jember, Indonesia; khairul@unej.ac.id

7 * Korespondensi: yudiokyes@gmail.com ; Tel .: + 62-8953-8889-9406

8 Tanggal diterima; Diterima: tanggal; Tanggal publikasi

9 Abstrak: Teknologi yang digunakan untuk orang buta bantuan telah dikembangkan dengan menggunakan berbagai teknologi

10 seperti sensor ultrasonik [1] [2] dalam bentuk sistem sonar dalam bentuk ikat pinggang dan jam tangan. Itu
11 visi sonar bekerja berdasarkan prinsip yang mencerminkan gelombang dengan frekuensi 20.000 Hz sehingga
12 dapat digunakan untuk menentukan jarak suatu objek dalam jarak hingga 3 meter. Namun,
13 Sistem sonar tidak bisa mengidentifikasi objek. Computer Vision muncul sebagai salah satu yang paling menjanjikan
14 solusi. Artikel ini berfokus pada pengembangan bantuan visual buta menggunakan lebih cepat R-CNN [3] untuk mengidentifikasi

15 Sebuah Objek. Faster R-CNN ditanamkan pada pi raspberry dilengkapi dengan kamera. output adalah
16 sinyal audio tentang objek dan posisinya mengacu pada pengguna. Hasil penelitian ini mampu
17 mengenali obyek secara otomatis dengan baik dan akurat

18 Kata kunci: Lebih cepat R-CNN, Speech Recognition, Raspberry Pi.

19

20 1. Perkenalan

21 Sejauh ini, teknologi untuk membantu buta orang telah dikembangkan, antara berbagai teknologi
22 digunakan, teknologi sensor yaitu ultrasonik. Penelitian tentang sensor ultrasonik sebagai bantuan visual telah
23 dikembangkan, antara lain, dibuat alat yang disebut visi sonar dalam bentuk sabuk dan menonton. Ini
24 visi teknologi sonar bekerja berdasarkan prinsip yang mencerminkan gelombang dengan frekuensi 20.000
25 Hz sehingga dapat digunakan untuk menentukan jarak suatu objek dalam jarak hingga 3 meter. Itu
26 Kelemahan metode ini masih mengalami kendala dalam mengidentifikasi suatu objek. Visi komputer
27 solusi berbasis muncul sebagai salah satu pilihan yang paling menjanjikan. Computer Vision adalah
28 bidang ilmiah interdisipliner yang membahas bagaimana komputer dapat dibuat untuk mendapatkan tingkat tinggi
29 memahami gambar digital atau video. Penelitian sebelumnya juga telah mengembangkan penggunaan komputer
30 visi [2]. Dalam penelitian sebelumnya metode yang digunakan adalah pembelajaran mesin Haar-seperti fitur untuk mendeteksi satu

31 objek dalam satu gambar. Kelemahan metode ini kurang akurat untuk deteksi obyek, kesulitan untuk
32 mendeteksi banyak objek dalam gambar, dan tidak dapat mengetahui posisi dari objek yang dicari. Berdasarkan
33 atas masalah kami melakukan penelitian ini. Dalam penelitian ini kita akan menggunakan salah satu pembelajaran yang mendalam

34 metode, yaitu lebih cepat R-CNN untuk mendeteksi benda-benda dengan menggunakan Raspberry Pi sebagai pengendali. Itu

35 Lebih cepat R-CNN [3] Metode ini merupakan pengembangan dari metode CNN. Faster R-CNN dipilih
36 karena memiliki kemampuan yang lebih cepat untuk melakukan proses belajar mandiri untuk pengenalan obyek, obyek
37 ekstraksi dan klasifikasi. Diharapkan dengan menggunakan Cepat metode R-CNN dengan Raspberry pi
38 Mini pengolahan data pc, alat bantu visual portabel dapat dibuat untuk membantu tunanetra orang untuk
39 mengidentifikasi objek lebih cepat dan akurat, sehingga mengurangi visibilitas buta ke
40 orang di sekitar mereka
41
42
43
44

energi 2018, 11, x; doi: UNTUK PEER REVIEW www.mdpi.com/journal/energies

 energi 2018, 11, x UNTUK PEER REVIEW 2 dari 2

45 2. Bahan-bahan dan metode-metode

46 Dalam penelitian ini, metode yang digunakan adalah lebih cepat R-CNN. sensor gambar input menggunakan kamera mini yang

47 fungsi untuk menangkap gambar, sensor suara untuk menerima perintah pengguna menggunakan mikrofon dengan
48 Pengakuan metode ceramah [8], keluaran speaker audio untuk memandu pengguna, fungsi bank daya sebagai
49 power supply, dan Raspberry pi 3 sebagai pengendali utama untuk mengolah data gambar dan suara
50 perintah. Gambar di bawah adalah diagram blok Pengembangan Desain Visual Aids untuk Blind
51 Orang Berdasarkan Cepat R-CNN.
52 Convolutional Neural Network (CNN) [4] adalah metode Deep pembelajaran (DL) yang dapat digunakan untuk
53 mendeteksi dan mengenali obyek pada digital image.In Jauh Belajar, Konvolusional Neural Network
54 (CNN, atau ConvNet) adalah kelas jaringan saraf yang mendalam, yang paling umum diterapkan untuk menganalisis
55 gambar visual Contoh model terkenal CNN seperti VGG-16 [5], ResNet 50, DeepNet, AlexNet
56 oleh ImageNet.

57
58
59 Gambar 1. VGG-16 arsitektur [5]
60
61 Metode CNN juga terus dikembangkan sampai sekarang, R-CNN [6] yang diterbitkan pada tahun 2014, Fast
62 R-CNN [7] yang diterbitkan pada tahun 2015, Akhirnya The Cepat R-CNN [3] di 2017. Lebih cepat R-CNN itu sendiri adalah

63 sebenarnya terdiri dari dua modul. Modul pertama adalah modul yang ada di sepenuhnya convolutional
64 jaringan yang mengusulkan daerah, dan modul kedua adalah detektor Cepat R-CNN.
65
66

67
68
69 Gambar 2. Model Cepat R-CNN [3]
70
71 Algoritma yang lebih cepat R-CNN untuk deteksi obyek dalam gambar:

72 1. Pertama Ambil gambar input dan memberikannya kepada ConvNet yang mengembalikan fitur peta untuk
73 gambar
74 2. Kedua Terapkan Proposal Regional Network (RPN) pada fitur peta ini untuk mendapatkan objek
75 proposal
76 3. ROI ketiga pooling lapisan untuk menurunkan semua proposal untuk ukuran yang sama

77 4. Terakhir mengajukan proposal ini ke lapisan sepenuhnya terhubung ke mengklasifikasikan prediksi terikat kotak untuk

78 gambar.
79
80
81
 energi 2018, 11, x UNTUK PEER REVIEW 3 dari 3

82 1. Pertama download dan Extract penjelasan untuk kelas kustom dari Open Gambar Google
83 Dataset v4 (Batas box), men-download file pohon dalam gambar. Terbuka Images Dataset V4
84 dataset yang berisi 600 kelas terlalu besar bagi saya. Aku diekstrak 1.000 gambar selama enam belas kelas
85 termasuk meja, kursi, lemari, piring, sendok, pisau, gelas, tas, penggemar, telepon, kacamata,
86 laptop, sepatu, tv, helm, botol. Saya menggunakan 80% gambar untuk pelatihan dan 20% gambar untuk pengujian

87 2. Kedua Siapkan cepat R-CNN kode

88 • Membangun kembali struktur model VGG-16 dan beban pra-dilatih
89 • Mempersiapkan data pelatihan dan label pelatihan (get_anchor_gt)
90 • RPN menghitung untuk setiap gambar (calc_rpn)

91 • wilayah Hitung bunga dari RPN (rpn_to_roi)

92 • RoIPooling layer dan lapisan Classifier (RoiPoolingConv, classifier_layer)
93 3. Membuat pelatihan dataset yang telah dibuat
94 Saya menggunakan inti Laptop I5 1.8GHz, Ram 6GB, dan GPU NVIDIA Gforce 710M untuk pelatihan, saya
95 memilih 115 nomor zaman dengan panjang zaman 250, masing-masing zaman membutuhkan waktu rata-rata 4200s atau 17s

96 / Langkah. Pelatihan hasil di tingkat akurasi di atas 80%, dan total kerugian
97

98
99 Gambar 3. kereta hasil
100
101 Dalam penelitian ini menggunakan API Google Pidato untuk mengidentifikasi suara. API dipilih karena Google
102 memiliki peningkatan pengenalan suara dengan menggunakan teknologi baru di banyak aplikasi
103
104
105 masukan Audio raspberry Pi Google API Dapatkan Teks

106
107
108 Gambar 4. Proses Google API Speech Recognition
109
110

111
112 Gambar 5. Blok Keseluruhan Diagram Sistem
113
114
115
116
117
 energi 2018, 11, x UNTUK PEER REVIEW 4 dari 4

119
120
121
118
122 Mulai

123
124
125 Ambil Pidato

126
127
128
ulang
129
130
131
132 Video untuk Bingkai

133
134
Gambar Pre Processing
135
136
137
obyek Deteksi
138
Lebih cepat R CNN
139
140
141 Algorithma Untuk

142 Posisi objek

143
144
output audio
145
Pusat
146 Objek di Pusat

147
148
149
output audio
150 Kanan
Objek di Pusat
151
152
153
output audio
154 Kiri
155 Objek di Pusat

156
157
158 Akhir

159
160
161 Gambar 6. Grafik aliran objek Deteksi

162 3. Hasil

163 Setelah proses pelatihan dan uji dataset, tahap berikutnya adalah tahap uji coba model yang kita
164 telah dibuat dengan menggunakan modul mini kamera terhubung ke Raspberry Pi. modul kamera Mini
165 digunakan untuk mengambil video resolusi tinggi, serta gambar diam. Output dari kamera diumpankan ke
166 Raspberry Pi untuk diproses lebih lanjut. Untuk melakukan pengenalan gambar, pertama kita akan membutuhkan dataset dan

167 label apa yang terkandung dalam gambar. Sistem ini difokuskan pada deteksi objek dan objek
168 positioning. Sistem ini dibuat seperti gelas. Raspberry Pi menerima video yang terhubung ke Pi
 energi 2018, 11, x UNTUK PEER REVIEW 5 dari 5

169 kamera, dan video diubah menjadi bingkai oleh prosesor. perintah suara yang diucapkan oleh
170 pengguna ketika ia mencari atau membutuhkan suatu objek. Pidato masukan diakui oleh Raspberry Pi, maka
171 sistem panduan pengguna untuk menemukan objek yang diperlukan melalui output speaker audio ..

172
( Sebuah) ( b)

173 Gambar 7. ( a) Hasil Deteksi Obyek dalam gambar, (b) Deteksi objek video webcam

174 4. Diskusi

175

176 5. Kesimpulan

177 Tujuan dari penelitian ini adalah untuk mengembangkan alat bantu visual untuk orang buta menggunakan kamera sebagai visual yang

178 pengganti dengan menggunakan metode konvensional Neural Netwok dengan Raspberry Pi kontroler. Itu
179 Keberadaan alat ini diharapkan dapat membantu orang buta untuk mengidentifikasi hambatan dan posisi objek
180 sedang dicari, sehingga mengurangi ketergantungan buta kepada orang-orang di sekitar mereka.

181 Referensi

182 1. GA Mutiara, GI Hapsari, dan R. Rijalul, “Pintar panduan ekstensi untuk buta tebu,” 2016 4 Int. Conf. Inf.

183 Commun. Technol. ICoICT 2016, vol. 4, tidak ada. c 2016.

184 2. B. Deepthi Jain, SM Thakur, dan KV Suresh, “Visual Bantuan untuk Blind Menggunakan Image Processing,” Proc.

185 2018 IEEE Int. Conf. Commun. Proses sinyal. ICCSP 2018, pp. 499-503, 2018.
186 3. S. Ren, K. Dia, R. Girshick, dan J. Sun, “Lebih cepat R-CNN: Menuju Real-Time Object Detection dengan Daerah

187 Jaringan Proposal,”IEEE Trans. Pola Anal. Mach. Intell., Vol. 39, tidak ada. 6, pp. 1137-1149, 2017.
188 4. B. Monien, R. Preis, dan S. Schamberger, “algoritma Pendekatan untuk multilevel grafik partisi,”

189 Handb. Approx. Algoritma metaheuristik, pp. 60-1-60-16 2007.

190 5. C. Chung et al., “Sangat Jauh Konvolusional Networks untuk Skala Besar Gambar recognization,” [VGG], vol. 75,

191 tidak. 6, pp. 398-406, 2018.

192 6. R. Girshick, J. Donahue, T. Darrell, dan J. Malik, “Kaya fitur hirarki untuk deteksi objek yang akurat dan

193 segmentasi semantik,”Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pola Recognit., Hlm. 580-587 2014.
194 7. R. Girshick, “Fast R-CNN,” Proc. IEEE Int. Conf. Comput. Vis., Vol. 2015 Inter, pp. 1440-1448 2015.

195 8. V. Këpuska, “Membandingkan Speech Recognition Systems (Microsoft API, Google API dan CMU Sphinx),” Int.

196 J. Eng. Res. Appl., Vol. 07, tidak ada. 03, pp. 20-24, 2017.