Assalamualaikum. Wr.

Wb
Selamat pagi.
Yang saya hormati dewan penguji
Bapak Ir. Djoko Purwanto, Magister of Engineering., Ph.D.
Yang saya hormati
Bapak Ronny Mardiyanto, ST., MT., Ph.D.
Yang saya hormati
Bapak Muhammad Attamimi, Bachelor of Engineering., Magister of
Engineering., Ph.D.

Yang saya hormati bapak Dr.Ir. Hendra Kusuma, Magister Engineering

of Science selaku calon dosen pembimbing 1 dan
Bapak Dr. Tri Arief Sardjono, ST., MT. selaku calon dosen
pembimbing kedua

Izinkan saya DEVIS STYO NUGROHO, dengan NRP 6022201042,

pada hari ini untuk menyampaikan paparan proposal tesis penelitian
yang akan saya ambil dengan judul
“IMPLEMENTASI DEEP NEURAL NETWORK PADA
SISTEM KLASIFIKASI SUARA ALARM BAHAYA
BAGI PENYANDANG TUNARUNGU”.

Pada bagian ini berisi outline dari paparan yang akan saya
sampaikan. Yang pertama yaitu: pendahuluan
Kedua tinjauan pustaka
Ketiga metodologi penelitian
Dan yang keempat rencana dan jadwal kegiatan
Berdasarkan data World Health Organization (WHO), pada tahun 2021
diperkirakan terdapat sekitar sekitar 5.5% persen penduduk dunia atau
sekitar 466 juta orang mengalami gangguan pendengaran
Di indonesia sendiri fasilitas atau infrastruktur untuk penyandang
disabilitas masih belum memadai, Penyandang disabilitas rungu
dapat terkena risiko yang dapat membahayakan nyawa mereka
akibat gagal mengenali sinyal suara yang menyiratkan situasi
berbahaya
Pada penelitian ini mengusulkan suatu sistem yang mampu mengenali
dan mengklasifikasikan jenis suara alarm yang dapat membahayakan
bagi penyandang tunarungu. Jenis suara alarm berbahaya yang menjadi
dataset adalah alarm kebakaran, alarm evakuasi dan alarm bencana
alam. Model yang dibuat akan diimplementasikan pada sebuah device
seperti Raspberry Pi sehingga dapat mengenali suara alarm yang telah
disebutkan sebelumnya dan mengkonversi informasi tersebut dalam
visual berupa lampu indikator.
Pada penelitian yang saya usulkan ini menggunakan metode STFT
(short time fourier transform) untuk ektraksi fitur dan model Deep
Neural Network dengan CNN arsitektur digunakan untuk melatih
dataset.
 PENELITIAN TERKAIT
Penelitian ini berdasarkan penelitian-penelitian sebelumnya yang
masih terkait.
1. Klasifikasi suara paru normal dan abnormal menggunakan deep
neural network dan support vector machine. Adnan Hassal Falah
dan Jondri (2019)
Pada penelitian ini mengklasifikasikan suara paru normal dan abnormal
menggunakan deep neural network. Penyakit pernapasan menjadi salah
satu penyakit berbahaya selain penyakit jantung dan stroke. Teknik
konvensional yang digunakan oleh para dokter untuk mendengarkan
suara paru yaitu dengan auskultasi menggunakan stetoskop, yang
kemudian hasil dari auskultasi digunakan untuk diagnosis suatu
penyakit. Namun ketepatannya bergantung dari kemampuan
pendengaran setiap dokter. Pada penelitian ini mengajukan sistem
klasifikasi menggunakan metode autoencoder yang merupakan salah
satu arsitektur Deep Neural Network yang didesain untuk
merekonstruksi ulang suatu data, yang memiliki struktur hidden layer
yang terdiri dari encoder, code dan decoder. Kemudian akan diuji
menggunakan Support Vector Machine. Dataset yang digunakan adalah
68 suara paru, yang terdiri 21 suara paru normal, 12 suara paru wheeze
dan 35 suara paru crackle. Data kemudian dibagi menjadi dua bagian
yaitu training 70% dan testing 30%. Dari hasil pengujian menunjukkan
bahwa sistem klasifikasi menggunakan autoencoder memiliki akurasi
tertinggi 82,38% dibandingkan dengan tanpa autoencoder yang hanya
memiliki akurasi 75,71%.
2. Klasifikasi suara jantung menggunakan convolutional neural
network Li, Fan. Dkk (2020).
Sama seperti halnya dengan sebelumnya, pada penelitian [17]
melakukan klasifikasi suara jantung menggunakan convolutional
neural network (CNN), menggunakan model CNN yang terdiri dari tiga
Conv-blocks, lapisan Global average pooling (GAP) dan lapisan
klasifikasi dengan fungsi sigmoid. Hasilnya adalah nilai rata-rata
akurasi 86.8%

3. Klasifikasi jenis burung berdasarkan suara burung berbasis Deep

Learning. Muhammad Fakhri Ali (2020)
Penelitian ini menggunakan metode STFT (Short Time Fourier
Transform) untuk ektraksi ciri dan CNN untuk training dataset, dengan
arstitektur NasNet Mobile yang terdiri 913 lapisan tersembunyi. Hasil
training menampilkan akurasi sebesar 99% dan akurasi testing data
sebesar 92.5%

4. Klasifikasi suara binatang menggunakan CNN (Convolutional

Neural Network). Neha Singh (2020).
Tujuan dari penelitian ini adalah untuk mengklasifikasikan kumpulan
berupa data suara hewan menggunakan pola gambar (mel-spektogram
yang dihasilkan dari fitur audio) dan training data menggunakan tiga
model algoritma deep learning, yaitu CNN, CNN-SVM and CNN-
XGBoost.
5. Perangkat Portabel Berbasis Deep Learning untuk Pengenalan
Sinyal Audio Distress di Daerah Perkotaan. Jorge Felipe Gaviria
(2020)
Penelitian ini mengusulkan implementasi portable devices berbasis
deep learning untuk pengenalan suara orang-orang pada situasi sulit di
perkotaan. Model di implmentasikan pada raspbery Pi. database suara
dilatih menggunakan CNN 2D multiheaded.

6. Anders Lis (2020)

Penelitian yang dilakukan oleh Anders Liss,
mengimplementasikan deep neural network pada mikrokontroler untuk
mengenali sinyal bahaya. Dataset yang digunakan adalah audio dengan
durasi 100ms dan dilabeli dua kelas yaitu klaskon mobil dan non
klakson mobil. Metode STFT (Short Time Fourier Transform) dan mel
scale digunakan untuk fitur ekstraksi dan evaluasi menggunakan CNN.
Lalu model yang telah dibuat di implmentasikan pada sebuah
mikrokontroler STM32.
DIAGRAM BLOK
Secara umum berikut adalah terdiri dari
pengumpulan dataset,
lalu pra-pemrosesan data
pra-pemrosesan dilakukan untuk memastikan konsistensi di seluruh kumpulan
data. Sebelum dataset dilakukan ekstraksi fitur, data yang telah dikumpulkan
dilakukan konversi ke dalam bentuk waveform (ekstensi file .wav). Dataset
memiliki berbagai properti audio yang bervariasi dan memerlukan standarisasi
sebelum dapat digunakan untuk melatih model yang dibuat. Properti audio
berikut yang digunakan dalam dalam prapemrosesan untuk memastikan
konsistensi diseluruh kumpulan data:
• Audio Channels
• Sample rate
• Bit-depth
Fitur Ekstraksi
Langkah berikutnya adalah mengekstrak fitur yang diperlukan untuk input model
deep learning yang akan digunakan. Karena model deep learning jarang
menggunakan raw audio (audio dalam bentuk waveform) sebagai input. Maka
gelombang audio diubah menjadi spektogram. Dalam bahasa sederhana,
Spektogram adalah 'snapshot' singkat dari gelombang audio dan karena itu adalah
gambar, sangat cocok untuk menjadi masukan untuk arsitektur berbasis CNN
yang dikembangkan untuk menangani gambar.
Lalu splitting data, dimana data dibagi dua dengan persentase data latih sebesar
80% dan data Uji 20%.
Untuk model algoritma Deep Neural Network yang akan digunakan pada
penelitian saya ini menggunakan CNN.
DATASET
• Dataset tersebut berisi audio file (dalam format .wav) berdurasi 3 detik
dan CSV file yang berisi metadata berupa ID dan label dari audio.
• Audio yang dikumpulkan adalah bunyi alarm yang dilabeli ke dalam 3
kelas.

SPEKTOGRAM
Langkah berikutnya adalah mengekstrak fitur yang diperlukan untuk input Deep
Neural Network,. Pada proses ini mengkonversi dari bentuk gelombang audio
menjadi spektogram menggunakan Short Time Fourier Transformation (STFT).
Spektogram adalah penggambaran visual dari spektrum frekuensi sinyal audio
karena bervariasi terhadap waktu, menampilkan perubahan waktu-frekuensi
sebagai larik 2D.
Spektogram dihasilkan dari sinyal suara menggunakan Transformasi Fourier.
Transformasi Fourier menguraikan sinyal menjadi frekuensi penyusunnya dan
menampilkan amplitudo setiap frekuensi yang ada dalam sinyal.
Spektogram memotong durasi sinyal suara menjadi segmen waktu yang lebih
kecil dan kemudian menerapkan Transformasi Fourier ke setiap segmen, untuk
menentukan frekuensi yang terkandung dalam segmen tersebut. Kemudian
menggabungkan Transformasi Fourier untuk semua segmen tersebut menjadi
satu plot.
Memplot Frekuensi (sumbu y) vs Waktu (sumbu x) dan menggunakan warna
yang berbeda untuk menunjukkan Amplitudo setiap frekuensi. Semakin cerah
warnanya, semakin tinggi energi sinyalnya.
MODEL
Karena input data berupa gambar spektogram, sehingga algoritma yang akan saya
gunakan dalam penelitian adalah menggunakan algoritma CNN. Convolutional
Neural Network adalah algoritma Deep Learning yang dapat melatih kumpulan
data besar dengan jutaan parameter dan mengambil bentuk gambar 2D sebagai
masukan, serta menggabungkannya dengan Filter untuk menghasilkan keluaran
yang diinginkan.
Input data berupa spektogram, sehingga arsitektur yang akan digunakan nantinya
adalah CNN (Convolutional Neural Network. Dimana memiliki empat blok
konvolusi yang menghasilkan fitur map, Data tersebut kemudian dibentuk
kembali ke dalam format yang dibutuhkan sehingga dapat dimasukkan ke dalam
lapisan pengklasifikasi linier, yang akhirnya menampilkan prediksi untuk 3 kelas.

BLOK DIAGRAM DEPLOY MODEL

Berikut adalah penjelasan dari blok diagram pada gambar 3.3.
a) Input suara
Pada dasarnya, suara yang dihasilkan oleh alarm adalah gelombang
akustik/bunyi yang saling berpadu sedemikian rupa sehingga membentuk
suara tertentu dapat dikenali oleh manusia. Gelombang akustik inilah yang
akan dijadikan sebagai input untuk mikrofon.
b) Mikrofon
Pada sistem ini, mikrofon berfungsi sebagai komponen untuk mendeteksi
input gelombang akustik/bunyi. Mikrofon akan mengkonversi gelombang
input akustik kedalam energi listrik atau yang sering disebut sinyal audio.
Pada penelitian ini jenis mikrofon yang digunakan adalah mikrofon
kondensor.
c) Single board computer
Single board komputer bertugas untuk memproses setiap input yang
diterima mikrofon dan kemudian mengolah sinyal audio yang diterima dari
 mikrofon. Data sinyal audio yang diterima dari mikrofon akan diproses
pada komputer menggunakan algoritma yang akan dirancang untuk
mampu mengenali suara alarm.

d) Relay
Pada sistem ini, relay berperan sebagai switch antara beban dengan sumber
tegangan. Relay sepenuhnya dikendalikan oleh input sinyal (low atau high)
yang diterima dari mikrokontroler. Rangkaian relay yang digunakan pada
sistem ini adalah rangkaian relay dengan low level trigger.
e) Lampu
Lampu berfungsi sebagai indikator untuk memberikan informasi kepada
penyandang tunarungu. Setiap warna lampu yang menyala
mengindikasikan suara/bunyi alarm yang dikenali oleh sistem.