Aplikasi Pemrosesan Suara Ucap

pada Bidang Forensik dan

Kesehatan

Ir. Miranti Indar Mandasari, ST., MT., Ph.D., IPM.

Kelompok Keahlian Fisika Bangunan
Program Studi Teknik Fisika ITB
Outline
Aplikasi teknologi suara ucap
• Bidang forensik
• Bidang kesehatan
Teknologi pemrosesan suara ucap
• Model produksi suara ucap
• Mesin pembelajar untuk teknologi suara ucap
Outline
Aplikasi teknologi suara ucap
• Bidang forensik
• Bidang kesehatan
Teknologi pemrosesan suara ucap
• Model produksi suara ucap
• Mesin pembelajar untuk teknologi suara ucap
Outline
Aplikasi teknologi suara ucap
• Bidang forensik
• Bidang kesehatan
Teknologi pemrosesan suara ucap
• Model produksi suara ucap
• Mesin pembelajar untuk teknologi suara ucap
Berbagai informasi pada suara ucap
Komersial Forensik
Akses pada Verifikasi
• Perangkat elektronik pengucap
• Akun bank • Verifikasi suara
• Ruangan rahasia tersangka

Diarisasi Identifikasi
pengucap untuk: pengucap
• Notulensi otomatis
saat rapat
• Mencari identitas
tersangka
Aplikasi sistem
rekognisi
Diarisasi pengucap
pengucap
• Pembuatan
transkrip otomatis
Forensic expert
Kasus Rekognisi Pengucap Forensik
25

20

15

10

0
2012 2013 2014 2015 2016 2017 2018 2019
Outline
Aplikasi teknologi suara ucap
• Bidang forensik
• Bidang kesehatan
Teknologi pemrosesan suara ucap
• Model produksi suara ucap
• Mesin pembelajar untuk teknologi suara ucap
Aplikasi Teknologi
Suara Ucap di Bidang
Kesehatan
• Speech therapist
• Kids with speech delay
• Deaf/hearing loss speech therapy
• Adult speech impairment (post-
stroke)
• Disease diagnosis
• Tuberculosis
• Covid-19
Analisis korelasi sinyal motorik otot dengan suara ucap sebagai upaya
kuantifikasi kemajuan terapi wicara penderita dysarthria
Outline
Aplikasi teknologi suara ucap
• Bidang forensik
• Bidang kesehatan
Teknologi pemrosesan suara ucap
• Model produksi suara ucap
• Mesin pembelajar untuk teknologi suara ucap
Outline
Aplikasi teknologi suara ucap
• Bidang forensik
• Bidang kesehatan
Teknologi pemrosesan suara ucap
• Model produksi suara ucap
• Mesin pembelajar untuk teknologi suara ucap
Supralaryngeal vocal track
Model source-filter
Pola pada sinyal suara ucap
Fitur MFCC
Outline
Aplikasi teknologi suara ucap
• Bidang forensik
• Bidang kesehatan
Teknologi pemrosesan suara ucap
• Model produksi suara ucap
• Mesin pembelajar untuk teknologi suara ucap
Konfigurasi umum sistem
untuk teknologi suara ucap

Sinyal Ekstraksi Reduksi

Pemodelan Klasifikasi Skor
suara ucap fitur dimensi
Konfigurasi sistem rekognisi pengucap
Mesin pembelajar
Supervised Unsupervised
Learning Learning

Discrete
Classification or
Clustering
categorization
Continue

Dimension
Regression
reduction
K-Means clustering dan
Expectation Maximization (EM)
Gaussian Mixture Model (GMM)
Klasifikasi