PENGEMBANGAN MODEL ALIH SUARA MENJADI TEKS

INTERVIEW SUMMARIZATION SYSTEM BERBASIS

MACHINE LEARNING

Laporan Tugas Akhir

Pengembangan Interview Summarization System Untuk Job
Recruitment

Disusun sebagai syarat kelulusan tingkat sarjana

Oleh
Dwianditya Hanif Raharjanto
NIM : 13519046

PROGRAM STUDI TEKNIK INFORMATIKA

SEKOLAH TEKNIK ELEKTRO DAN INFORMATIKA
INSTITUT TEKNOLOGI BANDUNG
Agustus 2023
PENGEMBANGAN MODEL ALIH SUARA MENJADI TEKS

INTERVIEW SUMMARIZATION SYSTEM BERBASIS

MACHINE LEARNING

Laporan Tugas Akhir

Oleh
Dwianditya Hanif Raharjanto
NIM : 13519046
Program Studi Teknik Informatika
Sekolah Teknik Elektro dan Informatika
Institut Teknologi Bandung

Telah disetujui dan disahkan sebagai Laporan Tugas Akhir

di Bandung, pada tanggal 7 Agustus 2023

Pembimbing I, Pembimbing II,

Dr. Ir. Gusti Ayu Putri Saptawati S., M.Comm. Ir. Ricardo Irwan Rei, M.Sc., M.B.A.
NIP. 196509241995012001 NIP. -
 LEMBAR IDENTITAS

TUGAS AKHIR CAPSTONE

Judul Proyek TA : Pengembangan Interview Summarization System Untuk

Job Recruitment

Anggota Tim dan Pembagian Peran:

No. NIM Nama Peran

1 13519037 Arsa Daris Gintara Front-End dan Back-End
Developer
2 13519046 Dwianditya Hanif Raharjanto Automatic Speech
Recognition Developer
3 13519085 Nizamixavier Rafif Lutvie Natural Language
Processing Developer

Bandung, 7 Agustus 2023

Mengetahui,

Pembimbing I, Pembimbing II,

Dr. Ir. Gusti Ayu Putri Saptawati S., M.Comm. Ir. Ricardo Irwan Rei, M.Sc., M.B.A.
NIP. 196509241995012001 NIP.
 LEMBAR PERNYATAAN

Dengan ini saya menyatakan bahwa:

1. Pengerjaan dan penulisan Laporan Tugas Akhir ini dilakukan tanpa

menggunakan bantuan yang tidak dibenarkan.
2. Segala bentuk kutipan dan acuan terhadap tulisan orang lain yang digunakan
di dalam penyusunan laporan tugas akhir ini telah dituliskan dengan baik dan
benar.
3. Laporan Tugas Akhir ini belum pernah diajukan pada program pendidikan di
perguruan tinggi mana pun.

Jika terbukti melanggar hal-hal di atas, saya bersedia dikenakan sanksi sesuai
dengan Peraturan Akademik dan Kemahasiswaan Institut Teknologi Bandung
bagian Penegakan Norma Akademik dan Kemahasiswaan khususnya Pasal 2.1
dan Pasal 2.2.

Bandung, 7 Agustus 2023

Dwianditya Hanif Raharjanto

NIM. 13519046
 ABSTRAK

PENGEMBANGAN MODEL ALIH SUARA MENJADI TEKS

INTERVIEW SUMMARIZATION SYSTEM BERBASIS
MACHINE LEARNING
Oleh
DWIANDITYA HANIF RAHARJANTO
NIM : 13519046
Regenerasi SDM pada suatu perusahaan itu sangat penting untuk menjaga
keberjalanan perusahaan tersebut dan mencapai visi misi dari perusahaan tersebut.
Regenerasi SDM dapat diperoleh dengan cara melakukan rekrutmen pekerjaan.
Namun, rekrutmen pekerjaan sendiri memakan waktu dan biaya yang besar untuk
mendapatkan kandidat yang sesuai. Disinilah tugas akhir kali ini memberikan
solusi dengan mengkolaborasikan mesin dengan manusia untuk membantu pada
bagian waktu dan biaya kepada perusahaan, khususnya pada bagian wawancara.
Pada tugas akhir kali ini difokuskan dalam pembuatan transkrip wawancara
dengan memanfaatkan model alih suara menjadi teks serta memilih model mana
antara Wav2Vec2 (Wav2Vec2-XLSR-53) dengan Whisper (Whisper-small dan
Whisper-large) yang tepat untuk kasus ini.
Menurut riset yang dilakukan model Whisper memiliki kinerja lebih baik daripada
Wav2Vec2 karena model tersebut merupakan model yang dilatih dengan weakly
supervised sedangkan Wav2Vec2 dilatih dengan semi-supervised. Kemudian
korpus latih yang digunakan Whisper lebih lama daripada Wav2Vec2 serta
parameter yang ada pada model Whisper yang lebih banyak daripada Wav2Vec2
yaitu 1.550 juta parameter berbanding dengan 300 juta.
Berdasarkan hasil eksperimen didapatkan bahwa Whisper, khususnya
Whisper-large, memang lebih baik daripada Wav2Vec2 dari segi kinerja dengan
memiliki akurasi berupa WER sebesar 10.9% dengan waktu proses rata-rata 5
menit 23 detik untuk audio berdurasi 5-7 menit. Sedangkan Wav2Vec2-XLSR-53
memiliki WER sebesar 22.2% dengan waktu proses 13 menit 20 detik.
Model yang digunakan untuk membantu proses wawancara pekerjaan disini
adalah Whisper-large karena memiliki kinerja yang sesuai dengan kebutuhan yang
ada yaitu akurat dan cepat.

Kata kunci: Automatic Speech Recognition, Word Error Rate, Whisper,

Wav2Vec2, Transformer.