Bab 1

SINGLE WORD CLASSIFICATION WITH CONVOLUTIONAL

NEURAL NETWORKS FROM SPEECH RECOGNITION

Latar Belakang
Klasifikasi merupakan proses menentukan kelas suatu objek, dimana kelas
tersebut telah didefinisikan sebelumnya. Objek yang akan diklasifikasikan dapat
berupa gambar, teks, suara, dan lainnya. Pada umumnya, pelabelan ​dan klasifikasi
mempunyai pengertian yang sama, karena istilah pelabelan ​merupakan proses
menghubungkan suatu objek dengan kelasnya. S​ingle-label classification
merupakan proses pembelajaran ​dimana masing-masing data memiliki asosiasi
dengan satu label ​l ​dari sekumpulan label ​L ​yang tidak saling berhubungan,
dimana jumlah label ​L ​lebih besar dari 1. Apabila jumlah label sama dengan dua,
maka disebut dengan ​binary classification, s​ edangkan apabila jumlah label lebih
​ aka disebut dengan ​multi-class classification. Multi-class classification
dari dua​, m
merupakan salah satu tantangan utama dalam aplikasi dunia nyata, karena
melibatkan pelatihan objek-objek untuk kategori-kategori yang berbeda sehingga
memungkinkan identifikasi kategori untuk berbagai objek yang tidak diketahui [1]
.​Multi-class classification ​dapat diaplikasikan dalam banyak kasus pada dunia
nyata, salah satunya adalah pada pengenalan ucapan atau ​speech recognition​.

Speech recognition ​adalah proses yang dilakukan komputer untuk mengenali kata
yang diucapkan oleh seseorang tanpa mempedulikan identitas orang terkait [2].
Orang yang berbeda, karena perbedaan umur, jenis kelamin, aksen, dan pelafalan
dari kata yang sama adalah berbeda. Hal tersebut membuat pekerjaan dari ​speech
recognition ​ini menjadi cukup sulit [3].Untuk itu, dilakukan penelitian mengenai
sistem ​speech recognition ​yang mampu melakukan pengenalan ucapan secara
​ enggunakan objek
efektif. ​Penelitian yang bersifat ​multi-class classification m
suara dengan ​tujuan untuk membandingkan berbagai arsitektur ​deep learning
diterapkan pada klasifikasi suara ke dalam 5 kelas emosi, yakni
anger,happiness,sadness,
neutral, dan frustration ​[4]​. P
​ enelitian lainnya menggunakan objek suara
dilakukan untuk mengenali umur dan jenis kelamin yang diklasifikasikan ke
dalam 6 kelas. Sedangkan penelitian dengan objek suara yang dilakukan
menggunakan metode ​Bayes Covariant​, mengklasifikasikan ​speech frame ​dari
korpus TIMIT ke dalam 9 kelas kata.

Convolutional Neural Network (CNN) pertama kali diperkenalkan dengan nama

NeoCognitron oleh seorang peneliti dari NHK ​Broadcasting Science Research
Laboratories​, Kinuta, Setagaya, Tokyo, Jepang. Konsep tersebut kemudian
dimatangkan oleh peneliti dari AT&T Bell ​Laboratories di Holmdel, New Jersey,
USA. Penelitian sebelumnya menunjukkan bahwa ​CNN ​cukup baik dalam
mengklasifikasikan banyak karakter dengan pendekatan arsitektur SPNet dengan
akurasi yang dihasilkan sebesar 95.8%. Penelitian lainnya dilakukan oleh untuk
mengklasifikasikan karakter yang termasuk digit dan karakter huruf. Arsitektur
yang digunakan pada pada penelitian ini ialah LeNet, LeNet-5, dan SPNet dan
satu algoritma yaitu MLP dengan akurasi MLP sebesar 43.4%, LeNet sebesar
88.39%, Lenet-5 sebesar 85.53%, dan SPNet sebesar 90.56%. Sedangkan
penelitian pada suara menggunakan arsitektur ​CNN dengan tiga ​convolutional
layer dan satu ​max ​pooling ​layer dengan menggunakan fitur ​Mel Frequency
Cepstral Coefficient (MFCC) sehingga menghasilkan akurasi sebesar 97.3% [5].
Algoritma ​CNN menjadi algoritma yang dipilih untuk proses klasifikasi pada
penelitian ini karena ​CNN dapat digunakan pada data yang memiliki struktur dua
dimensi seperti citra dan suara[6].
Untuk melakukan klasifikasi ​multi-class​, perlu dilakukan ekstraksi fitur (​feature
extraction​) dari data suara yang dimiliki. Fitur merupakan sinonim dari variabel
input atau atribut. Fitur adalah aspek atau karakteristik khusus yang digunakan
untuk menyelesaikan pekerjaan komputasional yang terkait dengan aplikasi
tertentu. ​Feature extraction merupakan tahapan yang penting dalam analisis data,
hal tersebut dapat digunakan sebagai sebagai ​preprocessor ​untuk aplikasi -
aplikasi yang termasuk dalam visualisasi​, k​ lasifikasi​, d​ eteksi​, d​ an verifikasi.
Untuk melakukan klasifikasi pada suara, maka dilakukan ekstraksi fitur yang
dapat merepresentasikan suara ke dalam bentuk numerik.

Penelitian ini, akan mengimplementasikan ​multi-class classification ​dari ​speech

recognition, d​ engan jumlah kelas sebesar 20 kelas. Ke-20 kelas yang dimiliki
merupakan kata dalam bahasa inggris. Selanjutnya, akan dilakukan proses
ekstraksi fitur terhadap masing-masing suara sebagai parameter-parameter yang
digunakan untuk membandingkan satu sampel dengan sampel yang lainnya.
Setelah mendapatkan fitur-fitur suara, maka akan dilakukan proses klasifikasi
​ emudian akan dilakukan proses pengujian
menggunakan algoritma ​CNN. K
menggunakan sekumpulan suara (data testing)​ yang tidak diikutkan dalam proses
pembelajaran atau ​training. ​Data testing s​ elanjutnya akan diklasifikasikan
berdasarkan kata yang dilafalkan pada suara tersebut ke dalam salah satu dari 20
kata yang dijadikan sebagai kelas.

Klasifikasi kata dari suara akan dilakukan menggunakan dua arsitektur yang
berbeda dari algoritma ​CNN​, yaitu LeNet ​dan SPNet​, ​kemudian melalui
eksperimen yang dilakukan akan dianalisis arsitektur yang paling efektif untuk
multi-class classification ​dari pengenalan kata yang diucapkan, ​yang jumlah
kelasnya adalah sebanyak 20 kelas dengan membandingkan akurasi yang
dihasilkan oleh eksperimen tersebut. Setelah mengetahui arsitektur yang paling
efektif antara LeNet dan SPNet, maka peneliti akan melakukan modifikasi
terhadap ukuran ​kernel arsitektur tersebut. Modifikasi ini dilakukan guna
mengetahui seberapa baik ukuran ​kernel yang digunakan yang dapat dilihat dari
akurasi yang lebih tinggi lagi dari arsitektur sebelumnya yang dibandingkan.
Kemudian, model terbaik akan dievaluasi kembali menggunakan presisi, ​recall,
dan ​f-measure.
Rumusan Masalah
Rumusan masalah yang didapatkan dari latar belakang yang telah dijelaskan pada
subbab 1.1 Latar Belakang adalah sebagai berikut:
1. Bagaimana proses ekstraksi fitur ​MFCC (​Mel-Frequency Cepstral
Coefficients​)​ y​ ang diterapkan terhadap objek suara?
2. Arsitektur ​Convolutional Neural Networks (CNN) manakah yang terbaik
dalam melakukan klasifikasi pada banyak kelas dari suara?
3. Seberapa baik pengaruh ukuran ​kernel pada arsitektur ​CNN terhadap
efektivitas pengenalan ucapan atau suara?

Tujuan Penelitian
Tujuan dari pelaksanaan Penelitian dengan judul ​Single Word Classification with
Convolutional Neural Networks from Speech Recognition​ ​adalah sebagai berikut:
1. Menerapkan ​MFCC​ sebagai metode untuk ekstraksi fitur suara.
2. Menerapkan algoritma ​CNN p​ ada pengenalan kata tunggal yang diucapkan
dan melakukan perbandingan terhadap dua arsitektur ​CNN y​ akni L
​ eNet
dan SPNet​.
3. Melakukan modifikasi sebuah arsitektur pada ukuran ​kernel-​ nya
berdasarkan arsitektur yang menghasilkan akurasi terbaik dari antara
LeNet dan SPNet.

Ruang Lingkup
Lingkup dari pelaksanaan Penelitian dengan judul ​Single Word Classification with
Convolutional Neural Networks from Speech Recognition​ ​adalah sebagai berikut:
1. Data yang akan digunakan dalam penelitian ini adalah ​Speech Command
Dataset. Dataset ​ini berisi ​file suara berformat (.​wav)​ yang telah
dikelompokkan ke dalam 20 ​folder​ berdasarkan kata yang diucapkan.
2. Speech recognition y​ ang dimaksud pada penelitian ini adalah pengenalan
kata.
 3. Suara yang digunakan adalah suara yang melafalkan sebuah kata dalam
bahasa Inggris.
4. Jumlah varian kata yang akan dijadikan kelas adalah sebanyak 20 varian
kata.
5. Kata yang diucapkan dan yang akan dikenali memiliki spesifikasi yaitu
terdiri dari satu hingga dua suku kata.
6. Metode ekstraksi ciri yang digunakan adalah ​MFCC​.
7. Algoritma yang digunakan dalam melakukan klasifikasi adalah
Convolutional Neural Network (CNN) ​dengan arsitektur LeNet dan SPNet​.
Modifikasi arsitektur akan dilakukan terhadap ukuran ​kernel p​ ada ​convolutional
layer.
 Bab 2
LANDASAN TEORI

Pada bab ini dijelaskan informasi yang diperoleh melalui pustaka yang relevan
dengan topik untuk memberikan gambaran secara umum terhadap teknik yang
digunakan oleh peneliti lain dan memperluas informasi dalam melakukan kajian
pada penelitian ini.

2.1 Machine Learning

Machine learning adalah kemampuan untuk dapat memampukan komputer untuk
belajar. Sejak adanya evolusi, manusia telah menggunakan berbagai jenis alat
untuk menyelesaikan pekerjaannya, hal tersebut mendorong munculnya penemuan
mesin-mesin yang berbeda. Mesin-mesin ini memudahkan kehidupan manusia
dengan cara memampukan manusia memenuhi berbagai kebutuhannya, termasuk
perjalanan, perindustrian, pembangunan, dan pengkomputasian. Era mesin cerdas
dimulai pada pertengahan abad ketika Alan Turing berpikir untuk membuat mesin
​ erupakan cabang dari ​artificial intelligence ​yang
berpikir. ​Machine Learning m
bertujuan untuk memampukan mesin untuk melakukan pekerjaannya dengan ahli
dengan menggunakan perangkat lunak cerdas. Penelitian terkini dalam ​machine
learning b​ erfokus pada ​computer vision, hearing, natural language processing,
image processing and pattern recognition, cognitive computing, knowledge
representation, ​dan lainnya [7].

Machine learning ​dapat didefinisikan sebagai sebuah proses dari memasukkan

data ke sistem komputer kemudian komputer akan mempelajari kemampuan untuk
memproses dan melakukan aktivitas di masa depan tanpa diprogram atau
diberikan data yang sama atau data ekstra [8]. ​Machine Learning d​ apat
memampukan mesin untuk belajar tanpa memprogramnya secara eksplisit.
Terdapat empat metode ​machine learning​, yaitu: (1) ​supervised, (​ 2) ​unsupervised,
(3) ​semi- supervised, d​ an (4) metode ​reinforcement learning​. Gambar 2.1
menunjukkan empat teknik ​machine learning d​ an mendeskripsikan secara singkat
perilaku dari data yang dibutuhkan.
Machine learning menggunakan algoritma dan teknik khusus dalam melakukan
tugasnya, sehingga akan memberikan pembelajaran yang efisien [9]. Algoritma
​ embutuhkan data untuk dipelajari, disiplin ilmu ini harus
machine learning m
memiliki hubungan dengan ilmu ​database. ​Tujuan dari belajar ini adalah untuk
membangun sebuah model yang mengambil ​input d​ an mengeluarkan hasil yang
diinginkan. Model dapat menjadi sebuah pendekatan dari proses yang kita
inginkan untuk dilakukan mesin. Pada beberapa situasi, terdapat kemungkinan
memperoleh ​error untuk beberapa ​input, ​tetapi kebanyakan model memberikan
jawaban yang benar.

Oleh sebab itu, pengukuran performansi lain (disamping metrik performansi dari
kecepatan dan penggunaan memori) dari sebuah algoritma ​machine learning
adalah akurasi dari hasil. Akurasi didefinisikan sebagai probabilitas keluaran
sistem yang sesuai dengan keluaran mendasar yang sebenarnya dan merupakan
ukuran kinerja sistem. Sebagian besar pendekatan yang ada untuk memperkirakan
akurasi adalah ​supervised​, yang berarti bahwa sekumpulan contoh berlabel
diperlukan untuk proses estimasi [10].

Supervised learning d​ ikenal juga sebagai pembelajaran induktif dalam siklus

secara teknologi. Pada pembelajaran induktif, dihadirkan dengan sebuah contoh
dari fungsi dalam bentuk data (x), dan ​output ​dari fungsinya adalah (f(x)). Tugas
dari pembelajaran induktif disini adalah untuk mengerti dan mempelajari fungsi
untuk data baru (x). Pada pembelajaran ini, program di-​train dengan bantuan dari
beberapa contoh yang telah didefinisikan. ​Training i​ ni membantu program untuk
mempelajari kemampuan untuk memformulasikan sebuah hasil yang baru dan
akurat menggunakan data baru yang diberikan dengan mudah tanpa gangguan.
​ etiap ​output t​ erdiri dari label
Mengapa disebut dengan ​supervised learning? S
untuk ​setiap contoh ​training ​yang ada pada data ​training. L
​ abel-label ini diberikan
oleh pengamat. Seringkali, pengamat ini adalah manusia, tetapi mesin juga dapat
digunakan untuk melakukan pelabelan. Data yang dilabeli secara manual
merupakan sebuah sumber daya yang berharga dan dapat dipercaya untuk
supervised learning​. Bagaimanapun, dalam beberapa kasus, mesin dapat
digunakan untuk pelabelan yang dapat dipercaya.

Tabel 2.1. Contoh Data Tidak Berlabel Bersama Dengan Masalah Pelabelan
Unlabeled Example Judgement for Possible Possible
Data Labeling Labels Supervisor
Example

Tweet Sentimen dari ​tweet Positif/ Manusia/

negatif mesin

Foto Mengandung rumah dan Ya/ tidak Manusia/

mobil mesin

Rekaman Kata “​football​” Ya/ tidak Manusia/

suara diucapkan mesin

Video Apakah senjata Kekerasan/ Manusia/

digunakan dalam ​video? tidak mesin
kekerasan

X-ray Keberadaan tumor Ada/ tidak ada Manusia/

dalam X-ray mesin

(Sumber: Machine Learning Algorithms and Applications, Mohssen Mohammed Muhammad,

Badruddin Khan, Eihab Bashier Mohammed Bashier, 2017, Telah Diolah Kembali​)

Tabel 2.1 mendemonstrasikan lima contoh data yang tidak berlabel yang dapat
dilabeli berdasarkan kriteria yang berbeda. Kolom kedua menunjukkan kriteria
yang mungkin untuk setiap contoh data. Kolom ketiga mendeskripsikan label
yang mungkin setelah penilaian. Kolom keempat menginformasikan pelaku yang
dapat mengambil peran sebagai pengamat dan pemberi label. Analisis sentimen,
pengenalan gambar, dan teknologi pendeteksian suara telah membuat kemajuan
dalam tiga dekade terakhir tetapi masih terdapat banyak ruang untuk peningkatan.
Terdapat dua kelompok atau kategori dari algoritma dibawah payung ​supervised
learning, y​ aitu regresi dan klasifikasi. Metode yang digunakan pada penelitian ini
adalah ​supervised learning ​dengan kategori klasifikasi.

Pada ​unsupervised learning, t​ idak terdapat pengamat untuk memberikan label

terhadap ​output d​ ari data ​training,​ dengan kata lain, yang dimiliki hanya data
yang tidak diberi label. Idenya adalah untuk menemukan sebuah struktur yang
tersembunyi di dalam data. ​Unsupervised learning b​ ertujuan untuk menemukan
keteraturan dari ​input. Terdapat struktur pada ruang ​input sehingga pola-pola
tertentu terjadi lebih sering daripada yang lain, dan ingin dilihat apa yang
umumnya terjadi dan apa yang tidak. Dalam statistik, ini disebut dengan estimasi
kepadatan. Salah satu metode untuk estimasi kepadatan adalah ​clustering, d​ imana
tujuannya adalah untuk menemukan ​cluster a​ tau kelompok dari ​input ​yang
​ enggunakan keduanya, data yang diberi
diberikan [5]. ​Semi-supervised learning m
label dan data yang tidak diberi label untuk membangun pengklasifikasi ​[11].
Target dari ​semi-supervised ​adalah untuk mempelajari sebuah model yang akan
memprediksi kelas dari data ​test n​ antinya lebih baik dari model yang dihasilkan
dengan menggunakan pelabelan data sendiri.

Metode ​Reinforcement learning ​bertujuan menggunakan pengamatan yang

dikumpulkan dari interaksi dengan lingkungan untuk mengambil tindakan yang
akan memaksimalkan manfaat atau meminimalkan risiko [5]. ​Reinforcement
learning b​ erbeda dengan metode pembelajaran lainnya. R​einforcement ​learning
tidak memberi tahu kita apa yang harus dilakukan tetapi hanya seberapa baik yang
telah kita lakukan di masa lalu.
2.1 Classification
Classification ​atau klasifikasi merupakan suatu bentuk analisis data yang
mengekstrak model yang mendeskripsikan kelas-kelas data yang penting [12].
Klasifikasi merupakan salah satu kategori algoritma dari ​supervised learning.
Seperti model, disebut ​classifier ​atau pengklasifikasi, memprediksi label atau
kelas (​discrete, unordered​). Kredit adalah sejumlah uang yang dipinjam oleh
institusi keuangan, misalnya, sebuah bank, dibayar kembali dalam bunga,
umumnya dalam angsuran. Merupakan hal yang penting terhadap bank untuk
mampu memprediksi secara lanjut risiko yang berhubungan dengan pinjaman,
yang dimana peluang bahwa pelanggan akan lalai dan tidak membayar
keseluruhan jumlah kembali. Keduanya bertujuan untuk menyakinkan bahwa
bank akan mendapatkan keuntungan dan juga tidak menyusahkan pelanggan
dengan peminjaman melebihi kemampuan finansialnya [5].

Dalam ​credit scoring, b​ ank menghitung risiko dengan jumlah kredit dan informasi
mengenai pelanggan. Pada contoh tersebut, pekerjaan analisis data tersebut
disebut dengan klasifikasi, dimana model atau pengklasifikasi dikembangkan
untuk memprediksi kelas atau kategori “pelanggan yang berisiko rendah” dan
“pelanggan yang berisiko tinggi”. Informasi tentang ​customer menjadi ​input
terhadap pengklasifikasi yang bertugas untuk menempatkan ​input ​tersebut
kedalam salah satu dari kedua kelas tersebut [5]. Kategori atau kelas dapat
direpresentasikan oleh nilai diskrit, dimana urutan antar nilai tidak bermakna.
Sistem klasikasi secara umum, tanpa umpan balik di antara tahap-tahap,
ditunjukkan pada Gambar 2.2 [13].
Proses klasifikasi data merupakan dua langkah proses, terdiri dari ​learning step
(dimana sebuah model klasifikasi dibangun) dan ​classification step (dimana
model digunakan untuk memprediksi label kelas untuk data yang diberikan).
Proses-proses tersebut dapat dilihat pada Gambar 2.3.
Pada langkah pertama, ​classifier a​ tau pengklasifikasi dikembangkan untuk
mendeskripsikan seperangkat kelas atau konsep data yang telah ditentukan. Ini
merupakan ​learning step ​(fase ​training)​ , dimana sebuah algoritma klasifikasi
membangun ​classifier ​dengan menganalisis atau belajar dari sebuah ​training set
yang dibentuk dari ​database dan label kelasnya yang terkait. Sebuah baris, ​X,
direpresentasikan oleh atribut vektor n-dimensi, X = (x1 , x2 , x3 , …, xn ) ,
menggambarkan ​n p​ engukuran yang dibuat pada baris dari ​n a​ tribut ​database,
masing-masing A1 , A2 , …, An . Setiap baris ​X, ​diasumsikan dimiliki oleh sebuah
kelas yang didefinisikan sebelumnya oleh atribut ​database ​lain yang disebut
dengan atribut label kelas [12]. Langkah pertama dari prosesklasifikasi dapat
juga dilihat sebagai pembelajaran dari pemetaan atau fungsi, y = f (x) , yang dapat
memprediksi label kelas ​y y​ ang terkait dari baris ​X ​yang diberikan.

Pada langkah kedua, model digunakan untuk melakukan klasifikasi. Jika

menggunakan data ​training ​untuk mengukur akurasi ​classifier, ​hasilnya pasti akan
selalu baik, karena ​classifier c​ enderung ​overfit ​terhadap data. Oleh sebab itu,
digunakan data ​test ​yang terdiri dari baris-baris ​test ​dan label kelas yang
berkaitan. Data ​test ​tidak bergantung pada data ​train, ​artinya bahwa data ​train
tidak digunakan untuk membangun ​classifier.

Dalam sistem klasifikasi terdapat istilah bias yang merupakan dasar untuk
memilih satu generalisasi atau hipotesis atas yang lain selain konsistensi dengan
contoh ​training yang diamati [14]. Hasil klasifikasi yang bias merupakan hasil
klasifikasi yang hanya condong kepada kelas-kelas tertentu. Hal ini disebabkan
oleh jumlah data yang tidak seimbang pada setiap kelas yang dimiliki. Contohnya
diilustrasikan terhadap sebuah ​dataset yang terdiri dari data transaksi. Tujuannya
adalah untuk mengenali transaksi asli dan transaksi penipuan. Jika ​dataset terdiri
dari 10.000 transaksi asli dan 10 transaksi penipuan, penggolong akan cenderung
mengklasifikasikan transaksi penipuan sebagai transaksi asli. Misalkan algoritma
pembelajaran mesin memiliki dua kemungkinan ​output​ sebagai berikut:
1. Model 1 mengklasifikasikan 7 dari 10 transaksi penipuan sebagai transaksi asli
dan 10 dari 10.000 transaksi asli sebagai transaksi penipuan.
2. Model 2 mengklasifikasikan 2 dari 10 transaksi penipuan sebagai transaksi asli
dan 100 dari 10.000 transaksi asli sebagai transaksi penipuan.
Agar lebih jelas, hasil klasifikasi kedua model tersebut akan digambarkan ke
dalam ​confusion matrix​ pada Tabel 2.2 dan Tabel 2.3.

Tabel 2.2. ​Confusion​ ​Matrix​ untuk Model 1

Predicted Class
Model 1
Penipuan Asli
Actual Class Penipuan 3 (TP) 7 (FN)
Asli 10 (FP) 9990 (TN)

Tabel 2.3. ​Confusion​ ​Matrix​ untuk Model 2

Predicted Class
Model 2
Penipuan Asli
Actual Class Penipuan 8 (TP) 2 (FN)
Asli 100 (FP) 9900 (TN)

Jika kinerja ​classifier ditentukan oleh jumlah kesalahan, maka jelas Model 1 lebih
baik karena hanya membuat total 17 kesalahan sementara Model 2 membuat 102
kesalahan. Namun, karena perusahaan ingin meminimalkan jumlah transaksi
penipuan terjadi, maka harus memilih Model 2 sebagai gantinya yang hanya
membuat 2 kesalahan mengklasifikasikan transaksi penipuan. Tentu saja ini dapat
mengorbankan transaksi yang lebih asli yang diklasifikasikan sebagai transaksi
penipuan, tetapi hal ini akan menjadi biaya yang dapat ditanggung perusahaan
untuk saat ini.
Bagaimanapun, algoritma pembelajaran mesin umum hanya akan memilih Model
1 dari Model 2 karena ​error rate ​Model 1 lebih kecil daripada Model 2. Dalam
praktiknya, ini berarti kita akan membiarkan banyak transaksi penipuan berjalan
meskipun kita bisa menghentikan mereka dengan menggunakan Model 2. Hal ini
akan menyebabkan kerugian pada perusahaan yang disebabkan oleh
ketidakseimbangan data.
 DAFTAR PUSTAKA

[1] A. Bhardwaj, A. Tiwari, H. Bhardwaj dan A. Bhardwaj, “A Genetically Optimized

Neural Network Model for Multi-class Classification,” ​An International Journal, ​pp.
1-17, 2016.
[2] G. Melissa, “Pencocokan Pola Suara (Speech Recognition) Dengan Algoritma FFT
Divide And Conquer,” ITB, Bandung, 2008.
[3] E. Alpaydin, Introduction to Machine Learning, 3rd edition, Cambridge: Massachusetts
Institute of Technology, 2014.
[4] H. M. Fayek, M. Lech dan L. Cavedon, “Evaluating Deep Learning Architectures for
Speech Emotion Recognition,” ​Neural Networks, ​vol. 92, no. 2017, pp. 60-68, 2017.
[5] D. Palaz, M. Magimai dan R. Collobert, “Analysis of CNN-based Speech Recognition
System using Raw Speech as Input,” dalam ​Proceedings of INTERSPEECH,​ 2015.
[6] W. S. E. Putra, A. Y. Wijaya dan R. Soelaiman, “Klasifikasi Citra Menggunakan
Convolutional Neural Network (CNN) pada Caltech 101,” ​Jurnal Teknik ITS, ​vol. 5, no.
1, 2016.
[7] M. Mohammed, M. B. Khan dan E. B. M. Bashier, Machine Learning Algorithms and
Application, Boca Raton: CRC Press, 2017.
[8] W. Sullivan, Machine Learning Beginners Guide Algorithms, South Carolina:
CreateSpace Independent Publishing Platform, 2017.
[9] Y. Ahuja dan S. K. Yadav, “Multiclass Classification and Support Vector Machine,”
Global Jurnal of Computer Science and Technology Interdisciplinary, ​vol. 12, no. 11,
2012.
[10] E. A. Platanios, H. Poon, T. M. Mitchell and E. Horvitz, "Estimating Accuracy from
Unlabeled Data: A Probabilistic Approach," in ​31st Conference on Neural Processing
Systems (NIPS 2017)​, Long Beach, CA, USA, 2017.
[11] X. Zhu dan M. Belkin, “Semi-Supervised Learning,” dalam ​Academic Press Library in
Signal Processing,​ Academic Press, 2014, pp. 1239-1269.
[12] J. Han, M. Kamber dan J. Pei, Data Mining: Concepts and Techniques Third Edition,
Waltham: Elsevier, 2012.
[13] G. Dougherty, Pattern Recognition and Classification, New York: Springer, 2013.
[14] T. G. Dietterich and E. B. Kong, "Machine Learning Bias, Statistical Bias, and
Statistical Variance of Decision Tree Algirithms," Department of Computer Science,
Oregon State University, Corvallis, 1995.