ARTIKEL PENELITIAN
SVM dan SVM Ensemble di Kanker Payudara Prediksi
a11111
AKSES TERBUKA
Kutipan: Huang MW, Chen CW, Lin WC, Ke SW, Tsai CF (2017)
SVM dan SVM Ensemble di Prediksi Kanker Payudara. PLoS
ONE 12 (1): e0161501. doi: 10.1371 / journal.pone.0161501
Editor: Enrique Hernandez-Lemus, Instituto Nacional de Medicina
Genomica, MEXICO
diterima: 11 Maret 2016
diterima: 5 Agustus 2016
Diterbitkan: 6 Januari 2017
Hak cipta: © 2017 Huang et al. Ini adalah sebuah artikel akses
terbuka didistribusikan di bawah ketentuan
Creative Commons License Attribution , Yang memungkinkan
penggunaan tak terbatas, distribusi, dan reproduksi dalam media
apapun, asalkan penulis asli dan sumber dikreditkan.
Data Ketersediaan Pernyataan: Dataset tersedia dari: http://archive.ics.uci.edu/ml/
. http: // www.sigkdd.org/kddcup/index.php .
pendanaan: Para penulis tidak menerima dana untuk penelitian ini.
Bersaing Minat: Para penulis telah menyatakan bahwa tidak ada
kepentingan bersaing ada.
PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017
Min-Wei Huang 1, Chih-Wen Chen 2,3 *, Wei-Chao Lin 4, Shih-Wen Ke 5, Chih-Fong Tsai 6
1 Departemen Psikiatri, Chiayi Cabang, Rumah Sakit Umum Taichung Veterans, Chiayi, Taiwan,
2 Departemen Farmasi, Rumah Sakit Kaohsiung Municipal Cina Medis, Kaohsiung, Taiwan,
3 Graduate Institute of Natural Products, University Medical Kaohsiung, Kaohsiung, Taiwan, 4 Departemen Ilmu Komputer dan Teknik Informatika,
Asia University, Taichung, Taiwan, 5 Departemen Informasi dan Teknik Komputer, Universitas Kristen Chung Yuan, Taoyuan, Taiwan, 6 Jurusan
Manajemen Informatika, Universitas Pusat Nasional, Taoyuan, Taiwan
* chenchihwen@yahoo.com.tw
Abstrak
Kanker payudara adalah penyakit yang sangat umum pada wanita, membuat cara efektif memprediksi masalah
penelitian aktif. Sejumlah teknik pembelajaran statistik dan mesin telah digunakan untuk mengembangkan berbagai
model prediksi kanker payudara. Di antara mereka, mesin dukungan vektor (SVM) telah terbukti outperformmany teknik
terkait. Untuk membangun classifier SVM, pertama-tama perlu untuk memutuskan fungsi kernel, dan fungsi kernel yang
berbeda dapat menghasilkan kinerja prediksi yang berbeda. Namun, ada sedikit penelitian difokuskan pada
pemeriksaan kinerja prediksi SVM berdasarkan fungsi kernel yang berbeda. Selain itu, tidak diketahui apakah ansambel
SVM classifier yang telah diusulkan untuk meningkatkan kinerja pengklasifikasi tunggal dapat mengungguli SVM
pengklasifikasi tunggal dalam hal prediksi kanker payudara. Oleh karena itu, tujuan dari makalah ini adalah untuk
sepenuhnya menilai kinerja prediksi SVM dan SVM ansambel lebih skala dataset kanker payudara kecil dan besar.
Akurasi klasifikasi, ROC, F-ukuran, dan waktu komputasi dari SVM pelatihan dan ansambel SVM dibandingkan. Hasil
percobaan menunjukkan bahwa linear berdasarkan kernel ansambel SVM berdasarkan metode mengantongi dan
kernel ansambel SVM berdasarkan RBF dengan metode meningkatkan dapat menjadi pilihan yang lebih baik untuk
dataset skala kecil, di mana seleksi fitur harus dilakukan dalam tahap Data pra-pengolahan. Untuk dataset skala besar,
RBF berdasarkan kernel ansambel SVM berdasarkan meningkatkan tampil lebih baik dari pengklasifikasi lainnya.
pengantar
prediksi kanker payudara telah lama dianggap sebagai masalah penelitian penting dalam masyarakat medis dan kesehatan.
Kanker ini berkembang dalam jaringan payudara [ 1 ]. Ada beberapa faktor risiko untuk kanker payudara termasuk jenis kelamin
perempuan, obesitas, kurang olahraga fisik, minum alkohol, terapi penggantian hormon selama menopause, radiasi pengion, usia
dini di menstruasi pertama, memiliki anak terlambat atau tidak sama sekali, dan usia yang lebih tua.
1/14
 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Ada berbagai jenis kanker payudara, dengan tahapan yang berbeda atau menyebar, agresivitas, dan makeup genetik. Oleh karena itu,

akan sangat berguna untuk memiliki sistem yang akan memungkinkan deteksi dini dan pencegahan yang akan meningkatkan tingkat

kelangsungan hidup untuk kanker payudara.

literatur membahas sejumlah teknik pembelajaran statistik dan mesin yang berbeda yang telah diterapkan untuk
mengembangkan model prediksi kanker payudara, seperti regresi logistik, analisis diskriminasi linear, naif Bayes,
pohon keputusan, jaringan saraf tiruan, k-tetangga terdekat, dan vektor dukungan metode mesin [ 2 - 9 ].

Lebih khusus, studi yang membandingkan beberapa teknik yang disebutkan di atas telah menunjukkan bahwa SVM

melakukan lebih baik daripada banyak teknik terkait lainnya [ 10 - 15 ].

Hal ini diperlukan ketika membangun classifier SVM untuk menentukan fungsi kernel tertentu, seperti polinomial atau radial
basis function (RBF), yang merupakan parameter pembelajaran penting. Namun, ada sedikit penelitian difokuskan pada penilaian
kinerja prediksi pengklasifikasi SVM dibangun menggunakan fungsi kernel yang berbeda. Selain itu, diketahui bahwa
menggabungkan beberapa pengklasifikasi atau ansambel classifier, daerah penelitian aktif lain klasifikasi pola, sering memberikan
kinerja yang lebih baik daripada pengklasifikasi tunggal [ 16 ]. Namun, dengan pengecualian Lavanya dan Rani [ 17 ] Yang
menunjukkan bahwa ansambel pohon keputusan dibangun dengan mengantongi melakukan lebih baik daripada model pohon
keputusan tunggal, kinerja ansambel classifier di prediksi kanker payudara belum sering dieksplorasi. Dengan demikian, tidak
diketahui apakah ansambel SVM dapat mengungguli SVM pengklasifikasi tunggal dalam prediksi kanker payudara.

Faktor lain yang menyulitkan adalah bahwa dataset dikumpulkan untuk prediksi kanker payudara biasanya kelas
tidak seimbang, dengan kelas minoritas yang mengandung sejumlah kecil pasien dengan kanker dan kelas mayoritas
mengandung sejumlah besar pasien tanpa kanker. Ini berarti bahwa hanya menggunakan akurasi prediksi atau akurasi
klasifikasi untuk mengevaluasi model prediksi tidak cukup [ 18 ]. metrik lainnya evaluasi yang menggunakan berbagai
jenis kesalahan klasifikasi, seperti area di bawah kurva (AUC) atau penerima operasi karakteristik (ROC) kurva [ 19 ],
Juga harus diperiksa untuk memahami kinerja model prediksi.

Oleh karena itu, tujuan penelitian kami adalah untuk membandingkan SVM dan SVM ansambel menggunakan fungsi yang
berbeda kernel (fungsi yaitu, linear, jumlahnya banyak, dan kernel RBF) dan metode kombinasi (yaitu, mengantongi dan
meningkatkan). Kinerja mereka akan dinilai oleh metrik evaluasi yang berbeda, termasuk akurasi klasifikasi, ROC, F-ukuran, dan
waktu pelatihan classifier. Akibatnya, temuan makalah ini harus memungkinkan peneliti masa depan untuk dengan mudah memilih
teknik dasar yang paling efektif yang dapat memberikan kinerja prediksi optimal untuk perbandingan masa depan.

Sisa kertas ini disusun sebagai berikut. Bagian 2 ikhtisar terkait studi termasuk yang pada dukungan mesin
vektor dan ansambel classifier, dan membandingkan karya terkait dalam hal fungsi kernel yang digunakan, dataset
yang digunakan, dan metrik evaluasi dipertimbangkan. Bagian 3 menjelaskan metodologi eksperimental termasuk
prosedur eksperimental, proses imputasi dan setup eksperimental. Bagian 4 menyajikan hasil eksperimen. Akhirnya,
Bagian 5 menyimpulkan kertas.

literatur

Dukungan Mesin Vector

mesin vektor dukungan (SVMs), pertama kali diperkenalkan oleh Vapnik [ 20 ], Telah menunjukkan efektivitas mereka dalam banyak

masalah pengenalan pola [ 21 ], Dan mereka dapat memberikan pertunjukan klasifikasi yang lebih baik daripada banyak teknik

klasifikasi lainnya.

Sebuah classifier SVM melakukan klasifikasi biner, yaitu, memisahkan satu set vektor pelatihan untuk dua kelas yang
berbeda ( x 1, y 1), ( x 2, y 2) ,. . ., ( x m, y m), dimana x saya 2 R d menunjukkan vektor dalam d- ruang fitur dimensi dan y saya 2 {- 1, 1} adalah label
kelas. SVMmodel yang dihasilkan oleh pemetaan

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 2/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Gambar 1. SVMmodel generasi.

doi: 10.1371 / journal.pone.0161501.g001

masukan vektor ke ruang fitur baru yang lebih tinggi dimensi dilambangkan sebagai F: R d! H f dimana d < f.

Kemudian, optimal memisahkan hyperplane dalam ruang fitur baru dibangun oleh fungsi kernel K (x saya, x j), yang merupakan
produk dari vektor input x saya dan x j dan dimana K (x saya, x j) = F ( x saya) F ( x j).
Gambar 1 menggambarkan prosedur ini dari SVM berbasis kernel linier, yang memetakan ruang input nonlinear ke dalam
ruang terpisah secara linear baru. Secara khusus, semua vektor berbaring di satu sisi hyperplane yang diberi label sebagai -1,
dan semua vektor berbaring di sisi lain diberi label sebagai 1. Contoh pelatihan yang terletak paling dekat dengan hyperplane
dalam ruang berubah disebut vektor dukungan. Jumlah vektor dukungan ini biasanya kecil dibandingkan dengan ukuran training
set dan mereka menentukan margin hyperplane, dan dengan demikian permukaan keputusan.

Dua fungsi kernel yang digunakan secara luas adalah Polinomial dan Gaussian Radial Basis Function (RBF) fungsi
kernel, yang K poli ( x saya, x j) = ( x saya x j + 1) p ( p adalah derajat polinomial) dan

K Gaussian ð x saya; x j Þ ¼ e k xi xj k 22 s ( σ adalah sigma Gaussian), masing-masing.

karya terkait telah menunjukkan bahwa tidak ada cara formal untuk menentukan fungsi kernel terbaik untuk masalah
domain yang spesifik. Namun, di antara fungsi yang berbeda kernel, linear, jumlahnya banyak, dan secara radial kernel fungsi
yang paling banyak digunakan dan dibandingkan dalam berbagai masalah domain, seperti klasifikasi tanaman [ 22 ], Ekspresi
gen klasifikasi [ 23 ], Protein lokalisasi [ 24 ], Identifikasi pembicara [ 25 ], Dan situs sambatan identifikasi [ 26 ].

classifier Ensemble
ansambel Classifier menggabungkan beberapa pengklasifikasi telah datang untuk dianggap sebagai teknik klasifikasi
pola penting [ 27 - 29 ] Menawarkan kinerja klasifikasi ditingkatkan dari classifier tunggal [ 16 ].

Konsep di balik ansambel classifier terinspirasi oleh sifat pengolahan informasi di otak, yang modular. Artinya, fungsi
individu dapat dibagi lagi menjadi sub-proses fungsional yang berbeda atau sub-tugas tanpa gangguan bersama [ 30 ]. Ini
adalah prinsip membagi-dan-menaklukkan yang memungkinkan masalah yang kompleks dibagi menjadi sederhana
sub-masalah (yaitu, tugas sederhana), yang kemudian dapat diselesaikan dengan metode belajar yang berbeda atau
algoritma.
Dua teknik yang banyak digunakan untuk menggabungkan beberapa pengklasifikasi yang mengantongi dan meningkatkan. Dalam

mengantongi, beberapa pengklasifikasi dilatih secara independen oleh set pelatihan yang berbeda melalui metode bootstrap [ 31 ]. bootstrap

membangun k replikasi data pelatihan set untuk membangun k pengklasifikasi independen secara acak ulang sampling dataset pelatihan

yang diberikan asli, tapi dengan penggantian. Artinya, setiap contoh pelatihan mungkin tampak diulang dalam setiap dalam setiap ulangan

tertentu

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 3/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Data training set k, atau tidak sama sekali. Kemudian, k pengklasifikasi dikumpulkan melalui metode kombinasi yang tepat, seperti
mayoritas voting [ 32 ].
Dalam meningkatkan, seperti mengantongi, masing-masing classifier dilatih menggunakan training set yang berbeda. Namun, k pengklasifikasi

dilatih tidak secara paralel dan independen, tapi secara berurutan. Asli Pendekatan meningkatkan, meningkatkan dengan menyaring, diusulkan

oleh Schapire [ 33 ]. Saat ini, AdaBoost (atau Adaptive Boosting) adalah yang paling umum meningkatkan belajar algoritma yang digunakan

dalam pengenalan pola.

Awalnya, setiap contoh dari serangkaian pelatihan yang diberikan memiliki berat yang sama. Untuk melatih k- th classifier sebagai model

pembelajaran lemah, n set sampel pelatihan ( n <m) antara S digunakan untuk melatih

k- th classifier. Kemudian, classifier dilatih dievaluasi oleh S untuk mengidentifikasi contoh-contoh pelatihan yang tidak dapat

diklasifikasikan dengan benar. Itu k + 1 classifier kemudian dilatih oleh satu set pelatihan dimodifikasi yang meningkatkan pentingnya

contoh-contoh salah diklasifikasikan. Prosedur pengambilan sampel ini akan diulang sampai K sampel pelatihan yang dibangun

untuk membangun K- th classifier. Keputusan akhir didasarkan pada suara tertimbang dari pengklasifikasi individu [ 34 ].

Perbandingan RelatedWorks menggunakan SVM

Tabel 1 membandingkan beberapa karya terkait baru pada prediksi kanker payudara menggunakan SVM dalam hal fungsi kernel yang

digunakan, dataset yang digunakan, dan evaluasi metrik dipertimbangkan. Perhatikan bahwa beberapa penelitian menggunakan data

perangkat lunak pertambangan Weka (tersedia di: http://www.cs.waikato.ac.nz/ ml / weka / ) Untuk membangun classifier SVM dan mereka

tidak menentukan fungsi kernel yang digunakan. Dalam hal ini, kita berasumsi bahwa mereka mempertimbangkan parameter default SVM,

yaitu, fungsi kernel RBF.

Dari Tabel 1 , Beberapa keterbatasan dari studi baru-baru ini dapat diidentifikasi. Dengan pengecualian

dari Anda dan Rumbe [ 15 ], Karya yang paling terkait membangun classifier SVM untuk prediksi kanker payudara hanya berdasarkan

fungsi RBF kernel. Meskipun RBF adalah fungsi kernel yang paling banyak digunakan di SVM, kinerja prediksi diperoleh dengan

menggunakan fungsi kernel populer yang berbeda lainnya belum sepenuhnya dieksplorasi. Kedua, kebanyakan studi hanya

menggunakan Kanker Payudara Wisconsin dataset dalam percobaan mereka. Meskipun ini adalah dataset yang tersedia untuk publik

(tersedia di: https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Original) ), Ukuran dataset yang terlalu kecil untuk

secara efektif memvalidasi kinerja SVM untuk prediksi kanker payudara. Oleh karena itu, dalam makalah ini, skala dataset kanker

payudara besar lain juga akan digunakan untuk perbandingan lebih lanjut.

Akhirnya, prediksi (atau klasifikasi) akurasi biasanya evaluasi metrik utama yang digunakan untuk menilai kinerja dari
model prediksi. Namun, dataset dikumpulkan untuk prediksi kanker payudara biasanya diklasifikasikan sebagai masalah
ketidakseimbangan kelas. Artinya, kelas untuk

Tabel 1. Perbandingan karya terkait.

Kerja fungsi kernel sumber daya dataset evaluasi metrik

Joshi et al. (2014) [ 35 ] RBF Kanker Payudara Wisconsin Ketepatan

Senturk dan Kara (2014) [ 14 ] - Kanker Payudara Wisconsin Ketepatan; Kepekaan; spesifik fi kota

Ahmad et al. (2013) [ 11 ] RBF Iran Pusat dataset Kanker Payudara Ketepatan; Kepekaan; spesifik fi kota

Salama et al. (2012) [ 13 ] RBF Kanker Payudara Wisconsin Ketepatan

Aruna et al. (2011) [ 3 ] RBF Kanker Payudara Wisconsin Ketepatan; Kepekaan; spesifik fi kota

Abdelaal et al. (2010) [ 10 ] RBF Database digital untuk Screening Mammography kurva ROC

Rong dan Yuan (2010) [ 36 ] RBF Kanker Payudara Wisconsin Ketepatan

Anda dan Rumbe (2010) [ 15 ] Poly / RBF / Sigmoid Kanker Payudara Wisconsin Ketepatan

Huang et al. (2008) [ 12 ] RBF Rumah Sakit Chung-Shan Kedokteran Universitas Ketepatan

doi: 10.1371 / journal.pone.0161501.t001

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 4/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

pasien memiliki kanker mengandung jumlah yang sangat kecil dari data sampel sedangkan kelas untuk pasien normal
tanpa kanker mengandung jumlah yang sangat besar dari sampel data. Hal ini menyebabkan masalah ketika memeriksa
akurasi model prediksi karena kesalahan dari salah mengklasifikasikan pasien normal tanpa kanker sebagai bagian dari
kelas kanker dan kesalahan tidak benar mengklasifikasikan memiliki kanker pasien sebagai bagian dari kelas normal tidak
dinilai. Hanya setengah dari karya-karya terkait ditampilkan di Tabel 1 mempertimbangkan baik sensitivitas (yaitu, benar
tingkat positif) dan spesifisitas (yaitu, positif tingkat false) indeks atau penerima operasi karakteristik (ROC) kurva, yang
didasarkan pada sensitivitas dan spesifisitas bersama-sama. Oleh karena itu, di samping akurasi klasifikasi, kurva ROC,
tingkat F-ukuran atau F-1 skor [ 37 ] Juga akan diteliti dalam penelitian ini. F-ukuran menganggap kedua presisi (jumlah
hasil positif yang benar dibagi dengan jumlah semua hasil positif) dan mengingat (jumlah hasil positif yang benar dibagi
dengan jumlah hasil positif yang seharusnya dikembalikan) ketika menghitung skor . Dengan kata lain, itu adalah rata-rata
tertimbang dari presisi dan recall.

Metodologi eksperimental

Prosedur percobaan
Prosedur eksperimental didasarkan pada langkah-langkah berikut. Pertama-tama, dataset yang diberikan dibagi menjadi 90% pelatihan

dan 10% pengujian set berdasarkan 10 kali lipat strategi lintas validasi [ 38 ]. Pada langkah kedua fokusnya adalah pada membangun

pengklasifikasi SVM menggunakan fungsi kernel yang berbeda (yaitu, linear, jumlahnya banyak, dan RBF) secara individual. Selain itu,

SVM ansambel classifier juga akan dibangun oleh mengantongi dan meningkatkan untuk menghasilkan linear, jumlahnya banyak, dan

ansambel RBF SVM. Akhirnya, pengujian set dimasukkan ke dalam pengklasifikasi dibangun sebelum pemeriksaan akurasi mereka

klasifikasi, ROC, dan tingkat F-ukuran. Selanjutnya, kali pelatihan classifier juga dibandingkan dengan menganalisis kompleksitas

komputasi dari pelatihan pengklasifikasi yang berbeda.

Kami juga meneliti apakah melakukan seleksi fitur untuk menyaring fitur representatif dari dataset yang dipilih
dapat membuat pengklasifikasi tampil lebih baik daripada yang tanpa seleksi fitur. Dalam hal ini, algoritma genetika
(GA) [ 39 ] digunakan.

Pengaturan eksperimen

The Datasets. Dalam tulisan ini, dua dataset kanker payudara yang digunakan, yang tersedia dari UCI repository
pembelajaran mesin (tersedia di: http://archive.ics.uci.edu/ml/ ) Dan ACM SIGKDD Cup 2008 (tersedia di: http://www.sigkdd.org/kddcup/ind
). Yang pertama adalah dataset skala yang relatif kecil, yang terdiri dari 699 sampel data dan setiap sampel data memiliki 11
fitur yang berbeda. Di sisi lain, dataset yang terakhir berisi 102.294 data sampel dan masing-masing sampel data yang
diwakili oleh 117 fitur yang berbeda, yang dianggap sebagai dataset skala besar dalam makalah ini.

The Classifier Desain. Untuk membangun pengklasifikasi SVM yang berbeda, perangkat lunak data mining Weka digunakan.

Selain fungsi kernel yang dipilih untuk mengembangkan pengklasifikasi SVM tertentu, parameter terkait lainnya didasarkan pada

nilai-nilai default Weka. Pendekatan yang sama digunakan untuk membangun ansambel SVM berdasarkan mengantongi dan

meningkatkan.

Akibatnya, ada tiga pengklasifikasi tunggal SVM, yaitu, linear SVM, polinomial SVM, dan RBF SVM, dan enam
ansambel SVM, yaitu, linear / polinomial / RBF SVM ansambel dibangun oleh mengantongi dan meningkatkan
masing-masing. Selain itu, untuk mengevaluasi kinerja pengklasifikasi SVM yang berbeda, di samping akurasi klasifikasi,
ROC, dan tingkat F-ukuran, waktu yang dihabiskan pelatihan setiap classifier juga dibandingkan. Perhatikan bahwa
lingkungan komputasi didasarkan pada PC, Intel 1 Inti ™ i7-2600 CPU @ 3.40GHz, 4 GB RAM.

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 5/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Kami juga menggunakan Weka untuk melakukan tugas seleksi fitur menggunakan algoritma genetika dan parameter

didasarkan pada nilai-nilai default.

Hasil eksperimen

SVMClassifiers tunggal
ara 2 dan 3 menunjukkan kinerja pengklasifikasi SVM diperoleh dengan linear, jumlahnya banyak, dan fungsi kernel
RBF dengan dan tanpa seleksi fitur dalam hal akurasi klasifikasi, ROC, F-ukuran, dan waktu komputasi (dalam detik)
selama dua dataset, masing-masing. Perhatikan bahwa setelah melakukan seleksi fitur menggunakan algoritma
genetika, jumlah fitur yang dipilih dari dataset skala kecil dan besar adalah 10 dan 36, masing-masing.

Seperti yang kita lihat, melakukan seleksi fitur sebelum pelatihan pengklasifikasi SVM memungkinkan mereka untuk
menghasilkan kinerja lebih baik secara signifikan (yaitu, akurasi klasifikasi, ROC, dan F-measure). Secara khusus,
penampilan terbaik diperoleh dengan GA + linear SVM untuk akurasi klasifikasi (96,85%), GA + SVM linear untuk ROC
(0,967), dan GA + RBF SVM untuk F-measure (0,988). Selain itu, tidak ada perbedaan kinerja besar antara GA + linear SVM
dan GA + RBF SVM.

Selain itu, ada pengurangan besar dalam waktu komputasi untuk melatih pengklasifikasi SVM setelah
melakukan seleksi fitur dibandingkan dengan pengklasifikasi dasar SVM tanpa

Gambar 2. Kinerja pengklasifikasi SVM tunggal atas dataset skala kecil. ( A) akurasi Klasifikasi, (B) ROC, (C) Fmeasure, (D) waktu Komputasi (detik).

doi: 10.1371 / journal.pone.0161501.g002

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 6/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Gambar 3. Kinerja pengklasifikasi SVM tunggal atas dataset skala besar. ( A) akurasi Klasifikasi, (B) ROC, (C) F-ukuran, (D) waktu Komputasi (detik).

doi: 10.1371 / journal.pone.0161501.g003

seleksi fitur. Perbandingan kali pelatihan menunjukkan bahwa pelatihan RBF SVM membutuhkan setidaknya waktu dan
poli SVM membutuhkan waktu terkecil kedua. Waktu komputasi terbesar diperlukan untuk classifier linear SVM.

Dengan dataset skala besar, melakukan seleksi fitur tidak lantas membuat pengklasifikasi SVM melakukan
lebih baik daripada yang tanpa seleksi fitur. Secara khusus, penampilan terbaik diperoleh dengan SVM poli dan GA
+ poli SVM untuk akurasi klasifikasi (99,50%) dan poli SVM untuk ROC (0.614) dan F-measure (0,994). Mirip
dengan hasil yang diperoleh dengan dataset skala kecil, pengklasifikasi SVM dengan dan tanpa seleksi fitur
berdasarkan fungsi kernel polinomial dan RBF melakukan yang sama dalam hal akurasi klasifikasi dan F-ukuran,
khususnya, perbedaan kinerja yang 0,02% untuk akurasi klasifikasi dan 0,001 untuk F-ukuran. Namun, ketika ROC
dianggap sebagai metrik evaluasi, poli SVM secara signifikan melebihi pengklasifikasi lainnya SVM.

Perbandingan kali komputasi untuk melatih pengklasifikasi SVM menunjukkan bahwa waktu komputasi terbesar
diperlukan untuk classifier SVM linear tanpa seleksi fitur. Setelah melakukan seleksi fitur kali pelatihan untuk
pengklasifikasi lainnya, yaitu, poli SVM dan RBF SVM sekitar dua kali lebih kecil seperti yang tanpa seleksi fitur.
Namun, dari sudut pandang kami, tidak ada perbedaan besar antara 11 menit dihabiskan oleh GA + poli SVM dan
20 menit dihabiskan oleh poli SVM, terutama ketika model prediksi yang terakhir menghasilkan kinerja terbaik dalam
hal akurasi klasifikasi, ROC, dan F -mengukur.

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 7/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Singkatnya, GA + RBF SVM dan poli SVM pilihan yang lebih baik untuk dataset skala kecil dan besar, masing-masing, karena

mereka dapat memberikan kinerja yang lebih baik dalam hal akurasi klasifikasi, ROC, dan F-ukuran, dan mereka tidak memerlukan

pelatihan classifier besar waktu.

SVMClassifier Ensemble
ara 4 untuk 7 menunjukkan kinerja linear, poli, dan RBF SVM ansambel classifier diperoleh dengan mengantongi dan
meningkatkan dengan dan tanpa seleksi fitur, dalam hal akurasi klasifikasi, ROC, F-ukuran, dan waktu komputasi,
selama dua dataset, masing-masing.
Untuk dataset skala kecil, mirip dengan pengklasifikasi SVM tunggal (cf, Gambar 2 (a) ke 2 (c) ), Menggabungkan

GA dengan ansambel SVM melebihi SVM ansambel tanpa seleksi fitur yang tidak peduli fungsi kernel dan metode
ensemble digunakan. Secara khusus, ansambel GA + RBF SVM menggunakan metode meningkatkan tampil yang terbaik
dalam hal akurasi klasifikasi (98,28%), sedangkan ansambel GA + linear SVM dan GA + ansambel SVM poli menggunakan
metode mengantongi mengungguli ansambel classifier lain (0,98 ), dan GA + linear SVM menggunakan kedua mengantongi
dan metode meningkatkan dapat memberikan tertinggi F-ukuran tingkat (0,966).

Melatih ansambel SVM berdasarkan dataset berkurang setelah melakukan GA mengarah pada penurunan besar
dalam waktu komputasi. Secara khusus, ansambel RBF SVM membutuhkan waktu pelatihan kurang dari ansambel SVM
linear dan poli ketika dataset asli digunakan. Hasil ini mirip dengan yang sebelumnya (cf Gambar 2 (d) ).

Gambar 4. Kinerja berdasarkan mengantongi ansambel SVM classifier selama dataset skala kecil. ( A) akurasi Klasifikasi, (B) ROC, (C) F-ukuran, (D) waktu Komputasi (detik).

doi: 10.1371 / journal.pone.0161501.g004

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 8/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Gambar 5. Kinerja ansambel SVMclassifier berdasarkan meningkatkan selama dataset skala kecil. ( A) akurasi Klasifikasi, (B) ROC, (C) F-ukuran, (D) waktu Komputasi (detik).

doi: 10.1371 / journal.pone.0161501.g005

Dengan dataset skala besar, melakukan seleksi fitur tidak membuat ansambel SVM melakukan lebih baik daripada
tanpa seleksi fitur. Secara khusus, kinerja terbaik diperoleh dengan menggunakan ansambel RBF SVM dan metode
meningkatkan, GA + ansambel linear SVM dan metode meningkatkan, dan ansambel RBF SVM dan metode
meningkatkan dalam hal akurasi klasifikasi (99,52%), ROC (0,876), dan F-measure (0,995).

SVM ansambel dengan menggunakan metode meningkatkan membutuhkan waktu pelatihan lebih besar daripada yang menggunakan

metode mengantongi. Namun, RBF SVM ansambel membutuhkan waktu kurang dari ansambel lainnya SVM.

Diskusi
Tidak ada classifier tunggal yang dapat melakukan yang terbaik untuk semua metrik evaluasi. Meja 2
daftar top 3 pengklasifikasi didasarkan pada akurasi klasifikasi, ROC, dan F-ukuran untuk perbandingan lebih lanjut.

Kita dapat mengamati bahwa SVM ansambel sebagian besar memberikan kinerja yang lebih baik daripada pengklasifikasi SVM

tunggal. Temuan ini konsisten dengan studi-studi terkait (Kittler et al., 1998). Selain itu, untuk dataset skala kecil, GA + linear SVM

ansambel dengan mengantongi dan ansambel GA + RBF SVM dengan meningkatkan dapat dianggap sebagai pengklasifikasi yang

lebih baik untuk metrik evaluasi yang berbeda. Di sisi lain, untuk dataset skala besar, hanya RBF + SVM ansambel dengan

meningkatkan berada di atas 3 daftar tiga metrik evaluasi yang berbeda.

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 9/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Gambar 6. kinerja berdasarkan mengantongi ansambel SVM classifier selama dataset skala besar. ( A) akurasi Cla.ssification, (B) ROC, (C) F-ukuran, (D) waktu Komputasi (detik).

doi: 10.1371 / journal.pone.0161501.g006

Ketika waktu komputasi juga dibandingkan, waktu pelatihan dari GA + linear SVM dengan mengantongi mirip dengan satu

untuk ansambel GA + RBF SVM dengan meningkatkan ketika dataset skala kecil digunakan (yaitu, 0,57 vs 0,5). Untuk classifier

yang lebih baik atas dataset skala besar, ansambel RBF SVM dengan meningkatkan membutuhkan sekitar 301 jam, yang lebih

kecil dari rata-rata yang dibutuhkan oleh ansambel SVM dengan meningkatkan (724 jam), tetapi lebih tinggi dari rata-rata untuk

ansambel SVM dengan mengantongi (65 jam).

Karena itu, ketika dataset yang lebih besar digunakan, dan pertunjukan prediksi dan waktu pelatihan classifier keduanya

dianggap secara bersamaan, kami merekomendasikan ansambel GA + RBF SVM berdasarkan meningkatkan. Hal ini karena mereka

memberikan akurasi klasifikasi, ROC, dan F-ukuran 99,41%, 0,875, dan 0,994, masing-masing. Selain itu, mereka membutuhkan

sekitar 186 jam, yang jauh kurang dari untuk ansambel RBF SVM dengan meningkatkan. Namun, jika sebuah platform cloud yang

digunakan, seperti dengan perhitungan MapReduce diimplementasikan menggunakan Hadoop (tersedia di:

https://hadoop.apache.org/ ), Beban komputasi dapat dipastikan berkurang. Dalam hal ini, RBF SVM ansambel dengan
meningkatkan adalah pilihan yang optimal untuk model prediksi kanker payudara.

Perlu dicatat bahwa temuan ini hanya cocok untuk dataset prediksi kanker payudara. Artinya, dua dataset ini
mengandung sejumlah kecil fitur dan sejumlah besar sampel data, yaitu 11 vs 699 untuk dataset skala kecil dan 117
vs 102.294 untuk dataset skala besar. Di sini, dua dataset tambahan yang berisi angka yang sangat besar fitur tetapi
angka yang lebih kecil

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 10/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Gambar 7. Kinerja ansambel SVM classifier meningkatkan berdasarkan atas dataset skala besar. ( A) akurasi Klasifikasi, (B) ROC, (C) F-ukuran, (D) waktu Komputasi (detik).

doi: 10.1371 / journal.pone.0161501.g007

Tabel 2. Perbandingan akurasi klasifikasi, ROC, dan F-ukuran atas 3 pengklasifikasi.

klasifikasi fi akurasi kation ROC F-measure

dataset skala kecil

1 GA + RBF SVM ansambel (meningkatkan) (98,28%) 1 GA + linear / poli SVM 1 GA + RBF SVM (0,988)
ansambel (mengantongi) (0.98)

2 GA + linear SVM (96,85%) 2 ansambel GA + poli SVM 2 ansambel linear SVM GA + (mengantongi / meningkatkan) (0,966)
(Meningkatkan) (0,979)

3 GA + ansambel linear SVM (mengantongi / meningkatkan) 3 ansambel GA + RBF SVM 3 ansambel GA + RBF SVM (meningkatkan) (0,963)
(96,57%) (Meningkatkan) (0,977)

dataset skala besar

1 RBF SVM ansambel (meningkatkan) (99,52%) 1 GA + ansambel linear SVM 1 RBF SVM ansambel (meningkatkan) (0,995)
(Meningkatkan) (0,876)

2 Poly SVM ansambel (mengantongi) (99,51%) 2 ansambel GA + RBF SVM 2 Poly SVM; poli SVM ansambel (mengantongi); GA + poli SVM
(Meningkatkan) (0,875) ansambel (mengantongi); GA + RBF SVM ansambel (meningkatkan) (0,994)

3 Poly SVM; GA + poli SVM; ansambel RBF SVM 3 ansambel RBF SVM
(Mengantongi); GA + poli ansambel SVM (mengantongi) (99,50%) (Meningkatkan) (0,869)

doi: 10.1371 / journal.pone.0161501.t002

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 11/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

Tabel 3. Klasifikasi akurasi tunggal SVM dan SVM ansambel atas Arcene dan Micromass datastes.

linear SVM Poly SVM RBF SVM

Arcene dataset

Tunggal 0,885 0.89 0.56

kain goni 0,9 0.88 0.56

meningkatkan 0.89 0,895 0.56

Micromass dataset

Tunggal 0,786 0,648 0,105

kain goni 0,772 0,639 0,105

meningkatkan 0,769 0,624 0,105

doi: 10.1371 / journal.pone.0161501.t003

data sampel yang digunakan untuk analisis lebih lanjut, yaitu jumlah fitur lebih besar dari jumlah sampel data.
Mereka adalah Arcene (tersedia di: https://archive.ics.uci.edu/ml/ dataset / Arcene ) Dan Micromass (tersedia di: https://archive.ic
Micromass ) Dataset, yang mengandung 10.000 fitur vs 900 sampel data dan 1300 fitur vs 931 sampel data,
masing-masing.

tabel 3 menunjukkan hasil pengklasifikasi SVM yang berbeda dengan menggunakan dua dataset. Seperti yang kita lihat bahwa

pengklasifikasi RBF SVM melakukan yang terburuk selama semacam ini dataset. Di sisi lain, untuk SVM linear dan pengklasifikasi

SVM poli, membangun ansambel classifier oleh mengantongi dan meningkatkan metode tidak selalu mengungguli pengklasifikasi

tunggal. Terutama, hasil ini menunjukkan bahwa menggunakan single linear SVM classifier adalah dasar classifier yang baik untuk

dataset yang berisi angka yang sangat besar fitur, yang lebih besar dari jumlah sampel data.

Kesimpulan
Dalam tulisan ini, kinerja tunggal pengklasifikasi SVM dan ansambel SVM classifier yang diperoleh dengan menggunakan
fungsi kernel yang berbeda dan metode kombinasi yang berbeda diperiksa dalam hal prediksi kanker payudara. Selain itu,
dua dataset berskala berbeda digunakan untuk perbandingan. Selain itu, akurasi klasifikasi, ROC, F-ukuran, dan waktu
komputasi pelatihan pengklasifikasi yang berbeda dibandingkan.

pengaturan eksperimental tertentu ini tidak pernah ditampilkan sebelumnya dan hasil percobaan memungkinkan kita untuk
sepenuhnya memahami pertunjukan prediksi SVM dan ansambel SVM dan model prediksi yang lebih baik (s) dapat
diidentifikasi sebagai classifier dasar (s) untuk studi masa depan.

Kami menemukan bahwa sebagian besar ansambel SVM dilakukan sedikit lebih baik dari pengklasifikasi SVM tunggal. Secara

khusus, melakukan seleksi fitur menggunakan algoritma genetika (GA) selama dataset skala kecil dapat membuat SVM

pengklasifikasi tunggal dan SVM ansambel memberikan pertunjukan signifikan lebih baik daripada pengklasifikasi yang sama tanpa

seleksi fitur. Di antara mereka, GA + linear ansambel SVM dengan mengantongi dan ansambel GA + RBF SVM dengan

meningkatkan adalah dua model prediksi dan perbedaan kinerja mereka tidak signifikan.

Di sisi lain, untuk dataset skala besar, model prediksi berdasarkan RBF SVM ansambel dengan meningkatkan adalah pilihan yang lebih

baik. Namun, ansambel SVM berdasarkan meningkatkan biasanya membutuhkan waktu pelatihan lebih lama dari satu pengklasifikasi SVM

dan ansambel SVM dengan mengantongi. Dalam prakteknya, ada dua solusi yang mungkin untuk menurunkan waktu komputasi. Yang

pertama adalah untuk melakukan seleksi fitur pertama yang mengurangi dimensi dataset. Dalam hal ini, ansambel GA + SVM berdasarkan

meningkatkan tetap memberikan kinerja yang lebih baik daripada banyak pengklasifikasi lainnya. Yang kedua adalah untuk langsung

membangun SVM ansambel dengan meningkatkan mengambil keuntungan dari awan

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 12/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

peron. Dalam hal ini, tidak ada kebutuhan untuk melakukan seleksi fitur, sementara waktu pelatihan classifier masih bisa sangat

berkurang.

penulis Kontribusi

Disusun dan dirancang percobaan: MWH.

Melakukan percobaan: CWC.

Menganalisis data: CFT.

Menulis kertas: MWH CWCWCL SWK CFT.

Referensi
1. Saunders C., Kanker payudara Jassal S.. Oxford University Press; 2009.

2. Ali A., Khan U., Kimm. Sebuah survei dari model prediksi untuk bertahan hidup kanker payudara. International Con-
ference on Ilmu Interaksi: Teknologi Informasi, Kebudayaan dan Manusia; 2009 November 24 - 26; Seoul, Korea. p. 1259 - 1262.

3. Aruna S., Rajagopalan SP, Nandakishore LV Pengetahuan analisis berdasarkan berbagai alat statistik di
mendeteksi kanker payudara. Konferensi Internasional tentang Ilmu Komputer, Teknik dan Aplikasi; 2011 15 Juli - 17; Chennai, India. p. 37 -
45.

4. Cruz JA, Wishart DS Aplikasi pembelajaran mesin di prediksi kanker dan prognosis. Kanker
Informatika. 2006; 2: 59 - 78.

5. Gayathri BM, Sumathi CP, SanthanamT. diagnosis kanker payudara dengan menggunakan pembelajaran mesin algo-
rithms - survei. International Journal of Sistem Terdistribusi dan Paralel. 2013; 4 (3): 105 - 112.

6. Kharya S. Menggunakan teknik data mining untuk diagnosis dan prognosis dari penyakit kanker. Internasional
Jurnal Ilmu Komputer, Teknik dan Teknologi Informasi. 2012; 2 (2): 55 - 66.

7. Kourou K., Exarchos TP, Exarchos KP, Karamouzis MV, Fotiadis DI aplikasi Machine learning
di prognosis kanker dan prediksi. Komputasi dan Struktural Bioteknologi Journal. 2015; 13: 8 -
17. doi: 10,1016 / j.csbj.2014.11.005 PMID: 25750696

8. Shajahaan SS, Shanthi S., Manochitra V. Penerapan teknik data mining untuk model bisa- payudara
Data cer. International Journal of Emerging Technology dan Advanced Engineering. 2013; 3 (11): 362 -
369.

9. Shrivastava SS, Sant A., Aharwal RP Gambaran pada pendekatan data mining pada data kanker payudara.
International Journal of Advanced Computer Research. 2013; 3 (4): 256 - 262.

10. Abdelaal MMA, Farouq MW, Sena HA, SalemA.-B., M. Menggunakan data mining untuk menilai diagnosis
kanker payudara. Internasional Multiconference pada Ilmu Komputer dan Teknologi Informasi; 2010 17 Mar - 19; Hong Kong, Cina. p. 11 - 17.

11. Ahmad LG, Eshlaghy AT, Poorebrahimi A., Ebrahimi M., Razavi AR Menggunakan tiga mesin pembelajaran
teknik untuk memprediksi kekambuhan kanker payudara. Journal of Health & Medical Informatika. 2013; 4 (2): 124.

12. Huang C.-L., Liao H.-C., ChenM.-C. bangunan Predictionmodel dan seleksi fitur dengan vektor dukungan
mesin di diagnosis kanker payudara. Sistem Pakar dengan Aplikasi. 2008; 34: 578 - 587.

13. Salama GI, AbdelhalimM.B., Perbandingan Eksperimental Zeid MA pengklasifikasi untuk diag- kanker payudara
nosis. Konferensi Internasional Teknik Komputer & Sistem; 2012 Desember 20 - 22; Kairo, Mesir.
p. 180 - 185.

14. Senturk ZK, diagnosis kanker Kara R. Breaast melalui data mining: analisis kinerja tujuh berbeda-
algoritma ent. Ilmu Komputer & Teknik: An International Journal. 2014; 4 (1): 35 - 46.

15. Anda H., Rumbe G. studi komparatif teknik klasifikasi data biopsi kanker payudara FNA.
International Journal of Artificial Intelligence dan Multimedia Interaktif. 2010; 1 (3): 6 - 13.

16. Kittler J., Hatef M., Duin RPW, Matas J. Pada menggabungkan pengklasifikasi. Transaksi IEEE pada Pola Anal-
ysis dan Mesin Intelijen. 1998; 20 (3): 226 - 239.

17. Lavanya D., Rani KU Ensemble classifier pohon keputusan untuk data kanker payudara. International Journal of Teknologi Informasi
Konvergensi dan Jasa. 2012; 2 (1): 17 - 24.

18. Dia H., Garcia EA Belajar dari data tidak seimbang. Transaksi IEEE pada Pengetahuan dan Data Engi-
neering. 2009; 21 (9): 1263 - 1284.

19. Fawcett T. Pengantar analisis ROC. Pola Pengakuan Letters. 2006; 27: 861 - 874.

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 13/14

 SVM dan SVMEnsembles di Prediksi Kanker Payudara

20. Vapnik V. Teori Belajar statistik. JohnWiley; 1998.

21. Byun H., Lee S.-W. Sebuah survei pada aplikasi pengenalan pola mesin dukungan vektor. Interna-
tional Jurnal Pola Pengakuan dan Kecerdasan Buatan. 2003; 17 (3): 459 - 486.

22. Yekkehkhany B., Homayouni ASS, Hasanlou M. Sebuah studi perbandingan fungsi kernel yang berbeda untuk
klasifikasi berbasis SVM multi-temporal yang polarimetry SARDATA. Konferensi Internasional tentang Informasi Geospasial Penelitian; 2014
November 15 - 17; Teheran, Iran. p. 281 - 285.

23. Das SR, Das K., Mishra D., Shaw K., Mishra S. Sebuah empiris studi perbandingan pada kernel berdasarkan dukungan-
pelabuhan mesin vektor untuk klasifikasi ekspresi gen set data. Procedia Teknik. 2012; 38: 1340 - 1345.

24. Buck TAE, Zhang B. SVM kernel optimasi: contoh dalam ragi protein lokalisasi subselular
ramalan. 2006; Sekolah Ilmu Komputer, Universitas Carnegie Mellon.

25. Mezghani DBA, Boujelbene SZ, Ellouze N. Evaluasi kernel SVM dan mesin konvensional
algoritma untuk identifikasi pembicara belajar. International Journal of Hybrid Teknologi Informasi. 2010; 3 (3): 23 - 34.

26. Baten AKMA, Chang BCH, Halgamge SK, Li J. Splice identifikasi situs menggunakan param- probabilistik
eters dan klasifikasi SVM. BMC Bioinformatika. 2006; 7: 1 - 15.

27. Frosyniotis D., Stafylopatis A., Likas A. Sebuah metode membagi-dan-menaklukkan untuk pengklasifikasi multi-net. Pola
Analisis dan Aplikasi. 2003; 6 (1): 32 - 40.

28. Rokach L. Ensemble berbasis pengklasifikasi. Artificial Intelligence Review. 2010; 33: 1 - 39.

29. Wozniak M., Grana M., Corchado E. Sebuah survei dari beberapa sistem classifier sebagai sistem hybrid. INFORMATION
tion Fusion. 2014; 16: 3 - 17.

30. Happel BLM, Murre JMJ Desain dan evolusi arsitektur jaringan saraf modular. saraf
Jaringan. 1994; 7 (6 - 7): 985 - 1004.

31. Breiman L. Bagging prediktor. Pembelajaran mesin. 1996; 24 (2): 123 - 140.

32. KimH.-C., Pang S., Je H.-M., KimD., Bang SY Membangun dukungan mesin vektor ensemble. Menepuk-
Pengakuan tiga barang. 2003; 36 (12): 2757 - 2767.

33. Schapire RE Kekuatan learnabilty lemah. Pembelajaran mesin. 1990; 5 (2): 197 - 227.

34. Freund Y., Schapire RE Percobaan dengan algoritma meningkatkan baru. Konferensi Internasional
Pembelajaran mesin; 1996 Juli 3 - 6; Bari, Italia. p. 148 - 156.

35. Joshi J., Doshi R., Patel J. Diagnosis dan kanker payudara prognosis menggunakan aturan klasifikasi. International Journal of Penelitian
Teknik dan Sains Umum. 2014; 2 (6): 315 - 323.

36. Rong L., Yuan S. Diagnosis tumor payudara menggunakan SVM-KNN classifier. WRI global Kongres pada Intellistudio
Pria Sistem; 2010 Desember 16 - 17; Hubei, Cina. p. 95 - 97.

37. Powers DMW Evaluasi: dari presisi, recall dan f-ukuran untuk ROC, informedness, markedness &
korelasi. Journal of Machine Learning Technologies. 2011; 2 (1): 37 - 63.

38. Kohavi R. Sebuah studi cross-validasi dan bootstrap untuk estimasi akurasi dan pemilihan model. Antar-
Konferensi Bersama nasional Artificial Intelligence; 1995 Agustus 20 - 25; Quebec, Kanada. p. 1137 - 1143.

39. Oh IS, Lee JS, Bulan BR algoritma genetika Hybrid untuk seleksi fitur. Transaksi IEEE pada Pat-
Analisis tiga barang dan Mesin Intelijen. 2004; 26 (11): 1424 - 1437. PMID: 15521491

PLoS ONE | DOI: 10.1371 / journal.pone.0161501 6 Januari 2017 14/14