Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.

com

Lihat diskusi, statistik, dan profil penulis untuk publikasi ini di:https://www.researchgate.net/publication/220577832

Sistem Pembelajaran Berbasis Aturan untuk Support Vector Machines

ArtikeldiSurat Pemrosesan Neural · Agustus 2006

DOI: 10.1007/s11063-006-9007-8 · Sumber: DBLP

KUTIPAN BACA
50 661

3 penulis:

Haydemar Nunez Cecilio Angulo

Universitas Pusat Venezuela Universitat Politècnica de Catalunya

37PUBLIKASI432KUTIPAN 235PUBLIKASI2.382KUTIPAN

LIHAT PROFIL LIHAT PROFIL

Andreu Catala
Universitat Politècnica de Catalunya

135PUBLIKASI2.049KUTIPAN

LIHAT PROFIL

Beberapa penulis publikasi ini juga mengerjakan proyek terkait berikut:

MoMoPa2Lihat proyek

NASIB - Deteksi JatuhLihat proyek

Semua konten yang mengikuti halaman ini diunggah olehAndreu Catalapada tanggal 31 Mei 2014.

Pengguna telah meminta peningkatan file yang diunduh.

Sistem Pembelajaran Berbasis Aturan
untuk Support Vector Machines

Haydemar Núñez
Laboratorium Kecerdasan Buatan, Universitas Pusat Venezuela, Caracas,
Venezuela

Cecilio Angulo (cecilio.angulo@upc.edu )dan Andreu Catala

Kelompok Riset Rekayasa Pengetahuan, Universitas Teknik Catalonia,
Barcelona, Spanyol

Abstrak.Pada artikel ini kami mengusulkan beberapa metode untuk menurunkan interpretasi simbolik data dalam bentuk sistem

pembelajaran berbasis aturan dengan menggunakan Support Vector Machines. Pertama, teknik pembelajaran Radial Basis Function Neural

Networks dieksplorasi, seperti biasa dalam literatur, karena sifat lokal dari paradigma ini membuatnya menjadi platform yang cocok untuk

melakukan ekstraksi aturan. Dengan menggunakan vektor dukungan dari Mesin Vektor Dukungan yang dipelajari, dalam pendekatan kami

dimungkinkan untuk menggunakan teknik pembelajaran Fungsi Basis Radial standar apa pun untuk ekstraksi aturan, sambil menghindari

masalah tumpang tindih antar kelas. Kami akan menunjukkan bahwa menggabungkan pusat simpul dan aturan penjelasan vektor pendukung

dapat diperoleh dalam bentuk ellipsoid dan hiper-persegi panjang. Selanjutnya, dalam bentuk ganda, mengikuti kerangka kerja yang

dikembangkan untuk RBFNN, kami membuat algoritme untuk Mesin Vektor Dukungan. Mengambil SVM sebagai paradigma utama, geometri

di ruang input didefinisikan dari kombinasi vektor pendukung dan vektor prototipe yang diperoleh dari algoritma pengelompokan apa pun.

Terakhir, keacakan yang terkait dengan algoritme pengelompokan atau pembelajaran RBF dihindari dengan hanya menggunakan Support

Vector Machine yang dipelajari untuk menentukan geometri wilayah yang dipelajari. Hasil yang diperoleh dari sejumlah percobaan pada tolok

ukur di berbagai domain juga diberikan, yang mengarah pada kesimpulan tentang kelayakan proposal kami. keacakan yang terkait dengan

algoritma pengelompokan atau pembelajaran RBF dihindari dengan hanya menggunakan Support Vector Machine yang dipelajari untuk

menentukan geometri wilayah yang dipelajari. Hasil yang diperoleh dari sejumlah percobaan pada tolok ukur di berbagai domain juga

diberikan, yang mengarah pada kesimpulan tentang kelayakan proposal kami. keacakan yang terkait dengan algoritma pengelompokan atau

pembelajaran RBF dihindari dengan hanya menggunakan Support Vector Machine yang dipelajari untuk menentukan geometri wilayah yang

dipelajari. Hasil yang diperoleh dari sejumlah percobaan pada tolok ukur di berbagai domain juga diberikan, yang mengarah pada kesimpulan

tentang kelayakan proposal kami.

Kata kunci:Sistem Pembelajaran Berbasis Aturan, Support Vector Machine, Jaringan

Neural RBF, Ekstraksi Aturan

Singkatan:RBF – Fungsi Basis Radial; RBFNN – Jaringan Saraf Fungsi Basis Radial;
SVM – Mendukung Mesin Vektor

1. Perkenalan

Ketika Jaringan Saraf Tiruan dan paradigma koneksionis umum digunakan

untuk membangun pengklasifikasi, model kotak hitam menghasilkan
kelemahan yang signifikan untuk sistem pembelajaran meskipun kinerja yang
diperoleh memuaskan bagi pengguna. Dengan tujuan membuat sistem
klasifikasi yang dihasilkan dapat ditafsirkan, dalam 15 tahun terakhir metode
ekstraksi aturan untuk jaringan saraf terlatih telah dikembangkan (AndrewsAl., et
Al.,
1995; Craven dan Shavlik, 1997; Mitra et al., 2002; Seitono et 2002; Zhou et al.,
2003). Dalam kasus Radial Basis Function Neural

©
c 2005Penerbit Akademik Kluwer. Dicetak di Belanda.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.1

2 H. Núñez, C. Angulo dan A. Català

Networks, RBFNN, (Kecman, 2001; Moody and Darken, 1989), algoritma

ekstraksi aturan yang diusulkan biasanya memberlakukan batasan selama fase
pelatihan, untuk menghindari tumpang tindih antara kelas atau kategori dan
dengan demikian untuk memfasilitasi proses ekstraksi pengetahuan (Fu dan
Wang, 2001; Huber dan Berthold, 1995; McGarry et al., 2001).
Juga, telah dibuktikan dalam dekade terakhir bahwa Support Vector
Machines, SVM (Cortes dan Vapnik, 1995; Cristianini dan Shawe-Taylor,
2000; Kecman, 2001), yang diturunkan dari teori pembelajaran statistik
oleh VN Vapnik (Vapnik, 1998), memiliki kualitas klasifikasi dan
aproksimasi yang sangat baik pada semua jenis masalah. Namun,
seperti kasus jaringan syaraf tiruan, model yang dihasilkan oleh mesin
ini sulit dipahami dari sudut pandang pengguna.
Baru-baru ini telah diperdebatkan bahwa dalam penelitian ekstraksi aturan
dari jaringan saraf, terdapat dilema ketepatan-keakuratan, oleh karena itu
harus dibedakan antara ekstraksi aturan menggunakan jaringan saraf dan
ekstraksi aturan untuk jaringan saraf (Zhou, 2004). Masalah utama tentang
pekerjaan ini adalah bagaimana menerjemahkan pengetahuan yang diperoleh
untuk RBFNN atau SVM yang dipelajari ke deskripsi dalam bahasa representasi
baru. Model baru harus secara fungsional setara dengan mesin yang dipelajari
yang diturunkan, sehingga keluaran yang sama diperoleh.
Interpretabilitas menggunakan geometri pengklasifikasi SVM yang
dipelajari dalam bentuk sistem pembelajaran berbasis aturan adalah tujuan
kami. Oleh karena itu, pada bagian pertama, seseorang dapat memulai
prosedur aturan ekstraksi dengan menentukan pusat RBFNN dan
menggunakan vektor pendukung sebagai pembatas kelas, sehingga
memperoleh metode ekstraksi aturan baru dari RBFNN. Pendekatan awal
RBFNN ini, yang umum dalam literatur, menghasilkan deskripsi dalam bentuk
aturan ellipsoid. Selanjutnya, interpretasi aturan difasilitasi melalui turunan
kedua dalam bentuk aturan hiper-persegi panjang, yang bahkan lebih dapat
diterima oleh pengguna. Penggunaan pengetahuan yang efisien terkait
dengan vektor pendukung untuk geometri ruang input memungkinkan
metode ini untuk menyelesaikan tumpang tindih antar kelas, dan tidak
memberlakukan batasan pada arsitektur jaringan,
Selanjutnya, dalam bentuk ganda, dimulai dengan vektor dukungan yang
dipilih dari SVM terlatih dan vektor prototipe yang dihasilkan oleh algoritme
pengelompokan apa pun atau bahkan oleh RBFNN, prosedur ekstraksi aturan
untuk SVM diusulkan. Metode ini dilakukan secara independen dari
hyperparameter dan pemilihan kernel di SVM, dan dari algoritma
pengelompokan yang diimplementasikan. Metode ekstraksi aturan hanya
mengandalkan geometri di ruang input yang diadopsi dari fungsi
pembelajaran. Seperti yang sebelumnya, ia menghasilkan deskripsi dalam
bentuk aturan ellipsoid dan hyper-rectangle.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.2

 Sistem Pembelajaran Berbasis Aturan untuk SVM 3

Variabilitas yang tinggi dalam hasil diharapkan, dan juga diamati pada beberapa
kumpulan data, karena diketahui bahwa kinerja algoritma pengelompokan
bervariasi dengan perubahan kondisi awal. Sebagai ekstensi terakhir, algoritme
dimodifikasi untuk penggunaan eksklusif informasi yang disediakan oleh SVM,
sehingga variabilitas dihilangkan dan kami menunjukkan bahwa mungkin untuk
mengelompokkan data dari SVM yang dipelajari. Akhirnya, kami menyajikan
beberapa kata penutup dan mendiskusikan pekerjaan masa depan.

2. Interpretasi RBFNN dengan vektor pendukung

Ruang hipotesis yang ditanamkan oleh mesin pembelajaran ini didasari

oleh fungsi dalam bentuk,
∑m
f(x,w,v) = wkφk(x,ayk) +w0 (1)
saya=1

Fungsi aktivasi nonlinierφkmengungkapkan kesamaan antara setiap

pola masukanxdan pusataykmelalui pengukuran jarak. Setiap fungsi
φkmendefinisikan suatu wilayah di ruang input, bidang reseptif, di
mana node menghasilkan nilai aktivasi yang cukup besar. Dalam
kasus umum, ketika fungsi Gaussian digunakan, pusataykdari fungsi
φkmendefinisikan prototipe cluster inputkdan varians σk
menentukan ukuran wilayah tertutup di ruang input.
Sejumlah metode ekstraksi aturan yang diarahkan ke RBFNN telah
dikembangkan (Fu dan Wang, 2001; Huber dan Berthold, 1995; McGarry et
al., 2001) karena sifat lokal jaringan saraf RBF menjadikannya platform
yang menarik untuk melakukan ekstraksi aturan . Namun, fungsi basis
tumpang tindih sampai taraf tertentu untuk memberikan representasi
distribusi data pelatihan yang relatif lancar (Kecman, 2001; Moody dan
Darken, 1989), yang merupakan kelemahan utama untuk ekstraksi aturan.
Untuk menghindari tumpang tindih, sebagian besar metode dalam
literatur menggunakan rezim pelatihan khusus atau arsitektur khusus
untuk menjamin bahwa node RBF ditetapkan dan digunakan oleh satu
kelas.
Solusi yang disediakan oleh Support Vector Machine untuk tugas
klasifikasi adalah penjumlahan dari fungsi kernel,k(·, ·), dibangun atas
dasar himpunansvdukungan vektor,xsaya,
( sv )
∑
fsebuah(x) =tanda αsayaysayak(x,xsaya) +b (2)
saya=1

Vektor pendukung adalah pola pelatihan yang paling dekat dengan batas pemisahan
antar kelas atau merupakan data yang salah klasifikasi; dalam hal apapun, mereka

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.3

4 H. Núñez, C. Angulo dan A. Català

sampel paling informatif untuk tugas klasifikasi. Selain itu, sudah

diakui di Schölkopf (2000) bahwa SVM hanya bergantung pada jarak
di Reproducing Kernel Hilbert Space.
Oleh karena itu, ketika kernel Gaussian atau derajat polinomial satu
atau dua kernel digunakan, ruang input diberkahi dengan struktur
geometris tertentu sesuai dengan kernel yang dipilih. Struktur ini,
berdasarkan jarak standar, dapat digabungkan dengan yang melekat
pada pusat node dan RBF dipilih, biasanya fungsi Gaussian.

2.1.Metodologi ekstraksi aturan

Pusat simpul yang dihasilkan oleh RBFNN terletak di zona yang mewakili 'pusat
massa' untuk pola yang terkait dengan pusat ini, sedangkan vektor pendukung
terletak di perbatasan geometris kelas. Oleh karena itu, dengan membatasi zona
pengaruh yang terkait dengan pusat simpul RBF dengan vektor pendukung di dekat
perbatasan, kami akan menunjukkan bahwa mungkin untuk membangun daerah di
ruang input, yang nantinya akan diterjemahkan ke aturan jika-maka. Daerah ini
awalnya akan didefinisikan sebagai ellipsoid, yaitu, kami akan menghasilkan aturan
yang antesedennya adalah persamaan matematika dari ellipsoid. Untuk
meningkatkan kekuatan penjelas dari aturan yang dihasilkan untuk pengguna,
hiper-persegi panjang akan ditentukan dari ellipsoid paralel ke sumbu di fase
selanjutnya. Mereka akan menghasilkan aturan yang premisnya adalah sekumpulan
batasan pada nilai setiap variabel (Gambar 1).
Dua fitur utama akan dipertimbangkan untuk mengevaluasi kinerja tugas
ekstraksi aturan dalam bentuk ellipsoid: (i) ellipsoid harus menyesuaikan
dengan bentuk batas keputusan yang ditentukan oleh SVM, memperlihatkan
tumpang tindih antar kelas yang serendah mungkin ; (ii) ellipsoid harus sebesar
mungkin untuk mencakup banyak data yang menghasilkan sejumlah kecil
aturan.
Dalam proposal kami, metode ekstraksi aturan tidak melibatkan
algoritme pelatihan RBFNN khusus atau arsitektur khusus; itu mengekstrak
aturan dari RBFNN yang biasanya dipelajari. Untuk mengatasi masalah
tumpang tindih antar aturan, SVM digunakan sebagai pemilih pola
perbatasan. Berikut ini, kami menjelaskan algoritme yang diusulkan
(Algoritma 1) untuk menurunkan seperangkat aturan dari RBFNN terlatih.
Awalnya, partisi ruang input dibuat dengan menetapkan setiap pola
input ke pusat terdekatnya, sebuah simpul RBF, menurut jarak
Euclidean. Perlu dicatat bahwa ketika sebuah pola ditugaskan ke pusat
terdekatnya, itu akan ditugaskan ke simpul RBF yang akan memberikan
nilai aktivasi maksimum untuk pola itu, tanpa mempertimbangkan
kelas yang berlaku untuk simpul ini.
Selanjutnya, label kelas diberikan untuk setiap pusat unit RBF. Nilai
keluaran dari jaringan RBF untuk setiap pusat digunakan untuk

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.4

 Sistem Pembelajaran Berbasis Aturan untuk SVM 5

SVM
Dukungan t ATURAN
EKSTRAKSI
vektor MODUL

Aturan:

JIKA AX12 + BX22 + CX1X2+ DX1+

RBFNN MANTAN2+ F≤G

KEMUDIAN KELAS

Pelatihan
JIKA X1∈ [a,b] ∧X2∈ [CD]
Data KEMUDIAN KELAS

PENGGUNA

ANTARMUKA

Gambar 1.Metode ekstraksi aturan dari RBFNN dan vektor pendukung.

Aturan = Ekstraksi Aturan{Pelajari RBFNN, Set pelatihan}

latih SVM dengan Set pelatihan yang tersedia
tetapkan pola ke node RBF terdekat tetapkan
kelas ke node RBF menggunakan RBFNN untuk
setiap simpul RBF

untuksetiap node RBF dengan pola memiliki kelas yang sama

Wilayah = Bangun Wilayah{simpul RBF, Pola} akhir

untuk
untukkelas lain di partisi
tentukan titik tengah data di kelas Region =
Build Region{Titik tengah, Pola}
akhir untuk

akhir untuk

menerjemahkan setiap Wilayah ke Aturan

Ekstraksi Aturan akhir

Algoritma 1.Algoritme umum untuk ekstraksi aturan dari RBFNN dan vektor
pendukung.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.5

6 H. Núñez, C. Angulo dan A. Català

menentukan label kelas ini. Kemudian, dengan data yang memiliki

kelas yang sama dengan node di partisi, sebuah ellipsoid dibuat untuk
setiap node. Namun demikian, menurut konstruksi yang diusulkan,
data milik kelas lain dapat hadir di partisi unit RBF. Untuk membagi
data ini, kami menentukan titik tengah setiap kelas di wilayah tersebut.
Setiap rata-rata digunakan sebagai pusat kelasnya untuk membuat
ellipsoid baru dengan data terkait. Setelah ellipsoid ditentukan, mereka
dipindahkan ke aturan.
Ellipsoid menunjukkan tumpang tindih yang rendah antara kelas dan
mencakup data untuk menghasilkan sejumlah kecil aturan masih
merupakan fitur utama yang harus diselesaikan untuk prosedur ekstraksi
aturan. Untuk mendapatkan ellipsoid dengan karakteristik ini, vektor
pendukung digunakan untuk menentukan sumbu dan simpul: pertama,
simpul RBF atau titik tengah (prototipe) kelas akan digunakan sebagai
pusat ellipsoid. Selanjutnya, vektor dukungan dari kelas yang sama dengan
kedua nilai pengali Lagrangeαlebih kecil dariCparameter dan jarak
maksimum ke prototipe atau node dipilih. Garis lurus yang ditentukan oleh
dua titik ini menentukan sumbu pertama ellipsoid. Sumbu lainnya dan
simpul terkait ditentukan oleh geometri. Untuk membuat hyper-rectangles,
prosedur serupa diikuti. Satu-satunya perbedaan adalah bahwa garis
sejajar dengan sumbu digunakan untuk menentukan sumbu ellipsoid
terkait.
Prosedur ini akan menghasilkan beberapa aturan oleh setiap node, aturan
sebanyak jumlah kelas yang disertakan dalam partisi. Pada Gambar 2 kami
menunjukkan dua contoh dengan aturan tipe ellipsoid dan hyper-rectangle,
yang dihasilkan oleh algoritma aturan ekstraksi dari RBFNN terlatih pada data
buatan di pesawat.

2.2.Menyempurnakan basis aturan

Untuk menghilangkan atau mengurangi tumpang tindih yang mungkin ada

antara ellipsoid dari kelas yang berbeda, tes tumpang tindih diterapkan. Tes
tumpang tindih memeriksa ketika vektor dukungan dari kelas lain ada di dalam
ellipsoid. Karena vektor pendukung adalah titik yang paling dekat dengan
batas keputusan, keberadaannya dalam ellipsoid dari kelas yang berbeda
merupakan indikator tumpang tindih yang andal. Ketika tes tumpang tindih
positif, ellipsoid dibagi.
Prosedur ini akan memungkinkan aturan dasar bo te disempurnakan
untuk mengurangi tumpang tindih antar kelas. Saat ellipsoid dibagi, aturan
yang lebih spesifik dihasilkan untuk mengecualikan data dari kelas lain.
Algoritma 2 dapat dieksekusi dalam bentuk iteratif; tergantung pada
jumlah iterasi, dua atau lebih partisi dengan ellipsoid dapat dibuat

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.6

 Sistem Pembelajaran Berbasis Aturan untuk SVM 7

(sebuah) (b)

Pusat RBF Dukungan vektor

Gambar 2.Dua contoh (a) ellipsoid dan (b) hiper-persegi panjang dihasilkan
oleh metode ekstraksi aturan dari RBFNN terlatih pada data buatan di
pesawat.

diperoleh. Pengguna dapat menetapkan jumlah iterasi maksimum, sehingga

mengontrol jumlah aturan yang dihasilkan untuk setiap node RBF.
Menurut aturan yang diekstraksi, sistem yang dihasilkan mengklasifikasikan
contoh dengan menugaskannya ke kelas aturan terdekat di basis
pengetahuan, mengikuti filosofi tetangga terdekat, dengan menggunakan
jarak Euclidian. Jika sebuah contoh dicakup oleh beberapa aturan, kami
memilih kelas ellipsoid atau hyper-rectangle paling spesifik yang berisi contoh
tersebut; yaitu yang memiliki volume terkecil (Gambar 3).

3. Interpretasi SVM dengan vektor prototipe

Dari perspektif geometris, vektor pendukung adalah sampel yang

paling informatif untuk tugas klasifikasi, terletak di garis depan
antar kelas. Di sisi lain, vektor prototipe yang mewakili kelas bisa

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.7

8 H. Núñez, C. Angulo dan A. Català

Aturan Wilayah = Partisi Wilayah{Wilayah}

Kondisi(1) = Tes Tumpang Tindih{Wilayah}
Data = Data Wilayah; Jumlah Daerah = 2
ketikaKondisi apa pun (i) == Iterasi Benar & Angka<= Iterasi Maks

{Prototipe, Partisi}=Tentukan Prototipe{Data, Jumlah Wilayah} untuk

i=1:Jumlah Daerah
Wilayah(i) = Bangun Wilayah{Prototipe(i), Partisi(i)}
Kondisi(i) = Tes Tumpang Tindih{Wilayah(i)}
akhir untuk

Jumlah Daerah Baru = 1 Data

Baru = himpunan kosong
untuki=1:Jumlah Daerah
jikaKondisi(i) == Salah|Jumlah Iterasi == Max Iterasi
Aturan Wilayah = Wilayah(i) kalau

tidak

Jumlah Region Baru = Jumlah Region Baru + 1 Data Baru =

Data Baru + Partisi(i)
berakhir jika

akhir untuk

Data = Data Baru; Jumlah Daerah = Jumlah Daerah Baru

berakhir sementara

akhir Partisi Wilayah

Algoritma 2.Prosedur penyempurnaan basis aturan untuk mengurangi

tumpang tindih antar kelas.

dihasilkan oleh algoritme pengelompokan apa pun, dan RBFNN tidak lagi
diperlukan untuk mengekstrak aturan. Dengan demikian, prosedur ekstraksi
aturan dapat diturunkan - sebagai dua dari yang disajikan sebelumnya (Núñez
et al., 2002) -: pertama SVM dipelajari pada set pelatihan, selanjutnya algoritma
pengelompokan menentukan vektor prototipe untuk kelas, dan akhirnya
daerah ellipsoid (hyper-rectangles) dibangun untuk diterjemahkan ke dalam
aturan jika-maka (Gambar 4). Perbedaan utama metodologi ini dari ekstraksi
aturan berbasis RBFNN adalah:

− Saat tugas klasifikasi dilakukan: sebelumnya, pusat simpul RBF

ditentukan tanpa pengetahuan tentang klasifikasi pola; sekarang
pengelompokan berfungsi untuk setiap kelas yang terpisah.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.8

 Sistem Pembelajaran Berbasis Aturan untuk SVM 9

Pusat dan SV RBF awal Iterasi pertama

Iterasi kedua Iterasi ketiga

Gambar 3.Hiper - persegi panjang ge nerat ed dengan melamar Algoritma 2 untuk menyempurnakan

dasar aturan.

− Aturan yang diekstraksi dari bi-classifier SVM hanya mencakup satu

kelas, sisanya adalah ruang yang ditugaskan ke kelas lain.

Jumlah region yang diperlukan untuk mendeskripsikan model

SVM akan bergantung pada bentuk limit keputusan. Biasanya hanya
satu ellipsoid yang tidak cukup untuk mendeskripsikan data.
Kemudian, basis aturan ditentukan dengan prosedur iteratif yang
dimulai dengan konstruksi ellipsoid umum, yang dibagi menjadi
ellipsoid yang menyesuaikan secara progresif dengan bentuk
keputusan permukaan yang ditentukan oleh SVM (Algoritma 3).
Untuk menentukan saat yang tepat untuk membagi sebuah
ellipsoid, dilakukan tes partisi. Ketika hasil tes positif untuk satu
ellipsoid, itu akan dibagi. Tes partisi dianggap positif jika prototipe
yang dihasilkan milik kelas lain, jika salah satu simpul milik kelas lain
atau jika vektor dukungan dari kelas lain keluar di wilayah tersebut.

Kemudian, untuk menentukan jumlah aturan per kelas, algoritme

berjalan sebagai berikut: dimulai dengan satu prototipe, ellipsoid
terkait dihasilkan. Selanjutnya, uji partisi diterapkan di wilayah ini. Jika
negatif, wilayah diterjemahkan menjadi aturan. Jika tidak, daerah baru
dihasilkan. Dalam bentuk ini, setiap iterasi menghasilkanmdaerah
dengan tes partisi positif danpdaerah dengan tes partisi negatif. Itu

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.9

10 H. Núñez, C. Angulo dan A. Català

Aturan = Pembuatan Aturan{SVM yang dipelajari, Set pelatihan}

Jumlah Daerah = 1
untuksetiap kelas

Data = Kelas Data

{Prototipe(0), Partisi(0)}= ... Tentukan Prototipe{Data,
Jumlah Wilayah} Wilayah(0) = Bangun Wilayah{
Prototipe(0), Partisi(0)} Kondisi(1) = Uji Partisi{Wilayah(0)}
Jumlah Daerah = 2

ketikaKondisi apa pun (i) == Iterasi Benar & Angka<= Iterasi Maks
{Prototipe(i), Partisi(i)}= ...
Tentukan Prototipe{Data, Jumlah Wilayah} Wilayah(i) =
Bangun Wilayah{Prototipe(i), Partisi(i)} Kondisi(i) = Uji
Partisi{Wilayah(i)}
Jumlah Daerah Baru = 1 Data
Baru = himpunan kosong
untuki=1:Jumlah Daerah
jikaKondisi(i) == Salah|Jumlah Iterasi == Max Iterasi
Aturan Wilayah = Wilayah(i) kalau

tidak

Jumlah Region Baru = Jumlah Region Baru + 1 Data Baru =

Data Baru + Partisi(i)
berakhir jika

akhir untuk

Data = Data Baru; Jumlah Daerah = Jumlah Daerah Baru

berakhir sementara

akhir untuk

menerjemahkan setiap Wilayah ke Aturan

akhir Pembuatan Aturan

Algoritma 3.Prosedur berulang untuk mengekstraksi basis aturan dari SVM yang dipelajari
dengan vektor prototipe.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.10

 Sistem Pembelajaran Berbasis Aturan untuk SVM 11

Dukungan vektor
mesin

Mendukung αparameter SVM Baru

fungsi model

Elipsoid
Aturan persamaan
Kekelompokan
EKSTRAKSI
Prototipe
ATURAN
algoritma
METODE
Hyper-persegi panjang

Aturan interval

Data

Gambar 4.Metode ekstraksi aturan dari SVM dan vektor prototipe.

fungsi SVM Iterasi pertama fungsi SVM Iterasi pertama

Iterasi kedua Iterasi ketiga pada Iterasi kedua Iterasi ketiga

(sebuah) (b)

Gambar 5.Daerah ge nerasi di t he pesawat oleh metode ekstraksi aturan, di

bentuk (a) ellipsoid s, atau (b) hy per-persegi panjang.

n iterasi berikutnya, m+ tanggal sebuah darim

yang terakhir diterjemahkan ke aturan. Saya
daerah digunakan untuk menentukan 1 prototipe baru akan es dan t o menghasilkan
m+1 baru ellip soid. Ini proses runtuh setelah al ber l partisi pada tes adalah
negatif o r itu maksimum nomoriterasi dibuat ulang sakit. Proses
dengan demikian memungkinkan jumlah aturan yang akan dikendalikan . Gambar 5
gen menunjukkan contoh daerah ge dibuat untuk setiap iterasi.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.11

12 H. Núñez, C. Angulo dan A. Català

4. Mengatasi keacakan algoritma clustering

Meskipun ketergantungan hasil pengelompokan akhir pada cara acak di

mana prototipe dipilih sudah diketahui dengan baik (Duda et al., 2001),
perilaku ini sama sekali tidak diinginkan. Cara mengatasi keacakan ini
dalam solusi adalah area penelitian terbuka. Kami mengusulkan kerangka
kerja baru untuk mengatasi masalah ini dengan hanya menggunakan
paradigma SVM yang merupakan alternatif.
Untuk menghilangkan sensitivitas metode ekstraksi aturan terhadap
kondisi awal pengelompokan, kami mengusulkan penentuan pusat awal
untuk algoritma pengelompokan dari vektor pendukung (Núñez et al.,
2003). Karena solusi SVM ditentukan secara univokal untuk parameter-
hiper tetap, hanya satu basis aturan akhir yang mungkin. Jadi, jikam adalah
jumlah prototipe yang diperlukan untuk iterasi, makamkondisi awal untuk
prosedur k-means ditentukan dalam bentuk berikut: untuk setiap kelas,

1. Pilihmmendukung vektor dengan label kelas yang sama, sesuai dengan

beberapa kriteria yang ditentukan.

2. Tetapkan contoh ke vektor dukungan terdekat menurut jarak

Euclidean.

3. Setelah partisi awal ditetapkan, rata-rata semua instance di

setiap partisi dihitung.

4. Titik-titik tersebut merupakan kondisi awal dari algoritma clustering.

Untuk menyelesaikan langkah pertama dalam algoritma yang diusulkan,

tiga kriteria, yang disebut skema partisi, digunakan untuk memilih vektor
pendukung:

− Skema partisi 1: pilih vektor dengan perbedaan rata-rata

terkecil sehubungan dengan data (Kaufmand dan Rousseeuw,
1990).

− Skema partisi 2: pilih vektor dukungan yang paling dekat satu sama
lain.

− Skema partisi 3: atur vektor pendukung dalam urutan menurun

sesuai denganαparameter (pengganda Lagrange) dan pilih yang
pertamamvektor. Nilai yang lebih tinggi akan menunjukkan pola
yang lebih informatif (Guyon et al., 1996).
Dalam semua kasus, jika diperlukan lebih banyak prototipe daripada vektor
dukungan yang tersedia, perakitan partisi awal diselesaikan menggunakan
titik-titik dengan perbedaan rata-rata terkecil sehubungan dengan data.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.12

 Sistem Pembelajaran Berbasis Aturan untuk SVM 13
Tabel I. Basis data dan karakteristiknya

Atribut Data Basis Data ID Jenis Kelas

1 Iris 150 4 nyata 3

2 Wisconsin 699 9 simbolis 2
3 Anggur 178 13 nyata 3
4 Kedelai 47 35 bilangan bulat 4
5 New-Thyroid 215 5 nyata 3
6 Australia 690 14 nyata & simbolis 2
7 Spek 267 23 biner 2
8 Biksu1 432 6 simbolis 2
9 Biksu2 432 6 simbolis 2
10 Biksu3 432 6 simbolis 2
11 Kebun binatang 101 16 simbolis 7
12 Jantung 270 13 nyata, simbolis & biner 2

5. Eksperimen

Untuk mengevaluasi kinerja algoritma ekstraksi aturan dalam artikel ini,

kami melakukan beberapa percobaan pada basis data yang diperoleh dari
repositori UCI (Blake dan Merz, 1998). Tabel I menunjukkan karakteristik
basis data yang digunakan dalam percobaan. SVM diimplementasikan
dengan menggunakan perangkat lunak “OSU Support Vector Machines
Toolbox v3.00” (Ma dan Zhao, 2004). Untuk memvalidasi hipotesis tentang
independensi metode ekstraksi aturan sehubungan dengan teknik
pelatihan RBFNN yang digunakan, dua prosedur pelatihan yang berbeda
digunakan: perangkat lunak Netlab (Nabney dan Bishop, 2002), yang
menggunakan algoritma EM untuk menentukan RBF pusat, dan perangkat
lunak Orr (Orr, 1999), yang menggunakan seleksi maju.
Dalam komunitas ekstraksi aturan, kerangka kerja FACC (kesetiaan, akurasi,
konsistensi, dan kelengkapan) (Andrews et al., 1995) biasanya digunakan untuk
mengevaluasi aturan yang diekstraksi. Konsistensi belum dievaluasi dalam
pekerjaan ini karena pendekatan yang disajikan pada langkah terakhirnya
menghilangkan segala jenis keacakan dalam algoritme dan ada konsistensi
total, sehingga aturan yang diekstraksi di bawah sesi pelatihan yang berbeda
akan menghasilkan klasifikasi contoh uji yang sama. Sebaliknya, telah diukur
tumpang tindih antara aturan, menunjukkan kekhususan aturan, dan cakupan,
mengukur generalisasi yang diperoleh dengan aturan yang diekstraksi. Dilema
ketepatan-kesetiaan (Zhou, 2004) belum dipertimbangkan dan kedua ukuran
tersebut disajikan untuk mengevaluasi aturan

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.13

14 H. Núñez, C. Angulo dan A. Català

Tabel II. Nilai kinerja untuk beberapa basis data ketika wilayah ellipsoid
digunakan (dengan algoritma EM).

PENGENAL RBF RBF aturan ellipsoid

basis data Node % Kesalahan % Ac CV Ov NR

1 4.5 4.0 3,3 96,67 64,67 0,00 6,8

2 2.2 2.9 3,2 98,24 91,21 1,76 5,7
3 3.0 1.1 3,8 97,78 66,43 2,75 9,7
4 5.4 2.0 2.0 96.00 17.00 0,00 6.9
5 9.3 6.5 6.0 94,91 80,99 2.29 16.3
10 6.0 4.8 6.0 95,14 63,19 0,93 14.0

basis. Oleh karena itu, kinerja aturan yang dihasilkan diukur dengan
langkah-langkah berikut:

− Akurasi (Ac): Persentase kesalahan klasifikasi yang diberikan oleh aturan

pada set pengujian.

− Fidelity (Fd): Persentase set pengujian yang disetujui oleh SVM dan
keluaran basis aturan.

− Cakupan (Cv): Persentase set pengujian yang dicakup oleh basis aturan.

− Tumpang Tindih (Ov): Persentase set pengujian yang dicakup oleh beberapa
aturan.

− Comprehensibility diukur sebagai jumlah aturan yang diekstraksi (NR).

Tabel II, III, IV, dan V menunjukkan akurasi jaringan RBF dan nilai kinerja basis
aturan yang diekstraksi yang diperoleh saat menginterpretasikan RBFNN dengan
vektor pendukung. Hasilnya diperoleh dengan rata-rata 10 run over stratifikasi
sepuluh kali lipat validasi silang ketika set pengujian tidak disediakan. Kami dapat
mengamati kesepakatan yang tinggi antara hasil yang diperoleh dari basis aturan
dan yang diperoleh dari jaringan RBF. Selanjutnya, karena metode Orr
menggunakan lebih banyak unit tersembunyi untuk memperoleh kinerja yang lebih
baik, metode ini menghasilkan jumlah aturan yang lebih banyak.
Saat menafsirkan SVM dengan vektor prototipe, Tabel VI dan VII
menunjukkan kesalahan prediksi SVM dan nilai kinerja basis aturan
yang diekstraksi untuk setiap masalah ketika persamaan ellipsoid dan
hiperrectangle digunakan. Hasil diperoleh dengan rata-rata validasi
silang sepuluh kali lipat bertingkat, ketika perangkat tes tidak tersedia.
Prototipe ditentukan dengan menggunakan k-means clustering
algoritma (Cherkassky dan Mulier, 1998). Titik utama untuk menjadi

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.14

 Sistem Pembelajaran Berbasis Aturan untuk SVM 15

Tabel III. Nilai performa untuk beberapa basis data saat wilayah hiper-persegi
panjang yang mudah digunakan digunakan (dengan algoritme EM).

PENGENAL RBF RBF Aturan interval

basis data Node % Salah % Salah CV Ov NR

1 4.5 4.0 4.0 97,33 70,67 0,00 6.5

2 2.2 2.9 4.1 96,78 95,01 2.93 14.5
3 3.0 1.1 4.6 95,38 81,30 7,32 10,7
4 5.4 2.0 6.0 91,50 62,50 4,00 10.2
5 9.3 6.5 5.6 94,44 79,07 6.06 16.5
10 6.0 4.8 2.7 97,91 100,0 0,00 11.0

Tabel IV. Nilai kinerja untuk beberapa basis data ketika wilayah ellipsoid
digunakan (dengan algoritma Orr).

PENGENAL RBF RBF aturan ellipsoid

basis data Node % Salah % Salah CV Ov NR

1 5.1 3.3 2.7 96,67 72,00 0,00 9.2

2 21.5 3.4 3.5 97,22 83,41 0,43 26.4
3 15.2 3.9 3.9 93,26 63,20 0,62 38.1
4 12.4 0,0 4.0 96,00 30,00 0,00 14,7
5 29.32 6.2 6.4 88,87 61,41 0,45 33,0
10 12.0 5.0 6.9 90,97 63,19 3,93 23,0

Tabel V. Nilai kinerja untuk beberapa basis data saat wilayah hiper-persegi panjang
yang mudah digunakan digunakan (dengan algoritma Orr).

PENGENAL RBF RBF Aturan interval

basis data Node % Salah % Salah CV Ov NR

1 5.1 3.3 3.3 94,67 74,67 0,00 8,9

2 21.5 3.4 4.9 96,19 95,31 3,95 28,2
3 15.2 3.9 6.2 93,30 85,38 7,26 86,2
4 12.4 0,0 8.5 91,50 91,00 30,50 19.6
5 29.32 6.2 5.4 88,87 72,23 0,90 33.0
10 12.0 5.0 6.4 92,36 100,0 57,40 33,0

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.15

16 H. Núñez, C. Angulo dan A. Català

Tabel VI. Nilai kinerja diperoleh untuk setiap basis data saat
wilayah ellipsoid digunakan.

PENGENAL SVM aturan ellipsoid

basis data % Salah % Salah CV Ov NR

1 3.3 4.0 98.00 72.00 0.67 7.0

2 3.1 3.4 98,52 89,15 0,30 4.0
3 2.2 1.7 98,30 67,49 0,55 5.9
4 0,0 0,0 100,0 33,00 0,00 6.3
5 3.2 3.2 97,21 80,07 0,00 7.1
6 12.7 13,3 93,60 65,70 2,86 18,4
7 10.2 11,7 96,26 21,39 0,53 14.0
8 5.1 9,1 85,18 33,56 0,00 24.0
9 17.8 21,1 76,38 32,87 0,46 60.0
10 2.3 3.4 97,45 27,55 0,00 7.0
11 4.5 4.5 99.09 31,45 0,74 9.8
12 15.9 13,7 97,04 56,67 0,74 4.5

ditekankan adalah kesetiaan yang sangat tinggi antara basis aturan dan SVM awal yang
dipelajari dengan tingkat tumpang tindih yang rendah. Nilai-nilai ini menunjukkan bahwa
model basis aturan yang dihasilkan menangkap sebagian besar informasi yang
disematkan dalam SVM, dan secara fungsional setara dengan SVM yang dipelajari.

Seperti yang diharapkan, selama proses percobaan diamati bahwa

kualitas solusi tergantung pada nilai awal untuk pusat; pemilihan
vektor prototipe oleh algoritma pengelompokan secara langsung
mempengaruhi jumlah dan kualitas aturan yang diekstraksi. Oleh
karena itu, perlu menerapkan algoritma k-means beberapa kali,
dimulai dengan kondisi awal yang berbeda, untuk memilih solusi
validasi silang terbaik di antara semuanya.
Skema partisi yang diperkenalkan di Bagian 4 untuk mengatasi keacakan
algoritma pengelompokan dievaluasi pada SVM terlatih pada basis data
repositori UCI. Tabel VIII dan IX menunjukkan hasil yang diperoleh dengan
menggunakan skema partisi 3, yang memiliki kinerja lebih baik pada
benchmark untuk aturan persamaan tipe ellipsoid dan interval. Dapat diamati
bahwa hasilnya sebanding dengan yang diperoleh dengan menggunakan k-
means, dengan peningkatan bahwa algoritma pengelompokan campuran SVM
- k-means diterapkan hanya sekali. Dengan demikian, telah dibuktikan bahwa
adalah mungkin untuk mendapatkan basis aturan yang memadai dengan
aplikasi tunggal dari algoritma ekstraksi aturan.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.16

 Sistem Pembelajaran Berbasis Aturan untuk SVM 17

Tabel VII. Diperoleh nilai kinerja untuk setiap basis data saat wilayah
hiper-persegi panjang yang lebih ramah pengguna digunakan.

PENGENAL SVM Aturan interval

basis data % Salah % Salah CV Ov NR

1 3.3 4.0 99,33 68,00 0,00 4.7

2 3.1 3.7 98,24 93,26 0,73 5.1
3 2.2 2.3 96.07 69,89 2,28 8,2
4 0,0 2.0 98.00 75.00 0,00 6.4
5 3.2 3.2 96,30 70,58 2.72 9.2
6 12.7 13,7 93,20 87,66 3,18 21,6
7 10.2 11,2 96,26 40,11 0,00 22.0
8 5.1 5,6 92,59 59,49 0,00 33.0
9 17.8 21,9 75,95 63,19 5,78 84,0
10 2.3 2.7 99.07 100,0 0,00 4.0
11 4.5 5.2 97.07 74,97 0,00 9.4
12 15.9 16,3 96,67 60,01 0,00 20.4

Tabel VIII. Nilai kinerja untuk setiap basis data menggunakan

skema partisi 3 saat wilayah ellipsoid digunakan.

PENGENAL SVM aturan ellipsoid

basis data % Kesalahan % Ac CV Ov NR

1 3.3 1,3 96,67 62,00 0,00 4.0

2 3.1 3,6 97,35 87,83 0,00 4.5
3 2.2 2,3 97,74 64,62 0,56 0,0 7.0
4 0,0 100,0 15,50 0,00 5.8
5 3.2 3,2 97,21 78,27 0,95 8.6
6 12.7 14,2 92,74 63,42 2,89 21,3
7 10.2 12,3 95,72 17,11 0,53 16.0
8 5.1 12,9 86,11 37,13 0,23 12.0
9 17.8 21,3 78,34 31,48 0,00 61.0
10 2.3 5,6 94,67 44,90 0,00 5.0
11 4.5 5,3 98,32 38,88 0,00 10.2
12 15.9 16,7 97,78 51,11 0,00 5.2

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.17

18 H. Núñez, C. Angulo dan A. Català

Tabel IX. Nilai kinerja untuk setiap basis data menggunakan skema partisi 3
ketika wilayah hiper-persegi panjang yang lebih mudah digunakan
digunakan.

PENGENAL SVM Aturan interval

basis data % Kesalahan % Ac CV Ov NR

1 3.3 3,3 96,67 72,00 0,00 5.0

2 3.1 3,5 98,39 91,80 0,59 9.0
3 2.2 2,5 97,75 69,18 0,56 0,0 100,0 14.6
4 0,0 70,50 6,50 6,8
5 3.2 3,3 96,30 71,69 0,93 11.2
6 12.7 14,2 90,43 81,31 3,91 34,5
7 10.2 11,7 92,51 33,12 2,14 28,0
8 5.1 4,4 92,82 88,99 6,48 15,0
9 17.8 19,6 78,70 62,26 2,31 65,0
10 2.3 2,3 99,07 90,74 0,00 10,0
11 4.5 5,9 96,10 73,09 0,00 9.3
12 15.9 16,7 95,56 60,00 0,00 21.4

6. Kesimpulan dan Pekerjaan Masa Depan

Dalam karya ini, metode ekstraksi aturan untuk RBFNN yang menggunakan inti
sebuah algoritma untuk membangun ellipsoid berdasarkan vektor pendukung
telah diusulkan. Berdasarkan hasil yang diperoleh, dapat disimpulkan bahwa
teknik ekstraksi mencapai model yang konsisten dengan RBFNN, tanpa
persyaratan sebelumnya baik rezim pelatihan yang digunakan maupun
arsitekturnya.
Selanjutnya, untuk memberikan SVM dengan kekuatan penjelas, sebuah
metode yang mengubah pengetahuan yang tertanam dalam SVM terlatih
menjadi representasi berdasarkan aturan dikembangkan. Eksperimen metode
ekstraksi aturan pada basis data dari domain yang berbeda, menunjukkan
tingkat kesetaraan yang tinggi antara SVM dan basis aturan yang diekstraksi.
Selain itu, proposal baru telah diturunkan yang menghindari
keacakan dalam algoritma aturan ekstraksi. Dari hasil yang diperoleh
dapat disimpulkan bahwa modifikasi yang diusulkan memang
menghindari keacakan, dan basis aturan yang konsisten diperoleh
tanpa iterasi proses.
Mengingat pencapaian pekerjaan ini, jalur penelitian di masa depan
muncul. Misalnya, akan menarik untuk mempelajari cara memperluas
metode ekstraksi aturan ke masalah regresi. Jika ini tercapai, teknik
yang lebih serbaguna akan tersedia untuk lebih banyak orang

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.18

 Sistem Pembelajaran Berbasis Aturan untuk SVM 19

kasus. Pertanyaan lain yang muncul adalah studi tentang kemungkinan

menggunakan bahasa representasi lain untuk mengekspresikan model baru,
seperti aturan fuzzy yang dihasilkan dari ellipsoid.

Terima kasih

Studi ini sebagian didukung oleh hibah MCyT Spanyol TIC2002-04371-

C02-01.

Referensi

Andrews, R., J. Diederich, dan A. Tickle: 1995, 'A survey and Critique of Techniques
untuk Mengekstrak Aturan dari Jaringan Syaraf Tiruan Terlatih'.Sistem Berbasis
Pengetahuan8(6), 373–389.
Blake, C. and C. Merz: 1998, 'UCI Repository of Machine Learning Databases'.
Cherkassky, V. dan F. Mulier: 1998,Belajar dari Data. John Wiley & Sons, Inc. Cortes,
C. dan V. Vapnik: 1995, 'Mendukung jaringan vektor'.Pembelajaran mesin20,
273–297.
Craven, M. dan J. Shavlik: 1997, 'Menggunakan Neural Networks untuk Penambangan Data'.Masa depan
Sistem Komputer Generasi13,211–229.
Cristianini, N. dan J. Shawe-Taylor: 2000,Pengantar Support Vector Ma-
Cina dan metode pembelajaran berbasis kernel lainnya. Cambridge University press 2000.

Duda, R., P. Hart, dan D. Bangau: 2001,Pengenalan Pola. John Wiley & Sons,
Inc, edisi kedua.
Fu, X. and L. Wang: 2001, 'Ekstraksi Aturan dengan Algoritma Genetika Berdasarkan
Jaringan Syaraf RBF yang disederhanakan'. Di:Prosiding Kongres tentang Perhitungan
Evolusioner, Jil. 2. hlm. 753–758.
Guyon, I., N. Martı́c, dan V. Vapnik: 1996,Kemajuan dalam Penemuan Pengetahuan dan
Penambangan Data, Bab. Pola Informasi Penemuan dan Pembersihan Data.
Pers MIT.
Huber, K. dan M. Berthold: 1995, 'Building Precise Classifiers with Automatic Rule
Ekstraksi'. Di:Prosiding Konferensi Internasional IEEE tentang Jaringan Syaraf
Tiruan, Jil. 3. hlm. 1263–1268.
Kaufmand, L. dan P. Rousseeuw: 1990,Menemukan Grup dalam Data. Sebuah Pengantar
untuk Analisis Cluster. John Wiley & Sons, Inc.
Kecman, V.: 2001,Pembelajaran dan Soft Computing. Mendukung Mesin Vektor, Neural
Jaringan dan Model Logika Fuzzy. Pers MIT.
Ma, J. dan Y. Zhao: 2004, 'OSU Support Vector Machines Toolbox, versi 3.0'.
http:// www.csie.ntu.edu.tw/ cjlin/libsvm.
McGarry, K., S. Wermter, dan J. MacIntyre: 2001, 'Ekstraksi Pengetahuan dari
Jaringan Fungsi Lokal '. Di:Prosiding Konferensi Bersama Internasional tentang
Jaringan Syaraf Tiruan. hlm. 765–770.
Mitra, S., S. Pal, and P. Mitra: 2002, 'Data Mining in Soft Computing Framework:
Survei'.Transaksi IEEE di Neural Networks13(1), 3–14.
Moody, J. dan C. Darken: 1989, 'Pembelajaran Cepat di Jaringan yang Disetel Secara Lokal
Unit Pengolahan'.Perhitungan saraf1(2), 281–294.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.19

 20 H. Núñez, C. Angulo dan A. Català

Nabney, I. dan C. Bishop: 2002, 'Perangkat Lunak Jaringan Neural Netlab'.

http://www.ncrg. aston.ac.uk/netlab.
Núñez, H., C. Angulo, dan A. Català: 2002, 'Ekstraksi Aturan dari Support Vec-
tor Machines'. Dalam: M. Verleysen (ed.):ESANN 2002, Simposium Eropa tentang
Jaringan Syaraf Tiruan. Bruges (Belgia), hlm. 107–112, publikasi d-facto. Núñez,
H., C. Angulo, dan A. Català: 2003, 'Arsitektur Hibrid berdasarkan Dukungan
Mesin Vektor'. Di:Prosiding IWANN 2003, Jil. 2686 dariCatatan Kuliah Ilmu
Komputer. Menorca, Spanyol, hlm. 646–653. Orr,M.:1999,'RadialBasisFunction
Jaringan'.
http://www.anc.ed.ac.uk/mjo/rbf.html.
Schölkopf, B.: 2000, 'Trik Kernel untuk Jarak'. Di:Informasi saraf
Sistem Pemrosesan, NIPS, Jil. 13.
Seitono, R., W. Leow, and J. Zurada: 2002, 'Extraction Rules from Artificial Neural
Jaringan untuk Regresi Nonlinier '.Transaksi IEEE di Neural Networks 13(3), 564–
577.
Vapnik, V.: 1998,Teori Pembelajaran Statistik. John Wiley & Sons, Inc.
Zhou, Z.-H.: 2004, 'Ekstraksi Aturan: Menggunakan Jaringan Syaraf Tiruan atau untuk Jaringan Syaraf Tiruan
bekerja?'.Jurnal Ilmu dan Teknologi Komputer19(2), 249–253. Zhou, Z.-H., Y.
Jiang, dan S.-F. Chen: 2003, 'Mengekstrak Aturan Simbolik dari
Ansambel Jaringan Syaraf Terlatih'.Komunikasi AI16(1), 3–15.

"NPL NAC 2005".tex; 22/05/2005; 16:48; hal.20

Lihat statistik publikasi