RESUME MATERI KELOMPOK 1-9

PEMBELAJARAN MESIN

OLEH :

TITIYANTI RANTEPASANG
(H131 14 323)

PROGRAM STUDI ILMU KOMPUTER

JURUSAN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS HASANUDDIN
MAKASSAR
2016

ii
KELOMPOK 1 : Algoritma Apriori, FP-Growth dan FP-Tree

A. Algoritma Apriori
Algoritma Apriori adalah salah satu algoritma yang melakukan pencarian frequent
itemset dengan menggunakan teknik association rule. Algoritma Apriori menggunakan
pengetahuan frekuensi atribut yang telah diketahui sebelumnya untuk memproses informasi
selanjutnya.
Pada algoritma Apriori menentukan kandidat yang mungkin muncul dengan cara
memperhatikan minimum support dan minimum confidence.

 Cara Kerja Algoritma Apriori

Sedangkan cara kerja dari Algoritma Apriori sendiri terbagi dari beberapa tahap yang
disebut iterasi. Tahapan-tahapan tersebut antara lain adalah :

1. Pembentukan Kandidat Itemset

Kandidat k-itemset dibentuk dari kombinasi (k-1)-itemset yang didapat dari iterasi
sebelumnya. Satu ciri dari algoritma Apriori adalah adanya pemangkasan kandidat
k-itemset yang subsetnya yang berisi k-1 item tidak termasuk dalam pola frekuensi
tinggi dengan panjang k-1.
2. Perhitungan Support dari Tiap Kandidat K-itemset
Support dari tiap kandidat k-itemset didapat dengan menscan database untuk
menghitung jumlah transaksi yang memuat semua item di dalam kandidat k-itemset
tersebut. Ini juga merupakan ciri dari algoritma apriori dimana diperlukan
perhitungan dengan scan seluruh database sebanyak k-itemset terpanjang.
3. Tetapkan Pola Frekuensi Tinggi
Pola frekuensi tinggi yang memuat k item atau k-itemset ditetapkan dari kandidat k-
itemset yang supportnya lebih besar dari minimum support.
Bila tidak didapat pola frekuensi tinggi maka seluruh proses dihentikan. Bila tidak,
maka k tambah satu dan kembali ke bagian 1.

B. Algoritma FP-Growth
FP-Growth merupakan sebuah algoritma yang ditunjukkan untuk menemukan frequent
itemset (kombinasi item yang sering muncul) pada sebuah database.Algoritma FP-growth
bekerja dalam 2 tahap yaitu pembentukan FP-Tree dan Penentuan frequent itemset.

iii
 Algoritma FP-growth bekerja dalam 2 tahap yaitu pembentukan FP-tree dan Penentuan
frequent itemset.

1. Pembentukan FP Tree
Pembentukan FP-tree merupakan langkah awal dan terpenting dari algoritma FP-
growth.Hal ini disebabkan penentuan dari frequent pattern item dari sebuah
database sangat bergantung terhadap FP-tree yang terbentuk dari database tersebut.

2. Penentuan Frequent Itemset

Penentuan frequent itemset dengan algoritma FP-Growth dilakukan dalam tiga
tahap utama, yaitu:
a. Tahap Pembangkitan Conditional Pattern Base
Conditional Pattern Base merupakan subdatabase yang berisi prefix path
(lintasan prefix) dan suffix pattern (pola akhiran). Pembangkitan conditional
pattern base diperoleh dari FP-tree yang dibagun sebelum tahap ini.
b. Tahap Pembentukan Conditional FP-Tree
Pada tahap ini support count dari setiap item pada setiap conditional pattern
base dijumlahkan, lalu setiap item yang memiliki jumlah support count yang
lebih besar atau sama dengan minimum support count akandibangkitkan dengan
sebagai conditional FP-tree
c. Tahap Pencarian Frequent Itemset
Pencarian frequent itemset dilakukan dengan menggunakan conditional FP-tree
yang dapat terbentuk, apabila conditional FP-tree membentuksebuah lintasan
tunggal maka didapatkan frequent itemset dengan melakukan kombinasi item
untuk setiap conditional FP-tree.

C. Pembentukan FP-Tree
a. Menentukan Minimun Support Count
Misalkan untuk kasus ini minimum support count yang dipilih adalah tiga.

b. Menghitung nilai support count dari setiap item.

iv
KELOMPOK 2: ALGORITMA C4.5 DAN PAGERANK

A. Algortima C4.5
Ada tiga prinsip kerja algoritma C4.5 pada tahap belajar dari data, yaitu sebgai berikut :
1. Pembuatan Pohon Keputusan
Obyektif dari algoritma pohon keputusan adalah mengkonstruksi struktur data pohon
(dinamakan pohon keputusan) yang dapat digunakan untuk memprediksi kelas dari
sebuah kasus atau record baru yang belum memiliki kelas. Algoritma ini memilih
pemecahan kasus-kasus yang terbaik dengan menghitung dan membandingkan gain ratio,
kemudian pada node-node yang terbentuk di level berikutnya. Demikian seterusnya
sampai terbentuk daun- daun.
2. Pemangkasan Pohon Keputusan dan Evaluasi (Opsional)
Karena pohon yang dikonstruksi dapat berukuran besar dan tidak mudah dibaca, C4.5
dapat menyederhanakan pohon dengan melakukan pemangkasan berdasarkan nilai tingkat
kepercayaan (confidence level). Selain untuk pengurangan ukuran pohon, pemangkasan
juga bertujuan untuk mengurangi tingkat kesalahan prediksi pada kasus (rekord) baru.
3. Pembuatan Aturan-Aturan dari Pohon Keputusan (Opsional)
Aturan-aturan dalam bentuk if-then diturunkan dari pohon keputusan dengan melakukan
penelusuran dari akar sampai ke daun. Setiap node dan syarat pencabangannya akan
diberikan di if, sedangkan nilai pada daun akan menjadi ditulis di then. Setelah semua
aturan dibuat, maka aturan akan disederhanakan (digabung atau diperumum).

 Langkah-Langkah Konstruksi Pohon Keputusan dengan Algoritma C4.5

Adapun langkah-langkah dalam konstruksi pohon keputusan adalah sebagai berikut :

Langkah 1: Pohon dimulai dengan sebuah simpul yang mereperesentasikan sampel data
pelatihan yaitu dengan membuat simpul akar.
Langkah 2 : Jika semua sampel berada dalam kelas yang sama, maka simpul ini menjadi
daun dan dilabeli menjadi kelas. Jika tidak, gain ratio akan digunakan untuk
memilih atribut split, yaitu atribut yang terbaik dalam memisahkan data
sampel menjadi kelas-kelas individu.
Langkah 3 : Cabang akan dibuat untuk setiap nilai pada atribut dan data sampel akan
dipartisi lagi.

v
Langkah 4 : Algoritma ini menggunakan proses rekursif untuk membentuk pohon
keputusan pada setiap data partisi. Jika sebuah atribut sduah digunakan
disebuah simpul, maka atribut ini tidak akan digunakan lagi di simpul anak-
anaknya.
Langkah 5 : Proses ini berhenti jika dicapai kondisi seperti berikut :
- Semua sampel pada simpul berada di dalam satu kelas
- Tidak ada atribut lainnya yang dapat digunakan untuk mempartisi sampel
lebih lanjut. Dalam hal ini akan diterapkan suara terbanyak. Ini berarti
mengubah sebuah simpul menjadi daun dan melabelinya dnegan kelas
pada suara terbanyak.
B. Algoritma PageRank

Algoritma Pagerank Pagerank adalah distribusi probabilitas yang digunakan untuk

mewakili kemungkinan bahwa seseorang 111 secara acak mengklik link akan tiba pada suatu
halaman tertentu. Pagerank dapat dihitung untuk koleksi dokumen dari berbagai ukuran. Hal
ini diasumsikan dalam beberapa penelitian bahwa distribusi yang merata dibagi di antara
semua dokumen dalam koleksi pada awal proses komputasi. Perhitungan Pagerank melewati
"iterasi", melalui koleksi untuk menyesuaikan nilai Pagerank perkiraan untuk lebih
mencerminkan nilai sebenarnya. Sebuah probabilitas dinyatakan sebagai nilai numerik antara
0 dan 1. Sebuah probabilitas 0,5 umumnya dinyatakan sebagai "peluang 50%”. Oleh karena
itu, Pagerank dari 0,5 berarti ada kemungkinan 50% bahwa seseorang mengklik pada link
acak akan diarahkan ke dokumen dengan Pagerank 0,5 [8]. In Link i : adalah hyperlink yang
mengarah ke hal. i dari halaman lain. Out Link i : adalah hyperlink yang menujuk ke halaman
lain dari hal. i. ·
Prestasi Peringkat:

1. Sebuah hyperlink dari halaman menunjuk ke halaman lain adalah alat angkut implisit
yang memiliki otoritas ke halaman target.
2. Sebuah halaman dengan tinggi skor prestasi yang menunjuk ke i adalah lebih penting
daripada halaman dengan skor prestasi lebih rendah menunjuk ke i.

Menurut prestasi peringkat, pentingnya skor halaman i ditentukan dengan

menjumlahkan nilai Pagerank dari semua halaman yang mengarah ke i. Karena Halaman i
dapat menunjuk ke halaman lain, nilai prestasi harus dibagi di antara semua halaman yang

vi
menunjuk ke halaman lain.
Dari pendekatan yang sudah dijelaskan sebelumnya mengenai konsep Pagerank,
algoritma Pagerank dapat dirumuskan seperti di bawah ini :
Algoritma awal:
PR(A) = (1-d) + d ( ( PR(T1) / C(T1) ) +
… + ( PR(Tn) / C(Tn) ) )
Salah satu algoritma lain yang dipublikasikan
PR(A) = (1-d) / N + d ( ( PR(T1) / C(T1) )
+ … + ( PR(Tn) / C(Tn) ) )

vii
KELOMPOK 3 : K-MEANS,K-NN,K-MEDOID

A. K-MEANS
K-Means merupakan salah satu metode data clustering non hirarki yang berusaha
mempartisi data yang ada ke dalam bentuk satu atau lebih cluster/kelompok. Metode ini
mempartisi data ke dalam cluster/kelompok sehingga data yang memiliki karakteristik yang
sama dikelompokkan ke dalam satu cluster yang sama dan data yang mempunyai
karakteristik yang berbeda dikelompokkan ke dalam kelompok yang lain. Adapun tujuan dari
data clustering ini adalah untuk meminimalisasikan objective function yang diset dalam
proses clustering, yang pada umumnya berusaha meminimalisasikan variasi di dalam suatu
cluster dan memaksimalisasikan variasi antar cluster.

 Algoritma K- Means

1. Tentukan jumlah cluster

2. Alokasikan data ke dalam cluster secara random
3. Hitung centroidrata-rata dari data yang ada di masing-masing cluster
∑

4. Alokasikan masing-masing data ke centroid/rata-rata terdekat

5. Kembali ke Step 3, apabila masih ada data yang berpindah cluster atau apabila
perubahan nilai centroid, ada yang di atas nilai threshold yang ditentukan atau apabila
perubahan nilai pada objective function yang digunakan di atas nilai threshold yang
ditentukan

 Metode Pengalokasian Ulang Data ke Dalam Masing-Masing Cluster

Secara mendasar, ada dua cara pengalokasian data kembali ke dalam masing-masing
cluster pada saat proses iterasi clustering. Kedua cara tersebut adalah pengalokasian dengan
cara tegas (hard), dimana data item secara tegas dinyatakan sebagai anggota cluster yang satu
dan tidak menjadi anggota cluster lainnya, dan dengan cara fuzzy, dimana masing-masing
data item diberikan nilai kemungkinan untuk bisa bergabung ke setiap cluster yang ada.

viii
B. K-NN

Algoritma K-Nearest Neighbor (KNN) adalah sebuah metode untuk melakukan

klasifikasi ojek terhadap data learning (data pembelajaran) dengan jarak paling dekat dengan
objek tersebut. Data learning diproyeksikan k ruang berdimensi banyak (n-dimensi), dimana
masing – masing dimensi merepresentasikan fitur dari data. Ruang ini dibagi menjadi bagian
– bagian berdasarkan klasifikasi data pembelajaran. Sebuah titik pada ruangan ini ditandai
dengan kelas c, jika kelas c merupakan klasifikasi yang paling banyak ditemui pada k buah
tetangga terdekat titik tersebut.

K-Nearest Neighbor merupakan metode yang bersifat supervised, dimana hasil

dari query instance yang baru diklasifikasikan berdasarkan mayoritas kategori pada KNN.
Pada fase training, algoritma ini hanya melakukan penyimpanan vektor-vektor fitur dan
klasifikasi data training sample. Pada fase klasifikasi, fitur – fitur yang sama dihitung
untuk testing data (klasifikasinya belum diketahui). Jarak dari vektor yang baru ini terhadap
seluruh vektor training sample dihitung, dan sejumlah k buah yang paling dekat diambil.
Titik yang baru klasifikasinya diprediksikan termasuk pada klasifikasi terbanyak dari titik –
titik tersebut.

 Kelebihan dan Kekurangan K-NN

Kelebihan
-Tangguh terhadap training data yang memiliki banyak noise dan efektif apabila
training data-nya besar
Kekurangan
- KNN perlu menentukan nilai dari parameter K (jumlah dari tetangga terdekat)
- Pembelajaran berdasarkan jarak tidak jelas mengenai jenis jarak apa yang harus
digunakan dan atribut mana yang harus digunakan untuk mendapatkan hasil yang
terbaik
- Biaya komputasi cukup tinggi karena diperlukan perhitungan jarak dari tiap sample
uji pada keseluruhan sample latih

 Algoritma K-NN

1. Menentukan parameter k (jumlah tetangga paling dekat).

ix
 2. Menghitung kuadrat jarak eucliden objek terhadap data training yang diberikan.
3. Mengurutkan hasil no 2 secara ascending.
4. Mengumpulkan kategori Y (Klasifikasi nearest neighbor berdasarkan nilai k)
5. Dengan menggunakan kategori nearest neighbor yang paling mayoritas maka dapat
dipredisikan kategori objek.

C. K-MEDOID
Algoritma k-medoids adalah pengelompokan algoritma yang berhubungan dengan
algoritma k-means dan algoritma medoidshift. Kedua algoritma k-means dan k-medoids yang
partitional (melanggar dataset ke dalam kelompok) dan kedua upaya untuk meminimalkan
jarak antara titik berlabel berada dalam cluster dan titik yang ditunjuk sebagai pusat klaster
itu. Berbeda dengan algoritma k -means, k -medoids memilih datapoints sebagai pusat
(medoids atau eksemplar) dan bekerja dengan matriks sewenang-wenang dari jarak antara
datapoints bukan l2. Metode ini diusulkan pada tahun 1987 untuk pekerjaan dengan l1
normal dan jarak lainnya. Sebuah medoid dapat didefinisikan sebagai objek cluster yang rata-
rata perbedaan untuk semua objek dalam cluster minimal. yaitu merupakan titik paling
berlokasi di cluster.

 Algoritma K- Medoid
1. Inisialisasi: memilih objek k secara acak yang akan berfungsi sebagai medoids.

2. Mengasosiasikan setiap titik data dengan medoid yang paling serupa dengan

mengguna kan ukuran jarak dan menghitung biaya.

3. Secara acak memilih objek k baru yang akan berfungsi sebagai medoid dan

menyimpan salinan dari set asli.

4. Gunakan set medoids baru untuk menghitung ulang biaya.

5. Jika biaya yang baru lebih besar dari pada biaya lama kemudian hentikan

algoritma tersebut.

6. Ulangi langkah kedua hingga kelima sampai tidak ada perubahan dalam medoid.

 Perbedaan K-Medoid dengan K-means

Adapun perbedaan antara K-Medoid dengan K-Means.

x
1. Data cluster yang dipilih dari K-means dipilih secara random sedangkan pada k-
Medoid cluster yang dipilih hanya object pada data.
2. Perpindahn centeroid pada K-Means dilakukan melalui rata – rata dari setiap
anggota centeroid, sedangkan pada K – Medoid perpindahan centeroid terjadi ketika
ada centeroid baru yang memiliki cost distance lebih murah.

xi
 RESUME KELOMPOK 4 : JARINGAN SARAF TIRUAN
HOPFIELD DAN SOM
1. Pengertian Jaringan Saraf Tiruan
Jaringan saraf tiruan adalah suatu sistem pemrosesan informasi yang cara kerjanya
memiliki kesamaan tertentu dengan jaringan saraf biologis. Jaringan saraf tiruan
dikembangkan sebagai model matematis dari saraf biologis dengan berdasarkan asumsi
bahwa:
1. Pemrosesan terjadi pada elemen-elemen sederhana yang disebut neuron.
2. Sinyal dilewatkan antar neuron melalui penghubung.
3. Penghubung antar neuron memiliki bobot yang akan memperkuat atau memperlemah
sinyal
4. Untuk menentukan output, setiap neuron menggunakan fungsi aktivasi (biasanya
bukan fungsi linier) yang dikenakan pada jumlahan input yang diterima.
5. Besarnya output ini selanjutnya dibandingkan dengan suatu batas ambang.

Jaringan saraf dapat digolongkan menjadi berbagai jenis berdasarkan pada arsitekturnya,
yaitu :

a. Pola hubungan antar neuron (disebut arsitektur jaringan)

b. Metode untuk menentukan bobot penghubung (disebut metode training / learning /
algoritma)
c. Fungsi aktivasi
. Arsitektur Jaringan Saraf Tiruan
Beberapa arsitektur jaringan yang sering dipakai dalam jaringan syaraf tiruan antara
lain :
a. Jaringan Layar Tunggal (single layer network)
JST dengan layar tunggal pertamakali dirancang oleh Widrow dan Hoff pada tahun 1960.
Walaupun JST layar tunggal ini sangat terbatas penggunaannya, namun konsep dan
gagasannya banyak dipakai oleh beberapa pakar untuk membuat model JST layar jamak.
b. Jaringan Layar Jamak (multi layer network)
Jaringan layar jamak merupakan perluasan dari layar tunggal. Dalam jaringan ini, selain
unit input dan output, ada unit-unit lain (sering disebut layar tersembunyi). Dimungkinkan
pula ada beberapa layar tersembunyi. Sama seperti pada unit input dan output, unit-unit
dalam satu layar tidak saling berhubungan.

xii
2.5. Fungsi Aktifasi Jaringan Saraf Tiruan

Mengaktifkan jaringan saraf tiruan berarti mengkatifkan setiap neuron yang dipakai
pada jaringan tersebut. Banyak fungsi yang dapat dipakai sebagai pengaktif, seperti fungsi-
fungsi goniometri dan hiperboliknya, fungsi unit step, impulse, sigmoid, dan lain sebagainya
seperti pada gambar 10, tetapi yang lazim digunakan adalah fungsi sigmoid, karena dianggap
lebih mendekati kinerja sinyal pada otak manusia
2.4. Jaringan Saraf Tiruan Hopfield

Metoda ini dikembangkan oleh John Hopfield pada tahun 1980. Cara pemahaman
paling mudah JST Hopfield bila dinyatakan sebagai sebuah memori asosiatip (associative
memory) yang gambaran umumnya adalah sebagai berikut:
Bila ada sebuah JST yang terbentuk dari N X N neuron dimana N adalah jumlah
variabel dari obyek yang akan dioptimasi. Setiap neuron terhubung penuh satu sama lainnya.
JST Hopfield merupakan salah satu metoda optimasi untuk pencarian nilai minimum dari
kombinasi fungsi obyektif. Berdasarkan arsitektur atau pola koneksi yang digunakan dalam
pada jaringan syaraf tiruan, maka jaringan syaraf tiruan tersebut dapat dibedakan dalam 2
(dua) kategori, yaitu Struktur Feedforward dan Struktur Recurrent (Feedback). JST Hopfield
termasuk dalam Struktur Recurrent (Feedback).
Di bawah ini merupakan alur proses dari JST Hopfield secara umum :
 Contoh Metode Hopfield
1. Contoh Soal 1

contoh untuk menjelaskan metoda ini secara rinci digambarkan atau dianalogikan
sebagai suatu problema penyelesaian permasalahan rute perjalanan salesman/pramuniaga.
Permasalahan ini dituntut untuk menentukan rute/jalur terpendek yang bisa ditempuh oleh
seorang sales dengan beberapa ketentuan antara lain :
1. Setiap kota harus dikunjungi satu kali saja.

2. Setiap singgah hanya mungkin untuk mengunjungi satu kota saia.

3. Dicari rute dengan total jarak minimum.

Jika terdapat 4 kota maka dapat didefinisikan matrik 4 x 4 berisikan neuron / elemen
biner sebagai berikut :

Terlihat bahwa setiap kolom hanya ada 1 neuron yang bernilai "l" dan setiap baris

xiii
hanya terdapat neuron yang bernilai "l,'.Dengan maksud bahwa hanya diperbolehkan
mengunjungi satu kota saja dalam tiap kunjungan, dan setiap kota hanya diperbolehkan
dikunjugi satu kali saja. contoh kota ke-3 dikunjugi pada urutan ke - 2 setelah kota pertama.
Berikutnya kota ke tiga dan terakhir kota ke - 4.

Dimana:

A,B,C,D,n’ = Konstanta

Vxy = Aktifasi antara neuron x dan neuron y

dxy = Parameter jarak neuron x dan neuron y

Pada setiap notasi penjumlahan tersebut, dimaksudkan mempunyai batas (range) dari
1 ke n dimana n mengacu pada indek yang berhubungan dengan permasalahan, untuk
problema perjalanan pramuniaga tersebut adalah jumlah kota.
Persamaan energi tersebut merupakan implementasi dari tetapan - tetapan yang
digunakan dalam masalah ini. pada suku pertama persamaan (3.59), jika merupakan rute
yang valid menyatakan bahwa tidak boleh lebih dari satu elemen yang bernilai "1" pada
setiap barisnya, ini berarti bahwa tidak ada satu kota yang dikunjungi lebih dari satu kali.
Suku kedua jika merupakan rute yang valid menyatakan bahwa tidak boleh lebih dari
satu elemen yang bernilai "1" pada setiap kolomnya, ini berarti bahwa tidak mungkin dua
kota dikunjungi dalam waktu yang sama. Pada suku ketiga terdapat variabel dpi ini
menunjukkan jarak kota k ke kota j, atau parameter lainnya sesuai dengan permasalahan yang
dioptimasi.
Sebagai contoh perhitungan berikut matrik jarak antara empat kota yang ada : Matrik jarak
empat kota
Table 1 Matrik Jarak Empat Kota

Seperti telah dijelaskan bahwa masing-masing suku pada persamaan energi

xiv
menggambarkan keadaan dari suatu rute yang didapat. Kita tetapkan suatu rute perjalanan
sebagai berikut, kota pertama kota 1, diteruskan ke kota 2 kemudian kota 3 dan terakhir 4
sebelum kembali ke kota 1. Secara jelas ditulis kembali rute perjalanan adalah : l-2- 3-4-1

Jika rute ini merupakan sebuah rute yang benar maka suku pertama dan kedua dari
persamaan energi akan bernilai nol (0). Suku ketiga dengan sendirinya akan bernilai nol (0).
Sehingga berapa jarak total yang ditempuh pada rute tersebut dapat dihitung dengan suku
ketiga dari persamaan energi yang dituliskan kembali berikut ini.

2.5. Jaringan Saraf Tiruan SOM

Teknik self-organizing map (SOM) dikenalkan pertama kali oleh Teuvo Kohonen,
merupakan proses unsupervised learning yang mempelajari distribusi himpunan pola-pola
tanpa informasi kelas. Salah satu keunggulan dari algoritma Self-Organizing Map adalah
mampu untuk memetakandata berdimensi tinggi kedalam bentuk peta berdimensi rendah.
Proses pemetaan terjadi apabila sebuah pola berdimensi bebas diproyeksikan dari ruang
masukan ke posisi pada array berdimensi satu atau dua

Algoritma
Diberikan suatu data set yang akan dibuat SOM nya:
1. Inisialisasi sejumlah weight dengan nilai acak
2. Untuk setiap sample input x pada dataset,
a. cari weight yang paling mendekati dengan Euclidian distance, disebut
BMU(Best Matching Unit)
b. update weight tsb dengan rumus

c. Lakukan iterasi untuk meng-update weight sampai mencapai nilai iterasi yang
telah ditentukan dan mengurangi laju pembelajaran . Ulangi dari langkah 2

xv
RESUME KELOMPOK 5 : Classification and Regression Tree (CHART)
Pengertian Klasifikasi dan Pohon Regresi (CART)
CART merupakan singkatan dari Classification And Regression Trees. CART adalah
metode klasifikasi yang menggunakan data historis untuk membentuk decision tree yang
dapat digunakan untuk mengklasifikasi data baru. Metodologi CART dikembangkan oleh
Breiman, Freidman, Olshen, Stone pada sekitar tahun 1984 dalam paper mereka yang
berjudul “Classification and Regression Trees”. Untuk membangun decision tree, CART
menggunakan learning sample, sekumpulan data historis yang sudah ditetapkan kelas-
kelasnya untuk observasi. Decision Tree adalah representasi dari sekumpulan pertanyaan
yang akan membelah learning sample menjadi bagian yang lebih kecil. Ada tiga prinsip kerja
pada CART yaitu sebagai begikut:
1. Pembuatan pohon keputusan (model)
2. Pemangkasan pohon
3. Pembuatan Rule

Pohon Klasifikasi
Sebuah pengklasifikasian pohon merupakan sebuah pohon keputusan yang digunakan
untuk memprediksi sebuah kelas variable dari satu atau lebih variable. Pohon klasifikasi
digunakan untuk memperkirakan keanggotaan objek dalam kelas-kelas variable predictor
kategorik. Keanggotaan ini ditaksir dari pengukuran objek pada satu variable predictor atau
lebih. Pohon ini dibentuk melalui penyekatan secara rekursif, dimana kelas dan nilai-nilai
variable predictor setiap objek telah diketahui. Setiap penyekatan pada pohon yang dibentuk
dinyatakan sebagai node atau simpul. Dalam klasifikasi CART terdapat 2 hal yang dilakukan:
1. Recursive partitioning (Rekursif partisi)
Berulang kali membagi catatan menjadi dua bagian sehingga mencapai homogenitas
maksimum dalam bagian-bagian baru.
2. Pruning the tree (Pemangkasan pohon)
Menyederhanakan pohon dengan pemangkasan cabang perifer untuk menghindari
overfitting

Alur Metode CART

1. Membangun Maximum Tree

2. Pemilihan ukuran tree yang benar

3. Mengklasifikasi data baru menggunakan pohon keputusan

xvi
Langkah Recursive Partitioning
 Pilih salah satu variabel prediktor, xi

 Pilih nilai xi, mengatakan si, yang membagi data pelatihan menjadi dua bagian

 Mengukur seberapa "murni" atau homogen masing-masing bagian yang dihasilkan

dengan cara menghitung nilai entropy

 Algoritma mencoba nilai yang berbeda dari xi, dan si memaksimalkan kemurnian
dalam perpecahan awal

 Memilih nilai xi yang paling tepat dengan menggunakan information gain untuk
menetukan xi terbaik untuk di pilih.

 Setelah Anda mendapatkan "kemurnian maksimal" split, ulangi proses untuk node
berikutnya.

Measuring Impurity
Menghitung nilai impurity dilakukan setiap kali akan membuat Parent dan Child node untuk
bisa menentukan kemungkinan terbaik dari pembentukan level pohon, hal ini dapat dilakukan
dengan menggunakan dua metode yaitu menghitung nilai Entropy dan Nilai Information
Gain.
Menghitung nilai Entropy
𝑚

𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆) = − 𝑝𝑘 𝑙𝑜𝑔2 (𝑝𝑘 )

𝑘=1

S = Subset dari data training

Pk = Proporsi k di S

Menghitung nilai Gain Ratio

𝑘
𝑆𝑗
𝑔𝑎𝑖𝑛 𝑆, 𝐴 = 𝐻(𝑆) − 𝐻(𝑆𝑗 )
𝑆
𝑗 =1

S = Kumpulan contoh {X}

Sj = Subset dimana XA = J

xvii
Contoh implementasi
Mesin potong rumput
Tujuan: Klasifikasikan 24 rumah tangga sebagai memiliki atau tidak memiliki mesin
pemotong
Prediktor = Pendapatan, Ukuran Lot

Cara melakukan split:

1. Urutkan catatan sesuai dengan satu variabel, misal ukuran lot

2. Cari titik tengah antara nilai-nilai yang berurutan

3. Bagi record itu menjadi nilai lebih besar dari titik tengah dan lebih kecil

4. Setelah mengevaluasi split, coba yang berikutnya.

Proses Splitting dan Pembentukan Pohon

Pencarian Split awal Dan node Root
Mencari nilai tengah dari setiap data dan menhitung nilai entropy untuk masing nilai lebih
besar dan kecil dari split point

Menghitung Nilai Entropy Total untuk semua semua data terpenuhi

xvii
i
 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 𝑜𝑡𝑎𝑙 𝐴 (− 𝑙𝑜𝑔 ) (− 𝑙𝑜𝑔 )

Menghitung Nilai Entropy untuk semua kemungkinan atau dari Split Point

𝐸𝑛𝑡𝑟𝑜𝑝𝑦 𝑖𝑛 𝑜𝑚 (− 𝑙𝑜𝑔 ) (− 𝑙𝑜𝑔 )

𝐸𝑛𝑡𝑟𝑜𝑝𝑦 𝑖𝑛 𝑜𝑚 (− 𝑙𝑜𝑔 ) (− 𝑙𝑜𝑔 )

𝐸𝑛𝑡𝑟𝑜𝑝𝑦 𝑖𝑛 𝑜𝑚 (− 𝑙𝑜𝑔 ) (− 𝑙𝑜𝑔 )

Menghitung nilai Gain untuk masing-masing Prediktor untuk menentukan Split Point pada
predictor mana yang terbaik

𝑎𝑖𝑛 𝑛 𝑜𝑚 −( ) ( ) ( )

𝑎𝑖𝑛 𝑜𝑡 𝑖 −( ) ( ) ( )

Dari Hasil Perhitungan Entropy dan Gain didapatkan Bahwa Prediktor Income dengan nilai
84 merupakan SplitPoint terbaik.

xix
 RESUME KELOMPOK 6: Support Vector Machine (SVM)

1. Support Vector Machine (SVM)

a. Definisi Support Vector Machine
Support Vector Machine (SVM) adalah suatu teknik untuk melakukan prediksi, baik
dalam kasus klasifikasi maupun regresi. SVM adalah metode learning machine yang bekerja atas
prinsip Structural Risk Minimization (SRM) dengan tujuan menemukan hyperplane terbaik yang
memisahkan dua buah class pada input space.
Konsep SVM dapat dijelaskan secara sederhana sebagai usaha mencari hyperplane
terbaik yang berfungsi sebagai pemisah dua buah class pada input space. SVM adalah algoritma
supervised learning yang dikembangkan oleh Vladimir Vapnik dan diperkenalkan pertama kali
pada tahun 1992 oleh Vapnik, Boser dan Guyon pada Computational Learning Theory.
b. Hyperplane
SVM memiliki prinsip dasar linier classifier yaitu kasus klasifikasi yang secara linier
dapat dipisahkan, namun SVM telah dikembangkan agar dapat bekerja pada problem non-linier
dengan memasukkan konsep kernel pada ruang kerja berdimensi tinggi. Pada ruang berdimensi
tinggi, akan dicari hyperplane yang dapat memaksimalkan jarak (margin) antara kelas data.
Hyperplane klasifikasi linier SVM dinotasikan :
f(x) = ⃗⃗ (1)

sehingga diperoleh persamaan kelas -1 (sampel negatif) memenuhi pertidaksamaan :

⃗⃗ − (2)

Dan kelas +1 pattern yang memenuhi pertidaksamaan :

⃗⃗ (3)

Qdengan, xi = himpunan data training, i = 1,2,...n dan yi = label kelas dari xi

c. Soft Margin
kedua belah class dapat terpisah secara sempurna oleh hyperplane. Akan tetapi umumnya
dua buah class pada input space tidak dapat terpisah secara sempurna. Hal ini menyebabkan
constraint pada persamaan (5) tidak dapat terpenuhi, sehingga optimisasi tidak dapat dilakukan.

20
Untuk mengatasi masalah ini, SVM dirumuskan ulang dengan memperkenalkan teknik
softmargin.
2. Klasifikasi
Klasifikasi adalah proses untuk menemukan model atau fungsi yang menjelaskan atau
membedakan konsep atau kelas data dengan tujuan untuk memperkirakan kelas yang tidak
diketahui dari suatu objek. Dalam pengklasifikasian data terdapat dua proses yang dilakukan
yaitu:
1. Proses training
Pada proses training digunakan training set yang telah diketahui label-labelnya untuk
membangun model atau fungsi.
2. Proses testing
Untuk mengetahui keakuratan model atau fungsi yang akan dibangun pada proses
training, maka digunakan data yang disebut dengan testing set untuk memprediksi label-
labelnya. Klasifikasi dokumen adalah pemberian kategori yang telah didefinisikan kepada
dokumen yang belum memiliki kategori
4. Metode Kernel
Pada mulanya teknik machine learning dikembangkan dengan asumsi kelinearan.
Sehingga algoritma yang dihasilkan terbatas untuk kasus-kasus yang linear saja. Akan tetapi
untuk menghadapi kasus yang tidak linear maka dapat menggunakan bantuan berbagai macam
fungsi kernel. Kernel trick memberikan berbagai kemudahan, karena dalam proses pembelajaran
SVM, untuk menentukan support vector, maka cukup dengan mengetahui fungsi kernel yang
dipakai, dan tidak perlu mengetahui wujud dari fungsi non-linear. Menurut (Karatzouglou, dkk,
2004) ada beberapa fungsi kernel yang sering digunakan dalam literature SVM anatara lain
sebagai berikut:
a. Kernel linear adalah kernel yang paling sederhana dari semua fungsi kernel. Kernel
ini biasa digunakan dalam kasus klasifikasi teks.
b. Kernel Radial Basis Gaussian adalah kernel yang umum digunakan untuk data yang
sudah valid (available) dan merupakan default dalam tools SVM.
c.Kernel Polynominal adalah kernel yang sering digunakan untuk klasifikasi gambar.
d. Kernel Tangent Hyperbolic adalah kernel yang sering digunakan untuk neural
networks.

21
 3. Kernel Trick dan non Linear Classification Pada SVM
Pada umumnya masalah dalam domain dunia nyata (real world problem) jarang yang
bersifat linear separable. Kebanyakan bersifat non linear. Untuk menyelesaikan problem non
linear, SVM dimodifikasi dengan memasukkan fungsi Kernel.
Dalam non linear SVM, pertama-tama data dipetakan oleh fungsi ⃗⃗⃗ ) ke ruang
vektor yang berdimensi lebih tinggi. Pada ruang vektor yang baru ini, hyperplane yang
memisahkan kedua class tersebut dapat dikonstruksikan.
Pemetaan ini dilakukan dengan menjaga topologi data, dalam artian dua data yang
berjarak dekat pada input space akan berjarak dekat juga pada feature space, sebaliknya duadata
yang berjarak jauh pada input space akanjuga berjarak jauh pada feature space. Selanjutnya
proses pembelajaran pada SVM dalam menemukan titik-titik support vector, hanya bergantung
pada dot product dari data yang sudah ditransformasikan pada ruang baru yang berdimensi lebih
tinggi, yaitu Φ( 𝑖). ( 𝑗)
Karena umumnya transformasi Φ ini tidak diketahui, dan sangat sulit untuk difahami
secara mudah, maka perhitungan dot product tersebut sesuai teori Mercer dapat digantikan
dengan fungsi kernel i 𝑗 yang mendefinisikan secara implisit transformasi Φ Hal ini
disebut sebagai Kernel Trick, yang dirumuskan :
i 𝑗 = Φ( 𝑖). ( 𝑗) (11)

Kernel trick memberikan berbagai kemudahan, karena dalam proses pembelajaran SVM,
untuk menentukan support vector, kita hanya cukup mengetahui fungsi kernel yang dipakai, dan
tidak perlu mengetahui wujud dari fungsi non linear Φ . Berbagai jenis fungsi kernel dikenal,
sebagaimana dirangkumkan pada tabel 1.
Selanjutnya hasil klasifikasi dari data diperoleh dari persamaan berikut :

22
SV pada persamaan di atas dimaksudkandengan subset dari training set yang terpilih sebagai
support vector, dengan kata lain data I yang berkorespondensi pada αi ≥ 0

5. Karakteristik Support Vector Machine (SVM)

karakteristik SVM secara umum dirangkumkan sebagai berikut:

1. Secara prinsip SVM adalah linear classifier.
2. Pattern recognition dilakukan dengan mentransformasikan data pada input space ruang
yang berdimensi lebih tinggi, dan optimisasi dilakukan pada ruang vector yang baru
tersebut. Hal ini membedakan SVM dari solusi pattern recognition pada umumnya,
yang melakukan optimisasi parameter pada ruang hasil transformasi yang berdimensi lebih
rendah daripada dimensi input space.
3. Menerapkan strategi Structural Risk Minimization (SRM).
4. Prinsip kerja SVM pada dasarnya hanya mampu menangani klasifikasi dua kelas.

23
RESUME KELOMPOK 7: Naive Bayes &Bayesian Network
1. Konsep Naive Bayes
Simple naive Bayesian classifier merupakan salah satu metode pengklasifikasian
yang berdasarkan pada penerapan Teorema Bayes dengan asumsi antar variabel penjelas
saling bebas (independen). Algoritma ini memanfaatkan metode probabilitas dan
statistik yang dikemukakan oleh ilmuwan Inggris Thomas Bayes, yaitu memprediksi
probabilitas di masa depan berdasarkan pengalaman di masa sebelumnya. Dasar dari
teorema naive digunakan dalam pemrograman adalah rumus Bayes berikut ini:

Artinya Peluang kejadian X bersyarat Y ditentukan dari peluang Y terhadap

X, peluang X, dan peluang Y.

1.1 Algoritma Naive Bayes

Teorema Bayes:
P( X | C ) P(C ) Likelihood  Prior
P(C | X)  Posterior 
P ( X) Evidence
Dimana :
 P(X) evidence atau bukti P X 
 P(C) merupakan peluang prior P(C)
 P(X|C) peluang bersyarat yang diketahui disebut sebagai likelihood
 P(C|X) peluang bersyarat yang akan dicari atau peluang posterior

1.2 Cara kerja Naïve Bayesian

Misalkan di berikan sebuah data sebagai berikut untuk diklasifikasi

X1 X2 ... Xn C

... ... ... ... Ya

24
 ... ... ... ... Tidak

... ... ... ... Ya

... ... ... ... Ya

Maka dari data tersebut diketahui bahwa X1, X2, . . . , Xn adalah atribut , sedangkan untuk
C disebut sebagai target ( didalamnya hanya ada dua kemungkinan “ Ya” atau “ Tidak “).
Untuk mencari solusi dari target C diatas kita gunakan rumus

dengan cara kerja sebagai berikut

1. Estimasi peluang dari target C
Hitung peluang jika C=ya dan jika C= tidak
2. Estimasi peluang bersyarat Xi terhadap C
Hitung peluang bersyarat masing-masing atribut X terhadap C, misalnya PC X 1 ,

PC X 2 sampai PC Xn 

3. Estimasi peluang bersyarat PX C  yang ingin dicari

Hitung PXi C  Ya  dan PXi C  Tidak 

4. Bandingkan nilai antara PXi C  Ya  dan PXi C  Tidak 

Jika nilai PXi C  Ya  > PXi C  Tidak  maka keputusan akhir adalah Ya

Jika nilai PXi C  Ya  < PXi C  Tidak  maka keputusan akhir adalah Tidak

1.3 Contoh Penggunaan Naïve Bayesian

Misalnya ingin diketahui apakah suatu objek masuk dalam ketegori dipilih
untuk perumahan atau tidak, maka dengan algoritma Naive Bayes Classifier kita
dapat mencari solusi untuk kasus diatas. Untuk menetapkan suatu daerah akan dipilih
sebagai lokasi untuk mendirikan perumahan, telah dihimpun 10 aturan.

25
Ada 4 atribut yang digunakan, yaitu:

 Harga tanah per meter persegi (C1)

 Jarak daerah tersebut dari pusat kota (C2)
 Ada atau tidaknya angkutan umum di daerah tersebut (C3)
 Keputusan untuk memilih daerah tersebut sebagai lokasi perumahan (C4).

a. Probabilitas kemunculan setiap nilai untuk atribut Harga Tanah (C1)

26
b. Probabilitas kemunculan setiap nilai untuk atribut Jarak dari Pusat Kota (C2)

c. Probabilitas kemunculan setiap nilai untuk atribut Ada Angkutan Umum (C3)

d. Probabilitas kemunculan setiap nilai untuk atribut Dipilih untuk perumahan (C4)

e. Menghitung probabilitas setiap kejadian :

 Berdasarkan data tersebut, apabila diketahui suatu daerah dengan harga tanah
MAHAL, jarak dari pusat kota SEDANG, dan ADA angkutan umum, maka dapat

27
 dihitung:

YA = P(Ya| Tanah=MAHAL) x P(Ya|Jarak=SEDANG) x

P(Ya|Angkutan=ADA) x P(Ya)
= 1/5 x 2/5 x 1/5 x 5/10 = 2/125 = 0,008

TIDAK = P (Tidak|Tanah=MAHAL) x P(Tidak|Jarak=SEDANG

x P(Tidak|Angkutan=ADA) x P(Ya)
= 3/5 x 1/5 x 3/5 x 5/10 = 2/125 = 0,036

 Nilai probabilitas dapat dihitung dengan melakukan normalisasi terhadap

likelihood tersebut sehingga jumlah nilai yang diperoleh = 1

Probabilitas Ya =
Karena nilai Probabilitas Ya <
Probabilitas Tidak maka
keputusannya adalah TIDAK

Probabilitas Tidak =

2. BAYESIAN NETWORK

2.1. Defenisi Peluang Bersyarat

Misal ada dua kejadian 𝐴 dan dengan , maka peluang 𝐴 bersyarat ,
dituliskan sebagai 𝐴 didefinisikan sebagai
𝐴
𝐴

(R
2.2. Definisi Bayesian Network
Bayesian Network (BN) didefinisikan sebagai sebuah graf yang mewakili
hubungan probabilistik diantara himpunan variabel. Jika diberikan sebuah himpunan

28
 berhingga variable , Bayesian Network G adalah sebuah graf acyclic
berarah yang mewakili distribusi peluang bersyarat di . Simpul-simpul pada graf
mewakili variable Sisi-sisi pada graf mewakili pengaruh antara suatu
variabel terhadap variabel yang lain.

2.3. Contoh Penggunaan Bayesian Network

Misalkan ada 2 faktor yang dapat menyebabkan rumput menjadi basah yaitu
hujan dan alat penyiram. Kemudian ingin diketahui apa kemungkinannya jika terjadi
hujan dan rumput basah (P(G|R)). Hal tersebut dapat di cari dengan menggunakan
Bayesian Network. Akan dipilih 3 variabel yang akan direpresentasikan dalam node-node
yaitu: Rain (R), Sprinkler (S), Grass Wet (G).
Ketiga variable memiliki nilai kemungkinan T = True dan F=False.

Kasus : Berapa kemungkinannya jika terjadi hujan dan menyebabkan rumput basah?
Penyelesaiannya:
P ( R = T | G = T ) = …..?
∑ }
P ( R = T | G = T) = ∑ }

P (G = T, S = T, R =T) = P(G = T|S = T, R = T) P (S = T|R = T) P(R = T)

= 0,99 x 0,01 x 0,2

29
 = 0,00198
P (G = T, S = F, R =T) = P(G = T|S = F, R = T) P (S = F|R = T) P(R = T)
= 0,8 x 0,99 x 0,2
= 0,1584
P (G = T, S = T, R =F) = P(G = T|S = T, R = F) P (S = T|R = F) P(R = F)
= 0,9 x 0,4 x 0,8
= 0,288
P (G = T, S = F, R =F) = P(G = T|S = F, R = F) P (S = F|R = F) P(R = F)
= 0,0 x 0,6 x 0,8
= 0,0
Sehingga diperoleh hasil

P(G=T|R=T)= = 0,3577

Jadi besarnya kemungkinan jika terjadi hujan dan rumput basah adalah 0,3577

30
 Algoritma EM merupakan sebuah metode optimisasi iteratif untuk estimasi Maksimum
Likelihood (ML) yang berguna dalam permasalahan data yang tidak lengkap (incomplete data).
Dalam setiap iterasi pada Algoritma EM ini terdapat 2 tahap, yaitu tahap Ekspektasi atau tahap E
(E step) dan tahap Maksimisasi atau tahap M (M step). E step bertujuan menemukan ekspektasi
bersyarat dari missing data dengan syarat data yang diketahui nilainya (observed) dan penduga
parameternya, kemudian mensubstitusikan nilai ekspektasi yang diperoleh terhadap missing
data. Atau secara ringkas algoritma EM diberikan sebagai berikut:

1. E-step :

2. M-step:

3. Iterasi sampai nilai θ(t) konvergen, atau θ(t+1) – θ(t) mendekati nol. Hasilnya adalah
sequence dari nilai-nilai θ(0) -> θ(1) -> … dimulai dari suatu nilai θ(0) tertentu.
Secara umum, iterative algoritma adalah aturan yang applicable untuk nilai θ(0)
tertentu.

Menggunakan maximum likelihood data diatas, kita memperoleh

Putaran Koin A Koin B

ke-
1 5 A, 5 G
2 9 A, 1 G
3 8 A, 2 G
4 4 A, 6 G
5 7 A, 3 G

31
 total 24 A, 6 G 9 A, 11 G

Untuk menentukan jumlah ekspektasi kemunculan angka, menggunakan peluang

tersebutyang mana menunjukkan likelihood, kalikan dengan jumlah kemunculan angka
setelah menghitung likelihood berikut:
𝑝 𝑘 −
Dimana: p(k) peluang sukses, k kesusesan, (n-k) merupakan kegagalan untuk n adalah
jumlah lantunan.
Setelah mendapat nilai peluang kesuksesan, hitunglah rata-rata untuk koin A dan B.
𝑝 𝑘
𝑝
𝑝 𝑘 𝑝 𝑘
𝑝 𝑘
𝑝
𝑝 𝑘 𝑝 𝑘

Putaran Kemunculan dalam 10 Jumlah Angka Jumlah

ke- lantunan berturut-turut Gambar
1 A, G, G, G, A, A, G, A, G, A 5 5
2 A, A, A, A, G, A, A, A, A, A 9 1
3 A, G, A, A, A, A, A, G, A, A 8 2
4 A, G, A, G, G, G, A, A, G, G 4 6
5 G, A, A, A, G, A, A, A, G, A 7 3

Kita tentukan nilai awalnya yaitu dan

Likelihood koin A =
Likelihood koin B =

32
 𝑝 = 0,45

𝑝 = 0,55

0,45 × 5 A = 2,2 A 0,45 × 5 T = 2,2 T

0,55 × 5 A = 2,8 A 0,45 × 5 T = 2,8 T

Kalau kita melanjutkannya sampai 5 set menghasilkan:

Putaran ke- pa pb Koin A Koin B

A G A G
1 0,45 0,55 2,2 2,2 2,8 2,8
2 0,80 0,20 7,2 0,8 1,8 0,2
3 0,73 0,27 5,9 1,5 2,1 0,5
4 0,35 0,65 1,4 2,1 2,6 3,9
5 0,65 0,35 4,5 1,9 2,5 1,1
TOTAL 21,3 8,6 11,7 8,4

Dari langkah inilah kita akan memulai tahap maksimisasi (m-step).

Jadi dari tahap ini, nilai , akan menjadi nilai awal dan dilakukan iterasi dengan
kata lain mengulang langkah ini lagi dengan nilai awal yang baru sampai mendapatkan nilai
yang konvergen. Yang mana hasil akhir didapatkan setelah nilainya konvergen pada iterasi
ke-10:

33
34
RESUME KELOMPOK 9: ADABOOST

1. AdaBoost
AdaBoost merupakan salah satu dari beberapa varian tentang ide boosting. Ide
boosting berasal dari suatu cabang pada penelitian machine learning yang dikenal sebagai
computational learning theory. Konsep AdaBoost muncul dari pertanyaan Kearns dan
Valiant pada tahun 1988. Apakah suatu pembelajaran lemah dapat ditingkatkan menjadi
suatu pembelajaran yang kuat. Jawaban pertanyaan di atas dijawab oleh Schapire dengan
membangun suatu algoritma boosting untuk yang pertama kali. Selanjutnya algoritma ini
dikembangkan lagi oleh Freund dan Schapire dengan mengajukan konsep Adaptive
Boosting yang dikenal dengan nama AdaBoost.
2. Algoritma AdaBoost
Algoritma AdaBoost digunakan untuk membuat suatu klasifikasi menjadi lebih
akurat dengan cara menggabungkan beberapa pembelajaran yang lemah (weak learner)
menjadi pembelajaran yang kuat (strong learner).
AdaBoost dan variannya telah sukses diterapkan pada beberapa bidang (domain)
karena dasar teorinya kuat, prediksi yang akurat dan kesederhanaan yang besar .
Langkah-langkah algoritma AdaBoost adalah :
a. Input: Suatu kumpulan sample pelatihan dengan label 𝑦 𝑦 }, suatu
ComponentLearn Algoritma, jumlah perputaran T. Dengan nilai x sebagai data dan y
adalah klasifikasi dengan nilai 𝑦 − }.

b. Initialize: Bobot suatu sample pelatihan: , untuk semua 𝑖 .

c. Do for 𝑡 .
1) Gunakan ComponentLearn Algoritma untuk melatih suatu komponen klasifikasi,
, pada sample bobot pelatihan.
2) Hitung kesalahan pelatihannya pada
∑ 𝑦 .
3) Tetapkan bobot untuk component classifier

( ).

4) Update bobot sample pelatihan

35
 𝑦
{
𝑦
}
𝑖 Zt adalah suatu konstanta normalisasi

d. Output: 𝑖𝑔𝑛 ∑

3. Contoh 1
Diberikan data training sebagai berikut:

Langkah-langkah :
 Identifikasi masalah

Data di atas merupakan contoh data training yang akan dipakai dengan x adalah
data dan y adalah klasifikasi data dengan 𝑦 − }− 𝑎𝑙 𝑎𝑛 𝑡𝑟 .
Weak learner yang akan digunakan untuk kasus di atas adalah klasifikasi sederhana
dimana x < T atau x > T dengan T adalah Threshold
 Proses
1. Inisialisasi (k=1)
Dengan 𝑛𝑡 𝑘 𝑖 ,sehingga kita peroleh bobot seperti tabel

dibawah ini

Dengan menggunakan klasifikasi yang telah ditentukan maka kita mendapatkan 3

nilai T berdasarkan transisi klasifikasi pada data training yaitu, diantara data ke-2

36
dan 3, ke-5 dan 6, serta data ke-8 dan 9, sehingga kita dapat memilih nilai T, 2.5,
5.5 dan 8.5.
o Untuk T = 2.5
Kita dapatkan error pada data 6, 7 dan 8 sehingga diperoleh total error =
0.3.

o Untuk T = 5.5
Kita dapatkan error pada data 0, 1, 2 dan 9 sehingga diperoleh total error =
0.4

o Untuk T = 8.5
Kita dapatkan error pada data 3, 4, dan 5 sehingga diperoleh total error =
0.3

Kita pilih nilai error terendah 0.3 yaitu dengan T = 2.5

Klasifikasi 1 diperoleh :

37
 ( )

𝑛𝑡 𝑘 𝑛𝑖𝑙𝑎𝑖 𝑟
{
𝑛𝑡 𝑘 𝑛𝑖𝑙𝑎𝑖 𝑎𝑙
∑ 𝑝 =0.916515
Update table :

3 error
2. Untuk k = 2
Setelah melakukan iterasi pertama maka kita mendapatkan bobot baru
yaitu sebagai berikut :

Sama seperti iterasi yang pertama kita mendapatkan bahwa dengan

menggunakan klasifikasi yang telah ditentukan maka kita mendapatkan 3 nilai T
berdasarkan transisi klasifikasi pada data training yaitu, diantara data ke-2 dan 3,
ke-5 dan 6, serta data ke-8 dan 9, sehingga kita dapat memilih nilai T, 2.5, 5.5 dan
8.5.
o Untuk T = 2.5

38
 Kita mendapatkan error pada data 6, 7 dan 8 sehingga nilai

o Untuk T = 5.5
Kita mendapatkan error pada data 0, 1, 2 dan 9 sehingga nilai

o Untuk T = 8.5
Kita mendapatkan error pada data3, 4 dam 5 sehingga nilai

Kita pilih error terendah 0.213 yaitu T = 8.5

Klasifikasi 2 diperoleh :

( )

𝑛𝑡 𝑘 𝑛𝑖𝑙𝑎𝑖 𝑟
{
𝑛𝑡 𝑘 𝑛𝑖𝑙𝑎𝑖 𝑎𝑙
∑ 𝑝 =0.82
Update table :

3 error
3. Untuk k = 3
Setelah melakukan iterasi yang kedua maka kita mendapatkan bobot baru
yaitu :

39
40