STMIK Palangka raya Maura Widyaningsih

PENGENALAN POLA

Maura Widyaningsih
STMIK Palangka raya Maura Widyaningsih

METODE TEKNIK LEARNING

1. Decision Tree Learning

2. Jaringan Syaraf Tiruan
3. Algoritma Genetika

A. DECISION TREE LEARNING

➔ Salah satu metode belajar yang sangat populer dan banyak
digunakan secara praktis. Metode ini adalah metode yang
berusaha menemukan fungsi-fungsi pendekatan yang bernilai
diskrit dan tahan terhadap data-data yang terdapat kesalahan
(noise data) serta mampu mempelajari ekspresi-ekspresi
disjunctive (ekspresi OR).
➔ Metode ini atl :
1. Iterative Dychotomizer version 3 (ID3)
2. ASSISTANT
3. C45

Iterative Dychotomizer version 3 (ID3)/ Pembelajaran

Pohon Keputusan

Algoritma :
1. Buat simpul Root
2. IF semua sampel adalah kelas I , maka RETURN pohon satu simpul
ROOT dengan label = i
3. IF Kumpulan atribut kosong, RETURN pohon satu simpul ROOT dengan
label =nilai atribut target yang paling umum (yang paling sering
muncul).
Else
• A <-- atribut yang merupakan the best clasifier (dengan
information gain terbesar)
STMIK Palangka raya Maura Widyaningsih
• Atribut keputusan untuk ROOT <-- A
• For vi (setiap nilai pada A)
o Tambahkan suatu cabang di bawah ROOT sesuai dengan nilai
vi
o Buat suatu variabel, misalnya Sampel vi, sebagai himpunan
Bagian (subset) dari kumpulan sampel yang bernilai vi pada
atribut A
o IF Sampel vi kosong
• THEN dibawah cabang ini tambahkan suatu simpul daun (leaf
node, simpul yang tidak punya anak dibawahnya)
Dengan label = nilai atribut target yang paling umum (yng
paling sering muncul)
• ELSE di bawah cabang ini tambahkan subtree dengan
memanggil fungsi ID3 (Sampel vi, AtributTarget, Atribut-[A])
END
END
END
4. RETURN ROOT

Contoh Kasus Pelamar

Pelamar IPK Psikologi Wawancara Diterima

P1 Bagus Tinggi Baik Ya
P2 Bagus Sedang Baik Ya
P3 Bagus Sedang Buruk Ya
P4 Bagus Rendah Buruk Tidak
P5 Cukup Tinggi Baik Ya
P6 Cukup Sedang Baik Ya
P7 Cukup Sedang Buruk Ya
P8 Cukup Rendah Buruk Tidak
P9 Kurang Tinggi Baik Ya
P10 Kurang Sedang Buruk Tidak
P11 Kurang Rendah Baik Ya

• Sampel S[8+,3-]
Atribut Target “Diterima”, Kumpulan atribut = { IPK, Psikologi, Wawancara }
STMIK Palangka raya Maura Widyaningsih
1) LEVEL 0 ITERASI -1
• Menghitung nilai sampel seluruh data dengan ENTROPY

Entropy (S) Ξ ∑𝑐𝑖 − 𝑝𝑖 𝑙𝑜𝑔2𝑝𝑖

keterangan : c --> atribut target (jml kelas klasifikasi)

pi --> menyatakan jml sampel untuk kelas i pada data penerimaan pegawai

S= [8+,3-] , |S| = 11
Entropy (S) = - (8/11) log2 (8/11) – (3/11) log2(3/11) = 0,8454

Value(IPK) = Bagus, Cukup, Kurang

Sbagus = [3+, 1-] = |Sbagus| = 4 --> Entropy(Sbagus) = - (3/4) log2 (3/4) – (1/4) log2(1/4) = 0,8113
Scukup = [3+, 1-] = |Ssukup| = 4 --> Entropy(Scukup) = - (3/4) log2 (3/4) – (1/4) log2(1/4) = 0,8113
Skurang = [2+, 1-] = |Skurang| = 3 --> Entropy(Skurang) = - (2/3) log2 (2/3) – (1/3) log2(1/3) = 0,9183

Value(Psikologi) = Tinggi, Sedang, Rendah

Stinggi = [3+, 0-] = |Stinggi| = 3 --> Entropy(Stinggi) = - (3/3) log2 (3/3) – (0/3) log2(0/3) = 0
Ssedang = [4+, 1-] = |Ssedang| = 5 --> Entropy(Ssedang) = - (4/5) log2 (4/5) – (1/5) log2(1/5) = 0,7219
Srendah = [1+, 2-] = |Srendah| = 3 --> Entropy(Srendah) = - (1/3) log2 (1/3) – (2/3) log2(2/3) = 0,9183

Value(Wawancara) = Baik, buruk

Sbaik = [6+, 0-] = |Sbaik| = 6 --> Entropy(Sbaik) = - (6/6) log2 (6/6) – (0/6) log2(0/6) = 0
Sburuk = [2+, 3-] = |Sburuk| = 5 --> Entropy(Sburuk) = - (2/5) log2 (2/5) – (3/5) log2(3/5) = 0,9710

• Menghitung nilai GAIN

Informasi Gain --> mengukur efektifitas suatu atribut dalam mengklasifikasikan data.
|𝑆𝑣 |
𝐺𝑎𝑖𝑛(𝑆, 𝐴) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆) − ∑ 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆𝑣 )
|𝑆|
𝑣∈𝑉𝑎𝑙𝑢𝑒(𝐴)

Dimana :
A = Atribut
V = menyatakan suatu nilai yang mungkin untuk atribut A
Value(A) = himpunan nilai-nilai yang mungkin untuk atribut A
|Sv| = jumlah sample untuk nilai v
|S| = jumlah nilai seluruh sample data
Entropy(Sv) = Entropy untuk sampel-sampel yang memiliki nilai v

|Sv |
Gain(S, IPK) = Entropy (S) − ∑v∈(Bagus,Cukup,Kurang) Entropy(Sv)
|S|
STMIK Palangka raya Maura Widyaningsih
= Entropy (S) – (4/11) entropy (Sbagus) – (4/11)Entropy (Scukup) – (3/11) Entropy(Skurang)
= 0,8454-(4/11)0,8113-(4/11)0,8113-(3/11)0,9183
= 0,0049
|𝑆𝑣 |
𝐺𝑎𝑖𝑛(𝑆, 𝑃𝑠𝑖𝑘𝑜𝑙𝑜𝑔𝑖) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆) − ∑𝑣∈(𝑇𝑖𝑛𝑔𝑔𝑖,𝑆𝑒𝑑𝑎𝑛𝑔,𝑅𝑒𝑛𝑑𝑎ℎ) 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆𝑣)
|𝑆|

= Entropy (S) – (3/11) entropy (STinggi) – (5/11)Entropy (Ssedang) – (3/11) Entropy(SRendah)

= 0,8454-(3/11)0-(5/11)0,7219-(3/11)0,9183
= 0,2668
|𝑆𝑣 |
𝐺𝑎𝑖𝑛(𝑆, 𝑊𝑎𝑤𝑎𝑛𝑐𝑎𝑟𝑎) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆) − ∑𝑣∈(𝐵𝑎𝑖𝑘,𝐵𝑢𝑟𝑢𝑘) 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆𝑣)
|𝑆|

= Entropy (S) – (3/11) entropy (STinggi) – (5/11)Entropy (Ssedang) – (3/11) Entropy(SRendah)

= 0,8454-(6/11)0-(5/11)0,9710
= 0,4040
Jadi Gain(S,Wawancara) memiliki nilai Gain terbesar sehingga merupakan the best classifier dan harus
diletakkan sebagai ROOT.
Wawancara

Baik

2) LEVEL 1 ITERASI -1
Wawancara
Baik
Ya

3) LEVEL 0 ITERASI KE – 2
Wawancara
Baik Buruk
Ya
Pengecekan wawancara untuk nilai buruk, Sampleburuk = [2+, 3-]

4) LEVEL 1 ITERASI KE-2

Pada tahap ini dilakukan informasi Gain untuk atribut IPK dan Psikologi
Sburuk = [2+, 3-], |S| = 5
STMIK Palangka raya Maura Widyaningsih
Value (IPK) = Bagus, Cukup, Kurang
Sbagus =[1+, 1-] = |Sbagus|= 2
Scukup =[1+, 1-]= |Scukup|= 2
SKurang = [0+, 1-] =|Skurang]= 1

Entropy|S| = -(2/5)log2(2/5) – (3/5)log2(3/5) = 0,9710

Entropy |Sbagus| = -(1/2)log2(1/2) – (1/2)log2(1/2) = 1
Entropy |Scukup| = -(1/2)log2(1/2) – (1/2)log2(1/2) = 1
Entropy |Skurang| = -(0/2)log2(0/2) – (1/2)log2(1/2) = 0

Value (Psikologi) = Tinggi, Sedang, Rendah

Stinggi =[0+, 0-] = |Stinggi|= 0
Ssedang =[2+, 1-]= |Ssedang|= 3
Srendah = [0+, 2-] =|Srendah]= 2
Entropy|Stinggi| = -(0/0)log2(0/0) – (0/0)log2(0/0) = 0
Entropy |Ssedang| = -(2/3)log2(2/3) – (1/3)log2(1/3) = 0,9183
Entropy |Srendah| = -(0/2)log2(0/2) – (2/2)log2(2/2) = 0

|𝑆𝑣 |
𝐺𝑎𝑖𝑛(𝑆, 𝐼𝑃𝐾) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆) − ∑𝑣∈(𝐵𝑎𝑔𝑢𝑠,𝐶𝑢𝑘𝑢𝑝,𝐾𝑢𝑟𝑎𝑛𝑔) 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆𝑣)
|𝑆|

= Entropy (S) – (2/5) entropy (Sbagus) – (2/5)Entropy (Scukup) – (1/5) Entropy(Skurang)

= 0,9710-(2/5)1-(2/5)1-(2/5)0
= 0,1710
|𝑆𝑣 |
𝐺𝑎𝑖𝑛(𝑆, 𝑃𝑠𝑖𝑘𝑜𝑙𝑜𝑔𝑖) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆) − ∑𝑣∈(𝑇𝑖𝑛𝑔𝑔𝑖,𝑆𝑒𝑑𝑎𝑛𝑔,𝑅𝑒𝑛𝑑𝑎ℎ) 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆𝑣)
|𝑆|

= Entropy (S) – (0/5) entropy (STinggi) – (3/5)Entropy (Ssedang) – (2/5) Entropy(SRendah)

= 0,9710-(0/5)0-(3/5)0,9183 -(2/5)0
= 0,4200
STMIK Palangka raya Maura Widyaningsih

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang
Tidak

5) LEVEL 2 ITERASI KE-1

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang Rendah

Ya IPK tidak

Bagus

SSedang =[2+, 1-] = 3

SBagus =[1+, 0-]= 1

6) LEVEL 3 ITERASI KE-1

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang

Tidak IPK
STMIK Palangka raya Maura Widyaningsih
Bagus

Ya
SBagus =[1+, 0-] = 2

7) LEVEL 2 ITERASI KE-2

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang

Tidak IPK

Bagus Cukup

Ya
SCukup =[1+, 0-] = 1

8) LEVEL 3 ITERASI KE-2

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang

Ya IPK

Bagus Cukup

Ya Ya
SCukup =[1+, 0-] = 2
STMIK Palangka raya Maura Widyaningsih

9) LEVEL 2 ITERASI KE-3

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang

Tidak IPK

Bagus Cukup Kurang

Ya Ya
SKurang =[0+, 1-] = 1

10) LEVEL 3 ITERASI KE-3

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang

Ya IPK

Bagus Cukup Kurang

Ya Ya Tidak

SKurang =[0+, 1-] = 1

STMIK Palangka raya Maura Widyaningsih

11) LEVEL 1 ITERASI KE-3

Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang Rendah

Ya IPK

Bagus Cukup Kurang

Ya Ya Tidak

SRendah =[0+, 2-] = 2

12) LEVEL 2 ITERASI KE-4
Wawancara
Baik Buruk
Ya Psikologi

Tinggi Sedang Rendah

Ya IPK Tidak

Bagus Cukup Kurang

Ya Ya Tidak
STMIK Palangka raya Maura Widyaningsih
SKurang =[0+, 1-] = 1

Strategi Pencarian ID3 menggunakan Hill Climbing.

Hasil
(Wawancara=’Baik’)v
((Wawancara=’Buruk’)^(Psikologi=’Sedang’)^(IPK=’Bagus’))v
(Wawancara=’Buruk’)^(Psikologi=’Sedang’)^(IPK=’Cukup’))
==>Diterima ‘Ya’

Total Pelamar Ya Tidak Total Entropi

11 8 3 0.845350937

Attribut Anggota Nilai Ya Tidak Entropi Gain

Bagus 4 3 1 0.811278
Cukup 4 3 1 0.811278
IPK
Kurang 3 2 1 0.918296
0.004886
Tinggi 3 3 0 0
Sedang 5 4 1 0.721928
Psikologi
Rendah 3 1 2 0.918296
0.266757
Baik 6 6 0 0
Wawancara Buruk 5 2 3 0.970951
0.404010

Pelamar IPK Psikologi Wawancara Diterima

P3 Bagus Sedang Buruk Ya
P4 Bagus Rendah Buruk Tidak
P7 Cukup Sedang Buruk Ya
P8 Cukup Rendah Buruk Tidak
P10 Kurang Sedang Buruk Tidak
STMIK Palangka raya Maura Widyaningsih

Total Pelamar Ya Tidak Total Entropi

5 2 3 0.970951

Attribut Anggota Nilai Ya Tidak Entropi Gain

Bagus 2 1 1 1
Cukup 2 1 1 1
IPK
Kurang 1 0 1 0
0.170951
Tinggi 0 0 0 0
Sedang 3 2 1 0.918296
Psikologi
Rendah 2 0 2 0
0.419973

Pelamar IPK Psikologi Wawancara Diterima

P3 Bagus Sedang Buruk Ya
P7 Cukup Sedang Buruk Ya
P10 Kurang Sedang Buruk Tidak

Total Pelamar Ya Tidak Total Entropi

3 2 1 0.918296

Attribut Anggota Nilai Ya Tidak Entropi Gain

Bagus 1 1 0 0
Cukup 1 1 0 0
IPK
Kurang 1 0 1 0
0.918296

Nama Sarti
Wawancara Baik
Psikologi Sedang
IPK Cukup
Diterima Ya

IF(B66="Baik","Ya",IF(and(B66="Buruk",B67="Tinggi"),"Tidak",IF(and(B66="Buruk",B67="Sedang",
B68="Bagus"),"Ya",IF(and(B66="Buruk",B67="Sedang",B68="Cukup"),"Ya",IF(and(B66="Buruk",B67=
R2 "Sedang",B68="Kurang"),"Tidak","Tidak")))))