Nama : Silvia Winatan Kelas :A

NPM : 0806335315 NPM : 0806335315

WS 8 – SC

Contoh Training yang diberikan (S) seperting dibawah ini

D1 Cerah Panas Becek Lemah Tidak

Kencan
D2 Cerah Panas Becek Tidak
g
Mendun
D3 Panas Becek Lemah Ya
g
D4 Hujan Sedang Becek Lemah Ya
D5 Hujan Sejuk Kering Lemah Ya
Kencan
D6 Hujan Sejuk Kering Tidak
g
Mendun Kencan
D7 Sejuk Kering Ya
g g
D8 Cerah Sedang Becek Lemah Tidak
D9 Cerah Sejuk Kering Lemah Ya
D10 Hujan Sedang Kering Lemah Ya
Kencan
D11 Cerah Sedang Kering Ya
g
Mendun Kencan
D12 Sedang Becek Ya
g g
Mendun
D13 Panas Kering Lemah Ya
g
Kencan
D14 Hujan Sedang Becek Tidak
g

 Target Attribute adalah LatihanFootball yang memiliki value ya atau tidak.

 Attribute adalah Cuaca, Suhu, Lapangan, dan Angin.
Jawab :

 S adalah koleksi dari 14 contoh dengan 9 contoh positif dan 5 contoh negatif, ditulis dengan notasi [9+,5-].
 Gain(S,A) adalah Information Gain dari sebuah attribute A pada koleksi contoh S.
n
 Rumus yang diberikan dari soal distribusi prior probability I ⟨ P1 , … . , P n ⟩ =∑ −Pi log 2 Pi merupakan
i=1

rumus Entropy dari S. Untuk mempersingkat penulisan pada penggunaan rumus Gain(A) rumus I(x) diubah
namany dengna rumus Entropy S.
n
Entropy (S )=∑ −Pi log 2 Pi
i=1

1
 Entropy ¿
¿ 0,9402 9

Catatan:
 Entropy(S) = 0, jika semua contoh pada S berada dalam kelas yang sama.
 Entropy(S) = 1, jika jumlah contoh positif dan jumlah contoh negatif dalam S adalah sama.
 0 < Entropy(S) < 1, jika jumlah contoh positif dan negatif dalam S tidak sama.

n
p n p +n p n
Gain ( A )=I ( , )
−∑ i i I ( i , i )
p +n p +n i=1 p+ n pi +ni pi +ni
dengan subsitusi persamaan Entropy(S) maka Gain(S,A)
❑
Gain ( S , A )=Entropy(S)−∑ ¿ S v ∨ ¿ Entropy(S ) ¿ ¿
v
i=1 ¿ S∨¿
 Values(Angin) = Lemah,Kencang

SLemah = [6+,2-]

SKencang = [3+,3-]

8 6
Gain ( S , Angin )= Entropy ( S )− Entropy ( S Lemah )− Entropy(S Kencang )
14 14

8 6
¿ 0,94029− ( 0,811 ) − ( 1 )
14 14

¿ 0,048 Entropy ( S Lemah ) =Entropy ¿

6 6 2 2
¿− log 2 − log 2
8 8 8 8

¿ 0,811

 Values(Lapangan)= Becek, Kering

SBecek = [3+,4-]

SKering = [6+,1-]

3 4
Gain ( S , Lapangan )=Entropy ( S )− Entropy ( S Becek )− Entropy (S Kering )
7 7

2
 3 4
¿ 0,94029− ( 0,985 )− ( 0,591 )
14 14

¿ 0,15 2
Entropy ( S Becek ) =Entropy ¿ Entropy ( S Kering )=Entropy ¿

3 3 4 4 6 6 1 1
¿− log 2 − log 2 ¿− log 2 − log 2
7 7 7 7 7 7 7 7

¿ 0,985 ¿ 0,591
 Values(Suhu) = Panas, Sedang, Sejuk

SPanas = [2+,2-]

SSedang = [4+,2-]

SSejuk = [3+,1-]

4 6 4
Gain ( S , Suhu )=Entropy ( S )− Entropy ( S Panas )− Entropy ( S Sedang )− Entropy ( S Sejuk )
14 14 14

4 6 4
¿ 0,94029− ( 1 )− ( 0 , 91 )− ( 0,811 )
14 14 14

¿ 0 , 02 9

 Values(Cuaca)= Cerah, Mendung, Hujan

SCerah = [2+,3-]

SMendung = [4+,0-]

SHujan = [3+,2-]

5 4 5
Gain ( S , Suhu )=Entropy ( S )− Entropy ( S Cerah )− Entropy ( S M endung ) − Entropy (S Hujan)
14 14 14

5 4 5
¿ 0,94029− ( 0,97 ) − ( 0 ) − ( 0,97 )
14 14 14

¿ 0,246

 Jadi, information gain untuk 4 atribut yang ada adalah:

Gain(S,Angin) = 0,048

Gain(S,Lapangan) = 0,152

Gain(S,Suhu) = 0,029

Gain(S,Cuaca) = 0,246 prediksi terbaik untuk target atribut LatihanFootbal

3
 [D1,...,D14]
[9+, 5-]
Cuaca

Cerah Mendung Hujan

[D1,D2,D8,D9,D1] ? Ya ? [D4,..,D6,D10,D14]
[2+, 3-] [2+, 3-]
[D3,D7,D12,D13]
[4+, 0-]
 Untuk branch node Cuaca = Cerah

Scerah = [D1, D2, D8, D9, D11]

Sampel Cuaca Suhu Lapangan Angin Latihan?

D1 Cerah Panas Becek Lemah Tidak
Kencan
D2 Cerah Panas Becek Tidak
g
D8 Cerah Sedang Becek Lemah Tidak
D9 Cerah Sejuk Kering Lemah Ya
Kencan
D11 Cerah Sedang Kering Ya
g

Entropy (Scerah)=¿ Entropy ¿

2 2 3 3
¿− log 2 − log 2
5 5 5 5
¿ 0,97

 Values(Suhu) = Panas, Sedang, Sejuk

Spanas = [0+,2-]

Ssedang = [1+,1-]

Ssejuk = [1+,0-]

2 2 1
Gain ( S cerah , Panas )=Entropy ( S cerah )− Entropy ( S panas )− Entropy ( S sedang ) − Entropy (S sejuk )
5 5 5

2 4 5
¿ 0,9 7− ( 0 )− (1 )− ( 0 )
5 14 14

¿ 0 , 57

 Values(Lapangan) = Becek, Kering

Sbecek= [0+,3-]

4
 Skering = [2+,0-]

3 2
Gain ( Scerah , Lapangan )=Entropy ( Scerah )− Entropy ( S Becek ) − Entropy ( S kering )
5 5

2 2
¿ 0,97− ( 0 )− ( 0 )
5 5

¿ 0,9 7

 Values(Angin) = Lemah, Kencang

Slemah = [1+,2-]

Skencang = [1+,1-]

3 2
Gain ( Scerah , Angin )=Entropy ( Scerah )− Entropy ( S Lemah ) − Entropy ( S Kencang )
5 5

3 2
¿ 0,97− ( 0,92 )− ( 1 )
5 5

¿ 0,02

 Jadi, information gain untuk 3 atribut yang ada adalah:

Gain(Scerah,Angin) = 0,02

Gain(S,Lapangan) = 0,97 prediksi terbaik

Gain(S,Panas) = 0,57

[D1,...,D14]
[9+, 5-]
Cuaca

Cerah Mendung Hujan

[D1,D2,D8,D9,D1] Lapangan Ya ? [D4,..,D6,D10,D14]

[2+, 3-] [2+, 3-]
[D3,D7,D12,D13]
Becek Kering [4+, 0-]

Tidak Ya

[D1,D2,D8] [D9,D11]
[0+, 3-] [2+, 0-]

 Untuk branch node Cuaca = Hujan

5
 Shujan = [D4, D5, D6, D10, D14]

Sampel Cuaca Suhu Lapangan Angin Latihan?

D4 Hujan Sedang Becek Lemah Ya
D5 Hujan Sejuk Kering Lemah Ya
Kencan
D6 Hujan Sejuk Kering Tidak
g
D10 Hujan Sedang Kering Lemah Ya
Kencan
D14 Hujan Sedang Becek Tidak
g

Entropy ( Scerah ) =Entropy ¿

3 3 2 2
¿− log 2 − log 2
5 5 5 5
¿ 0,97

 Values(Suhu) = Sedang, Sejuk

* Tidak ada lagi Suhu = panas saat ini

Ssejuk = [2+,1-]

Sdingin = [1+,1-]

3 2
Gain ( Shujan , Suhu )=Entropy ( Shujan )− Entropy ( S Sedang ) − Entropy ( S Sejuk )
5 5

3 2
¿ 0,97− ( 0,92 )− ( 1 )
5 5

¿ 0,0 2

 Values(Lapangan) = Becek, Kering

Sbecek = [1+,1-]

Skering = [2+,1-]

2 3
Gain ( Shujan , Lapangan )=Entropy ( Shujan )− Entropy ( S becek ) − Entropy ( Skering )
5 5

2 2
¿ 0,97− ( 1 )− ( 0,92 )
5 5

¿ 0,0 2

6
  Values(Angin) = Lemah, Kencang
Slemah = [3+,0-]

Skencang = [0+,2-]

3 2
Gain ( Shujan , Angin )=Entropy ( Shujan )− Entropy ( S becek ) − Entropy ( Skering )
5 5

3 2
¿ 0,97− ( 0 )− ( 0 )
5 5

¿ 0,97

 Jadi, information gain untuk 3 atribut yang ada adalah:

Gain(Shujan,Angin) = 0,97  prediksi terbaik

Gain(S,Lapangan) = 0,02

Gain(S,Suhu) = 0,02

Hasil akhir Decision Tree

[D1,...,D14]
[9+, 5-]
Cuaca

Cerah Mendung Hujan

[D1,D2,D8,D9,D1] [D4,..,D6,D10,D14]
Lapangan Ya Angin
[2+, 3-] [2+, 3-]
[D3,D7,D12,D13]
Becek Kering [4+, Kencang
0-] Lemah

Tidak Ya Tidak Ya
[D1,D2,D8] [D9,D11] [D6,D14] [D4,D5,D10]
[0+, 3-] [2+, 0-] [0+, 2-] [3+, 0-]