TUGAS INDIVIDU

BACK PROPAGATION NEURAL NETWORK

disusun untuk memenuhi tugas mata kuliah data mining
Dosen:
Zulhanif

Oleh
MAROLOP M NAIBAHO
140610130061

DEPARTEMEN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS PADJADJARAN
2016

Hitung semua bobot sampai iterasi ke-8 untuk data berikut:

X
1
1
1
0
0
Dengan bentuk MLP sebagai berikut:

X
2
1
0
1
0

Y
0
1
1
0

TAHAPAN ITERASI
a. Inisialisasi Bobot
Inisialisasi bobot dengan jangkauan [-0.5,0.5] atau (-2.4/F,2.4/F) (Haykin, 1999)
b. Selanjutnya dilakukan fungsi aktivasi untuk menghitung nilai keluaran pada
neuron hidden layer dan non-hidden layer dengan persamaan sebagai berikut:
1. Menghitung keluaran pada neuron hidden layer
n

v j ( p ) = xi ( p ) wij ( p )
i=1

nilai

y j ( p ) didapatkan dengan menggunakan persamaan berikut:

y j ( p )=

1
1+ev ( p )
j

2. Menghitung keluaran pada non hidden layer

n

v k ( p )= x i ( p ) wik ( p )
i=1

maka untuk menghitung nilai

y k ( p )=

y k ( p ) digunakan persamaan berikut:

1
1+ ev ( p)
k

3. Perbaharui Bobot
Mengkoreksi nilai bobot dilakukan dengan cara menghitung terlebih
dahulu nilai gradient error pada setiap neuron.
4. Langkah berikutnya yaitu menghitung koreksi bobot dari setiap layer
neuron.
5. Iterasi
Pada tahap ini akan dilakukan update bobot baru dan menghitung nilai
MSE. Iterasi akan berhenti apabila nilai MSE < 0.001 atau sudah
mencapai iterasi yang ke-1000000.

1. ITERASI PERTAMA
a. Inisialisasi Bobot
no input
J=1
J=2

BOBOT
Wj3
0.3
0.5

Wj4
-0.8
0.1

Wj5
0.2
0.7

b. Langkah Aktivasi
1. Menghitung keluaran pada neuron hidden layer
v3
y3
v4
y4

1
0.731059
-0.9
0.28905

2. Menghitung keluaran pada non hidden layer

v5
y5
e5

0.64854
7
0.65668
3
-0.65668

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5
-0.14805
Gradien Error Pada Hidden Layer
3
-0.00058
4
-0.00213
Koreksi Bobot Pada Non-Hidden Layer
w35
-0.01082
w45
-0.00428
w05
-0.0148
Koreksi Bobot Pada Hidden Layer
w13
-0.00058
w23
-0.00058
w03
-0.00058
w14
-0.00213
w24
-0.00213
w04
-0.00213

W0j
0.2
-0.2
0.3

4. Iterasi
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

Bobot baru Iterasi 1

0.18917672
0.69572062
0.28519505
0.29941783
0.49941783
0.19941783
-0.8021297
0.09787031
-0.2021297
MSE

Bobot Lama
0.2
0.7
0.3
0.3
0.5
0.2
-0.8
0.1
-0.2

2. ITERASI KEDUA
a. Inisialisasi bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

0.18917672
0.69572062
0.28519505
0.29941783
0.49941783
0.19941783
-0.8021297
0.09787031
-0.2021297

b. Langkah Aktivasi
Fungsi aktivasi yang digunakan adalah fungsi sigmoid biner.
1. Menghitung keluaran pada neuron hidden layer
v3
y3
v4
y4

0.998254
0.730715
-0.90639
0.287739

2. Menghitung keluaran pada non hidden layer

e2
0.0001171435
0.0000183131
0.0002191865
0.0000003389
0.0000003389
0.0000003389
0.0000045356
0.0000045356
0.0000045356
0.0000410296

v5
y5
e5

0.623616
0.65104
-0.65104

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5

-0.14791

Gradien Error Pada Hidden Layer

3

-0.00055

Koreksi Bobot Pada Non-Hidden Layer

w35
w45
w05

Koreksi Bobot Pada Hidden Layer

w13
w23
w03
w14
w24
w04

-0.01081
-0.00426
-0.01479
-0.00055
-0.00055
-0.00055
-0.00211
-0.00211
-0.00211

4. Iterasi
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

Bobot baru Iterasi 2

0.17836887
0.69146473
0.27040427
0.29886726
0.49886726
0.19886726
-0.8042386
0.09576137
-0.2042386
MSE

Bobot Lama
0.18917672
0.69572062
0.28519505
0.29941783
0.49941783
0.19941783
-0.8021297
0.09787031
-0.2021297

e2
0.0001168095
0.0000181126
0.0002187671
0.0000003031
0.0000003031
0.0000003031
0.0000044476
0.0000044476
0.0000044476
0.0000408824

3.

ITERASI KETIGA
a. Inisialisasi bobot
0.17836887
0.69146473
0.27040427
0.29886726
0.49886726
0.19886726
-0.8042386
0.09576137
-0.2042386

w35
w45
w05
w13
w23
w03
w14
w24
w04

b. Langkah Aktivasi
Fungsi aktivasi yang digunakan adalah fungsi sigmoid biner.
1. Menghitung keluaran pada neuron hidden layer
v3
y3
v4
y4

0.99660
2
0.73039
0.91272
0.28644
4

2. Menghitung keluaran pada non hidden layer

v5
y5
e5

0.59874
9
0.64537
-0.64537

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5

-0.1477

Gradien Error Pada Hidden Layer

3
4

-0.00052
-0.00209

Koreksi Bobot Pada Non-Hidden Layer

w35
-0.01079
w45
-0.00423
w05
-0.01477

Koreksi Bobot Pada Hidden Layer

w13
-0.00052
w23
-0.00052
w03
-0.00052
w14
-0.00209
w24
-0.00209
w04
-0.00209
4. Iterasi
Berikut adalah hasil bobot baru dan nilai MSE pada iterasi ketiga.
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

4.

Bobot baru Iterasi 3

0.1675807
0.68723383
0.25563385
0.29834845
0.49834845
0.19834845
-0.8063262
0.09367384
-0.2063262
MSE

Bobot Lama
0.17836887
0.69146473
0.27040427
0.29886726
0.49886726
0.19886726
-0.8042386
0.09576137
-0.2042386

ITERASI KEEMPAT
a. Inisialisasi bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

0.167581
0.687234
0.255634
0.298348
0.498348
0.198348
-0.80633
0.093674
-0.20633

e2
0.0001163846
0.0000179006
0.0002181655
0.0000002692
0.0000002692
0.0000002692
0.0000043578
0.0000043578
0.0000043578
0.0000407035

b. Langkah Aktivasi
Fungsi aktivasi yang digunakan adalah fungsi sigmoid biner.
1. Menghitung keluaran pada neuron hidden layer
v3

0.99504
5
y3
0.73008
v4
-0.91898
y4
0.28516
6
2. Menghitung keluaran pada non hidden layer
v5
y5
e5

0.573958
0.639676
-0.63968

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5

-0.14744

Gradien Error Pada Hidden Layer

3
4

0.000487
0.002065

Koreksi Bobot Pada Non-Hidden Layer

w35
-0.01076
w45
-0.0042
w05
-0.01474
Koreksi Bobot Pada Hidden Layer
w13
-0.00052
w23
-0.00052
w03
-0.00049
w14
-0.00209
w24
-0.00209
w04
-0.00207

4. Iterasi

Berikut adalah hasil bobot baru dan nilai MSE pada iterasi keempat.
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

5.

Bobot baru Iterasi 4

0.1568164
0.68302936
0.24088992
0.29782965
0.49782965
0.19786155
-0.8084137
0.09158632
-0.2083916
MSE

Bobot Lama
0.1675807
0.68723383
0.25563385
0.29834845
0.49834845
0.19834845
-0.8063262
0.09367384
-0.2063262

e2
0.0001158701
0.0000176776
0.0002173835
0.0000002692
0.0000002692
0.0000002371
0.0000043578
0.0000043578
0.0000042662
0.0000405209

ITERASI KELIMA
a. Inisialisasi bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

0.156816
0.683029
0.24089
0.29783
0.49783
0.197862
-0.80841
0.091586
-0.20839

b. Langkah Aktivasi
Fungsi aktivasi yang digunakan adalah fungsi sigmoid biner.
1. Menghitung keluaran pada neuron hidden layer
v3
y3
v4
y4

0.99352
1
0.72978
3
-0.92522
0.28389
6

2. Menghitung keluaran pada non hidden layer

v5
y5
e5

0.54924
1
0.63395
9
-0.63396

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5

-0.14711

Gradien Error Pada Hidden Layer

3
4

-0.00045
-0.00204

Koreksi Bobot Pada Non-Hidden Layer

w35
-0.01074
w45

-0.00418

w05

-0.01471

Koreksi Bobot Pada Hidden Layer

w13
-0.00045
w23
-0.00045
w03
-0.00045
w14
-0.00204
w24
-0.00204
w04
-0.00204
4. Iterasi
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

Bobot baru Iterasi 5

0.14608032
0.67885287
0.22617858
0.29737471
0.49737471
0.19740662
-0.8104565
0.08954352
-0.2104344
MSE

Bobot Lama
0.1568164
0.68302936
0.24088992
0.29782965
0.49782965
0.19786155
-0.8084137
0.09158632
-0.2083916

e2
0.0001152634
0.0000174430
0.0002164235
0.0000002070
0.0000002070
0.0000002070
0.0000041730
0.0000041730
0.0000041730
0.0000402522

6. ITERASI KEENAM
a. Inisialisasi bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

0.14608
0.678853
0.226179
0.297375
0.497375
0.197407
-0.81046
0.089544
-0.21043

b. Langkah Aktivasi
Fungsi aktivasi yang diggunakan adalah fungsi sigmoid biner.
1. Menghitung keluaran pada neuron hidden layer
v3

0.99215
6
y3
0.72951
4
v4
-0.93135
y4
0.28265
1
2. Menghitung keluaran pada non hidden layer
v5
y5
e5

0.52462
5
0.62822
9
-0.62823

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5

-0.014673

Gradien Error Pada Hidden Layer

3
4

0.000423
-0.00202

Koreksi Bobot Pada Non-Hidden Layer

w35
-0.0107

w45

-0.00415

w05

-0.01467

Koreksi Bobot Pada Hidden Layer

w13
-0.00042
w23
-0.00042
w03
-0.00042
w14
-0.00202
w24
-0.00202
w04
-0.00202
4. Iterasi
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

7.

Bobot baru Iterasi 6

0.13537636
0.6747056
0.21150583
0.29695177
0.49695177
0.19698367
-0.8124761
0.0875239
-0.2124541
MSE

Bobot Lama
0.14608032
0.67885287
0.22617858
0.29737471
0.49737471
0.19740662
-0.8104565
0.08954352
-0.2104344

ITERASI KETUJUH
a. Inisialisasi bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

0.135376
0.674706
0.211506
0.296952
0.496952
0.196984
-0.81248
0.087524
-0.21245

e2
0.0001145749
0.0000171999
0.0002152895
0.0000001789
0.0000001789
0.0000001789
0.0000040788
0.0000040788
0.0000040788
0.0000399819

b. Langkah Aktivasi
Fungsi aktivasi yang digunakan adalah fungsi sigmoid biner.
1. Menghitung keluaran pada neuron hidden layer
v3

0.99088
7
y3
0.72926
3
v4
-0.93741
y4
0.28142
5
2. Menghitung keluaran pada non hidden layer
v5
y5
e5

0.50011
0.62248
5
-0.62249

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5

-0.14628

Gradien Error Pada Hidden Layer

3

-0.000391

-0.01996

Koreksi Bobot Pada Non-Hidden Layer

w35
-0.01067
w45

-0.00412

w05

-0.01463

Koreksi Bobot Pada Hidden Layer

w13
-0.00052
w23
-0.00039
w03
-0.00039
w14
-0.00209
w24
-0.002
w04
-0.002

4. Iterasi
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

Bobot baru Iterasi 7

0.12470852
0.67058886
0.1968776
0.29643297
0.49656078
0.19659268
-0.8145636
0.08552799
-0.21445
MSE

Bobot Lama
0.13537636
0.6747056
0.21150583
0.29695177
0.49695177
0.19698367
-0.8124761
0.0875239
-0.2124541

8. ITERASI KEDELAPAN
a. Inisialisasi bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

0.124709
0.670589
0.196878
0.296433
0.496561
0.196593
-0.81456
0.085528
-0.21445

b. Langkah Aktivasi
Fungsi aktivasi yang digunakan adalah fungsi sigmoid biner.
1. Menghitung keluaran pada neuron hidden layer
v3
y3
v4

0.989586
0.729006
-0.94349

e2
0.0001138027
0.0000169476
0.0002139853
0.0000002692
0.0000001529
0.0000001529
0.0000043578
0.0000039837
0.0000039837
0.0000397373

y4

0.280197

2. Menghitung keluaran pada non hidden layer

v5

0.475688

y5

0.616729

e5

-0.61673

3. Perbaharui Bobot
Gradien Error Pada Non Hidden Layer
5
-0.14578
Gradien Error Pada Hidden Layer
3
-0.000359
4
-0.01972
Koreksi Bobot Pada Non-Hidden Layer
w35
-0.01063
w45

-0.00408

w05

-0.01458

Koreksi Bobot Pada Hidden Layer

w13
w23
w03
w14
w24
w04

-0.00052
-0.00052
-0.00036
-0.00209
-0.00209
-0.00197

4. Iterasi
Inisial Bobot
w35
w45
w05
w13
w23
w03
w14
w24
w04

Bobot baru Iterasi 8

0.11408115
0.66650418
0.18229971
0.29591416
0.49604198
0.19623353
-0.8166511
0.08344047
-0.2164216
MSE

Bobot Lama
0.12470852
0.67058886
0.1968776
0.29643297
0.49656078
0.19659268
-0.8145636
0.08552799
-0.21445

e2
0.0001129411
0.0000166846
0.0002125149
0.0000002692
0.0000002692
0.0000001290
0.0000043578
0.0000043578
0.0000038874
0.0000394901

Kesimpulan :
Dengan hasil iterasi menggunakan back propagation diatas didapatkan bahwa MSE <
0.001 untuk setiap iterasi. Untuk pemilihan bobot yang digunakan dalam
memprediksi output, maka akan dilihat berdasarkan nilai MSE yang terkecil untuk
setiap iterasi. Berikut hasil MSE untuk setiap iterasi:
No
Iterasi
MSE
1
Iterasi 1
0.0000410296
0.0000408824
2
Iterasi 2
3
Iterasi 3
0.0000407035
4
Iterasi 4
0.0000405209
5
Iterasi 5
0.0000402522
6
Iterasi 6
0.0000399819
7
Iterasi 7
0.0000397373
8
Iterasi 8
0.0000394901
Berdasarkan hasil diatas, maka pembobotan akan dilakukan berdasarkan nilai pada
iterasi ke-8 karena nilai MSE nya merupakan nilai terkecil dari setiap iterasi.