BACKPROPAGATI

ON
Evanita, M.Kom
INTRODUCTION

• Backpropagation termasuk salah satu Algoritma

pada Neural Network (NN)
• Algoritma backpropagation bertipe supervised
learning
• Jaringan ini terdiri dari banyak lapisan (Multilayer
Network)
• Lapisan input (X unit)
• Lapisan tersembunyi(Hidden Layer) (Z unit)
• Lapisan output (Y unit)
• Error (e)adalah selisih antara target sebenarnya (t)
dengan keluaran dari jaringan(y)

Evanita, M.Kom
ARSITEKTUR
BACKPROPAGATION

Evanita, M.Kom
FUNGSI AKTIVASI

• FUNGSI SIGMOID BINER

1
f ( x)  X
• FUNGSI SIGMOID BIPOLAR 1 e

2
f ( x)  x
 1
1 e
Evanita, M.Kom
PELATIHAN BACKPROPAGATION

Algoritma Bacpropagation terdiri dari 3 tahap yaitu:

1. Tahap umpan maju (feed forward)

2. Tahap umpan balik (backpropagation)
3. Tahap pengupdetan bobot

Evanita, M.Kom
PELATIHAN BACKPROPAGATION
Secara rinci algoritma pelatihan Backpropagation
sebagai berikut :
• Langkah 1
Inisialisasi bobot. (sebaiknya diatur pada nilai acak
kecil)
Selama kondisi berhenti belum dicapai, maka lakukan
langkah ke-2 hingga langkah ke-9.
• Langkah 2
Untuk setiap pasangan pola pelatihan lakukan langkah
ke-3 sampai langkah ke-8
Evanita, M.Kom
 PELATIHAN BACKPROPAGATION
Tahapan umpan maju (feed forward)
• Langkah 3
Tiap unit masukan (xi, i = 1,…, n) menerima sinyal xi
dan menghantarkan sinyal ini ke semua unit lapisan di
atasnya (unit tersembunyi),
• Langkah 4
Setiap unit tersembunyi (xi, i = 1,…, p) jumlahkan
bobot sinyal masukannya,

1
z  f  x 
n
z _ in j  v0 j   xi vij  z _ in
i 1 1 e
Evanita, M.Kom
PELATIHAN BACKPROPAGATION

• Langkah 5
Langkah 5 : Tiap unit keluaran (yk, k = 1,…, m)
jumlahkan bobot sinyal masukannya

Evanita, M.Kom
 PELATIHAN BACKPROPAGATION
Tahapan umpan balik (backpropagation)
 Langkah 6
Tiap unit keluaran (yk , k = 1,…, m) menerima pola target
yang saling berhubungan pada masukan pola pelatihan,
hitung kesalahan informasinya,
δk = (tk-yk)f’(y_netk)=(tk-yk)yk (1-yk)
hitung koreksi bobotnya (digunakan untuk memperbaharui wjk
nantinya),
Δwjk= α δk zj Δwok= α δk
hitung koreksi biasnya (digunakan untuk memperbaharui wok ),
dan kirimkan δk ke unit-unit pada lapisan dibawahnya,
Evanita, M.Kom
PELATIHAN BACKPROPAGATION
 Langkah 7
Setiap unit lapisan tersembunyi (zj, j = 1,…, p)
jumlahkan hasil perubahan masukannya (dari unit-
unit lapisan diatasnya), m
 _ in j    k w jk
k 1
 kalikan dengan turunan fungsi aktivasinya untuk
menghitung informasi kesalahannya,
 j   _ in j f '  _ in j 
 hitung koreksi bobotnya (digunakan untuk
memperbaharui voj nanti),
ΔVji= α δj xj ΔVjo= α δj
Evanita, M.Kom
PELATIHAN BACKPROPAGATION
Tahapan pengupdetan bobot
Langkah 8
masing-masing unit output (yk, k=1,2,3,…m ) dilakukan
pengupdetan bias dan bobotnya (j=1,2,3,…,p ) sehingga
menghasilkan bobot dan bias baru.
Wjk(baru)=Wjk(lama) + ΔWjk)
demikian juga untuk setiap unit tersembunyi mulai dari
unit ke-1 sampai dengan unit ke-p dilakukan
pengupdetan bobot dan bias :
Vji(baru)=Vji(lama) + ΔVij).
Langkah 9 : Uji kondisi behenti (akhir iterasi)
Evanita, M.Kom
Contoh Soal

Gunakan Backpropagation dengan sebuah layar tersembunyi (3 unit)

untuk mengenali fungsi logika XOR dengan 2 masukan X1 dan X2.
buatlah iterasi untuk menghitung pola pertama (X1=1, X2=1, t=0).
Gunakan laju pemahaman α=0,2

Evanita, M.Kom
PENYELESAIAN

1 Z1 Z2 Z3

1 X1 X2

Evanita, M.Kom
PENYELESAIAN

Mula-mula bobot diberi nilai acak yang kecil. Misal dapat dilihat pada
tabel.

Z1 Z2 Z3
X1 0,2 0,3 -0,1
X2 0,3 0,1 -0,1
1 -0,3 0,3 0,3
Bobot dari layar masukan ke layar tersembunyi = Vij
Evanita, M.Kom
PENYELESAIAN
Mula-mula bobot diberi nilai acak yang kecil. Misal dapat dilihat pada
tabel.

Y
Z1 0,5
Z2 -0,3
Z3 -0,4
1 -0,1
Bobot dari layar tersembunyi ke layar keluaran = Wkj
Evanita, M.Kom
PENYELESAIAN

Langkah 4 : Hitung Keluaran unit tersembnyi (Zi)

n
z _ in j  v0 j   xi vij
i 1 1
z j  f ( z _ in j )   z _ in j
1 e
Z in1  0,3  1(0,2)  1(0,3)  0,2 1
z1   0, 2
 0,55
Z in 2  0,3  1(0,3)  1(0,1)  0,7
1 e
1
z2   0,67
Z in3  0,3  1(0,1)  1(0,1)  0,1 1 e 0,7

1
z3   0 ,1
 0,52
1 e
Evanita, M.Kom
PENYELESAIAN

Langkah 5 : Hitung Keluaran unit (Yk)

p
y _ ink  wko   z j wkj
j 1

y _ in1  0,1  0,55(0,5)  0,67(0,3)  0,52(0,4)

y _ in1  0,24

1 1
y  y _ ini
  0,44
1 e 1 e 0 , 24

Evanita, M.Kom
PENYELESAIAN

Langkah 6 : Hitung faktor kesalahan δ pada keluaran Y

 k  (t k - y k ) ’ (y_net k )  (t k - y k )y k (1 - y k )
Karena hanya memiliki 1 keluaran maka
 k    (t k - y k )y k (1 - y k )
 k    (0 - 0,44)(0,44)(1 - 0,44)  0,11

Evanita, M.Kom
PENYELESAIAN

Langkah 6 : Hitung perubahan bobot (w)

suku perubahan bobot w kj dengan   0,2
w kj   k z j ; j  0,1,2,3
w 10  0,2(0,11)(1)  0,02
w 11  0,2(0,11)(0,55)  0,01
w 12  0,2(0,11)(0,67)  0,01
w 13  0,2(0,11)(0,52)  0,01

Evanita, M.Kom
PENYELESAIAN

Langkah 7 : Hitung faktor δ di layer tersembunyi

m
 _ net j    k wkj
k 1

 _ in1 (-0,11)(0,5)  0,05

 _ in 2  (-0,11)(-0,3)  0,03
 _ in 3  (-0,11)(-0,4)  0,04
Evanita, M.Kom
PENYELESAIAN

Langkah 7 : Hitung faktor δ di layer tersembunyi

Faktor kesalahan di unit tersembunyi :

 j  _net j ’ (z_net j )  _net j z j (1 - z j )
1  -0,05(0,55)(1 - 0,55)  0,01
 2  0,03(0,67)(1 - 0,67)  0,01
 3  0,04(0,52)(1 - 0,52)  0,01

Evanita, M.Kom
PENYELESAIAN

Langkah 7 : Hitung perubahan bobot (v)

suku perubahan bobot v ji

v ji   j x i ; (i  0,1,2); ( j  1,2,3)
v11  0,2(0,01)(1)  0,002
v 21  0,2(0,01)(1)  0,002
v 01  0,2(0,01)(1)  0,002

Evanita, M.Kom
PENYELESAIAN

Langkah 7 : Hitung perubahan bobot (v)

v12  0,2(0,01)(1)  0,002

v 22  0,2(0,01)(1)  0,002
v 02  0,2(0,01)(1)  0,002
v13  0,2(0,01)(1)  0,002
v 23  0,2(0,01)(1)  0,002
v 03  0,2(0,01)(1)  0,002
Evanita, M.Kom
PENYELESAIAN

Langkah 8 : Hitung bobot baru

Bobot baru unit keluaran :

wkj (baru)  wkj (lama)  w kj (k  1; j  0,1,2,3)

w11 (baru)  0,5  0,01  0,49
w12 (baru)  0,3  0,01  0,31
w13 (baru)  0,4  0,01  0,41
w10 (baru)  0,1  0,02  0,12
Evanita, M.Kom
PENYELESAIAN

Langkah 8 : Hitung bobot baru

bobot baru unit tersembunyi :
v ji (baru )  v ji (lama)  v ji (i  0,1,2; j  1,2,3)
v11 (baru )  0,2  (0,002)  0,198
v12 (baru )  0,3  0,002  0,302
v10 (baru )  0,3  0,002  0,298

Evanita, M.Kom
 PENYELESAIAN

Langkah 8 : Hitung bobot baru

Perubahan bobot unit tersembunyi :
v21 (baru )  0,3  ( 0,002)  0,298
v22 (baru )  0,1  0,002  0,102
v20 (baru )  0,3  0,002  0,302
v31 (baru )  0,1  ( 0,002)  0,102
v32 (baru )  0,1  0,002  0,098
v30 (baru )  0,3  0,002  0,302
Evanita, M.Kom
REFERENSI

• Wong F.S. (NeuroComputing 2, 1991)Time series

forecasting using Backpropagation neural networks
• Fausett, L. (1994). Fundamental of Neural Network.
• Kusumadewi. (2009). Analisis Jaringan Saraf Tiruan
dengan Metode Backpropagation.
• Sentosa, B. (2007). Data Mining - Teknik
Pemanfaatan Data untuk Keperluan Bisnis. Graha
Ilmu.

Evanita, M.Kom