1

Soft
Computing
Week 4
CounterPropagation
(Eka Rahayu S., S. Kom.)
© Sekolah Tinggi Teknik Surabaya
 Minggu Lalu...
» Hebbian
» Perceptron
» BackPropagation
˃ Mengatasi masalah Non Linear Separable
(contoh: XOR)
˃ Dalam arsitekturnya mulai ada Hidden Layer
˃ Fungsi Aktivasi:
Binary Sigmoid Function
Bipolar Sigmoid Function
2

© Sekolah Tinggi Teknik Surabaya

Minggu Lalu...
3 Langkah BackPropagation:
» Data dimasukkan ke input jaringan (feedforward)
» Perhitungan propagasi balik dari error yang
bersangkutan
» Pembaharuan (adjustment) bobot dan bias

© Sekolah Tinggi Teknik Surabaya

CounterPropagation
» Didefinisikan oleh Robert Hecht-Nielsen
(1987)
» Jenis:
˃ Full CounterPropagation
˃ Forward-Only CounterPropagation

© Sekolah Tinggi Teknik Surabaya

 Full CounterPropagation

© Sekolah Tinggi Teknik Surabaya

 Arsitektur (lengkap)
X1 v11 Y1
w11
Z1
Xi Yk
Zj

Xn Ym

X input Zp Y input
layer layer
Y*1 kohonen
layer X*1

Y*k
um1 tn1 X*i

Y*m Y output 6
X*n X output
layer layer
© Sekolah Tinggi Teknik Surabaya
 Arsitektur (potongan)
X1 Y1

Z1
Xi Yk
Zj

Xn Ym

X input Zp Y input
layer layer
Y*1 kohonen
layer X*1

Y*k
X*i

Y*m Y output 7
X*n X output
layer layer
© Sekolah Tinggi Teknik Surabaya
Fase Full CounterPropagation
» Tahap Learning
˃ Kohonen Learning
˃ Grossberg Learning
» Tahap Testing

© Sekolah Tinggi Teknik Surabaya

Kohonen Learning (1)
1. Mencari unit pemenang
cara:
» Sum of Product (max)
z _ in j   xi vij   yk wkj

atau

» Euclidean Distance (min)

D j   ( xi  vij )   ( yk  wkj )
2 2
9

© Sekolah Tinggi Teknik Surabaya

Kohonen Learning(2)
2. Mengupdate bobot dari unit pemenang
SAJA
cara:
new old
vij  (1   )vij  xi Dimana i=1...n

new old
wkj  (1   ) wkj   yk Dimana k=1...m

10

© Sekolah Tinggi Teknik Surabaya

Grossberg Learning
» Hanya untuk unit pemenang yang masih aktif
pada kohonen layer: bobotnya diupdate
hingga mendekati unit output
» Y* merupakan pendekatan Y
» X* merupakan pendekatan X

new old Dimana k=1...m

u jk  (1  a)u jk  ayk
new old
t ji  (1  b)t ji  bxi Dimana i=1...n
11

© Sekolah Tinggi Teknik Surabaya

Simbol-Simbol [1]
x Input vektor x
x = (x1 , ..., xi , ...., xn)  i – n
y Input vektor y
y = (y1 , ..., yk , ...., ym)  k– m
z Unit kohonen
z = (z1 , ..., zj , ...., zp) j–p
x* Hasil perhitungan yang mendekati vektor input x
y* Hasil perhitungan yang mendekati vektor input y
v Bobot untuk input layer xi ke kohonen layer zj
dinyatakan dalam vij
12

© Sekolah Tinggi Teknik Surabaya

Simbol-Simbol [2]
w Bobot untuk input layer yk ke kohonen layer zj
dinyatakan dalam wkj
u Bobot dari kohonen layer zj ke output layer y*k
dinyatakan dalam ujk
t Bobot dari kohonen layer zj ke output layer x*i
dinyatakan dalam tji
α, β learning rate untuk bobot yang menuju kohonen
layer
a, b learning rate untuk bobot yang keluar dari
kohonen layer
13

© Sekolah Tinggi Teknik Surabaya

Algoritma (1)
0. Inisialisasi semua nilai bobot dan learning rate
KOHONEN LEARNING
1.WHILE NOT stoping condition fase I, lakukan step 2 - 7
2. Untuk setiap pasang input x:y, lakukan step 3 – 5
3. Isi nilai x dan isi nilai y
4. Cari kohonen layer pemenang,
simpan indexnya dalam J
5. Update bobot untuk v dan w yang menuju z ke-J
6. Kurangi learning rate (α, β)
7. Periksa apakah kondisi berhenti fase I sudah
terpenuhi
14

© Sekolah Tinggi Teknik Surabaya

Algoritma (2)
8. WHILE NOT stoping condition fase II, lakukan step 9-15
9. Untuk setiap pasang input x:y, lakukan step 10 – 13
10.Isi nilai x dan isi nilai y
11.Cari kohonen layer pemenang,
simpan indexnya dalam J
12.Update bobot untuk vij dan wkj yang menuju z ke-J
13.Update bobot untuk ujk dan tji yang keluar dari z
ke-J
14.Kurangi learning rate (a, b)
15.Periksa apakah kondisi berhenti fase II sudah
terpenuhi
15

© Sekolah Tinggi Teknik Surabaya

Step 0
0. Inisialisasi semua nilai bobot dan learning rate
KOHONEN LEARNING
1.WHILE NOT stoping condition fase I, lakukan step 2 - 7
2. Untuk setiap pasang input x:y, lakukan step 3 – 5
3. Isi nilai x dan isi nilai y
4. Cari kohonen layer pemenang,
simpan
Nilaiindexnya
learning dalam J
rate berada antara
5. Update bobot untuk
0 s/dv1dan w yang menuju z ke-J
6. Kurangi learning rate (α, β)
7. Periksa apakah kondisi berhenti fase I sudah
terpenuhi
16

© Sekolah Tinggi Teknik Surabaya

Step 4
0. Inisialisasi semua nilai bobot dan learning rate
KOHONEN LEARNING
1.WHILE NOT stoping condition fase I, lakukan step 2 - 7
2. Untuk setiap pasang input x:y, lakukan step 3 – 5
3. Isi nilai x dan isi nilai y
4. Cari kohonen layer pemenang,
simpan indexnya dalam J
5. Update bobot untuk v dan w yang menuju z ke-J
6.z _ 
in j learning
Kurangi 
xi vijrate
 (α, yβ)k wkj
7. Periksa apakah kondisi berhenti fase I sudah
terpenuhi atau
D j   ( xi  vij )   ( yk  wkj )
2 2
17

© Sekolah Tinggi Teknik Surabaya

Step 5
0. Inisialisasi semua nilai bobot dan learning rate
KOHONENnew
LEARNING old
vij NOT
1.WHILE  )vij condition
(1 stoping  xifase I, lakukan
Dimanastep
i=1...n
2-7
2. Untuk setiap pasang input x:y, lakukan step 3 – 5
3. Isi nilai x dan isi old
new nilai y
wkj 4. Cari   ) wlayer
 (1kohonen kj  yk Dimana k=1...m
pemenang,
simpan indexnya dalam J
5. Update bobot untuk v dan w yang menuju z ke-J
6. Kurangi learning rate (α, β)
7. Periksa apakah kondisi berhenti fase I sudah
terpenuhi
18

© Sekolah Tinggi Teknik Surabaya

Step 6
0. Inisialisasi semua nilai bobot dan learning rate
KOHONEN LEARNING
1.WHILE NOT stoping condition fase I, lakukan step 2 - 7
2. Untuk setiap pasang input x:y, lakukan step 3 – 5
Kurangi nilai α, β sedikit
3. Isi nilai x dan isi nilai y
demi sedikit
Misal dengan dikurangi 0.0001
4. Cari kohonen layer pemenang,
simpan indexnya dalam J
5. Update bobot untuk v dan w yang menuju z ke-J
6. Kurangi learning rate (α, β)
7. Periksa apakah kondisi berhenti fase I sudah
terpenuhi
19

© Sekolah Tinggi Teknik Surabaya

Step 7
0. Inisialisasi semua nilai bobot dan learning rate
KOHONEN LEARNING
1.WHILE NOT stoping condition fase I, lakukan step 2 - 7
2. Untuk setiap pasang input x:y, lakukan step 3 – 5
Saat nilai α, βxsudah
3. Isi nilai berada
dan isi nilai y dibawah batas yang
4. Cari dan
ditentukan kohonen
α, βlayer pemenang,
konstan selama fase tersebut
simpan indexnya dalam J
5. Update bobot untuk v dan w yang menuju z ke-J
6. Kurangi learning rate (α, β)
7. Periksa apakah kondisi berhenti fase I sudah
terpenuhi
20

© Sekolah Tinggi Teknik Surabaya

Step 8 - 15
8. WHILE NOT stoping condition fase II, lakukan step 9-15
9. Untuk setiap pasang input x:y, lakukan step 10 – 13
10.Isi nilai x dan isi nilai y
11.Cari kohonen layer pemenang,
simpan indexnya dalam J
12.Update bobot untuk vij dan wkj yang menuju z ke-J
13.Update bobot untuk ujk dan tji yang keluar dari z
ke-J
14.Kurangi learning rate (a, b)
15.Periksa apakah kondisi berhenti fase II sudah
terpenuhi

Secara garis besar, tidak jauh berbeda dengan fase I 21

© Sekolah Tinggi Teknik Surabaya
 Forward Only
CounterPropagation

22

© Sekolah Tinggi Teknik Surabaya

 Arsitektur
X1 v11 Y1
w11
Z1
v1j
Xi wj1 Yk
v1p Zj

Xn
wp1 Ym

X input Zp Y output
layer layer
kohonen
layer

23

© Sekolah Tinggi Teknik Surabaya

Algoritma (1)
0. Inisialisasi semua nilai bobot dan learning rate
KOHONEN LEARNING
1.WHILE NOT stoping condition fase I, lakukan step 2 - 7
2. Untuk setiap pasang input x:y, lakukan step 3 – 5
3. Isi nilai x
4. Cari kohonen layer pemenang,
simpan indexnya dalam J
5. Update bobot untuk v yang menuju z ke-J
6. Kurangi learning rate (α)
7. Periksa apakah kondisi berhenti fase I sudah
terpenuhi
24

© Sekolah Tinggi Teknik Surabaya

Algoritma (2)
8. WHILE NOT stoping condition fase II, lakukan step 9-15
9. Untuk setiap pasang input x:y, lakukan step 10 – 13
10.Isi nilai x
11.Cari kohonen layer pemenang,
simpan indexnya dalam J
12.Update bobot untuk vij yang menuju z ke-J
13.Update bobot untuk wjk yang keluar dari z ke-J
14.Kurangi learning rate (a)
15.Periksa apakah kondisi berhenti fase II sudah
terpenuhi

25

© Sekolah Tinggi Teknik Surabaya