Multilayer Network

Algoritma Backpropagation
Performance Index

Performance Index aproksimasi

Sensitivitas















F x ( ) E e
T
e| | = E t a ( )
T
t a ( )| | =
F

x ( ) t k ( ) a k ( ) ( )
T
t k ( ) a k ( ) ( ) e
T
k ( )e k ( ) = =
s
m
F

c
n
m
c
- - - - - - - - - -

F

c
n
1
m
c
- - - - - - - - -
F

c
n
2
m
c
- - - - - - - - -
.

F

c
n
S
m
m
c
- - - - - - - - - - -
=

Propagasi Maju (Forward Propagation)








Propagasi Mundur (Backpropagation)




Dimana







Weight Update (Steepest Descent Aproksimasi)





a
m 1 +
f
m 1 +
W
m 1 +
a
m
b
m 1 +
+ ( ) =
m 0 2 . M 1 , , , =
a
0
p =
a a
M
=
( )( ) a t n F s =
M M M

2
( )( ) 1 , 2 , , 1
1 1

= =
+ +
M m
m
T
m m m m
s W n F s
( )
( )
( )
( )
(
(
(
(
(

=
m
S
m
m m
m m
m m
m
n f
n f
n f
n

0 0
0 0
0 0
2
1
F
W
m
k 1 + ( ) W
m
k ( ) os
m
a
m 1
( )
T
=
b
m
k 1 + ( ) b
m
k ( ) os
m
=
Variasi Algoritma Backpropagasi
Heuristic
- Backpropagation dengan momentum (Backpropagation with Momentum (MOBP))






= koefisien momentum

( )

( )

()

( )

( )

()

- Variable Learning Rate Backpropagation (VLBP)
1. Jika squared error (untuk semua training set) naik dan nilainya lebih besar dari persentase
(biasanya antara 1 sampai 5 %) setelah weight di-update, maka nilai weight baru (weight yang
di-update) tidak akan digunakan, learning rate dikalikan dengan factor , dan koefisien
momentum (jika ada) di-setting menjadi nol.
2. Jika squared error turun setelah weight di-update, maka nilai weight baru dapat digunakan dan
learning rate dikalikan dengan factor . Jika sebelumnya nilai koefisien momentum di-
setting nol, maka nilai koefisien momentum dikembalikan ke nilai aslinya.
3. Jika squared error naik, dan nilainya lebih kecil dari persentase maka nilai weight baru dapat
digunakan tetapi nilai learning rate dan koefisien momentum tetap (tidak diubah).

Teknik Optimisasi Numerik
- Conjugate gradient











Dimana


0 s 1 <
AW
m
k ( ) AW
m
k 1 ( ) 1 ( )os
m
a
m 1
( )
T
=
Ab
m
k ( ) Ab
m
k 1 ( ) 1 ( )os
m
=
p
0
g
0
=
g
k
F x ( ) V
x x
k
=

x
k 1 +
x
k
o
k
p
k
+ =
p
k
g
k
|
k
p
k 1
+ =
|
k
g
k 1
T
A g
k
g
k 1
T
A p
k 1
----------------------------- = |
k
g
k
T
g
k
g
k 1
T
g
k 1
------------------------- = |
k
g
k 1
T
A g
k
g
k 1
T
g
k 1
------------------------- =
1. Search direction yang pertama adalah steepest descent.
2. Ambil satu langkah dan pilih learning rate untuk meminimalkan fungsi sepanjang search
direction

3. Pilih search direction berikutnya berdasarkan
|
k
g
k 1
T
A g
k
g
k 1
T
A p
k 1
----------------------------- =
|
k
g
k
T
g
k
g
k 1
T
g
k 1
------------------------- =
|
k
g
k 1
T
A g
k
g
k 1
T
g
k 1
------------------------- = atau atau

Reduksi interval (Golden section search)





















- Levenberg Marquart Backpropagation (LMBP)
1. Tampilkan semua input ke dalam network dan hitung output dari network dengan
menggunakan persamaan



Lalu hitung error

. Hitung sum squared error untuk semua input, ()

t=0.618
Set c
1
= a
1
+ (1-t)(b
1
-a
1
), F
c
=F(c
1
)
d
1
= b
1
- (1-t)(b
1
-a
1
), F
d
=F(d
1
)
For k =1,2, ... repeat
If F
c
< F
d
then
Set a
k+1
= a
k
; b
k+1
= d
k
; d
k+1
= c
k

c
k+1
= a
k+1
+ (1-t)(b
k+1
-a
k+1
)
F
d
= F
c
; F
c
=F(c
k+1
)
else
Set a
k+1
= c
k
; b
k+1
= b
k
; c
k+1
= d
k

d
k+1
= b
k+1
- (1-t)(b
k+1
-a
k+1
)
F
c
= F
d
; F
d
=F(d
k+1
)
end
end until b
k+1
- a
k+1
< tol
a
m 1 +
f
m 1 +
W
m 1 +
a
m
b
m 1 +
+ ( ) =
m 0 2 . M 1 , , , =
a
0
p =


2. Hitung matriks Jacobian matrix. Lalu, hitung sensitivitas dengan menggunakan algoritma
backpropagasi


setelah inisialisasi dengan menggunakan persamaan


Tambahkan matriks individual kedalam sensitivitas Marquardt menggunakan persamaan



Hitung elemen dari matriks Jacobian dengan menggunakan persamaan







3. Selesaikan persamaan untuk mendapatkan perubahan weight

Note: x disini adalah weight (w)
4. Hitung kembali sum squared errors untuk weights yang baru (yang telah di-update). Jika nilai
sum squares error ini lebih kecil dari pada langkah 1, maka bagi dengan , update kembali
weight dan kembali ke langkah 1. Jika sum squares error tidak berkurang (nilainya lebih besar)
maka kalikan dengan dan kembali ke langkah 3.



F x ( ) t
q
a
q
( )
T
t
q
a
q
( )
q 1 =
Q

e
q
T
e
q
q 1 =
Q

e
j q ,
( )
2
j 1 =
S
M

q 1 =
Q

v
i
( )
2
i 1 =
N

= = = =
x
k 1 +
x
k
J
T
x
k
( )J x
k
( )
k
I + | |
1
J
T
x
k
( )v x
k
( ) =
( )( )
1 1
~ ~
+ +
=
m
q
T
m m
q
m m
q
S W n F S

( )
M
q
M M
q
n F S

=
~
S

m
S

1
m
S

2
m
. S

Q
m
=

J | |
h l ,
v
h
c
x
l
c
--------
e
k q ,
c
w
i j ,
m
c
------------
e
k q ,
c
n
i q ,
m
c
------------
n
i q ,
m
c
w
i j ,
m
c
------------
s

i h ,
m
n
i q ,
m
c
w
i j ,
m
c
------------
s

i h ,
m
a
j q ,
m 1
= = = = =
J | |
h l ,
v
h
c
x
l
c
--------
e
k q ,
c
b
i
m
c
------------
e
k q ,
c
n
i q ,
m
c
------------
n
i q ,
m
c
b
i
m
c
------------ s

i h ,
m
n
i q ,
m
c
b
i
m
c
------------ s

i h ,
m
= = = = =