Anda di halaman 1dari 6

Optimasi Training pada Jaringan Syaraf Tiruan menggunakan

Algoritma Extended Kalman Filter


Zaqiatud Darojah
zaqiah@eepis-its.edu


Abstrak

Proses training pada jaringan syaraf tiruan (JST)
feedforward menggunakan algoritma konvensiona,
seperti algoritma backpropagation mempunyai
kelemahan dalam mencari bobot-bobot yang konvergen,
yaitu kekonvergenan berjalan dengan lambat dan
dilakukan cara coba-coba dalam menentukan parameter-
parameter yang sesuai. Penentuan parameter-parameter
yang sesuai dapat menghambat pekerjaan dan tidak
praktis dalam memperoleh hasil yang cepat.
Permasalahan tersebut dapat diselesaikan menggunakan
teknik optimasi nonlinear sehingga didapatkan bobot-
bobot yang konvergen dengan cepat (fast learning).
Salah satunya adalah metode extended Kalman filter.
Penerapan algoritma extended Kalman filter sebagai
metode training JST dapat dilakukan dengan
memformulasikan JST sebagai konsep state space yang
mirip dengan sistem dinamik nonlinear. Hasil penelitian
menunjukkan bahwa algoritma EKF memiliki kecepatan
konvergensi yang lebih cepat dibandingkan dengan
algoritma pembanding, dalam hal ini adalah algoritma
bavkpropagation.
Kata Kunci:

1. Pendahuluan

Jaringan syaraf tiruan (JST) adalah suatu sistem
pemroses informasi yang mempunyai karakteristik seperti
halnya jaringan syaraf biologi. Karakteristik yang menarik
dari JST ini adalah kemampunnya untuk belajar
(learning/training). Proses training pada JST betujuan
untuk mencari bobot-bobot yang konvergen antar lapisan
sedemikian hingga bobot-bobot yang diperoleh
menghasilkan output yang diinginkan [4].
Permasalahan training pada JST dalam upaya
membentuk jaringan yang mampu mengenali pola data
yang diberikan merupakan permasalahan tersendiri bagi
peneliti yang akan menerapakan JST dalam suatu
teknologi. Hal ini disebabkan belum adanya metoda baku
yang bisa dijadikan pedoman oleh peneliti dalam
menerapkan struktur jaringan terbaik yang mampu
megenali pola dengan akurat tanpa melakukan trial and
error dalam memperoleh jaringan yang optimal.
Jaringan syaraf tiruan feedforward merupakan
salah satu arsitektur dari JST yang banyak digunakan
dalam aplikasi di berbagai bidang. Proses training
jaringan feedforward menggunakan algoritma
backpropagataion konvensional mempunyai kelemahan
dalam hal mencari bobot yang konvergen. Pada algoritma
tersebut kekonvergenan berjalan dengan lambat dan
membutuhkan parameter yang sesuai dengan cara coba-
coba (guesswork). Banyak teknik yang disarankan untuk
mengembangkan kecepatan konvergensi pada proses
training dari algoritma backpropagation, seperti teknik
optimasi gradient descent [6]. Pengembangan -
pengembangan yang dilakukan secara komputasi tidak
mahal dan biasanya mencapai optimum lokal, akan tetapi
teknik-teknik tersebut membutuhkan parameter yang
sesuai, sehingga digunakan cara coba-coba dalam
menentukan parameter yang sesuai [2, 5]..
Permasalahan komputasi dalam mencari bobot
pada jaringan feedforward untuk menyelesaikan pemetaan
input atau output yang diinginkan dari R
N
ke (0,1)
L
dapat
digambarkan sebagai permasalahan sistem identifikasi
nonlinear berdimensi tinggi. Permasalahan tersebut dapat
diselesaikan menggunakan teknik optimasi nonlinear [5].
Pada tahun 1989 Singhal dan Wu menyarankan
penggunaan algoritma extended Kalman filter untuk fast
learning, yaitu proses training berjalan dengan cepat
dalam memperoleh konvergensi bobot. Dengan algoritma
extended Kalman filter ini, proses training pada jaringan
feedforward dapat dilihat sebagai estimasi state sistem
dinamik nonlinear [2].
Penggunaan algoritma extended Kalman filter
menunjukkan sebagai metode training JST memiliki
banyak keuntungan. Penelitian Lary et al, 2004,
menunjukkan bahwa hanya dibutuhkan 3 epoch (iterasi)
untuk proses training menggunakan EKF dibandingkan
dengan penelitian sebelumnya pada data yang sama yang
membutuhkan 1 juta iterasi. Hasil penelitian tersebut
menunjukkan bahwa algoritma EKF sebagai metode
training JST memiliki performansi konvergensi yang
sangat cepat.
Penelitian ini akan membahas kembali penerapan
EKF sebagai metoda training JST feedforward yang
diaplikasian pada peramalan data runtun waktu (time
series).

2. Algoritma Extended Kalman Filter

Kalman Filter merupakan metode estimasi variable
keadaan (state) dari suatu sistem dinamik dengan
melakukan prediksi state tersebut dan selanjutnya
dilakukan pengukuran untuk mengoreksi state secara
reekursif dengan cara meminimumkan kovarian eror
penaksiran. Kalman Filter memberikan solusi yang baik
dalam mengestimasi variable keadaan untuk sistem
dinamik linear [3]. Sedangkan jika sistem dinamiknya
berupa nonlinear, maka dilakukan perluasan terhadap
algoritma Kalman filter melalui prosedur linierisasi pada
tiap waktu sehingga didapatkan suatu algoritma yang
dikenal dengan algoritma extended Kalman filter.
Pandang sistem dinamik stokastik nonlinear
berikut:

k k k k
w u x f x + =
+
) , (
1
(1)
k k k
v x h z + = ) ( (2)

dimana
n
k
R x e adalah variabel keadaan (state),
m
k
R z e adalah variabel pengukuran dengan asumsi
) , 0 ( ~ Q N w
k
, ) , 0 ( ~ R N v
k
dan 0 > Q , 0 > R , {w(k)}
dan {v(k)} tidak berkorelasi satu sama lain.
) , (
k k
u x f melambangkan matriks transisi nonlinear, h(x
k
)
melambangkan matriks pengukuran nonlinear.
Ide dasar dari extended Kalman filter adalah
melinearisasi model pada Persamaan (1) dan Persamaan
(2) pada tiap waktu disekitar estimasi state
k
xˆ . Setiap
kali model linear didapatkan, persamaan Kalman filter
standar diterapkan [1].
Sama halnya dengan algoritma Kalman filter
standar, formulasi dari algoritma extended Kalman filter
diekspresikan dalam dua tahap, yaitu tahap time update
(forecast step) dan tahap measurement update (analysis
step). Tahap time update merupakan tahap dimana
informasi plant pada sistem digunakan. Pada tahap ini
menghasilkan nilai prediksi state dan nilai prediksi
kovarian eror. Tahap measurement update merupakan
tahap dimana informasi pengukuran digunakan. Pada
tahap ini menghasilkan nilai koreksi berdasarkan data
pengukuran terbaru [3]. Kedua tahapan ini diperoleh
dengan menurunkan perambatan mean dan kovarian
variabel state pada Persamaan (1) dan variabel
pengukuran pada Persamaan (2). Algoritma extended
Kalman filter secara lengkap ditulis sebagai berikut:

Inisialisasi:

0 0
ˆ x x
a
= ,
0 0 x
a
P P =
Time Update:
Estimasi : ) ˆ , ( ˆ
1
a
k
f
k
x k f x =
+

Kovarian eror : Q A P A P
T
k
a
k k
f
k
+ =
+1

Measurement Update:
Estimasi : )] ˆ ( [ ˆ ˆ
f
k k
f
k
a
k
x h
k
z K x x ÷ + =
Kalman Gain :
1
1
] [
÷
+
+ = R H p H H P K
T f
K k
T
k
f
k K

Kovarian eror :
f
k k k
a
k
P H K I P ] [ ÷ =

Jacobian:
a
k
x x
x
u x f
k
A
ˆ
) , (
=
c
c
= dan
f
k
x x
x
x h
k
H
=
c
c
=
ˆ
) (

Notasi
f
k
xˆ menunjukkan nilai estimasi state ke-k
pada tahap time update (forecast step), sedangkan notasi
a
k
xˆ menunjukkan nilai estimasi state ke-k pada tahap time
update (analysis step).

3. Algoritma Extended Kalman Filter Sebagai Metode
Training JST
Singhal and Wu (1989) adalah orang pertama yang
menyarankan penggunaan EKF untuk teknik training
pada JST feedforward. Argumen ini didasarkan pada
alasan-alasan sebagai berikut (Lary and Musa, 2004):
 Jaringan syaraf multilayer feedforward dapat
digambarkan sebagai suatu sistem dinamik
nonlinear yang statenya berupa suatu vektor bobot.
 Training dari JST dapat dipandang sebagai
permasalahan estimasi state untuk sistem nonlinear.
 Kalman filter dikenal sebagai metode yang
memberikan estimasi optimal dari state sistem
dinamik linear. Pada perkembangannya juga dikenal
algoritma Kalman filter versi extended yang dapat
digunakan untuk mengestimasi state sistem
dinamik nonlinear.
 JIka JST diformulasikan sebagai konsep state space
yang mirip dengan sistem dinamik nonlinear, maka
dapat ditemukan vektor bobot terbaik dengan
menerapkan algoritma extended Kalman filter.

Bentuk sistem dinamik dari jaringan syaraf tiruan
secara metematis dapat digambarkan dengan dua
persamaan berikut [2] :

j j j
e w w + =
+1
(3)
j j j j
v ,x w h d + = ] [ (4)

dengan:
j : indeks iterasi
w
j :
state dari jaringan syaraf feedforward
e
j
: vektor noise proses
d
j
: vektor output ( target )
v
j
: vektor pengukuran noise
x
j
: vektor input
] x , w [ h
j j
: fungsi iteratif yang menggambarkan
jaringan, nilai dari fungsi ini output dari JST

dengan asumsi bahwa v
j
adalah white noise dengan
j
T
j j
R ] v E[v = matriks kovarian, e
j
adalah white noise
dengan
j
T
j j
Q ] e E[e = matriks kovarian dan v
j
, e
j
tidak saling
berkorelasi untuk semua i, j.
Persamaan (1) dikenal sebagai persamaan proses
yang merupakan state dari sistem JST dengan elemen-
elemennya berupa semua koneksi bobot yang ada pada
arsitektur JST. Sedangkan persamaan (2) dikenal sebagai
persamaan observasi yang merupakan pengukuran dari
sistem JST dengan elemennya berupa vektor target dari
JST [2].
Formulasi EKF didapatkan dengan cara menurunkan
mean dan kovarian dari variabel state dan pengukuran.
Berikut ini adalah hasil penuruanan algoritma EKF pada
sistem dinamik JST yang terdapat pada Persamaan (3) dan
Persamaan (4).

Time Update:
Estimasi :
a
j
f
j
w w
1
ˆ ˆ
÷
=

Kovarian error :
j
Q + =
a
1 - j
f
j
P P

Measurement Update:
estimasi : )] , ˆ ( [ ˆ ˆ
j
x
f
j
w h
j
d
j
K
f
j
w
a
j
w ÷ + =
kovarian error :
f
j
P
j
H
j
K I
a
j
P ] [ ÷ =

Kalman gain :
1
] [
÷
+ =
j
R
T
j
H
f
j
P
j
H
T
j
H
f
j
P
j
K

dengan
1
1
ˆ
] , ˆ [
÷
÷
c
c
=
j
j j
j
w
x w h
H


Pada kasus JST feedforward, kovarian noise pada
state, Q
j
, bernilai nol (Haykin, 2001; Lary and Musa,
2004), Sehingga algoritma EKF pada sistem dinamik JST
diatas dapat diringkas menjadi satu tahap, yaitu tahap
measurement update.
Nilai output dari JST, ) , ( x w h , merupakan variabel
pengukuran dari sistem dinamik pada JST. Nilai tersebut
menggambarkan perhitungan bobot-bobot pada lapisan-
lapisan dalam JST. Adapun nilai output JST adalah
sebagai berikut [2]:

)] 1 : 1 ( ] 1 ) 1 ( ( : 1 ) 1 ( ( tanh[
) , ( ˆ
+ + + + + + =
=
m z m n m w n m w
x w h y
T
j

(5)
dimana )] 1 : 1 : 1 ( ] 1 : 1 ( tanh[ ) 1 : 2 ( + + = + n x n w m z
T
,
dengan x(1) dan z(1) adalah nilai bias pada masing-
masing input layer dan hidden layer.
Fungsi tanh(.) merupakan fungsi aktifasi yang
digunakan, dimana fungsi ini memiliki nilai yang sama
dengan fungsi bipolar sigmoid (Fausset).
Pada penelitian ini, nilai dari R dihitung
menggunakan faktor forgetting yang diperkenankan oleh
Zhang and Li [2]. Adapun rumusan dari factor forgetting
adalah:

) 1 (
0
1
0
ì ì ì ì ÷ + =
÷ j j
(6)
dengan
0
ì dan
0
ì adalah tunable parameters.

4. Rancangan Proses Training JST dengan Algoritma
Extended Kalman Filter
Proses training JST menggunakan algoritma EKF
bertujuan untuk mendapatkan estimasi vektor bobot yang
meminimumkan kovarian eror secara reekursif. Vektor
bobot yang dimaksud adalah nilai bobot dan bias yang
mengkoneksikan tiap unit antar layer pada arsitektur JST.
Misalkan dipunyai jaringan syaraf feedforward
dengan arsitektur sebagai berikut:
 Satu input layer yang terdiri dari n unit dan satu bias
 Satu hidden layer yang terdiri dari m unit dan satu
bias
 Satu unit output pada output layer
Pada arsitektur tersebut, dapat diperoleh informasi
yang digunakan untuk prosedur training JST
menggunakan algoritma EKF sebagai berikut:
 w adalah vektor bobot berukuran
| | 1 1 ) 1 ( × + + + m n m
 x adalah vektor input berukuran | | 1 1 × + n , dengan
x(1) berupa konstanta, yang menunjukkan bias
pada input.
 P dan Q adalah vektor kovarian eror dan vektor
kovarian noise sistem berukuran
| | | | 1 ) 1 ( 1 ) 1 ( + + + × + + + m n m m n m
 R dan d
j
adalah vektor kovarian noise
pengukuran dan vektor target berukuran 1 x 1
 K berukuran | | 1 1 ) 1 ( × + + + m n m
 H berukuran | | 1 ) 1 ( 1 + + + × m n m

Sebagai contoh, misalkan dipunyai arsitektur JST
feedforward dengan tiga node pada input layer dan dua
node pada hidden layer seperti yang ditunjukkan pada
Gambar 1.



Gambar 1: Arsitektur JST feedforward (3, 2,1)

Dari arsitektur tersebut, akan diperoleh informasi
sebagai berikut:
 w vektor boobt berukuran 13 x 1, yaitu
T
w w w w w w w ] [
11 10 4 3 2 1
 =
 x berukuran 4 x 1,
T
x x x x x ] [
4 3 2 1
= , dengan x
1

berupa bias pada input layer
 P dan Q berukuran 11 x 11
 R dan d
j
berukuran 1 x 1
 K berukuran 11 x 1
 H berukuran 1 x 11

Sedangakan nilai dari output JST adalah:

( )
|
|
.
|

\
|
=
=
¿
=
+
3
1
8
3 2 1 11 10 9
tanh
] [ ] [ tanh ˆ
i
i i
T
j
z w
z z z w w w y


dimana nilai z
1
=1 , karena merupakan bias pada hidden
layer. Sedangkan nilai z
2
dan z
3
adalah:

( )
|
|
.
|

\
|
=
=
¿
=
4
1
4 3 2 1 4 3 2 1 2
tanh
] [ ] [ tanh
i
i i
T
z w
x x x x w w w w z


dan

( )
|
|
.
|

\
|
=
=
¿
=
+
4
1
4
4 3 2 1 8 7 6 5 3
tanh
] [ ] [ tanh
i
i i
T
x w
x x x x w w w w z


Nilai x
1
berupa konstanta karena merupakan bias pada
input layer (umumnya bernilai 1).

5. Simulasi dan Diskusi
Simulasi dilakukan untuk mendapatkan performa
dari algoritma EKF dan juga algoritma backpropagation
sebagai pembanding. Training JST feedforward pada
penelitian diaplikasikan untuk prediksi data time series.
Data yang digunakan adalah bilangan sunspot. Arsitektur
JST yang digunakan pada setiap simulasi adalah satu unit
pada input layer dan satu unit pada hidden layer.
Pada percobaan pertama, bobot-bobot pada JST
diinisialisasi secara random.Inisialisasi dari parameter-
parameter lain yang dibutuhkan ditetapkan dengan
beberapa percobaan. Untuk melihat akurasi dari JST,
digunakan nilai MSE dan nilai korelasi antara data actual
dan data hasil prediksi sebagai pembanding. Tabel 1
menunjukkan hasil simulasi menggunakan lima kali iterasi
dan10 kali iterasi dari masing-masing algoritma training.

Tabel 1
Hasil Simulasi dengan lima dan 10 iterasi

Algorit
ma
Performansi
dengan 5 iterasi
Performansi
dengan 10 iterasi
MSE Korelasi MSE Korelasi
Back
propaga
tion
110.058 0.9689 16.3083 0.9972
120.497 0.9656 4.0271 0.9992
124.843 0.9658 111.352 0.9685
210.086 0.9668 31.5426 0.9933
112.138 0.9680 15.7652 0.9973
EKF
1.0164 0.9997 0.9057 0.9997
0.5648 0.9998 0.8811 0.9998
1.5869 0.9997 1.0150 0.9997
3.1713 0.9992 1.4284 0.9996
0.6431 0.9998 0.7127 0.9998

Hasil simulasi dengan 5 kali iterasi yang terdapat
pada Tabel 1 menunjukkan bahwa EKF memiliki
performa yang baik dibandingkan backpropagation, hal
ini dapat dilihat dari nilai MSE yang dihasilkan. EKF
pada simulasi 10 kali iterasi ini juga memiliki performa
yang bagus dengan korelasi berkisar antara 0.9996-
0.9998. Sedangkan untuk backpropagation nilai MSE
yang dihasilkan masih sangat tinggi diabndingkan dengan
EKF.
Simulasi selanjutnya adalah dengan menambahkan
jumlah iterasi untuk mengetahui apakan sistem telah
mencapai global minima atau local minima. Hasil simulasi
dengan menambahakan 100 kali iterasi dari dua metoda
training yang diterapkan adalah sebagai berikut:



Tabel 2
Hasil simulai dengan 100 kali iterasi

Algoritma
Performansi
MSE Korelasi
Back
propagation
2.4684 0.9995
2.4547 0.9996
2.3507 0.9996
2.4615 0.9996
2.4627 0.9996
EKF
0.7751 0.9998
0.6192 0.9998
0.8153 0.9998
0.7775 0.9998
2.4684 0.9995

Tabel 2 menunjukkan bahwa algoritma
backpropagation mengalami perbaikan performa yang
lebih baik dan lebih konsisten. Akan tetapi nilai MSE dan
korelasi antara data actual dan data hasil prediksi JST
masih jauh fdari algoritma EKF. Hasil simulasi EKF pada
kasus ini tidak terlalu jauh berbeda dengan simulasi yang
menggunakan 10 kali iterasi. Dengan kata lain, algoritma
EKF mempunyai konvergensi lebih cepat dibandingkan
dengan algoritma backpropagation.

Untuk menggambarkan hasil simulasi diata, berikut
ini akan ditampilkan beberapa plot grafik antara data
aktual dengan data hasil prediksi dari JST untuk masing-
masing algoritma training yang digunakan.


0 10 20 30 40 50 60
0
20
40
60
80
100
120
140
160
180
200
Plot between actual data and foecast data by the backpropagation
Time index
V
a
l
u
e
Forecast data
actual data

Gambar 2 : Plot Data Aktual dengan Data Prediksi
Menggunakan Backpropagation

0 10 20 30 40 50 60
0
20
40
60
80
100
120
140
160
180
200
Plot between actual data and foecast data by the EKF
Time index
V
a
l
u
e
Forecast data
actual data

Gambar 2 : Plot Data Aktual dengan Data Prediksi
Menggunakan EKF


6. Kesimpulan
Pada penelitian ini telah dibahas kerangka umum
training JST menggunakan teori optimal filtering, yaitu
algoritma EKF. Konsep penerapan algoritma EKFsebagai
metoda training JST feedforward dalam penelitian ini
didasarkan pada pendekatan yang digunakan oleh Singhal
and Wu dalam menerapkan EKF sebagai metoda training
JST. Bobot-bobot yang ada pada jaringan feedforwarrd
dipandang sebagai state dari sistem dinamik yang
diestimasi secara reekursif. Untuk mengetahui
performansi dari algoritma training yang digunakan, pada
penelitian ini dilakukan perbandingan antara algoritma
EKF dan algoritma backpropagation. Berdasakan hasil
simulasi, EKF memiliki tingkat konvergensi lebih cepat
daripada algoritma backpropagation.

Referensi
[1] Haykin, S. “Kalman Filters”,in Kalman Filtering and
Neural Networks, ed. Haykin, S., John Wiley &
Sons, USA, hal. 16-19, 2001.
[2] Lary, D.J, Mussa H.Y, “Using an Extended Kalman
Filter Learning Algorithm for Feedforward Neural
Network to Describe Tracer Correlations”,
Atmospheric Chemistry and Physics Discussion, Vol.
4, hal. 3653-3667, 2004.
[3] Lewis, F.L, Optimal Estimation, John Wiley & Sons,
Inc., New York, 1986
[4] Fausset, L., Fundamental of Neural Network: Theory
and Application, Prentice Hall, Singapure, 1996.
[5] Shah, S., Palmieri, F., Datum, M., “Optimal Filtering
Algorithms for Fast Learning in Feedforward Neural
Network”, Neural Networks Research, Vol. 5, hal.
779-787, 1992.
[6] Kusumadewi, Sri, Membangun Jaringan Syaraf
Tiruan menggunakan Matlab & Excel Link, Graha
Ilmu, Yogyakarta, 2004.1



maka dilakukan perluasan terhadap algoritma Kalman filter melalui prosedur linierisasi pada tiap waktu sehingga didapatkan suatu algoritma yang dikenal dengan algoritma extended Kalman filter. Bentuk sistem dinamik dari jaringan syaraf tiruan secara metematis dapat digambarkan dengan dua persamaan berikut [2] : xk 1  f ( xk .  Training dari JST dapat dipandang sebagai permasalahan estimasi state untuk sistem nonlinear. formulasi dari algoritma extended Kalman filter diekspresikan dalam dua tahap.x j ]  v j dengan: j : indeks iterasi wj : state dari jaringan syaraf feedforward ej : vektor noise proses dj : vektor output ( target ) ˆa x0  x0 . 3. Pada tahap ini menghasilkan nilai prediksi state dan nilai prediksi kovarian eror.  JIka JST diformulasikan sebagai konsep state space yang mirip dengan sistem dinamik nonlinear. {w(k)} dan {v(k)} tidak berkorelasi satu sama lain. Tahap time update merupakan tahap dimana informasi plant pada sistem digunakan. vk ~ N (0. uk )  wk zk  h( xk )  vk dimana m (1) (2) adalah variabel keadaan (state). R  0 . Algoritma Extended Kalman Filter Sebagai Metode Training JST Singhal and Wu (1989) adalah orang pertama yang menyarankan penggunaan EKF untuk teknik training pada JST feedforward. xk  R n z k  R adalah variabel pengukuran dengan asumsi wk ~ N (0. Pandang sistem dinamik stokastik nonlinear berikut: T Kovarian eror : Pkf1  Ak Pka Ak  Q Measurement Update: ˆa ˆ ˆ Estimasi : xk  xkf  Kk [ zk  h( xkf )] Kalman Gain Kovarian eror T f : K K  Pkf H k [ H k pK 1H T  R]1 : Pka  [ I  K k H k ]Pkf Jacobian: f ( x. Argumen ini didasarkan pada alasan-alasan sebagai berikut (Lary and Musa. Pada tahap ini menghasilkan nilai koreksi berdasarkan data pengukuran terbaru [3]. Algoritma extended Kalman filter secara lengkap ditulis sebagai berikut: Inisialisasi: w j 1  w j  e j (3) (4) d j  h[w j . h(xk) melambangkan matriks pengukuran nonlinear. Ide dasar dari extended Kalman filter adalah melinearisasi model pada Persamaan (1) dan Persamaan ˆ (2) pada tiap waktu disekitar estimasi state xk . maka dapat ditemukan vektor bobot terbaik dengan menerapkan algoritma extended Kalman filter. xk ) . Kalman Filter memberikan solusi yang baik dalam mengestimasi variable keadaan untuk sistem dinamik linear [3]. Time Update: Estimasi P0a  Px 0 ˆ ˆa : xkf1  f (k . R) dan Q  0 . Q) . yaitu tahap time update (forecast step) dan tahap measurement update (analysis step). Setiap kali model linear didapatkan. f ( x k .2. u k ) melambangkan matriks transisi nonlinear. Sama halnya dengan algoritma Kalman filter standar. sedangkan notasi ˆa x k menunjukkan nilai estimasi state ke-k pada tahap time update (analysis step). persamaan Kalman filter standar diterapkan [1].  Kalman filter dikenal sebagai metode yang memberikan estimasi optimal dari state sistem dinamik linear. 2004):  Jaringan syaraf multilayer feedforward dapat digambarkan sebagai suatu sistem dinamik nonlinear yang statenya berupa suatu vektor bobot. Algoritma Extended Kalman Filter Kalman Filter merupakan metode estimasi variable keadaan (state) dari suatu sistem dinamik dengan melakukan prediksi state tersebut dan selanjutnya dilakukan pengukuran untuk mengoreksi state secara reekursif dengan cara meminimumkan kovarian eror penaksiran. Kedua tahapan ini diperoleh dengan menurunkan perambatan mean dan kovarian variabel state pada Persamaan (1) dan variabel pengukuran pada Persamaan (2). Pada perkembangannya juga dikenal algoritma Kalman filter versi extended yang dapat digunakan untuk mengestimasi state sistem dinamik nonlinear. u ) h( x) dan H k  Ak  x x  x f x x  x a ˆ ˆ k k f ˆ Notasi x k menunjukkan nilai estimasi state ke-k pada tahap time update (forecast step). Sedangkan jika sistem dinamiknya berupa nonlinear. Tahap measurement update merupakan tahap dimana informasi pengukuran digunakan.

kovarian noise pada state. ˆ y j  h( w. 2004). dapat diperoleh informasi yang digunakan untuk prosedur training JST menggunakan algoritma EKF sebagai berikut:  w adalah vektor bobot berukuran m(n  1)  m  1  1 dengan Hj  ˆ h[ w j 1 . dimana fungsi ini memiliki nilai yang sama dengan fungsi bipolar sigmoid (Fausset). 2001.vj : vektor pengukuran noise xj : vektor input h[w j . nilai dari R dihitung menggunakan faktor forgetting yang diperkenankan oleh Zhang and Li [2]. x) . Formulasi EKF didapatkan dengan cara menurunkan mean dan kovarian dari variabel state dan pengukuran. Adapun nilai output JST adalah sebagai berikut [2]: x adalah vektor input berukuran n  1  1 . Nilai tersebut menggambarkan perhitungan bobot-bobot pada lapisanlapisan dalam JST. yang menunjukkan bias pada input. Nilai output dari JST. yaitu tahap measurement update. P dan Q adalah vektor kovarian eror dan vektor kovarian noise sistem berukuran m(n  1)  m  1  m(n  1)  m  1    R dan dj adalah vektor kovarian noise pengukuran dan vektor target berukuran 1 x 1 K berukuran m(n  1)  m  1  1 H berukuran 1  m(n  1)  m  1 Sebagai contoh. Sehingga algoritma EKF pada sistem dinamik JST diatas dapat diringkas menjadi satu tahap. Misalkan dipunyai jaringan syaraf feedforward dengan arsitektur sebagai berikut:  Satu input layer yang terdiri dari n unit dan satu bias  Satu hidden layer yang terdiri dari m unit dan satu bias  Satu unit output pada output layer Pada arsitektur tersebut. ej tidak saling j berkorelasi untuk semua i. Sedangkan persamaan (2) dikenal sebagai persamaan observasi yang merupakan pengukuran dari sistem JST dengan elemennya berupa vektor target dari JST [2]. Persamaan (1) dikenal sebagai persamaan proses yang merupakan state dari sistem JST dengan elemenelemennya berupa semua koneksi bobot yang ada pada arsitektur JST. merupakan variabel pengukuran dari sistem dinamik pada JST. Lary and Musa. dengan x(1) dan z(1) adalah nilai bias pada masingmasing input layer dan hidden layer. Pada penelitian ini. h( w. Rancangan Proses Training JST dengan Algoritma Extended Kalman Filter Proses training JST menggunakan algoritma EKF bertujuan untuk mendapatkan estimasi vektor bobot yang meminimumkan kovarian eror secara reekursif. dengan x(1) berupa konstanta. bernilai nol (Haykin. nilai dari fungsi ini output dari JST dengan asumsi bahwa vj adalah white noise dengan E[v jvT ]  R j matriks kovarian. ej adalah white noise j dengan E[e jeT ]  Q j matriks kovarian dan vj. Qj. x )] ˆ ˆ ˆ j j j j j j 1 j  Rj] dimana z(2 : m  1)  tanh[ w(1 : n  1]T x(1 : 1 : n  1)] . Fungsi tanh(. x j ] : fungsi iteratif yang menggambarkan jaringan. x)  tanh[ w(m(n  1)  1 : w(m(n  1)  m  1]T z (1 : m  1)] (5) .) merupakan fungsi aktifasi yang digunakan. Adapun rumusan dari factor forgetting adalah:  j  0 j 1  (1  0 ) (6) dengan 0 dan  adalah tunable parameters. misalkan dipunyai arsitektur JST feedforward dengan tiga node pada input layer dan dua node pada hidden layer seperti yang ditunjukkan pada Gambar 1. 0 : w jf  w a1 ˆ ˆj Kovarian error : Pjf  Pja-1  Q j kovarian error : P a  [ I  K H ]P f j j j j f T Kalman gain : K  P H [ H P f H T j j j j j 4. Time Update: Estimasi Measurement Update: estimasi : wa  w f  K [d  h(w f . Berikut ini adalah hasil penuruanan algoritma EKF pada sistem dinamik JST yang terdapat pada Persamaan (3) dan Persamaan (4). Vektor bobot yang dimaksud adalah nilai bobot dan bias yang mengkoneksikan tiap unit antar layer pada arsitektur JST. j. x j ] ˆ w j 1   Pada kasus JST feedforward.

9997 0. dengan x1 berupa bias pada input layer P dan Q berukuran 11 x 11 R dan dj berukuran 1 x 1 K berukuran 11 x 1 H berukuran 1 x 11 Algorit ma Sedangakan nilai dari output JST adalah: ˆ y j  tanh [ w9 w10 w11 ]T [ z1 z 2 z 3 ]  3   tanh  wi 8 z i     i 1    Back propaga tion  EKF dimana nilai z1 =1 . 2.7652 0.5648 1.9996 0.086 112. karena merupakan bias pada hidden layer.9998 Gambar 1: Arsitektur JST feedforward (3. Hasil simulasi dengan menambahakan 100 kali iterasi dari dua metoda training yang diterapkan adalah sebagai berikut: .9992 0. Simulasi dan Diskusi Simulasi dilakukan untuk mendapatkan performa dari algoritma EKF dan juga algoritma backpropagation sebagai pembanding.497 124. digunakan nilai MSE dan nilai korelasi antara data actual dan data hasil prediksi sebagai pembanding.9997 0. Data yang digunakan adalah bilangan sunspot. Training JST feedforward pada penelitian diaplikasikan untuk prediksi data time series.9658 0.5869 3.058 120. 5.0150 1.0271 111.Inisialisasi dari parameterparameter lain yang dibutuhkan ditetapkan dengan beberapa percobaan. yaitu w  [w1 w2 w3 w4  w10 w11 ]T      x berukuran 4 x 1.9656 0.9685 0. Sedangkan untuk backpropagation nilai MSE yang dihasilkan masih sangat tinggi diabndingkan dengan EKF.1713 0.99960.9057 0.9689 0.7127 Korelasi 0.8811 1. Untuk melihat akurasi dari JST. Pada percobaan pertama.3083 4. Arsitektur JST yang digunakan pada setiap simulasi adalah satu unit pada input layer dan satu unit pada hidden layer.9998 Performansi dengan 10 iterasi MSE 16.9933 0.9998 0.9973 0.1) Dari arsitektur tersebut. Sedangkan nilai z2 dan z3 adalah: z 2  tanh [ w1 w2 w3 w4 ]T [ x1 x 2 x 3 x 4 ]  4   tanh  wi z i     i 1     dan z 3  tanh [ w5 w6 w7 w8 ]T [ x1 x 2 x 3 x 4 ]  4   tanh  wi  4 x i     i 1     Hasil simulasi dengan 5 kali iterasi yang terdapat pada Tabel 1 menunjukkan bahwa EKF memiliki performa yang baik dibandingkan backpropagation. Simulasi selanjutnya adalah dengan menambahkan jumlah iterasi untuk mengetahui apakan sistem telah mencapai global minima atau local minima. akan diperoleh informasi sebagai berikut:  w vektor boobt berukuran 13 x 1.352 31. bobot-bobot pada JST diinisialisasi secara random.9998 0.843 210.9992 0.0164 0.Nilai x1 berupa konstanta karena merupakan bias pada input layer (umumnya bernilai 1).9998.5426 15. Tabel 1 menunjukkan hasil simulasi menggunakan lima kali iterasi dan10 kali iterasi dari masing-masing algoritma training. hal ini dapat dilihat dari nilai MSE yang dihasilkan.9997 0.9668 0. Tabel 1 Hasil Simulasi dengan lima dan 10 iterasi Performansi dengan 5 iterasi MSE 110.6431 Korelasi 0. EKF pada simulasi 10 kali iterasi ini juga memiliki performa yang bagus dengan korelasi berkisar antara 0. x  [ x1 x2 x3 x4 ]T .4284 0.9997 0.9680 0.138 1.9972 0.

New York. John Wiley & Sons. [6] Kusumadewi. S. pada penelitian ini dilakukan perbandingan antara algoritma EKF dan algoritma backpropagation. S. Bobot-bobot yang ada pada jaringan feedforwarrd dipandang sebagai state dari sistem dinamik yang diestimasi secara reekursif. Konsep penerapan algoritma EKFsebagai metoda training JST feedforward dalam penelitian ini didasarkan pada pendekatan yang digunakan oleh Singhal and Wu dalam menerapkan EKF sebagai metoda training JST. 1992. hal.in Kalman Filtering and Neural Networks. ed.9996 0. Vol. 5. Akan tetapi nilai MSE dan korelasi antara data actual dan data hasil prediksi JST masih jauh fdari algoritma EKF. 4.6192 0.4684 2. Mussa H. D.9998 0. yaitu algoritma EKF. 6. Membangun Jaringan Syaraf Tiruan menggunakan Matlab & Excel Link.4627 0.Plot between actual data and foecast data by the EKF 200 180 Forecast data actual data Tabel 2 Hasil simulai dengan 100 kali iterasi Performansi Algoritma MSE 2.7775 2. Hasil simulasi EKF pada kasus ini tidak terlalu jauh berbeda dengan simulasi yang menggunakan 10 kali iterasi.1 Plot between actual data and foecast data by the backpropagation 200 180 160 140 120 Forecast data actual data Value 100 80 60 40 20 0 0 10 20 30 Time index 40 50 60 Gambar 2 : Plot Data Aktual dengan Data Prediksi Menggunakan Backpropagation . 16-19..Y. Inc. Untuk menggambarkan hasil simulasi diata. Prentice Hall. berikut ini akan ditampilkan beberapa plot grafik antara data aktual dengan data hasil prediksi dari JST untuk masingmasing algoritma training yang digunakan. Referensi [1] Haykin. Yogyakarta... EKF memiliki tingkat konvergensi lebih cepat daripada algoritma backpropagation.3507 2.9996 0. [2] Lary.L. algoritma EKF mempunyai konvergensi lebih cepat dibandingkan dengan algoritma backpropagation. USA. 2004. hal. Datum. Haykin.9995 Value 160 140 120 100 80 60 40 20 0 Back propagation 0 10 20 30 Time index 40 50 60 Gambar 2 : Plot Data Aktual dengan Data Prediksi Menggunakan EKF EKF Tabel 2 menunjukkan bahwa algoritma backpropagation mengalami perbaikan performa yang lebih baik dan lebih konsisten. “Optimal Filtering Algorithms for Fast Learning in Feedforward Neural Network”. Untuk mengetahui performansi dari algoritma training yang digunakan.. [5] Shah.4684 Korelasi 0.9996 0. Singapure. Sri. “Using an Extended Kalman Filter Learning Algorithm for Feedforward Neural Network to Describe Tracer Correlations”. Berdasakan hasil simulasi.4547 2. 3653-3667. Fundamental of Neural Network: Theory and Application.9996 0. M. F.9998 0. Neural Networks Research.9995 0..7751 0. 1986 [4] Fausset. [3] Lewis. 1996. S. hal. 2001. Dengan kata lain. Atmospheric Chemistry and Physics Discussion. 2004.9998 0.8153 0. 779-787.4615 2.9998 0.J. L. John Wiley & Sons. F. Palmieri. Vol. Optimal Estimation. “Kalman Filters”. Kesimpulan Pada penelitian ini telah dibahas kerangka umum training JST menggunakan teori optimal filtering.. Graha Ilmu.