TUTORIAL SERIES

Artificial Neural Network

(Jaringan Syaraf Tiruan)

Achmad Fanany Onnilita Gaffar

196910231998021001

SOFTWARE & COMPUTER ENGINEERING DEVELOPMENT AND RESEARCH CLUB

POLYTECHNIC STATE OF SAMARINDA
EAST KALIMANTAN
Understanding of Fundamental

neuron

axon

neuron summation threshold

dendrite

Think Fast …!!!

Understanding of Fundamental (cont.1)
Bobot dendrite

Input dari W W Output ke

neuron-
neuron lain
 f neuron-
neuron lain

Fungsi aktivasi
target

input
ANN output
compare

Adjust
Weights

Think Fast …!!!

 Perceptron

p = input
w = pembobot (weight) input ke neuron
b = pembobot (weight) bias ke neuron
n = output neuron
f = fungsi aktivasi
a = output perceptron

Bias adalah mewakili input yang tidak

terdeteksi/diketahui.
Nilai bias selalu 1.

Komputasi : n  w.p  b
a  f  w.p  b 

Think Fast …!!!

 Perceptron (cont.1)

R = jumlah elemen pada vektor input

p = vektor input
W = matriks pembobot

Think Fast …!!!

Perceptron (cont.2)

n  w11.p1  w12 .p2  ...  w1R .pR  b

Ekspresi dalam bentuk matriks :

 p1 
p 
n   w11 w12 ... w1R   2  + b
 ... 
 
pR 
= Wp  b

a  f  Wp  b 

Think Fast …!!!

 Fungsi Aktivasi

1  e n
a  f ( n) 
1  e n
1
a  f ( n)  f ' (n)  1  f (n) .1  f (n)  an
1  e n
f ' (n)  f (n).1  f (n) 

Think Fast …!!!

Arsitektur ANN

Think Fast …!!!

 Arsitektur ANN (cont.1)
Tiap layer terdiri dari Matriks pembobot (W), penjumlah (), vektor
bias (b), blok fungsi aktivasi (f) dan vektor output (a).

 p1 
p   b1 
b 
p 2
 ...  b   2
   ... 
pR   
 bS 
 w11 w12 ... w1R 
w w 22 ... w 2R 
W   21
 ... ... ... ... 
 
 w S1 w S2 ... w SR 

a  f  Wp  b 

Think Fast …!!!

MLP (Multi Layer Perceptron)

Input Layer Hidden Layer Output Layer

1  f (n)

Think Fast …!!!

ANN Feedforward Multilayer

Input Layer Hidden Layer Output Layer

1  f (n)

Think Fast …!!!

Learning Rule / Training Algorithm

Pelatihan yang memerlukan sekumpulan pasangan data

pelatihan {p1,t1}, {p2,t2}, …, {pQ,tQ}.
Q adalah jumlah banyaknya pasangan data pelatihan.
p adalah input ANN, dan t adalah target output. Pelatihan
dilakukan sedemikian rupa hingga Error ANN  Target Error.

pelatihan yang hanya didasarkan pada hubungan antar input

pada JST.

Think Fast …!!!

Algoritma Pelatihan Widrow-Hoff (WH)
n = w1.p1 + w2.p2 + w3.p3
a = f(n)
input Layer Neuron =t–a
p1 w1 WH Learning
Rule
w2 n a Dw1 = ..p1
p2  f
Dw2 = ..p2
w3 Dw3 = ..p3
b
w1(new) =w1(old) + Dw1
1 w2(new) =w2(old) + Dw2
p3 w3(new) =w3(old) + Dw3

 = laju pelatihan [0 … 1]
 = error ANN T
target = error target  < Target ?

Think Fast …!!!

 Mean Square Error (MSE)

 MSE adalah salah satu fungsi performansi ANN yang

digunakan sebagai acuan pelatihan.
 Pelatihan dihentikan jika MSE  Target Error

1 Q 1 Q
mse    k    t k   ak 
2 2

Q k 1 Q k 1
Q = jumlah pasangan data pelatihan

 Target Error (target) ditentukan secara bebas,

diusahakan sekecil mungkin (mendekati nol)

Think Fast …!!!

 Normalisasi Data

 Normalisasi (pre-processing) adalah tahapan mempersiapkan

data input dan target output ANN sedemikian rupa hingga
dapat diproses oleh ANN.
 Biasanya data dinormalisasi pada interval [0…1] atau [-1…1]
 Jika diketahui suatu vektor data xij, maka fungsi mapminmax
(pada Matlab) memetakan data minimum dan maksimum pada
baris matrik ke interval [xn(min) … xn(max)] dengan rumus :

X  X min
X n  X n max   X n min  .  X n min 
X max  X min

Think Fast …!!!

 Normalisasi Data (cont.1)

 Untuk interval [0...1] maka xn(min)= 0 dan xn(max)= 1 sehingga :

X  X min
Xn 
X max  X min

 Untuk interval [-1...1] maka xn(min)= -1 dan xn(max)= 1 sehingga :

 X  X min 
X n  2.   1
 X max  X min 

Misalkan himpunan data x = 0, 1, … 10. 50

Xn   0.5
Untuk X = 5 jika dipetakan pada interval 10  0
[0 .. 1] menjadi :
 50 
Jika dipetakan pada interval [-1 .. 1] menjadi : X n  2.   1  0
10  0 

Think Fast …!!!

 Studi Kasus

ANN digunakan untuk mengenali fungsi persamaan : c  a 2  b2

Normalisasi data ke interval [0…1]. Arsitektur ANN yang
digunakan adalah Perceptron.

DATA NORMALISASI p1
NO
a b c a b c w1
n a
1 0 2 2.000 0 0,200 0,141  f
2 3 4 5.000 0.300 0,400 0,354 w2 b
3 5 6 7.810 0.500 0,600 0,552 p2
1
4 10 10 14.142 1.000 1,000 1,000

1
Fungsi aktivasi : Log-Sigmoid a
1  e n
Laju pelatihan (learning rate)  = 0.5
Target Error = target = 0.001

Think Fast …!!!

 Studi Kasus (cont.1)
Data p1 = [0.000, 0.300, 0.500 1.000] Inisialisasi Pembobot
p2 = [0.200, 0.400, 0.600 1.000] w1 = 0.010 w1 = 0.020
t = [0.141, 0.354, 0.552 1.000]
Epoch 1 : Data 1
w1. p1 (1)  w2 . p2 (1)  n(1)
  0.010  *  0.000    0.020  *  0.200   0.004
1
a(1)  f (n(1))  0.004
 0.501
1 e
(1)  t (1)  a(1)  0.141  0.501  0.360
Dw1  .(1). p1 (1)   0.5  *  0.36  *  0.000   0.000
Dw2  .(1). p2 (1)   0.5  *  0.36  *  0.200   0.036
w1( new)  w1( old )  Dw1  0.01  0.000  0.01
w2( new)  w2( old )  Dw2  0.02   0.036   0.016

Think Fast …!!!

 Studi Kasus (cont.2)

Epoch 1 : Data 2
w1. p1 (2)  w2 . p2 (2)  n(2)
  0.010  *  0.300    0.016  *  0.400   0.003
1
a(2)  f (n(2))   ( 0.003)
 0.499
1 e
(2)  t (2)  a(2)  0.354  0.499  0.146

Dw1  .(2). p1 (2)   0.5  *  0.146  *  0.300   0.022

Dw2  .(2). p2 (2)   0.5  *  0.146  *  0.400   0.029
w1( new)  w1( old )  Dw1  0.01   0.022   0.012
w2( new)  w2( old )  Dw2  0.016   0.029   0.045

Think Fast …!!!

 Studi Kasus (cont.3)

Epoch 1 : Data 3
w1. p1 (3)  w2 . p2 (3)  n(3)
  0.012  *  0.500    0.045 *  0.600   0.033
1
a(3)  f (n(3))   ( 0.033)
 0.492
1 e
(3)  t (3)  a(3)  0.552  0.492  0.061

Dw1  .(3). p1 (3)   0.5  *  0.061 *  0.500   0.015

Dw2  .(3). p2 (3)   0.5  *  0.061 *  0.600   0.018
w1( new)  w1( old )  Dw1  0.012  0.015  0.033
w2( new)  w2( old )  Dw2  0.045  0.018  0.027

Think Fast …!!!

 Studi Kasus (cont.4)

Epoch 1 : Data 4
w1. p1 (4)  w2 . p2 (4)  n(4)
  0.003 * 1   0.027  * 1  0.024
1
a(4)  f (n(4))   ( 0.024)
 0.494
1 e
(4)  t (4)  a(4)  1  0.494  0.506

Dw1  .(4). p1 (4)   0.5  *  0.506  * 1  0.253

Dw2  .(4). p2 (4)   0.5  *  0.506  * 1  0.253
w1( new)  w1( old )  Dw1  0.012  0.015  0.033
w2( new)  w2( old )  Dw2  0.045  0.018  0.027
1 4
4 k 1
 2 2 2 2

mse      k     1    2     3    4  / 4  0.103
2

Think Fast …!!!

 Home Work ….!!!

Selesaikan studi kasus di atas hingga

diperoleh

mse  target

Think Fast …!!!

Think Fast …!!!