NEURON MODEL Sigit Adinugroho, S.Kom, M.

Sc
(sigit.adinu@ub.ac.id)
OUTLINE
1. Model Jaringan Syaraf Tiruan
2. Fungsi aktivasi
3. Decision boundary
4. Proses pembelajaran
5. Arsitektur JST
6. Pemrosesan pada neuron
MODEL JARINGAN SYARAF TIRUAN
•Semua model JST terdiri dari sekumpulan neuron.
•Neuron merupakan bagian yang memproses data
•Neuron terdiri dari 3 komponen utama :
1. Sinapsis : Berfungsi menerima input. Sinapsis memiliki nilai bobot, yang menjadi faktor pengali dari
input yang diterima. Terdapat pula sebuah bias, yaitu input yang selalu bernilai 1.
2. Penjumlah (adder) : Berfungsi menjumlahkan semua input dan bias yang ada, sesuai dengan bobot
masing-masing input.
3. Fungsi aktivasi : Berfungsi menentukan output dari suatu neuron
 MODEL JARINGAN SYARAF TIRUAN
input bias

1
Fungsi
!" '" - aktivasi output

!# '#
% (
)(() ,
.
.
.
. '$ adder
$
!$ , = )(()
( = % !/ '/ + -
/0"
 CONTOH SOAL
) = 1 ∗ 0.75 + 2 ∗ 2 + 7 ∗ 0.5 + 4 ∗ 0.1
= 8.65

2 2 0.75 6 = sgn (8.65)

= 1
0.5 1, 12 - ≥ 0
7 )
$ sgn - = /
0, 12 - < 0 6
0.1
4
FUNGSI AKTIVASI
•Fungsi aktivasi memiliki tiga bentuk umum :
1. Fungsi threshold atau Fungsi Step atau Fungsi Sign
2. Fungsi Linear
3. Fungsi sigmoid

1. Bentuk-bentuk khusus fungsi threshold/sign/step

a. Hard limit
1, )* $ ≥ 0
sgn $ = &
0, )* $ < 0
b. Symmetrical hard limit
1, )* $ ≥ 0
sgn $ = &
−1, )* $ < 0
FUNGSI AKTIVASI
2. Bentuk-bentuk khusus fungsi linear
a. Linear
lin $ = $
b. Saturating linear
0, ', $ < 0
&'( $ = )$, ', 0 ≤ $ ≤ 1
1, ', $ > 0
c. Symmetric saturating linear
−1, ', $ < −1
&'( $ = )$, ', − 1 ≤ $ ≤ 1
1, ', $ > 1
d. Positive linear
0, ', $ < 0
&'( $ = 3
$, ', $ ≥ 0
FUNGSI AKTIVASI
3. Bentuk-bentuk khusus fungsi sigmoid
a. Log-sigmoid
1
!"# $ =
1 + ( )*
b. Hyperbolic tangent sigmoid
( * − ( )*
!"# $ = *
( + ( )*
DECISION BOUNDARY
•Pada klasifikasi, data dikelompokkan menjadi beberapa kelas/kategori
•Bidang/garis yang membagi data menjadi kelas-kelas tertentu, disebut dengan
decision boundary
DECISION BOUNDARY
•Permasalahan yang dapat diklasifikasikan dengan sebuah garis lurus, disebut linearly
separable
•Neuron mampu berperan sebagai decision boundary
DECISION BOUNDARY
DECISION BOUNDARY
 NEURON TRAINING
Berapakah nilai w1,w2 ,dan b
agar nilai berikut terpenuhi :

1
x1 x2 y/target
!" &" = 1 5 = -1.5 1 0 0
0 1 0
!# &# = 1 '
1, ./ ! ≥ 0 1 1 1
$ sgn ! = ,
0, ./ ! < 0 4 0 0 0

Penentuan nilai w (bobot) dan b (bias) disebut dengan training

METODE TRAINING
Metode training dalam JST dapat dibagi menjadi 2 kategori :
1. Supervised learning
2. Unsupervised learning
SUPERVISED LEARNING
•Biasa digunakan dalam proses klasifikasi atau regresi
•Metode pembelajaran dilakukan dengan memberikan pasangan input dan output
yang diinginkan
•Output neuron dibandingkan dengan output yang diinginkan, lalu error dihitung
berdasarkan selisih/jarak antara output neuron dengan output sebenarnya
•Error dapat diminimalkan dengan penghitungan gradient
•Error digunakan untuk memodifikasi nilai bobot
UNSUPERVISED LEARNING
•Data yang diinputkan tidak diketahui nilai output yang diinginkan
•Nilai error tidak dapat diperkirakan
•Biasanya digunakan dalam proses clustering
ALGORITMA LEARNING
Istilah-istilah penting
1. Epoch : Penyajian keseluruhan data training kepada neural network. Pada contoh di slide
13, satu epoch terdiri dari 4 data [1,0],[0,1],[1,1], dan [0,0]
2. Error : Selisih antara output yang diinginkan (target) dengan output neuron. Misal, output
dari neuron adalah 1 sedangkan hasil yang diingikan adalah 0, maka nilai error = -1.
3. Target (T): Nilai (kelas) yang diinginkan dari suatu data.
4. Output (y): Nilai yang dihasilkan suatu neuron dengan input tertentu
5. xj : Input yang diberikan ke neuron
6. Wj : Bobot dari input xj ke neuron
7. LR : Learning rate, variabel yang menentukan kecepatan proses belajar. Biasanya bernilai
0.1
ALGORITMA LEARNING
wi = random()
b = random()
'
while epoch masih menghasilkan error
! = # $% &% + + , = -(!)
Masukkan input, hitung output
%()
Error = T-y
if error ≠ 0
wi = wi + LR * xi * Error
b = b + LR * Error
end if
end while
ARSITEKTUR JST
Arsitektur JST dapat dikelompokkan menjadi :
1. Single layer feedforward network
• Hanya terdiri dari input layer dan output layer
• Tidak memiliki umpan balik
2. Multilayer feedforward network
­ Terdir dari input layer, hidden layer, dan output layer
­ Semua neuron saling terhubung ke neuron di layer selanjutnya
­ Dapat menyelesaikan masalah rumit
3. Recurrent network
­ Memiliki minimal 1 loop umpan balik
­ Dapat memiliki hidden layer ataupun tidak
MULTI-LAYER FEEDFORWARD NETWORK

Output layer

Hidden layer

Input layer
MULTI-LAYER FEEDFORWARD NETWORK
•Terdiri dari satu layer input dan satu layer output
•Memiliki satu atau lebih hidden layer
•Setiap neuron pada suatu layer akan terhubung ke setiap neuron di layer berikutnya
•Tidak ada hubungan antara neuron pada layer yang sama
RECURRENT NEURAL NETWORK
PEMROSESAN PADA NEURON
1. Recall
­ Proses menghitung output dari suatu input pada JST.
­ Bertujuan mendapatkan output dari suatu input, setelah dilakukan proses training pada JST

2. Autoassociation
­ JST diberi input yang mirip dengan data latih yang diberikan, dan selanjutnya memberikan output
data yang mirip dengan input
­ Bertujuan mendapatkan data dengan input yang mengandung noise

3. Heteroassociation
­ JST mendapatkan kelas dari input yang diberikan
PEMROSESAN PADA NEURON
Memory
Input

autoassociation
PEMROSESAN PADA NEURON
Memory
Input
MAMALIA
Heteroassociation

MAMALIA MAMALIA

AVES
PEMROSESAN PADA NEURON
4. Klasifikasi
•Sekumpulan pola telah terbagi menjadi beberapa kategori (kelas).
•Ketika sebuah pola input diterima oleh neuron, neuron mengambil informasi mengenai
kelas yang sesuai dengan input yang diterima.
•Kelas dikodekan pada output layer menggunakan vektor biner, oleh karena itu fungsi
aktivasi yang digunakan adalah fungsi step
•Merupakan bentuk khusus dari heteroassociation
5. Pengenalan (Recognition)
­ Terjadi ketika input tidak berhubungan secara langsung dengan informasi yang
disimpan
PEMROSESAN PADA NEURON
Memory
Input
[1,1]
Klasifikasi

[1,1] [1,1]

[0,1]
PEMROSESAN PADA NEURON
6. Clustering
•Model klasifikasi unsupervised dari objek yang tidak diketahui kelasnya
•Neuron harus dapat menemukan pola yang tersembunyi