Architecture Net, Simple

Neural Net

1
Materi

1. Model Neuron JST

2. Arsitektur JST
3. Jenis Arsitektur JST
4. MsCulloh Pitts
5. Jaringan Hebb

2
Model Neuron JST

n
X1 z   wi xi ; y  H ( z ) Y1
W1 i 1

X2
Y2

W2
Fungsi aktivasi

X3 W3 Y3
Bobot

Masukkan Keluaran

Y1 = X1.W1 + X2.W2 + X3.W3; dst…

3
Model Neuron JST

 Pada JST, neuron-neuron akan dikumpulkan

dalam lapisan lapisan yang disebut dengan
layers
 Neuron dalam satu lapisan akan dihubungkan
dengan neuron pada lapisan lainnya
 Kadang muncul juga layer tersembunyi (hidden
layer) untuk menambah keakuratan pelatihan
 Informasi tersebut bisa dirambatkan secara
forward ataupun backward

4
Istilah dalam JST
 Neuron: sel syaraf tiruan yang merupakan elemen
pengolah JST
 Jaringan: bentuk arsitektur JST, kumpulan neuron yang
saling berhubungan dan membentuk lapisan
 Input: sebuah nilai input yang akan diproses menjadi nilai
output
 Output: solusi dari nilai input
 Hidden layer: lapisan yang tidak terkoneksi secara
langsung dengan lapisan input atau output, memperluas
kemampuan JST
 Bobot: nilai matematis dari sebuah koneksi antar neuron
 Fungsi aktivasi: fungsi yang digunakan untuk mengupdate
nilai-nilai bobot per-iterasi dari semua nilai input.
 Fungsi aktivasi sederhana adalah mengakalikan input dengan
bobotnya dan kemudian menjumlahkannya (disebut penjumlahan
sigma)
 Berbentuk linier atau tidak linier, dan sigmoid
 Paradigma pembelajaran: bentuk pembelajaran, 5
supervised learning, atau unsupervised learning
JST dengan 3 Layer

6
Arsitektur Jaringan

 Pola di mana neuron-neuron pada JST

disusun berhubungan erat dengan
algoritma belajar yang digunakan untuk
melatih jaringan.
 Secara umum arsitektur jaringan dapat
dibagi menjadi empat, yaitu:
 Single layer feedforward networks
 Multi layer feedforward networks
 Recurrent Networks
 Lattice Structure
7
Single layer Feedforward Net

 Suatu JST biasanya

diorganisasikan dalam
bentuk lapisan-lapisan
(layer).
 Pada bentuk paling
sederhana hanya
terdapat input layer
dan output layer,
seperti pada gambar
di samping

8
Multilayer Feedforward Net
 Kelas kedua dari
feedforward
neural network
adalah jaringan
dengan satu
atau lebih lapis
tersembunyi
(hidden layer).

9
Recurrent Networks

 Recurrent neural network adalah jaringan

yang mempunyai minimal satu feedback
loop.
 Sebagai contoh, suatu recurrent network
bisa terdiri dari satu lapisan neuron
tunggal dengan masing-masing neuron
memberikan kembali outputnya sebagai
input pada semua neuron yang lain

10
Recurrent Networks

11
Recurrent Networks

12
Lattice Structure

 Sebuah lattice (kisi-kisi) terdiri dari array neuron

berukuran satu dimensi, atau dua dimensi, atau lebih.
 Berikut adalah lattice satu dimensi dengan 3 neuron yang
mendapatkan masukan dari 3 node sumber.

13
Lattice Structure

 Berikut adalah lattice dua dimensi dengan 3 kali 3 neuron

yang mendapatkan masukan dari 3 node sumber

14
Pengelompokan JST

 JST Feed Forward

 Tidak mempunyai loop
 Contoh: single layer perceptron, mutilayer
perceptron, radial basis function
 JST Feed Backward (Recurrent)
 Memiliki loop, lapisan output akan
memberi input lagi bagi lapisan input
 Contoh: competitive networks, kohonen,
hopfield, ART
15
McCulloch Pitts

 Fungsi aktivasi biner

 Besar bobotnya sama
 Memiliki threshold yang sama

Contoh buat fungsi logika “and”, input X1 dan X2,

dan Y = 1 jika dan hanya jika inputan 1

X1 X2 Y
1 1 1 n
1 0 0 z   wi xi ; y  H ( z )
0 1 0 i 1

0 0 0
16
McCulloch Pitts

Contoh buat fungsi logika “or”, input X1 dan X2,

dan Y = 0 jika dan hanya jika inputan 0

X1 X2 Y
1 1 1 n
1 0 1 z   wi xi ; y  H ( z )
0 1 1 i 1

0 0 0

17
Learning

 Proses belajar dalam konteks JST dapat

didefinisikan sebagai berikut:
 Belajar adalah suatu proses di mana parameter-
parameter bebas JST diadaptasikan melalui suatu
proses perangsangan berkelanjutan oleh
lingkungan di mana jaringan berada.
 Metode belajar, yaitu:
 Supervised learning (belajar dengan pengawasan)
 Unsupervised learning (belajar tanpa pengawasan)
 Hibrida learning (Gabungan Supervised dan
Unsupervised)

18
Supervised Learning

 Supervised learning adalah proses belajar yang

membutuhkan guru, yaitu sesuatu yang memiliki
pengetahuan tentang lingkungan.
 Guru bisa direpresentasikan sebagai sekumpulan
sampel input-output.
 Pembangunan pengetahuan dilakukan oleh guru
dengan memberikan respons yang diinginkan kepada
JST.
 Parameter-parameter jaringan berubah-ubah
berdasarkan vektor latih dan sinyal kesalahan, yaitu
perbedaan antara keluaran JST dan respons yang
diinginkan.
 Proses perubahan dilakukan dalam bentuk iterasi.
19
UnSupervised Learning

 Unsupervised Learning atau self-organized learning

tidak membutuhkan guru untuk membantu proses
belajar.
 Dengan kata lain, tidak ada sekumpulan sampel
input-output atau fungsi tertentu untuk dipelajari oleh
jaringan.
 JST mengorganisasikan dirinya untuk membentuk
vektor-vektor input yang serupa tanpa menggunakan
data atau contoh-contoh pelatihan, biasanya ke
dalam suatu kategori/kelompok2 tertentu
 Salah satu contoh unsupervised learning adalah
competitive learning, di mana neuron-neuron saling
bersaing untuk menjadi pemenang.
20
Algoritma Pembelajaran Umum

 Dimasukkan n data pelatihan

 Inisialisasi bobot-bobot jaringan, set i = 1
 Masukkan contoh ke-i ke dalam input
 Cari tingkat aktivasi unit output menggunakan
algoritma yang ditetapkan
 Jika memenuhi kriteria output then
 exit
 else:
 Update bobot2 menggunakan fungsi galat error,
Bobot baru = bobot lama + delta
 If i=n then reset i=1, else i=i+1
21
Simple Neuron

 Arsitektur dasar dari

semua kemungkinan
model JST sederhana
(single-layer) ditunjukkan
pada gambar disamping
 Terdiri dari sebuah layer
input dan sebuah output

22
Bias dan Threshold

 Bias

 Threshold

23
Linear Separability

 Output “yes”  1
 Output “no”  -1

 Decision Boundary

24
Hebb Net

 Hebb mengusulkan pembelajaran dengan

memodifikasi bobot sedemikian shg dua
hubungan neuron “on” dalam waktu yang
bersamaan, kemudian bobot diantara kedua
neuron tersebut bertambah

25
Algoritma Hebb Net

1. Inisialisasi bobot

2. Untuk setiap input training dan target output, s:t

1. Set aktifasi untuk input

2. Set aktifasi untuk output

3. Hitung bobot dan bias dengan

26
Fungsi AND (biner input & target)

State Perhitungan bobot

Decision Boundary

Proses

27
Fungsi AND (biner input & bipolar target)

State Perhitungan bobot

Decision Boundary

Proses

28
Pemilihan pola pembelajaran memberikan peranan penting!
Fungsi AND (bipolar input & target)

State Perhitungan bobot

Decision Boundary

Proses

29
Latihan
 Buatlah manual atau implementasi
dari pengenalan kedua pola berikut:

30