Architecture Net, Simple

Neural Net

Materi
1.
2.
3.
4.
5.

Model Neuron JST

Arsitektur JST
Jenis Arsitektur JST
MsCulloh Pitts
Jaringan Hebb

Model Neuron JST

n

X1
W1

z wi xi ; y H ( z )

Y1

i 1

X2

Y2
W2

X3

W3

Fungsi aktivasi

Y3

Bobot

Masukkan

Keluaran

Y1 = X1.W1 + X2.W2 + X3.W3; dst

3

Model Neuron JST

Pada JST, neuron-neuron akan dikumpulkan
dalam lapisan lapisan yang disebut dengan
layers
Neuron dalam satu lapisan akan dihubungkan
dengan neuron pada lapisan lainnya
Kadang muncul juga layer tersembunyi (hidden
layer) untuk menambah keakuratan pelatihan
Informasi tersebut bisa dirambatkan secara
forward ataupun backward

Istilah dalam JST

Neuron: sel syaraf tiruan yang merupakan elemen
pengolah JST
Jaringan: bentuk arsitektur JST, kumpulan neuron yang
saling berhubungan dan membentuk lapisan
Input: sebuah nilai input yang akan diproses menjadi nilai
output
Output: solusi dari nilai input
Hidden layer: lapisan yang tidak terkoneksi secara
langsung dengan lapisan input atau output, memperluas
kemampuan JST
Bobot: nilai matematis dari sebuah koneksi antar neuron
Fungsi aktivasi: fungsi yang digunakan untuk mengupdate
nilai-nilai bobot per-iterasi dari semua nilai input.

Fungsi aktivasi sederhana adalah mengakalikan input dengan

bobotnya dan kemudian menjumlahkannya (disebut penjumlahan
sigma)
Berbentuk linier atau tidak linier, dan sigmoid

Paradigma pembelajaran: bentuk pembelajaran,

supervised learning, atau unsupervised learning

JST dengan 3 Layer

Arsitektur Jaringan
Pola di mana neuron-neuron pada JST
disusun berhubungan erat dengan
algoritma belajar yang digunakan untuk
melatih jaringan.
Secara umum arsitektur jaringan dapat
dibagi menjadi empat, yaitu:

Single layer feedforward networks

Multi layer feedforward networks
Recurrent Networks
Lattice Structure
7

Single layer Feedforward Net

Suatu JST biasanya
diorganisasikan dalam
bentuk lapisan-lapisan
(layer).
Pada bentuk paling
sederhana hanya
terdapat input layer
dan output layer,
seperti pada gambar
di samping

Multilayer Feedforward Net

Kelas kedua dari
feedforward
neural network
adalah jaringan
dengan satu
atau lebih lapis
tersembunyi
(hidden layer).

Recurrent Networks
Recurrent neural network adalah jaringan
yang mempunyai minimal satu feedback
loop.
Sebagai contoh, suatu recurrent network
bisa terdiri dari satu lapisan neuron
tunggal dengan masing-masing neuron
memberikan kembali outputnya sebagai
input pada semua neuron yang lain

10

Recurrent Networks

11

Recurrent Networks

12

Lattice Structure
Sebuah lattice (kisi-kisi) terdiri dari array neuron
berukuran satu dimensi, atau dua dimensi, atau lebih.
Berikut adalah lattice satu dimensi dengan 3 neuron yang
mendapatkan masukan dari 3 node sumber.

13

Lattice Structure
Berikut adalah lattice dua dimensi dengan 3 kali 3 neuron
yang mendapatkan masukan dari 3 node sumber

14

Pengelompokan JST
JST Feed Forward
Tidak mempunyai loop
Contoh: single layer perceptron, mutilayer
perceptron, radial basis function

JST Feed Backward (Recurrent)

Memiliki loop, lapisan output akan
memberi input lagi bagi lapisan input
Contoh: competitive networks, kohonen,
hopfield, ART
15

McCulloch Pitts
Fungsi aktivasi biner
Besar bobotnya sama
Memiliki threshold yang sama
Contoh buat fungsi logika and, input X1 dan X2,
dan Y = 1 jika dan hanya jika inputan 1
X1
1
1
0
0

X2
1
0
1
0

Y
1
0
0
0

z wi xi ; y H ( z )
i 1

16

McCulloch Pitts
Contoh buat fungsi logika or, input X1 dan X2,
dan Y = 0 jika dan hanya jika inputan 0
X1
1
1
0
0

X2
1
0
1
0

Y
1
1
1
0

z wi xi ; y H ( z )
i 1

17

Learning
Proses belajar dalam konteks JST dapat
didefinisikan sebagai berikut:
Belajar adalah suatu proses di mana parameterparameter bebas JST diadaptasikan melalui suatu
proses perangsangan berkelanjutan oleh
lingkungan di mana jaringan berada.

Metode belajar, yaitu:

Supervised learning (belajar dengan pengawasan)
Unsupervised learning (belajar tanpa pengawasan)
Hibrida learning (Gabungan Supervised dan
Unsupervised)
18

Supervised Learning
Supervised learning adalah proses belajar yang
membutuhkan guru, yaitu sesuatu yang memiliki
pengetahuan tentang lingkungan.
Guru bisa direpresentasikan sebagai sekumpulan
sampel input-output.
Pembangunan pengetahuan dilakukan oleh guru
dengan memberikan respons yang diinginkan kepada
JST.
Parameter-parameter jaringan berubah-ubah
berdasarkan vektor latih dan sinyal kesalahan, yaitu
perbedaan antara keluaran JST dan respons yang
diinginkan.
Proses perubahan dilakukan dalam bentuk iterasi.
19

UnSupervised Learning
Unsupervised Learning atau self-organized learning
tidak membutuhkan guru untuk membantu proses
belajar.
Dengan kata lain, tidak ada sekumpulan sampel
input-output atau fungsi tertentu untuk dipelajari oleh
jaringan.
JST mengorganisasikan dirinya untuk membentuk
vektor-vektor input yang serupa tanpa menggunakan
data atau contoh-contoh pelatihan, biasanya ke
dalam suatu kategori/kelompok2 tertentu
Salah satu contoh unsupervised learning adalah
competitive learning, di mana neuron-neuron saling
bersaing untuk menjadi pemenang.
20

Algoritma Pembelajaran Umum

Dimasukkan n data pelatihan
Inisialisasi bobot-bobot jaringan, set i = 1
Masukkan contoh ke-i ke dalam input
Cari tingkat aktivasi unit output menggunakan
algoritma yang ditetapkan
Jika memenuhi kriteria output then

exit

else:
Update bobot2 menggunakan fungsi galat error,
Bobot baru = bobot lama + delta

If i=n then reset i=1, else i=i+1

21

Simple Neuron
Arsitektur dasar dari
semua kemungkinan
model JST sederhana
(single-layer) ditunjukkan
pada gambar disamping
Terdiri dari sebuah layer
input dan sebuah output

22

Bias dan Threshold

Bias

Threshold

23

Linear Separability
Output yes 1
Output no -1

Decision Boundary

24

Hebb Net
Hebb mengusulkan pembelajaran dengan
memodifikasi bobot sedemikian shg dua
hubungan neuron on dalam waktu yang
bersamaan, kemudian bobot diantara kedua
neuron tersebut bertambah

25

Algoritma Hebb Net

1. Inisialisasi bobot
2. Untuk setiap input training dan target output, s:t
1. Set aktifasi untuk input

2. Set aktifasi untuk output

3. Hitung bobot dan bias dengan

26

Fungsi AND
State

(biner input & target)

Perhitungan bobot

Decision Boundary

Proses

27

Fungsi AND
State

(biner input & bipolar target)

Perhitungan bobot

Decision Boundary

Proses

28
Pemilihan pola pembelajaran memberikan peranan penting!

Fungsi AND
State

(bipolar input & target)

Perhitungan bobot

Decision Boundary

Proses

29

Latihan
Buatlah manual atau implementasi
dari pengenalan kedua pola berikut:

30