Perhitungan ANN Feedforward -

Backpropagation

Kelompok 2
Abdul Goni
Valentine Kilau Intan C
Ahmad Hasan
Hadi Prayitno
Ilustrasi ANN
Bobot (Weight)

Input Layer
Input
Jaringan syaraf tiruan pada bagian Input Layer
menerima sinyal input dari sumber luar, berupa
pola atau gambar yang direpresentasikan dalam
vektor. Input ini kemudian secara matematis
ditetapkan dengan notasi x(n) untuk setiap n
jumlah input.
Bobot
Setelah itu, masing-masing input dikalikan
dengan bobot yang sesuai. Secara umum, bobot
ini biasanya mewakili kekuatan interkoneksi
antar neuron di dalam jaringan saraf tiruan.
Semua input berbobot diringkas di dalam unit
komputasi.
Bobot
Jika jumlah bobot sama dengan nol, maka bias
ditambahkan untuk membuat output tidak nol
atau sesuatu yang lain untuk meningkatkan
respons sistem. Total input berbobot dapat
berada dalam kisaran 0 hingga bilangan tak
terhingga positif (+∞). Di sini, untuk menjaga
respons dalam batas nilai yang diinginkan, nilai
maksimum tertentu di-benchmark, dan total
input berbobot dilewatkan melalui fungsi
aktivasi.
 Fungsi Aktivasi Neural Network

✘ Fungsi aktivasi merupakan fungsi yang digunakan pada jaringan syaraf untuk mengaktifkan atau tidak
mengaktifkan neuron, menentukan output suatu neuron, menggambarkan hubungan antar tingkat aktivasi internal
(summation function) yang mungkin benbentuk linear atau nonlinear. Seperti pada gambar sebuah neuron akan
mengolah N input (X1, X2, ….XN) yang masing-masing memiliki bobot W1, W2, ….WN dan bobot bias b

Beberapa fungsi aktivasi terdapat hard limit, threshold, identitas, sigmoid.

 Macam-macam Fungsi Aktivasi

✘ Fungsi undak biner hard limit

Fungsi ini biasanya sering digunakan pada jaringan dengan single layer. Fungsi undak (step function) digunkana untuk mengkonversikan input dari
suatu variable yang bernilai continue menjadi output biner (0 dan 1).

✘ Fungsi undak biner Threshold

Fungsi undak biner ini menggunakan nilai ambang batas dan sering disebut dengan fungsi threshold atau fungsi Heaviside.
 Macam-macam Fungsi Aktivasi

✘ Fungsi bipolar symetrics hard limit

Fungsi bipolar sebenarnya mirip dengan fungsi undak biner hard limit, hanya saja outputnya berupa 1, 0, atau -1.

✘ Fungsi bipolar threshold

Fungsi bipolar ini sebenarnya mirip dengan fungsi undak biner threshold, hanya saja outputnya berupa 1, 0 atau -1.
 Macam-macam Fungsi Aktivasi

✘ Fungsi linear identitas

Fungsi linear ini memiliki nilai output yang sama dengan nilai inputnya.

𝑦 =𝑥

✘ Fungsi saturating linear

 Macam-macam Fungsi Aktivasi

✘ Fungsi symetric saturating linear

✘ Fungsi sigmoid biner

✘ Fungsi ini digunakan pada jaringan syaraf yang dilatih dengan metode backpropagation, dengan rentan nilai output antara 0 sampai 1

dengan
 Macam-macam Fungsi Aktivasi

✘ Fungsi sigmoid bipolar

Fungsi ini digunakan pada jaringan syarat yang dilatih dengan metode backpropagation, dengan rentan nilai output antara -1 sampai 1.

dengan
 Output Fungsi Neural Network

✘ Sesuai dengan gambar arsitektur model neural network pada pembahasan sebelumnya bahwa untuk mendapatkan
output y dapat ditulis dengan persamaan sebagai berikut:
……………………………………… (12)
✘ Sehingga apabila jumlah inputan banyak seperti Gambar 1, maka
……………………………………… (13)
✘ Agar perceptron dapat bekerja maka rumus (12) harus dimasukkan dulu kedalam fungsi yang dinotasikan sebagai
berikut:
……………………………………… (14)
✘ Sehingga rumusnya menjadi
……………………………………… (15)
 Propagasi Error Output Neural Network
Tujuannya adalah untuk meminimalkan error pada output yang dihasilkan jaringan, untuk itu dipakai metode backpropagation untuk
menyesaikannya. Dan biasanya untuk metode backpropagation menggunakan jaringan multilayer.
Metode backpropagation terdiri dari tiga Langkah yaitu:
✘ Memasukkan nilai inputan jaringan secara feedforward
✘ Menghitung dan propagasi balik dari error yang bersangkutan
✘ Pembaharuan (adjustment) bobot dan bias
✘ Pada setiap output yang menerima suatu target output yang sesuai dengan target input, maka untuk menghitung kesalahan (error)
antara target dedngan putput yang dihasilkan jaringan adalah:

✘ Begitu juga untuk proses sebelumnya pada hidden unit, maka fungsi sebelumnya juga diturunkan, sehingga rumusnya menjadi:

✘ Kemudian hasilnya dikalikan dengan turunan dari fungsi aktivasi yang digunakan jaringan untuk menhasilkan faktor koreksi
error
1. Feedforward

✘ Feedforward hanya memungkinkan sinyal

untuk melakukan perjalanan melalui satu
jalur saja, yakni dari input ke output
✘ Tidak ada koneksi umpan balik dari
output ke dirinya sendiri (loop).
2. Back Propagation
✘ Algoritma Pembelajaran yang terawasi
✘ Biasanya digunakan oleh perceptron
dengan banyak layer untuk merubah
bobot-bobot yang terhubung dengan
neuron yang ada pada hidden layer
✘ Menggunakan error output untuk
mengubah nilai bobot-bobotnya
✘ Untuk mendapatkan error tahap
Feedforward harus dilakukan
 Algoritma BP dengan satu hidden layer
dengan fungsi aktivasi Sigmoid biner

0. Inisialisasi semua bobot dengan bilangan acak kecil

1. Jika kondisi henti belum terpenuhi, lakukan langkah 2 – 9
2. Untuk setiap pasangan data pelatihan,lakukan langkah 3 – 8 Fase FeedForward
3. Tiap unit masukan menerima sinyal dan meneruskan ke unit tersembunyi di atasnya
4. Hitung semua keluaran di unit tersembunyi Zj (j = 1....p)
Lanjutan
5. Hitung semua keluaran jaringan di unit Yk (k= 1. m)

6. Hitung faktor δ unit keluaran berdasarkan kesalahan di setiap unit keluaran (Fase
Back Propagation)
Lanjutan
δk merupakan kesalahan yang akan dipakai dalam perubahan bobot layer dibawahnya
(langkah 7)
Hitung suku perubahan bobot wjk (yang akan dipakai nanti untuk merubah bobot wjk)
dengan laju pembelajaran α
∆wjk = α δk zj (k= 1,2, ..., m ; j = 0,1,2, ..., p)
7. Hitung faktor δ unit tersembunyi berdasarkan kesalahan di setiap unit tersembuyi
Zj (j =1. p)

Faktor δ unit tersembunyi

Lanjutan
8. Hitung semua perubahan bobot
Perubahan bobot garis yang menuju ke unit keluaran

Perubahan bobot garis yang menuju ke unit tersembunyi:

9. Stop
Contoh Perhitungan ANN
 Contoh

✘ Gunakan BP dengan sebuah layer tersembunyi (dengan 3 unit) untuk mengenali

fungsi logika XOR dengan 2 masukan x1 dan x2. Buatlah iterasi untuk menghitung
bobot jaringan untuk pola pertama (x1 = 1, x2 = 1, dan t = 0). Gunakan laju
pembelajaran α = 0,2
Penyelesaian

Terdiri dari 1 unit keluaran Y, 3 unit Z, dan 2 unit X serta 2 bias (untuk unit tersembunyi
dan unit keluaran
1. Mula-mula bobot diberi nilai acak yang kecil (range [-1,1]).

bobot vij Bobot wjk

  Z1 Z2 Z3   Y
Z1 0,5
X1 0,2 0,3 -0,1
Z2 -0,3
X2 0,3 0,1 -0,1
Z3 -0,4
1 -0,3 0,3 0,3 1 -0,1
2. hitung keluaran unit tersembunyi (Zj) (langkah 4)
  Z1 Z2 Z3

X1 0,2 0,3 -0,1

X2 0,3 0,1 -0,1

1 -0,3 0,3 0,3

3. Hitung keluaran unit Yk (Langkah 5)
  Y
Z1 0,5
Z2 -0,3
Z3 -0,4
1 -0,1

Karena jaringan hanya memiliki sebuah unit keluaran Y,

maka y_net k = y_net = w01

4. Hitung faktor δ di unit keluaran Yk (Langkah 6 )
5. Hitung penjumlahan kesalahan dari unit tersembunyi (δ) (Langkah 7)

Karena jaringan hanya memiliki sebuah unit keluaran maka

  Y
Z1 0,5
Z2 -0,3
Z3 -0,4
1 -0,1
Suku perubahan bobot ke unit tersembunyi ∆vij = α δj xi(j = 1,2,3 ; i = 0,1,2)
  Z1 Z2 Z3
X1 ∆v11 = (0,2) (-0,01) ∆v12 = (0,2) (0,01) ∆v13 = (0,2) (0,01)
(1) = -0,002 ≈ 0 (1) = 0,002 ≈ 0 (1) = 0,002 ≈ 0
X2 ∆v21 = (0,2) (-0,01) ∆v22 = (0,2) (0,01) ∆v23 = (0,2) (0,01)
(1) = -0,002 ≈ 0 (1) = 0,002 ≈ 0 (1) = 0,002 ≈ 0
1 ∆v01 = (0,2) (-0,01) ∆v02 = (0,2) (0,01) ∆v03 = (0,2) (0,01)
(1) = -0,002 ≈ 0 (1) = 0,002 ≈ 0 (1) = 0,002 ≈ 0

6. Hitung semua perubahan bobot (Langkah 8)

Perubahan bobot unit tersembunyi:

  Z1 Z2 Z3

X1 0,2 0,3 -0,1

  Z1 Z2 Z3
X1 v11 = 0,2 + 0 = 0,2 v12 = 0,3 + 0 = 0,3 v13 = -0,1 + 0 = -0,1 X2 0,3 0,1 -0,1
X2 v21 = 0,3 + 0 = 0,3 v22 = 0,1 + 0 = 0,1 v23 = -0,1 + 0 = -0,1
1 -0,3 0,3 0,3
1 v01 = -0,3 + 0 = -0,3 v02 = 0,3 + 0 = 0,3 v03 = 0,3 + 0 = 0,3

Iterasi diteruskan untuk pola kedua (X1 = 1, X2 = 0, t = 1) dan seterusnya.