TEORI DASAR NEURAL NETWORK (2)

Pengantar Deep Learning

Paradigma Pembelajaran

Pelatihan jaringan syaraf tiruan dibagi

menjadi dua yaitu, pelatihan dengan
supervisi (pembimbing) dan pelatihan
tanpa supervisi.

Tujuan dari pelatihan ini adalah

memodifikasi bobot hingga diperoleh
bobot yang bisa membuat keluaran
jaringan sama dengan target yang
diinginkan.
Backpropagation

Backpropagation adalah metode penurunan

gradien untuk meminimalkan kuadrat error
keluaran.

Ada tiga tahap yang harus dilakukan dalam

pelatihan jaringan, yaitu :
• Tahap perambatan maju (forward propagation) ,
• Tahap perambatan-balik,
• Tahap perubahan bobot dan bias.
Backpropagation
Arsitektur jaringan ini terdiri dari input layer, hidden layer dan
output layer seperti
 Algoritma Backpropagation
5

Error + Output
target

-
Output aktual

LAPISAN
OUTPUT

Tahap Umpan Maju

LAPISAN
TERSEMBUNYI
Tahap pemropagasi-
balikan error

LAPISAN
INPUT

Input
Algoritma Backpropagation
¨ Inisialisasi bobot (ambil nilai random yang cukup
kecil).
¨ Selama kondisi berhenti bernilai salah, kerjakan :
¤ Tahap Perambatan Maju (forward propagation)
a) Setiap unit input (Xi, i=1,2,3,...,n) menerima sinyal xi dan
meneruskan sinyal tersebut ke semua unit pada lapisan
tersembunyi.
b) Setiap unit tersembunyi (Zi, j=1,2,3,...,p) menjumlahkan
bobot sinyal input dengan persamaan berikut:
n
z _ in j = v0 j + å xivij
i =1
Algoritma Backpropagation
n Dan menerapkan fungsi aktivasi untuk menghitung sinyal
outputnya :
n zj = f(z_inj)

n Biasanya fungsi aktivasi yang digunakan adalah fungsi sigmoid.

n Kemudian mengirimkan sinyal tersebut ke semua unit output.
c) Setiap unit output (Yk, k=1,2,3,...,m) menjumlahkan bobot
sinyal input

p
y _ ink = w0k + å ziwjk
i =1
Algoritma Backpropagation
n Dan menerapkan fungsi aktivasi untuk menghitung
n sinyal outputnya : yk = f(y_ink)

d) Setiap unit output (Yk, k=1,2,3,...,m) menerima pola target

yang sesuai dengan pola input pelatihan, kemudian hitung
error dengan persamaan berikut:
n d k = (tk – yk) f’(y_ink)
n f ‘ adalah turunan dari fungsi aktivasi
n kemudian hitung koreksi bobot dengan persaamaan berikut:
n Dwjk = a dk zj
n Dan menghitung koreksi bias dengan persamaan berikut :
n Dw0k = a dk
n Sekaligus mengirimkan d ke unit-unit yang ada di lapisan paling
k
kanan.
Algoritma Backpropagation
e) Setiap unit tersembunyi (Zj, j=1,2,3,...,p) menjumlahkan delta
inputnya (dari unit-unit yang berada pada lapisan di
kanannya)
m
d _ in j = å dkwjk
k =1

• Untuk menghitung informasi error, kalikan nilai ini dengan

turunan dari fungsi aktivasinya:
• dj = d_inj f’(z_inj)
• Kemudian hitung koreksi bobot dengan persamaan berikut:
• Dvjk = a dj xi
• Setelah itu hitung juga koreksi bias dengan persamaan
berikut:
• Dv0j = a dj
Tahap Perubahan Bobot dan Bias
f) Setiap unit output (Yk, k=1,2,3,...,m) dilakukan perubahan
bobot dan bias (j=0,1,2,...,p) dengan persamaan berikut

n wjk(baru) = wjk(lama) + Δwjk

n Setiap unit tersembunyi (Zj, j=1,2,3,...,p) dilakukan perubahan
bobot dan bias (i=0,1,2,...,n) dengan persamaan berikut:
n vij(baru) = vij(lama) + Δvij
g) Tes kondisi berhenti
Heteroassociative Memory
¨ Jaringan syaraf heteroassociative memory adalah jaringan yang
dapat menyimpan kumpulan pengelompokan pola, dengan cara
menentukan bobot-bobotnya sedemikian rupa.
¨ Setiap kelompok merupakan pasangan vektor (s(n), t(n)) dengan
n=1,2,...,N. Algoritma pelatihan yang biasa digunakan adalah
Hebb rule
¨ Algoritma:
1. Inisialisasi semua bobot = 0.
2. Perbaiki bobot dengan persamaan berikut :
n Wij(baru) = wij(lama) + xi*tj
3. Untuk setiap vektor input, kerjakan:
n Set input dengan nilai sama dengan vektor input:
n Hitung input jaringan ke unit output:

y _ in j = å xi * wij
i
Bidirectional Associative Memory (BAM)

Bidirectional Associative Memory (BAM) adalah model

jaringan syaraf yang memiliki 2 lapisan, yaitu :

• Lapisan input dan Lapisan output yang mempunyai hubungan timbal

balik antara keduanya.

Hubungan ini bersifat bidirectional artinya jika bobot

matrik dari sinyal yang dikirim dari lapisan input X ke
lapisan output Y adalah W, maka bobot matrik dari
sinyal yang dikirim dari lapisan output Y ke lapisan input
X adalah WT.
Bidirectional Associative Memory (BAM)

¨ Arsitektur jaringan untuk 3 neuron pada lapisan input dan 2 neuron

pada lapisan output seperti terlihat pada Gambar berikut.
Learning Vector Quantization (LVQ)

Learning Vector Quantization (LVQ) adalah suatu metode

pelatihan pada lapisan kompetitif terawasi yang akan belajar
secara otomatis untuk mengklasifikasikan vektor-vektor input ke
dalam kelas-kelas tertentu.

Kelas-kelas yang dihasilkan tergantung pada jarak antara

vektor-vektor input.

Jika ada 2 vektor input yang hampir sama, maka lapisan

kompetitif akan mengklasifikasikan kedua vektor input tersebut
ke dalam kelas yang sama.
Pembelajaran Tanpa Supervisi
(Jaringan Kohonen)

Pertama kali yang memperkenalkan jaringan kohonen

adalah Prof. Teuvo Kohonen pada tahun 1982.

Pada jaringan ini, neuron-neuron pada suatu lapisan akan

menyusun dirinya sendiri berdasarkan input nilai tertentu
dalam suatu cluster.

Dalam proses penyusunan diri, cluster yang dipilih sebagai

pemenang adalah cluster yang mempunyai vektor bobot
paling cocok dengan pola input (memiliki jarak yang paling
dekat).
Regularisasi
¨ Pada aplikasi praktis, kita sering menemukan
kondisi dimana untuk persoalan yang kompleks
ketersediaan datapembelajaran terbatas.
¨ Salah satu teknik yang digunakan untuk
mengkontrol fenomena over-fitting adalah
regularisasi (regularization), yaitu dengan cara
menambah finalti ke fungsi error.
Regularisasi
Regularisasi – Penghalusan Kurva
Regularisasi – Pengecilan Nilai Bobot
Regularisasi – Mengatasi Over-fitting
Regresi Linear Umum
Regresi Linear Umum
Dropout

Secara sederhana, dropout mengacu pada

mengabaikan unit (yaitu neuron) selama fase pelatihan
seperangkat neuron tertentu yang dipilih secara acak.

Dengan "mengabaikan", unit-unit ini tidak

dipertimbangkan selama umpan maju atau mundur
tertentu.

Dropout adalah pendekatan regularisasi pada

jaringan syaraf tiruan yang membantu mengurangi
pembelajaran interdependen di antara neuron
Dropout

• Untuk setiap lapisan tersembunyi,

Tahap untuk setiap sampel pelatihan,
untuk setiap iterasi, abaikan (nilai
Pelatihan 0 dikeluarkan) pecahan acak, p,
simpul (dan aktivasi yang sesuai).

• Gunakan semua aktivasi, namun

Tahap kurangi mereka dengan faktor p
Pengujian (untuk memperhitungkan aktivasi
yang hilang selama latihan).
Dropout
TERIMA KASIH