Kredensial Mikro

Mahasiswa Indonesia

Multi Layer Perceptron

Khairul Anam (khairul@unej.ac.id)
Universitas Jember, 2021

KURSUS KMMI: MACHINE LEARNING & DEEP LEARNING FOR AGROINDUSTRY

Multi Layer Perceptron
MLP: Contoh

- Berapa layer?
- Berapa unit di input?
- Berapa unit di output?
Algoritma backpropagasi
• Salah satu metode belajar artificial neural networks khususnya
multi layer perceptron (MLP) adalah algoritma backpropagasi
• Terdiri dari
• Propagasi Maju
• Propagasi Balik
Backpropagasi

Propogasi Maju

Propogasi Balik

Algoritma
Propagasi maju
Propagasi maju
Backpropagasi

Propogasi Maju

Propogasi Balik

Algoritma
Propagasi balik
• Using Generalized Delta Rule (GDR)
• Error yang diminimalkan GDR
target output

• Error diturunkan thd bobot

INGAT
 Propagasi balik

Jadi UPDATE BOBOTNYA

Propagasi balik

• harus bisa diturunkan

• Karena itu dipilih fungsi aktivasi sigmoid

• Sehingga =
• Update pemberat ouput menjadi

Bagaimana update pemberat di hidden layer?

Propagasi balik
• Turunkan error thd pemberat di hidden layer

• Krn ipj mengandung bobot di hidden :

¶E p 1 ¶
= å
¶w hji 2 k ¶w hji
( y pk - o pk ) 2
Propagasi balik

¶E p 1 ¶
= å ( y pk - o pk ) 2

¶w hji 2 k ¶w hji
¶o pk ¶net pk
o
¶i pj ¶net pk
o

= -å ( y pk - o pk )
k ¶net pk
o
¶i pj ¶net pjh ¶w hji
¶E p
- = å ( y pk - o pk )f ko ' (net pk
o
)w kjo f j
h'
(net pjh )x pi
¶w hji k

d pjh = f jh' (net hpj )åd pko wkjo

Propagasi balik
• Dengan demikian

whji (t + 1) = whji (t ) + hd pjh x pi

• Ditambahkan momentum alfa, sehingga

whji (t + 1) = whji (t ) + hd pjh x pi + a (whji (t ) - whji (t - 1))

# % %
𝛿!" = 𝑖!" (1 − 𝑖!" ) ( 𝛿!$ 𝑤$"
𝜂 = 𝑙𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒
𝛼 = 𝑚𝑜𝑚𝑒𝑛𝑡𝑢𝑚 𝑟𝑎𝑡𝑒
Algoritma Backpropagasi
0. Inisialisasi bobot dengan bilangan acak kecil 0 – 1
1. Pasangan Input-output
Input N = jml input

Output 𝒀𝒑 = (𝒚𝒑𝟏, 𝒚𝒑𝟐, … , 𝒚𝒑𝑴) M = jml output

2. Normalisasi
Algoritma Backpropagasi Lanj
Lakukan propagasi maju
1. Tiap unit masukan menerima sinyal dan meneruskan ke unit
tersembunyi di atasnya

2. Hitung semua keluaran di semua unit tersembunyi

Algoritma Backpropagasi Lanj
• Tiap unit masukan menerima sinyal dan meneruskan ke unit
tersembunyi di atasnya

• Hitung semua keluaran jaringan di semua unit output

Algoritma Backpropagasi: Propogasi
balik(OUPUT)
• Hitung error:
• Update bobot output
'
𝛿%& = (𝑦%& − 𝑜%& )𝑜%& (1 − 𝑜%& )

' ' '

𝑤&( 𝑡 + 1 = 𝑤&( 𝑡 + 𝜂𝛿%& 𝑖%(
𝜂 = 𝑙𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒

• Untuk bias, anggap ipj = 1

Algoritma Backpropagasi: Propogasi
balik(HIDDEN layer)
• Hitung distribusi error di hidden layer
) ' '
𝛿%( = 𝑖%( (1 − 𝑖%( ) . 𝛿%& 𝑤&(

• Update bobot lapisan tersembunyi

whji (t + 1) = whji (t ) + hd pjh x pi + a (whji (t ) - whji (t - 1))

𝜂 = 𝑙𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒
𝛼 = 𝑚𝑜𝑚𝑒𝑛𝑡𝑢𝑚 𝑟𝑎𝑡𝑒

• Untuk bias, anggap xpi = 1

Bagaimana menentukan bobot awal?
• Bobot awal ditentukan dengan nilai awal acak yang kecil, antara
0 dan 1.
• Untuk mempercepat belajar, Nguyen dan Widrow mengusulkan
metode penentuan nilai awal bobot yang optimal

𝛽 = 0,7 ! 𝑝 𝑛 = 𝑗𝑢𝑚𝑙𝑎ℎ 𝑖𝑛𝑝𝑢𝑡, 𝑝 = 𝑗𝑢𝑚𝑙𝑎ℎ 𝑢𝑛𝑖𝑡 𝑡𝑒𝑟𝑠𝑒𝑚𝑏𝑢𝑛𝑦𝑖

Kesimpulan
• Algoritma belajar untuk multi layer perceptron menggunakan
backpropagasi
• Backpropagasi berdasarkan Gradient Descent
Materi Selanjutnya

Deep Learning: Multi Layer Perceptron dengan banyak hidden

layer