RESUME MACHINE LEARNING

ELECTRONIC BRAIN, PERCEPTRON, ADALINE

OLEH
MUHAMMAD ROHMATTULLAH JOYONEGORO
220210639

PASCASARJANA TEKNOLOGI INFORMASI

INSTITUT SAINS TEKNOLOGI TERPADU SURABAYA
11 NOVEMBER 2020
Artificial Neural Network
Dengan berkembangnya teknologi AI, munculah berbagai algoritma machine learning. Salah
satunya yang cukup menarik adalah neural network atau jaringan syaraf tiruan (JST). Neural
network diinspirasi dari cara kerja otak manusia yang disederhanakan. Jaringan Syaraf Tiruan
(JST) adalah prosesor yang terdistribusi besar-besaran secara parallel yang dibuat dari unit
proses sederhana, yang mempunyai kemampuan untuk menyimpan pengetahuan berupa
pengalaman dan dapat digunakan untuk proses lain [1]. Gambar dibawah adalah ilustrasi
neuron dengan model matematisnya.

Perbandingan neuron dan model artificial neuron

1. Electronic Brain
Pada tahun 1943, Warren McCulloch dan Walter Pitts memperkenalkan model
artificial neuron yang disebut Threshold Logic Unit (TLU) atau Linear Threshold
Unit. Mereka mencoba menirukan cara kerja neuron otak manusia yang sangat
kompleks melalui fungsi matematika yang diilustrasikan dalam bentuk model diagram
berikut ini.
Model Artificial Neuron
Neuron dapat menerima beberapa input pada saat bersamaan (parallel). Setiap input
akan diberi bobot (weight), yang disimbolkan dengan w. Input dihubungkan dengan
hidden layer secara fully connected. Masing-masing input yang sudah diberi bobot
kemudian dijumlahkan (weighted sum/ summation) [2]. Rumusnya sebagai berikut:

Weighted sum dikerjakan pada setiap hidden layer node. Hasil penjumlahan
kemudian ditransformasikan menggunakan sebuah fungsi nonlinear yang disebut
Activation Function. Nilai fungsi aktivasi (keluaran model jaringan) dapat dipakai
sebagai dasar untuk mengubah bobot [3]. Fungsi aktifasi mengikuti aturan sebagai
berikut :
 Jumlah bobot sinyal input dibandingkan dengan ambang batas untuk
menentukan neuron output.
 Jika jumlah lebih besar atau sama dengan ambang batas, outputnya adalah 1.
 Jika jumlah kurang dari ambang batas, outpunya adalah 0.

Kaitan antara input, hidden layer dan output dapat dilihat dalam arsitektur neural
network.

Neural Network Architectures

Salah satu kelemahan model artificial neuron (yang diusulkan oleh Warren
McCulloch dan Walter Pitts) adalah tidak ada aturan bagaimana melakukan training
(disebut training rule).
Perceptrons
Frank Rosenblatt dan beberapa peneliti lain mengembangkan suatu model artificial
neuron lain yang disebut Perceptrons. Secara umum perceptron mirip dengan model
TLU, tetapi pada perceptron sudah ada training rule. Selain itu, ada tambahan Bias
pada weighted sum.

Activation function berfungsi untuk menentukan apakah neuron tersebut harus aktif
atau tidak berdasarkan dari weighted sum dari input. Menurut Haykin (2009), ada 2
jenis activation function, yaitu Linear dan Non-Linear Activation Function.
Training Rule
Secara umum, proses learning terdiri dari 2 tahap, yaitu Training dan Evaluation.
Pada tahap training setiap weight dan bias pada setiap neuron akan diupdate terus
menerus hingga output yang dihasilkan sesuai dengan harapan. Pada tiap iterasi akan
dilakukan proses evaluation yang biasanya digunakan untuk menentukan kapan harus
mengehentikan proses training (Stopping Point)[2]. Proses training terdiri dari 2
tahap:
1. Forward Pass.
Biasa disebut juga forward propagation adalah proses dimana kita membawa data
pada input melewati tiap neuron pada hidden layer kepada output layer melewati tiap
neuron pada hidden layer sampai kepada output layer yang nanti akan dihitung
errornya dengan menggunakan fungsi yang disebut Loss Function. Loss Function
digunakan untuk mengukur seberapa bagus performa dari neural network kita dalam
melakukan prediksi terhadap target.
2. Backward Pass.
Biasa disebut juga dengan Backpropagation dimana proses ini bermaksud untuk
menyesuaikan kembali tiap weight dan bias berdasarkan error yang didapat pada saat
forward pass. Kedua proses ini akan dilakukan berulang-ulang sampai didapatkan
nilai weight dan bias yang dapat memberikan nilai error sekecil mungkin padaa ouput
layer.
SLP dan MLP Model
SLP (Single Layer Perception) adalah model paling sederhana dimana hanya mampu
mempelajari separable patterns secara linear.[4] SLP cukup bermanfaat untuk
membedakan input menjadi 2 class. Hampir mirip dengan K-Means namun jauh lebih
sederhana karena hanya melibatkan dua buah class saja. Dapat dikatakan untuk
sebuah metode yang dapat digolongkan sebagai AI, memang SLP terkesan kurang
cerdas.
MLP (Multi Layer Perception) merupakan pengembangan dari SLP dimana numlah
neuron yang semakin banyak membuat banyak perhitungan yang harus dikerjakan
pada setiap layer. Akibatnya weighted sum dan function activation pun akan semakin
kompleks. Penambahan layer ini terjadi pada hidden layer. Hidden layer pada MLP
dapat mengandung beberapa hidden layer lainnya. MLP ini juga yang menjadi cikal
bakal metode deep learning. Sebagai ilustrasi, perhatikan diagram MLP dibawah.

Multilayer Perception
Adaline
Model ADALINE (Adaptive Linear Neuron) ditemukan oleh Widrow& Hoff (1960).
Arsitekturya mirip dengan perceptron. Beberapa masukan (dan sebuah bias)
dihubungkan langsung dengan sebuah neuron keluaran. Perbedaan dengan perceptron
adalah dalam hal cara modifikasi bobotya. Bobot dimodifikasi dengan aturan delta
(sering juga disebut least mean square). Selama pelatihan, fngsi aktivasi yang dipakai
adalah fungsi identitas.

Kuadrat selisih antara target (t) dan keluaran jaringan (f net) merupakan error yang
terjadi. Dalam aturan delta, bobot dimodifikasi sedimikian hingga errornya minimum.

E = merupakan fungsi bobot wi, penurunan E tercepat terjadi pada arah

Karakteristik
Jaringan Adaline mempunyai karakteristik sebagai berikut :
Jaringan lapis tunggal
 Jaringan terdiri dari satu atau lebih unit masukan dan satu unit keluaran.
 Mempunyai sebuah bias yang berperilaku seperti bobot yang bisa disesuaikan yang
terletak pada koneksi dari sebuah unit yang selalu mengeluarkan sinyal +1 agar bobot
bias bisa dilatih seperti bobot lainnya dengan proses yang sama dalam algoritma
pelatihan.
 Beberapa jaringan Adaline yang menerima sinyal dari unit masukan yang sama dalam
dikombinasikan menjadi sebuah jaringan lapis tunggal seperti perceptron.
 Beberapa Adaline juga bisa dikombinasikan sehingga keluaran dari sebagian Adaline
menjadi masukan untuk Adaline yang lain, dan akan membentukan jaringan lapis banyak
yang disebut Madaline (Many Adaptive Linear Neuron). Fungsi aktivasi Fungsi yang
digunakan adalah fungsi tangga F(y _ in) 1 jika 1 jika y _ in 0 y _ in 0 (7)
Arsitektur jaringan Adaline ditunjukkan pada gambar 3. Pada jaringan ini, terdapat n unit
masukan, yaitu X1, …, Xi, …, Xn dengan bobot w1, …, wi, …, wn, dan sebuah unit
keluaran, yaitu Y. Selain itu, terdapat sebuah unit yang selalu memberikan sinyal +1 dimana
bobotnya diberi nama bias (b).

Algoritma Pembelajaran Gambar 3. Arsitektur Adaline

Langkah 0. Inisialisasi bobot (biasanya digunakan bilangan acak yang kecil) Set laju
pembelajaran a (0,1 = na = 1, dimana n adalah jumlah unit masukan)
Langkah 1. Selama syarat henti salah, lakukan langkah 2-6
Langkah 2. Untuk setiap pasangan pelatihan (masukan dan target) bipolar s:t, lakukan
langkah 3-5
Langkah 3. Set nilai aktifasi dari unit masukan, i = 1, …., n xi = si
Langkah 4. Hitung total masukan ke unit keluaran y _ in b x iw i i
Langkah 5. Perbarui bobot dan bias, i = 1, …., n b(new) = b(old) + a (t – y_in) wi(new) =
wi(old) + a (t – y_in) xi
Langkah 6. Uji syarat henti : Jika perubahan bobot (a (t – y_in)) terbesar yang terjadi dalam
langkah 2 adalah lebih kecil dari toleransi (e) yang telah ditentukan, maka selesai; jika tidak
maka kembali ke langkah 1

Nilai toleransi (e) yang digunakan adalah 1 < e = 0. Dalam menentukan nilai laju
pembelajaran (a), umumnya digunakan nilai yang kecil (misalkan a = 0.1). Apabila nilai a
terlalu besar, proses pembelajaran tidak akan konvergen. Jika terlalu kecil nilai yang dipilih,
pembelajaran akan menjadi terlalu lambat. Agar praktis, kisaran nilai a yang bisa dipilih
adalah 0,1 = na = 1 dimana n adalah jumlah unit masukan.

Algoritma Pengujian
Setelah pelatihan, sebuah jaringan Adaline bisa digunakan untuk mengklasifikasi pola
masukan. Bila nilai target adalah bivalen (biner atau bipolar), fungsi tangga bisa digunakan
sebagai fungsi aktivasi dari unit keluaran. Prosedur umum ini adalah langkah-langkah yang
digunakan apabila target adalah bipolar :
Langkah 0. Inisialisasi bobot (digunakan nilai bobot yang diperoleh dari algoritma pelatihan)
Langkah 1. Untuk setiap vektor masukan x, lakukan langkah 2-4
Langkah 2. Set nilai aktifasi dari unit masukan, i = 1, …., n xi = si
Langkah 3. Hitung total masukan ke unit keluaran y _ in b x iw i i
Langkah 4. Gunakan fungsi aktifasi 1 F(y _ in) 1 jika jika y _ in 0 y _ in 0
Dimana nilai F(y_in) menjadi nilai keluaran dari unit keluaran (Y).