ADALINE (ADAPTIVE LINEAR NETWORK)

JST, 3 SKS UNDIP

PELATIHAN ADALINE

Ditemukan Widrow & Hoff (1960) Arsitektur mirip perceptron

Modifikasi bobot dengan aturan delta (least mean square) sdh error minimum
Selama pelatihan, fungsi aktivasi yang dipakai fungsi identitas

PELATIHAN ADALINE

net = xi wi + b ;

y = f(net) = net

Error merupakan kuadrat selisih antara target (t) dan keluaran jaringan (f(net)) Aturan delta bobot dimodifikasi sdh error minimum Fungsi bobot wi : E = (t f(net))2 = (t (xi wi + b ))2

Perubahan bobot : wi = (t - y) xi , (biasanya =0,1)

merupakan bil positif kecil

ALGORITMA PELATIHAN ADALINE

Inisialisasi semua bobot dan bias (umumnya wi=b=0) Tentukan laju pemahaman ( ) biasanya Tentukan toleransi yang diinginkan =0,1

LANJUTAN ALGORITMA PELATIHAN ADALINE

Selama max wi > batas toleransi, lakukan:

Set aktivasi unit masukan xi = si (i=1, 2, n)

Hitung respon unit keluaran : net = xiwi +b

y =f(net) = net

Perbaiki bobot pola yang mengandung kesalahan (y t)

wi(baru) = wi(lama) + b(baru) = b(lama) +

(t y) xi (t y)

ADALINE UNTUK PENGENALAN POLA

Dilakukan sesudah proses pelatihan selesai dilakukan. Umumnya menggunakan fungsi aktivasi bipolar Algoritma :

Inisialisasi semua bobot dan bias dengan bobot dan bias hasil pelatihan
Untuk setiap input masukan bipolar x, lakukan :

Set aktivasi unit masukan xi = si (i=1, 2, n) Hitung net vektor keluaran : net = xiwi +b Kenakan fungsi aktivasi

CONTOH

Gunakan model Adaline untuk mengenali pola fungsi logika dan dengan masukan dan target bipolar:

Gunakan batas toleransi = 0,05 dan

= 0,1

PENYELESAIAN
= 0,1 wi = 0,1 (t - y) xi Ingat y = f(net) = net Epoch-1

Maksimum wi = 0,07 > toleransi = 0,05 iterasi dilanjutkan

LANJUTAN PENYELESAIAN

Epoch-2

Maksimum wi = 0,02 < toleransi = 0,05 iterasi dihentikan Bobot akhir w1 = 0,29, w2 = 0,26, b = -0,32 bobot pengenalan pola

PENGENALAN POLA FUNGSI DAN

Gunakan bobot hasil pelatihan Fungsi aktivasi yang digunakan:

LATIHAN

Ulangi soal contoh, gunakan

= 0,2

PENYELESAIAN

Maksimum wi = 0,05 = toleransi iterasi dihentikan

Apakah bobot yang diperoleh dapat digunakan untuk mengenali pola?

KESIMPULAN

Penggunaan yang lebih besar akan menyebabkan iterasi menjadi lebih cepat Penggunaan yang terlalu besar akan menyebabkan iterasi melompat terlalu jauh sehingga melewati bobot optimalnya

MADALINE (MANY ADALINE)

Terdiri dari beberapa adaline yang digabungkan Terdapat sebuah layar tersembunyi

Arsitekturnya :

SEJARAH MADALINE

Tahun 1960 (Widrow dan Hoff) Hanya bobot yang ke layar tersembunyi yang dimodifikasi Tahun 1987 (Widrow, Winter dan Baxter) semua bobot dimodifikasi

ALGORITMA MADALINE

Bobot v1, v2 dan bias b3 yang diteruskan ke Y diatur sedemikian hingga :

Keluaran Y =1 jika salah satu keluaran z1 atau z2 (atau keduanya) =1

Keluaran Y = -1 jika keluaran z1 maupun z2 = -1

DKL : unit Y membentuk fungsi logika atau Sehingga diambil nilai v1 = v2 = dan b3 =

ALGORITMA PELATIHAN MADALINE

Inisialisasi semua bobot dan bias dengan bilangan acak kecil Inisialisasi laju pemahaman (= ) dengan bilangan kecil Selama max wi > batas toleransi (atau jumlah epoch belum melebihi batas yang ditentukan, lakukan langkah 1 langkah 5.

LANJUTAN ALGORITMA MADALINE

1.

Set aktivasi unit masukan xi = si (i=1, 2, n) Hitung net input untuk setiap unit tersembunyi ADALINE (z1, z2,)

2.

3.

Hitung keluaran setiap unit tersembunyi dengan menggunakan fungsi aktivasi bipolar :

4.

Tentukan keluaran jaringan :

LANJUTAN ALGORITMA MADALINE

5.

Hitung error dan tentukan perubahan bobot

Jika y = target, maka tidak dilakukan perubahan bobot Jika y target :

Untuk t =1, ubah bobot ke unit zj yang zin nya terdekat dengan 0 (misal unit zp) sebagai berikut :

Untuk t = -1, ubah semua bobot ke unit zk yang zin nya positif sebagai beikut :

LOGIKA BERPIKIR MODIFIKASI BOBOT (LANGKAH 5)

Perhatikan Arsitektur Madaline Jika y t dan t =1 (karena y bipolar y= -1), maka f(net) di z1 = z2 = -1

Untuk mengenali pola, paling sedikit salah satu dari z tersebut harus dijadikan 1 Bobot yang dimodifikasi adalah bobot ke unit z yang netnya paling dekat dengan 0 (misal zp), maka:

LOGIKA BERPIKIR MODIFIKASI BOBOT (LANGKAH 5)

Sebaliknya: Jika y t dan t =-1 (y= 1), berarti minimal salah satu z memiliki f(net) = 1 (ada z yang netnya positif)

Untuk mengenali pola, semua z harus memiliki f(net) = -1 Bobot yang dimodifikasi adalah bobot yang netnya positif (misal zk), maka:

CONTOH

Gunakan Madaline untuk mengenali fungsi logika XOR dengan 2 masukan x1 dan x2. Gunakan = 0,5 dan toleransi = 0,1

PENYELESAIAN
Pola-1 : Masukan x1 =1, x2 = 1, t= -1 Langkah-langkah : 1. Hitung net untuk z1 dan z2

2.

Hitung keluaran z1 dan z2 dengan fungsi aktivasi bipolar

3.

Tentukan keluaran jaringan

PENYELESAIAN
4. t-y = -1 1 = -2 0 dan t = -1 semua bobot yang menghasilkan zin yang positif dimodifikasi.

Perubahan bobot ke z1

Perubahan bobot ke z2

PENYELESAIAN

Perubahan nilai bobot

Karena w > toleransi, iterasi dilanjutkan untuk pola 2. Dengan cara yang sama, kerjakan untuk pola yang lain Jika ada perubahan bobot yang lebih besar dari toleransi, maka iterasi dilanjutkan ke epoch 2.

TUGAS.