JURNAL TEKNOLOGI INDUSTRI, 1999, VOL. III, No.

3, hal 185 190 ISSN 1410-5004

PEMANFAATAN JARINGAN FORWARD-ONLY COUNTERPROPAGATION

Albertus Joko Santoso
INTISARI Jaringan Forward-only counterpropagation pada dasarnya terdiri dari lapisan masukan, cluster, dan keluaran. Algoritma pelatihan untuk jaringan forward-only counterpropagation terdiri atas beberapa langkah seperti yang ditunjukkan dalam algoritma. Pertama, sebuah vektor masukan disajikan ke dalam unit masukan. Unit-unit dalam lapisan cluster akan berkompetisi untuk memperoleh hak untuk mempelajari vektor masukan. Setelah seluruh himpunan vektor pelatihan disajikan, laju belajar dikurangi dan vektor-vektor disajikan kembali, ini berlangsung terus selama beberapa iterasi. Makalah ini bertujuan membandingkan dot product dengan jarak Euclidean untuk menyelesaikan suatu permasalahan menggunakan jaringan forward-only counterpropagation. Dari hasil percobaan ternyata keduanya mempunyai laju belajar akhirnya sama, akan tetapi matriks bobot akhirnya berbeda. Hal ini disebabkan adanya perbedaan dalam penentuan unit cluster ZJ.

1. PENGANTAR Jaringan Counterpropagation adalah jaringan multilapis yang berdasarkan kombinasi dari lapisan masukan, clustering, dan lapisan keluaran (Hecht-Nielsen, 1987a,1987b). Jaringan-jaringan counterpropagation dapat digunakan untuk kompresi data, atau asosiasi pola. Jaringan counterpropagation terdiri atas dua tipe yaitu, full counterpropagation (sudah ditulis pada edisi sebelumnya), dan forward-only counterpropagation. Ada perbedaan antara keduanya dalam hal algoritma pelatihannya, yaitu dalam pelatihan sebuah jaringan full Counterpropagation muncul dua tahap. Pada tahap pertama, unit pada lapisan input X, cluster, dan input Y adalah aktif. Unit-unit dalam lapisan cluster berkompetisi, hubungan-hubungan antara satu sama lain tidak ditunjukkan. Sedangkan prosedur pelatihan untuk jaringan forward-only counterpropagation terdiri atas beberapa langkah seperti yang ditunjukkan dalam algoritma. Pertama, sebuah vektor masukan disajikan ke dalam unit masukan. Unit-unit dalam lapisan cluster akan berkompetisi untuk memperoleh hak untuk mempelajari vektor masukan. Setelah seluruh himpunan vektor pelatihan disajikan, laju belajar dikurangi dan vektor-vektor disajikan kembali, ini berlangsung terus selama beberapa iterasi. 2. PERMASALAHAN Membandingkan hasil perhitungan matriks bobot dan laju belajar akhir, dengan metrik dot product dan jarak Euclidean, agar dapat menyelesaikan persoalan di bawah ini menggunakan algoritma pelatihan forward-only counterpropagation : Misalkan digit 0, 1, 2, 3, 4, 5, 6, 7 direpresentasikan sebagai

186 0: 1: 2: 3: 4: 5: 6: 7: 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1

Albertus Joko Santoso

Gunakan forward-only counterpropagation untuk merepresentasikan digit di atas ke bentuk biner seperti di bawah ini : 0: 1: 2: 3: 4: 5: 6: 7: 0 0 0 0 1 1 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 1 0 1

3. FORWARD-ONLY COUNTERPROPAGATION (Fausett, 1994) Jaringan forward-only dimaksudkan untuk menaksir fungsi y = f(x) yang tidak perlu dibalik; jaringan forward-only counterpropagation dapat digunakan untuk pemetaan dari x ke y, sedangkan pemetaan dari y ke x tidak dapat. Perbedaan forward-only counterpropagation dari full counterpropagation adalah dalam penggunaan vektor x untuk membentuk cluster pada unit-unit kohonen selama pelatihan tahap pertama. Penyajian asli dari forward-only counterpropagation digunakan jarak Euclidean antara vektor masukan dan vektor bobot untuk unit kohonen. Meskipun begitu setiap metrik dapat digunakan untuk setiap bentuk counterpropagation. 3.1. ARSITEKTUR Meskipun arsitektur jaringan forward-only counterpropagation digambar pada gambar 1, tampak sama seperti arsitektur dari jaringan backpropagation. Jaringan counterpropagation ini mempunyai unit-unit yang saling berhubungan dalam lapisan cluster. Pada umumnya, dalam forward-only counterpropagation setelah kompetisi, hanya ada satu unit dalam lapisan itu yang akan aktif dan mengirim sinyal ke lapisan keluaran. 3.2. ALGORITMA Prosedur pelatihan untuk jaringan forward-only counterpropagation terdiri atas beberapa langkah seperti yang ditunjukkan dalam algoritma. Pertama, sebuah vektor masukan disajikan ke dalam unit masukan. Unit-unit dalam lapisan cluster akan berkompetisi untuk memperoleh hak untuk mempelajari vektor masukan. Setelah seluruh himpunan vektor pelatihan disajikan, laju belajar dikurangi dan vektor-vektor disajikan kembali, ini berlangsung terus selama beberapa iterasi.

Pemanfaatan Jaringan Forward-Only Counterpropagation

187

Gambar 1. Arsitektur Forward-only counterpropagation Setelah bobot dari lapisan masukan ke lapisan cluster dilatih (laju belajar dikurangi menjadi kecil nilainya), bobot-bobot dari lapisan cluster ke lapisan keluaran akan dilatih. Sekarang setiap pelatihan vektor masukan disajikan ke lapisan masukan, vektor target yang terhubung disajikan ke lapisan keluaran. Unit cluster pemenang (sebut J) mengirim sinyal 1 ke lapisan keluaran. Setiap unit keluaran k mempunyai sebuah sinyal masukan yang telah dihitung wJk dan nilai ini, bobot-bobot antara unitunit cluster pemenang dan lapisan keluaran diperbaharui. Aturan belajar untuk bobotbobot ini adalah sama dengan aturan-aturan belajar untuk bobot dari unit-unit masukan ke unit-unit cluster. Aturan belajar untuk bobot-bobot dari unit-unit masukan ke unit cluster : viJ(baru) = viJ + (xi-viJ) = (l- ) viJ(lama) + yk Aturan belajar untuk bobot-bobot dari unit-unit cluster ke unit-unit keluaran : wJk(baru) = wJk + a(yk-wJk) = (l-a) wJk(lama) +ayk Meskipun demikian, jika wJk diinterpretasikan sebagai keluaran yang telah dihitung (yk = wJk), dan aktivasi dari unit cluster, yaitu : 1, jika j = J Zj =

188 0, lainnya

Albertus Joko Santoso

kemudian aturan belajar untuk bobot-bobot dari unit-unit cluster ke unit keluaran dapat ditulis dalam bentuk aturan delta : wjk(baru) = wjk + azj(yk-wJk) Pelatihan bobot-bobot dari unit masukan ke unit-unit cluster berlangsung pada laju belajar yang rendah saat laju belajar untuk bobot dari unit cluster ke unit keluaran dikurangi secara bertahap. Istilah-istilah yang dipakai sebagai berikut: ,a : Paramater laju belajar : 0.5 < <0.8 0<a<1 (nilai-nilai awal yang dianjurkan, a=0.1, =0.6 [Hecht-Nielsen, 1988]) x : Aktivasi vektor untuk unit-unit masukan: x = (x1,,xi,,xn) | | x v | | : jarak Euclidean antara vektor-vektor x dan v. Seperti pada full counterpropagation, tidak ada struktur topologi, dapat diasumsikan untuk unit-unit cluster pada formulasi asli forward-only counterpropagation. Meskipun demikian, pada banyak kasus : pelatihan dapat diperbaiki dengan menggunakan struktur linear pada unit-unit cluster. Struktur tersebut membantu untuk memastikan bahwa setelah pelatihan, bobot-bobot untuk unit-unit cluster didistribusikan dengan optimal secara statistik. Algoritma pelatihan untuk jaringan forward-only counterpropagation adalah sebagai berikut : Langkah 0 : Inisialisasi bobot, laju belajar, dan lain-lain. Langkah 1 : Bila syarat berhenti untuk tahap pertama salah, kerjakan langkah 2-7. Langkah 2 : untuk setiap pelatihan masukan x, kerjakan langkah 3-5. Langkah 3 : set aktivasi lapisan masukan X ke vektor x. Langkah 4 : cari unit cluster pemenang; sebut indeks J. Langkah 5 : Perbaharui bobot-bobot untuk unit zJ : viJ(baru) = (1- ) viJ(lama) + xi. i = 1,,n Langkah 6 : kurangi laju belajar . Langkah 7 : uji syarat berhenti untuk pelatihan tahap pertama. Langkah 8 : Bila syarat berhenti untuk pelatihan tahap 2 salah, kerjakan 9-15. (catatan : adalah kecil, nilai konstanta selama tahap 2). Langkah 9 : Untuk setiap pasangan pelatihan masukan x:y kerjakan langkah 10-13. Langkah 10 : Set aktivasi lapisan masukan X ke vektor x; set aktivasi lapisan keluaran Y ke vektor y. Langkah 11 : Cari unit cluster pemenang, sebut indeks J. Langkah 12 : Perbaharui bobot-bobot yang masuk unit ZJ ( adalah kecil) : viJ(baru)=(l- )viJ(lama)+ xi. i = 1,,n Langkah 13 : Perbaharui bobot-bobot dari unit ZJ, ke unit-unit keluaran: wJk(baru)=(l-a)wJk(lama)+ ayk. k = 1,,m

Pemanfaatan Jaringan Forward-Only Counterpropagation

189

Langkah 14 : Kurangi kecepatan belajar a. Langkah 15 : Uji syarat berhenti untuk pelatihan tahap 2. Pada langkah 4-11 : - Kasus-kasus yang berhubungan, pilih unit-unit dengan indeks terkecil. - Menggunakan metrik dot product, cari unit cluster ZJ dengan jaringan masukan terbesar : z_inj = xivij i - Menggunakan metrik jarak Eucledian, cari unit cluster ZJ, kuadratkan jarak dari pola masukan : Dj = (xI - vij)2 i 4. APLIKASI Prosedur aplikasi untuk forward-only counterpropagation sebagai berikut : Langkah 0 : Inisialiasi bobot (olah pelatihan pada pokok bahasan terdahulu). Langkah 1 : Tampilkan masukan vektor x. Langkah 2 : Cari unit J terdekat ke vektor x. Langkah 3 : Set aktivasi untuk unit-unit keluaran : yk = wJk Sebuah jaringan forward-only counterpropagation dapat juga digunakan dalam mode interpolasi. Dalam hal ini, lebih dari satu unit Kohenen yang memiliki aktivasi tidak nol, dengan : zj = 1
j

Aktivasi dari unit-unit keluaran adalah dihitung sebagai berikut : yk = zjwjk

j

lagi, akurasi dapat ditingkatkan dengan menggunakan mode interpolasi. 5. HASIL PENGAMATAN 5.1. METRIK DOT PRODUCT Laju belajar akhir adalah 0,0094 Laju belajar a akhir adalah 0,0094 Matriks bobot v adalah 0,2186 0,0266 0,0269 0,2748 v= 0,0271 0,0274 0,3693 0,0276 0,0266 0,2186 0,0274 0,0269 0,2748 0,0276 0,0271 0,3693 0,0290 0,0293 0,3353 0,0295 0,0298 0,4795 0,0300 0,0303

190 Matriks bobot w adalah

Albertus Joko Santoso

0,7705 0,4988 0,6153 w = 0,5053 0,6345 0,5860 0,7136 0,4014 0,4949 5.1. METRIK JARAK EUCLIDEAN Laju belajar akhir adalah 0,0094 Laju belajar a akhir adalah 0,0094 Matriks bobot v adalah 0,2640 0,0008 0,0008 0,3192 v= 0,0008 0,0008 0,4115 0,0008 0,0008 0,2640 0,0008 0,0008 0,3192 0,0008 0,0008 0,4115 0,0039 0,0039 0,4080 0,0039 0,0039 0,5611 0,0039 0,0039

Matriks bobot w adalah 0,4254 0,7410 0,5681 w = 0,7410 0,4254 0,3973 0,3166 0,6763 0,5681 6. KESIMPULAN Jaringan forward-only counterpropagation dapat digunakan untuk merepresentasikan suatu pasangan vektor. Dari hasil percobaan ternyata metrik dot product dan jarak euclidean mempunyai laju belajar akhirnya sama, akan tetapi matriks bobot akhirnya berbeda. Hal ini disebabkan adanya perbedaan dalam penentuan unit cluster ZJ, untuk metrik dot product ditentukan dengan masukan jaringan terbesar, sedangkan metrik jarak euclidean dengan kuadrat jarak dari pola masukan. DAFTAR PUSTAKA Fausett, L., 1994, Fundamental of Neural Network; Architectures, Algorithms, and Applications, Prentice Hall, New Jersey. Hecht-Nielsen, R, 1987a, Counterpropagation Networks, Applied Optics, 26(23), page 4979-4984. Hecht-Nielsen, R, 1987b, Counterpropagation Networks, IEEE International conference on neural network, II, page 19-32.