Self-organising neural networks

jaringan saraf mengorganisir diri yang efektif dalam menangani kondisi yang
tidak terduga dan berubah. Pada bagian ini, kita mempertimbangkan Hebbian
dan pembelajaran kompetitif, yang didasarkan pada jaringan yang mengatur
dirinya sendiri
6.8.1 belajar Hebbian
Pada tahun 1949, neuropsikolog Donald Hebb diusulkan salah satu ide kunci
dalam pembelajaran biologi, umumnya dikenal sebagai Hukum Hebb ini (Hebb,
1949). Hukum Hebb menyatakan bahwa jika neuron saya cukup dekat untuk
merangsang neuron j dan berulang kali berpartisipasi dalam aktivasi, koneksi
sinaptik antara dua neuron ini diperkuat dan neuron j menjadi lebih sensitif
terhadap rangsangan dari neuron i.
Kita dapat mewakili Hukum Hebb dalam bentuk dua aturan sebagai berikut
(stent, 1973):
1. Jika dua neuron di kedua sisi sambungan diaktifkan serentak, maka berat
koneksi yang meningkat.
2. Jika dua neuron di kedua sisi sambungan diaktifkan asynchronous, maka berat
koneksi yang menurun.
Hukum Hebb menyediakan dasar untuk belajar tanpa guru. Belajar di sini adalah
fenomena lokal yang terjadi tanpa umpan balik dari lingkungan. Gambar 6.21
menunjukkan pembelajaran Hebbian dalam jaringan saraf. Menggunakan Hukum
Hebb ini kita dapat mengekspresikan penyesuaian diterapkan pada wij berat di
iterasi p dalam bentuk berikut:
di mana? adalah parameter learning rate. Persamaan ini disebut sebagai aturan
produk aktivitas. Ini menunjukkan bagaimana perubahan berat koneksi sinaptik
antara sepasang neuron adalah terkait dengan produk dari sinyal masuk dan
keluar. pembelajaran Hebbian menyiratkan bahwa bobot hanya dapat
meningkatkan. Dengan kata lain, Hukum Hebb memungkinkan kekuatan koneksi
meningkat, tetapi tidak menyediakan cara untuk mengurangi kekuatan. Dengan
demikian, aplikasi berulang dari sinyal input dapat mendorong berat Wij menjadi
jenuh. Untuk mengatasi masalah ini, kita mungkin memaksakan batasan pada
pertumbuhan bobot sinaptik. Hal ini dapat dilakukan dengan memperkenalkan
non-linear melupakan faktor dalam Hukum Hebb di Persamaan (6.33) sebagai
berikut (Kohonen, 1989).:
Apa faktor melupakan berarti? Melupakan faktor? spesifik es peluruhan berat
dalam siklus belajar tunggal. Ini biasanya jatuh pada interval antara 0 dan 1. Jika
faktor melupakan adalah 0, jaringan saraf mampu hanya memperkuat bobot
sinaptik, dan sebagai hasilnya, bobot ini tumbuh ke arah dalam fi nity. Di sisi lain,
jika faktor lupa dekat 1, jaringan ingat sangat sedikit dari apa yang ia belajar.
Oleh karena itu, faktor melupakan agak kecil harus dipilih, biasanya antara 0,01
dan 0,1, untuk memungkinkan hanya sedikit 'melupakan' sementara membatasi

pertumbuhan berat badan. Persamaan (6.34) dapat juga ditulis dalam bentuk
disebut sebagai aturan produk aktivitas umum.
Aturan produk aktivitas umum menyiratkan bahwa, jika aktivitas presinaptik
(input dari neuron i) pada iterasi p, xip, kurang dari wijp =, maka modi fi ed
berat sinaptik pada iterasi p1, wijp1, akan menurun dengan jumlah yang
sebanding dengan postsynaptic kegiatan (output dari neuron j) pada iterasi p,
yjp. Di sisi lain, jika xip lebih besar dari wijp =, maka modi fi ed berat
sinaptik di iterationp1, wijp1, akan meningkatkan juga sebanding dengan
output dari neuron j, yjp. Dengan kata lain, kita dapat menentukan titik
keseimbangan aktivitas untuk memodifikasi berat sinaptik sebagai sama variabel
untuk wijp =. Pendekatan ini memecahkan masalah dari dalam peningkatan fi
nite dari bobot sinaptik. Mari kita berasal algoritma pembelajaran Hebbian umum
Untuk menggambarkan pembelajaran Hebbian, pertimbangkan jaringan
feedforward sepenuhnya terhubung dengan satu lapisan lima neuron
perhitungan, seperti yang ditunjukkan pada Gambar 6.22 (a). Setiap neuron
diwakili oleh model McCulloch dan Pitts dengan fungsi aktivasi tanda. Jaringan ini
dilatih dengan aturan produk aktivitas umum pada set berikut vektor masukan:
Di sini, vektor input X1 adalah vektor nol. Seperti Anda mungkin juga menyadari,
masukan sinyal x4 (di X3 vektor) dan x3 (dalam X4 vektor) adalah satu-satunya
komponen kesatuan dalam vektor yang sesuai, sementara sinyal kesatuan x2
dan x5 selalu datang bersama-sama, seperti yang terlihat dalam vektor X2 dan
X5. Dalam contoh kita, matriks berat awal diwakili oleh 5? 5 identitas matriks I.
Dengan demikian, dalam keadaan awal, masing-masing neuron di lapisan
masukan terhubung ke neuron di posisi yang sama di lapisan output dengan
synaptic sebuah berat 1, dan ke neuron lainnya dengan bobot 0. ambang
ditetapkan untuk nomor acak dalam interval antara 0 dan 1. belajar parameter
tingkat? dan melupakan faktor? diambil sebagai 0,1 dan 0,02, masing-masing.
Setelah pelatihan, seperti dapat dilihat dari Gambar 6.22 (b), matriks berat
badan menjadi berbeda dari matriks awal identitas I. bobot antara neuron 2 di
lapisan input dan neuron 5 di lapisan output, dan neuron 5 di lapisan masukan
dan neuron 2 pada lapisan output telah meningkat 0-2,0204. Jaringan kami telah
belajar asosiasi baru. Pada saat yang sama, berat antara neuron 1 di lapisan
input dan neuron 1 pada lapisan output telah menjadi 0. Jaringan telah
melupakan hubungan ini. Mari kita menguji jaringan kami. Sebuah vektor input
tes, atau pemeriksaan, yang didefinisikan sebagai
Benar saja, jaringan telah dikaitkan masukan x5 dengan output y2 dan y5 karena
input x2 dan x5 yang digabungkan selama pelatihan. Tetapi jaringan tidak dapat
mengaitkan masukan x1 dengan output y1 lagi karena masukan kesatuan x1
tidak muncul selama pelatihan dan jaringan kami telah kehilangan kemampuan
untuk mengenalinya. Dengan demikian, jaringan saraf benar-benar dapat belajar
untuk mengasosiasikan stimulus umumnya disajikan bersama-sama, dan yang
paling penting, jaringan dapat belajar tanpa 'guru'....
6.8.2. pembelajaran kompetitif

Jenis lain yang populer pembelajaran tanpa pengawasan adalah pembelajaran

kompetitif. Dalam pembelajaran kompetitif, neuron bersaing di antara mereka
sendiri harus diaktifkan. Sementara dalam belajar Hebbian, beberapa neuron
output dapat diaktifkan secara bersamaan, dalam pembelajaran kompetitif
hanya neuron keluaran tunggal aktif setiap saat. Output neuron yang
memenangkan 'persaingan' disebut pemenang-mengambil-semua neuron. Ide
dasar dari pembelajaran kompetitif diperkenalkan pada awal tahun 1970
(Grossberg, 1972; von der Malsburg, 1973; Fukushima, 1975). Namun, belajar
kompetitif tidak menarik banyak bunga sampai akhir 1980-an, ketika Teuvo
Kohonen memperkenalkan kelas khusus arti fi cial jaringan saraf yang disebut
peta fitur mengorganisir diri (Kohonen, 1989). Peta ini didasarkan pada
pembelajaran kompetitif.
Apa adalah peta fitur self-mengorganisir? Otak kita didominasi oleh korteks
serebral, struktur yang sangat kompleks miliaran neuron dan ratusan miliar
sinapsis. Korteks adalah tidak seragam atau homogen. Ini mencakup daerah,
diidentifikasi oleh ketebalan lapisan dan jenis neuron dalam diri mereka, yang
bertanggung jawab untuk kegiatan manusia yang berbeda (motor, visual,
auditori, somatosensori, dll), dan dengan demikian terkait dengan input sensorik
yang berbeda. Kita dapat mengatakan bahwa setiap masukan sensorik dipetakan
ke daerah yang sesuai dari korteks serebral; dengan kata lain, korteks adalah
peta mengorganisir diri komputasi dalam otak manusia.
Bisa kita model peta mengorganisir diri? Kohonen dirumuskan prinsip
pembentukan peta topografi (Kohonen, 1990). Prinsip ini menyatakan bahwa
lokasi spasial output neuron dalam peta topografi sesuai dengan fitur tertentu
dari pola input. Kohonen juga mengusulkan model fitur-pemetaan yang
ditunjukkan pada Gambar 6.23 (Kohonen, 1982). Model ini menangkap fitur
utama dari peta mengorganisir diri dalam otak dan belum dapat dengan mudah
diwakili dalam komputer.
Model Kohonen menyediakan pemetaan topologi, menempatkan sejumlah yang
tetap dari pola masukan dari lapisan input menjadi output yang lebih tinggidimensi atau lapisan Kohonen. Pada Gambar 6.23, lapisan Kohonen terdiri dari
kisi dua dimensi terdiri dari 4-by-4 neuron, dengan masing-masing neuron
memiliki dua input. Neuron pemenang ditampilkan hitam dan tetangganya abuabu. Di sini, tetangga pemenang adalah neuron berdekatan secara fisik kepada
pemenang.
Seberapa dekat adalah 'kedekatan fisik'? Bagaimana kedekatan fisik adalah,
ditentukan oleh desainer jaringan. lingkungan pemenang mungkin termasuk
neuron dalam satu, dua atau bahkan tiga posisi di kedua sisi. Sebagai contoh,
Gambar 6.23 menggambarkan lingkungan pemenang ukuran satu. Umumnya,
pelatihan dalam jaringan Kohonen dimulai dengan lingkungan pemenang dari
ukuran yang cukup besar. Kemudian, sebagai hasil pelatihan, ukuran lingkungan
secara bertahap menurun. Jaringan Kohonen terdiri dari satu lapisan neuron
perhitungan, tetapi memiliki dua jenis koneksi. Ada koneksi maju dari neuron
pada input layer untuk neuron pada lapisan output, dan juga koneksi lateral yang

antara neuron pada lapisan output, seperti yang ditunjukkan pada Gambar 6.24.
Koneksi lateral yang digunakan untuk membuat kompetisi antara neuron. Neuron
dengan tingkat aktivasi terbesar di antara semua neuron pada lapisan output
menjadi pemenang (pemenang-mengambil-semua neuron). neuron ini adalah
satu-satunya neuron yang menghasilkan sinyal output. Aktivitas semua neuron
lain ditekan dalam kompetisi. Ketika pola masukan disajikan ke jaringan, setiap
neuron pada lapisan Kohonen menerima salinan lengkap dari pola input,
dimodifikasi oleh jalan melalui bobot dari koneksi sinaptik antara lapisan input
dan lapisan Kohonen. Koneksi umpan balik lateral yang menghasilkan efek
rangsang atau penghambatan, tergantung pada jarak dari neuron pemenang.
Hal ini dicapai dengan menggunakan fungsi topi Meksiko yang menggambarkan
bobot sinaptik antara neuron di lapisan Kohonen.
Apa fungsi topi Meksiko? Fungsi topi Meksiko yang ditunjukkan pada Gambar
6.25 merupakan hubungan antara jarak dari pemenang-mengambil-semua
neuron dan kekuatan
Dalam bab ini, kami memperkenalkan arti fi cial jaringan saraf dan membahas
ide-ide dasar di balik mesin belajar. Kami mempresentasikan konsep perceptron
sebagai elemen komputasi sederhana dan dianggap aturan pembelajaran
perceptron. Kami menjelajahi jaringan saraf multilayer dan membahas
bagaimana meningkatkan komputasi efisiensi dari algoritma pembelajaran
propagasi-balik. Kemudian kami memperkenalkan jaringan saraf berulang,
dianggap algoritma pelatihan jaringan lapangan Hop fi dan memori asosiatif dua
arah (BAM). Akhirnya, kita disajikan mengorganisir diri jaringan saraf dan
dieksplorasi Hebbian dan pembelajaran kompetitif. Pelajaran yang paling penting
belajar dalam bab ini adalah:
. Pembelajaran mesin melibatkan mekanisme adaptif yang memungkinkan
komputer untuk belajar dari pengalaman, belajar dengan contoh dan belajar
dengan analogi. kemampuan belajar dapat meningkatkan kinerja sistem cerdas
dari waktu ke waktu. Salah satu pendekatan yang paling populer untuk
pembelajaran mesin adalah arti fi cial jaringan saraf. . Sebuah arti fi cial neural
network terdiri dari sejumlah prosesor yang sangat sederhana dan sangat saling
berhubungan, yang disebut neuron, yang analog dengan neuron biologis di otak.
Neuron dihubungkan dengan link tertimbang yang melewatkan sinyal dari satu
neuron ke yang lain. Setiap link memiliki berat numerik yang terkait dengan itu.
Bobot adalah sarana dasar memori jangka panjang dalam ANNs. Mereka
mengekspresikan kekuatan, atau kepentingan, dari setiap masukan neuron.
Sebuah jaringan syaraf 'belajar' melalui penyesuaian ulang bobot tersebut.

Gambar 6.29 topologi memerintahkan peta fitur yang ditampilkan di ruang input
SYARAF TIRUAN NETWORKS212

. Pada tahun 1940, Warren McCulloch dan Walter Pitts mengusulkan sebuah
model neuron sederhana yang masih dasar bagi sebagian besar arti fi jaringan
saraf resmi. neuron menghitung jumlah tertimbang dari sinyal input dan
membandingkan hasilnya dengan nilai ambang batas. Jika input bersih kurang
dari ambang batas, output neuron adalah? 1. Tetapi jika input bersih lebih besar
dari atau sama dengan ambang batas, neuron menjadi aktif dan output
mencapai nilai TH1. . Frank Rosenblatt menyarankan bentuk yang paling
sederhana dari jaringan saraf, yang disebut perceptron a. Pengoperasian
perceptron didasarkan pada McCulloch dan Pitts Model neuron. Ini terdiri dari
neuron tunggal dengan bobot synaptic disesuaikan dan limiter keras. perceptron
belajar tugasnya dengan membuat penyesuaian kecil dalam bobot untuk
mengurangi perbedaan antara output aktual dan yang diinginkan. Bobot awal
yang acak dan kemudian diperbarui untuk mendapatkan output yang konsisten
dengan contoh-contoh pelatihan.
. Sebuah perceptron dapat belajar fungsi hanya dipisahkan secara linear dan
tidak bisa membuat generalisasi global yang atas dasar contoh belajar secara
lokal. Keterbatasan perceptron Rosenblatt ini dapat diatasi dengan bentuk
lanjutan dari jaringan saraf, seperti perceptrons multilayer dilatih dengan
algoritma back-propagasi.
. Sebuah perceptron multilayer adalah jaringan saraf feedforward dengan input
layer neuron sumber, setidaknya satu tengah atau lapisan tersembunyi neuron
komputasi, dan output lapisan neuron komputasi. Lapisan input menerima sinyal
masukan dari dunia luar dan mendistribusikan kembali sinyal-sinyal ini untuk
semua neuron pada lapisan tersembunyi. Lapisan tersembunyi mendeteksi fitur.
Bobot dari neuron pada lapisan tersembunyi mewakili fitur dalam pola masukan.
Lapisan output menetapkan pola output dari seluruh jaringan.
. Belajar di hasil jaringan multilayer dengan cara yang sama seperti pada
perceptron a. Algoritma pembelajaran memiliki dua fase. Pertama, pola masukan
pelatihan disajikan ke lapisan masukan jaringan. jaringan menyebar pola
masukan dari lapisan ke lapisan sampai pola output yang dihasilkan oleh lapisan
output. Jika berbeda dari output yang diinginkan, kesalahan dihitung dan
kemudian disebarkan ke belakang melalui jaringan dari output lapisan ke lapisan
masukan. Bobot yang dimodifikasi sebagai kesalahan disebarkan.
. Meskipun banyak digunakan, belajar kembali-propagasi bukan tanpa masalah.
Karena perhitungan luas dan, sebagai hasilnya, pelatihan lambat, algoritma
back-propagasi murni jarang digunakan dalam aplikasi praktis. Ada beberapa
cara yang mungkin untuk meningkatkan komputasi efisiensi. Sebuah jaringan
multilayer belajar lebih cepat ketika fungsi aktivasi sigmoidal diwakili oleh
tangen hiperbolik. Penggunaan momentum dan tingkat pembelajaran adaptif
juga secara signifikan meningkatkan kinerja jaringan saraf multilayer kembalipropagasi.
. Sementara multilayer back-propagasi jaringan saraf yang digunakan untuk
masalah pengenalan pola, memori asosiatif manusia yang ditiru oleh berbagai

jenis jaringan yang disebut berulang: jaringan berulang, yang memiliki loop
umpan balik dari output ke input. John Hop lapangan merumuskan
213SUMMARY
Prinsip fisik menyimpan informasi dalam jaringan dinamis stabil, dan juga
mengusulkan jaringan berulang single-layer menggunakan McCulloch dan Pitts
neuron dengan fungsi aktivasi tanda.
. The Hop fi el