7.

2 A FEW MORE NETS THAT LEARN Ada banyak ekstensi untuk belajar algoritma dan arsitektur jaringan yang telah kita bahas. Pada bagian ini, kita mempertimbangkan dua umpan maju diri jaring pengorganisasian yang menggunakan dimodifikasi Hebbian belajar daripada kompetisi dan empat jenis pembelajaran untuk jaring berulang. Prosedur pembelajaran untuk mesin Boltzmann (Bagian 7.2.2) adalah salah satu cara menggabungkan keuntungan dari perubahan probabilistik dalam aktivasi dalam jaring yang belajar masukan hubungan output yang ditentukan. Kami kemudian mendiskusikan beberapa metode pelatihan jaring berulang menggunakan backpropagation. 7.2.1 Modified Hebbian Learning Jaring mengorganisir diri dalam Bab 4 dan 5 menggunakan lapisan kompetitif sebagai bagian dari proses mengelompokkan pola masukan yang serupa. Jenis informasi lainnya juga dapat diperoleh dari jaring mengorganisir diri. Pada bagian ini kita mempertimbangkan dua jenis jaring yang mengekstrak informasi tentang pola pelatihan menggunakan pelatihan tanpa pengawasan tanpa kompetisi [Oja. 1992]. Tipe pertama belajar komponen utama (eigen sesuai dengan nilai eigen terbesar) dari matriks korelasi dari vektor pelatihan. Tipe kedua menemukan parameter untuk kurva optimal atau permukaan cocok dengan pola pelatihan. Jaring ini menggunakan satu lapisan unit linier. (Fungsi output fungsi identily.) Principal Component Satu output unit. Jaring sederhana menggunakan satu unit output tunggal dengan aturan belajar dimodifikasi Hebbian yang menyebabkan vektor bobot untuk mendekati vektor eigen dari satuan panjang terkait dengan nilai eigen terbesar dari matriks korelasi dari vektor input [Oja, 1982]. Matriks korelasi adalah rata-rata dari matriks berat untuk menyimpan vektor pelatihan, seperti yang dijelaskan dalam Bab 2:

Jika input vektor mempunyai mean 0, ini adalah covarian matrix, yang secara umum dituliskan

Dimana mi adalah rata-rata dari component i dari input vektor. Jika pola disajikan berulang-ulang, bobot ditemukan oleh "polos Hebb" aturan akan terus tumbuh. Meskipun bobot dapat renormalized untuk mencegah hal ini, aturan diubah Hebb disarankan oleh Oja menyebabkan vektor bobot pendekatan, satuan panjang otomatis. Aturan pembelajaran Oja adalah

Dimana adalah output dari jaringan. Hertz, Krogh, dan Palmer (1991) membuktikan bahwa bobot memiliki sifat yang diinginkan dan menunjukkan bahwa update berat tergantung pada perbedaan antara input Xi dan backpropagated output y wi. Modifikasi ini adalah aturan Hebb standar deltawi=alpha.y.xi, dengan jangka waktu peluruhan yang proporsional dengan output kuadrat. Aturan Oja yang memaksimalkan output kuadrat rata-rata (y2). Contoh 7.6 menggunakan modified hebb rule to fing Principal components M Keluaran Unit. Ide-ide sebelumnya telah diperpanjang untuk beberapa unit keluaran [Sanger, 1989; Oja, 1989]. Aturan pembelajaran dikembangkan oleh Sanger dan Oja serupa, dan masingmasing mengurangi dengan aturan pembelajaran Oja untuk satu unit output ketika M = 1. Aturan pembelajaran Sanger menyebabkan net untuk menemukan pertama komponen utama M, dalam rangka, sebagai vektor bobot untuk unit keluaran M. Aturan ini dapat diperluas untuk output fungsi nonlinier juga. Untuk unit linier telah kita bahas dalam bagian ini, aturan Sanger adalah

Aturan Oja menemukan vektor bobot yang menjangkau subruang yang sama, tapi belum tentu vektor eigen individu. The Oja Aturan M-unit

Penggunaan backpropagation untuk kompresi data sering digambarkan sebagai backpropagation diri diawasi. Tersembunyi Proyek unit ke subruang yang pertama M komponen utama, dengan hasil dan dinamika yang mirip dengan yang dihasilkan oleh jaring dibahas dalam bagian ini [Sanger, 1989; Hertz Krosh & Palmer, 1991 J. MINOR component Aturan pembelajaran anti-Hebbian dimodifikasi dapat digunakan untuk mencari parameter untuk kurva optimal atau pas permukaan | Xu, Oja, & sucn, 1992]. Standar kuadrat terkecil (LS) pendekatan untuk masalah umum pas baris ke satu set data terdiri dari meminimalkan jarak vertikal dari titik data ke garis Dalam banyak aplikasi, garis optimal adalah garis ditemukan dengan meminimalkan jumlah kuadrat jarak dari titik ke garis, di mana jarak diukur dalam arah tegak lurus terhadap perkiraan line. Ini adalah TLS (jumlah kuadrat) metode. (Lihat Golub & Van Loan, 1989.) Sayangnya, perhitungan untuk TLS lebih terlibat daripada LS. Namun, solusi yang diinginkan dapat "diperoleh dari nilai eigen minimum, dan sesuai normalisasi eigenvector, untuk matriks kovarians dari data, yaitu, masalah mengurangi untuk menemukan komponen kecil dari kumpulan data.

Seperti dalam kasus komponen utama dibahas sebelumnya, kami mempertimbangkan satu unit output tunggal linier dengan respon

Aturan pembelajaran sekarang aturan anti-Hebbian di mana

Bentuk normalisasi dari skala aturan belajar vektor bobot satuan panjang sebelum mengalikan dengan output dari internet, untuk memberikan

Garis lurus yang paling sesuai dengan poin P data, (d1(p), d2(p)). P = 1 .. . . P, diberikan oleh

di mana (m1, m2) adalah vektor mean dari data. Koefisien w2 dan w2 adalah bobot ditemukan oleh algoritma berikut [Xu, Oja, & Suen 1992]. Langkah langkah!!!!!!!! Kinerja pendekatan ini telah ditemukan untuk data poin 500 (d1, d2), yang dihasilkan dengan menambahkan noise Gaussian titik pada garis lurus [Xu, Oja, & Suen, 1992]. Dalam kasus yang paling sederhana ini penulis laporan, nilai awal a = 0,01 berkurang secara linear selama 500 langkah pertama kali (presentasi vektor) dengan a = 0,0025 dan tetap konstan selama sisa langkah-langkah pembelajaran 3.000. Ada variasi yang sangat sedikit dalam nilai-nilai solusi atas 500 langkah terakhir kalinya. Gambar 7.11 menunjukkan hasil yang serupa dengan yang ditemukan oleh Xu, Oja, dan Suen (1992), ilustrasi, bagaimanapun, hanya beberapa titik data.

7.2.1 Boltzmann Machine with learning Mengikuti perkembangan di Ackley, Hinton, dan Sejnowski (1985), kita sekarang mempertimbangkan aturan pembelajaran untuk mesin Boltzmann. Hubungan sederhana antara energi negara dalam mesin Boltzmann dan bobot jaringan mengarah pada ekspresi berikut berkaitan bobot dengan probabilitas keadaan khususnya dari jaring:

sini, xixj adalah 1 jika unit Xi Dan Xj keduanya "on" dalam keadaan (dan 0 sebaliknya), dan PFij adalah kemungkinan menemukan unit Xi dan Xj kedua "on" ketika sistem dalam kesetimbangan (tanpa unit dijepit, yaitu, dipertahankan tetap pada nilai yang diinginkan). Situasi yang paling menarik yang algoritma pembelajaran diperlukan adalah kasus di mana hanya sebagian informasi tentang negara-negara global sistem ini tersedia Jadi kita menganggap bahwa internet terdiri dari unit terlihat (input dan unit output) dan unit tersembunyi. Selama pelatihan, aktivasi dari unit terlihat dijepit. Setelah pelatihan, beberapa unit yang terlihat (unit masukan) yang dijepit, dan bersih diperbolehkan untuk menemukan nilai-nilai yang benar untuk unit lainnya yang terlihat (unit output). Unit tersembunyi tidak pernah dijepit. Untuk jaring dengan v terlihat unit, ada 2 kemungkinan state yang distribusi probabilitas mungkin diketahui. Secara umum, kecuali jumlah unit tersembunyi sangat besar, model yang sempurna dari semua negara yang mungkin tidak mungkin. Berdasarkan argumen informasi teori, perjanjian antara probabilitas yang diinginkan untuk unit terlihat dan probabilitas unit terlihat ketika bersih adalah pada kesetimbangan dapat ditingkatkan dengan mengubah bobot. Selain itu perubahan berat badan dapat dibuat atas dasar informasi lokal Aturan perubahan berat adalah

mana PCij adalah probabilitas bahwa unit Xi dan Xj keduanya "on" ketika unit terlihat dijepit dan bersih adalah dalam kesetimbangan dan PFU adalah probabilitas bahwa unit X, dan Xj keduanya "on" ketika sistem "berlari bebas , "yaitu, tidak ada unit yang dijepit, dan bersih adalah dalam keseimbangan. Sebagai awalnya disajikan, algoritma menggunakan berat-langkah kenaikan tetap jika PCij> PFij dan penurunan yang sama-ukuran untuk bobot jika PCij <PFij. Dificulties dapat terjadi ketika hanya beberapa negara mungkin 2v untuk unit terlihat ditentukan. Daripada mencoba untuk menuntut bahwa lainnya (non spesifik) menyatakan tidak pernah terjadi (yang akan membutuhkan energi besar tak berhingga bagi negara-negara, yang pada gilirannya akan membutuhkan bobot besar tak berhingga), direkomendasikan bahwa satu menggunakan input bising dengan rendah, tapi bukan nol, probabilitas. Dalam beberapa bagian berikutnya, kita mempertimbangkan kinerja mesin Boltzmann dalam belajar sederhana "encoder problem," seperti yang dijelaskan oleh Ackley, Hinton, dan Sejnowski (1985). Masalahnya adalah untuk melatih net untuk mereproduksi pola input pada unit output setelah melewati sinyal melalui lapisan tersembunyi yang memiliki unit lebih sedikit dibandingkan dengan input dan output layer. Ini adalah bentuk sederhana dari aplikasi kompresi data backpropagation dibahas dalam Bab 6. ARSITEKTUR

Kami menganggap mesin Boltzmann yang terdiri dari empat unit input, dua unit tersembunyi, dan empat unit output, sering disebut jaring 4-2-4. Perbedaan antara arsitektur ini dan arsitektur khas untuk jaring backpropagation (dengan empat unit input, dua unit tersembunyi, dan empat unit output) adalah adanya interkoneksi antara unit masukan, antara unit tersembunyi, dan di antara unit-unit output dalam mesin Boltzmann. Untuk menyederhanakan diagram, bobot tidak ditampilkan pada koneksi pada Gambar 7.12. Bias A juga digunakan untuk setiap unit, namun tidak ditampilkan.

ALGORITHM Proses pembelajaran untuk mesin Boltzmann dipengaruhi oleh pilihan tingkat belajar (atau penggunaan penyesuaian berat berukuran tetap) dan panjang waktu yang lebih dari perkiraan PC dan PF dikumpulkan. Algoritma yang disajikan di sini berikut penjelasan diterbitkan dari proses [Ackley, Hinton, & Sejnowski, 1985]. Sebuah zaman adalah jumlah yang sama update aktivasi percobaan karena ada unit teredam. Hal ini memungkinkan setiap unit, rata-rata, satu kesempatan untuk memperbarui aktivasi pada setiap zaman. LIHAT DI BUKU HAL 371 APPLICATION Ackley, Hinton dan Sejnowski (1985) telah menggambarkan penggunaan mesin Boltzmann untuk mempelajari berbagai masalah encoder. Kami telah menggunakan arsitektur ditujukan untuk

masalah sederhana, 4-2-4 encoder pada Gambar 7.12. Bersih ini terdiri dari empat unit input, dua unit tersembunyi, dan satuan output. Unit sepenuhnya saling berhubungan, dengan pengecualian koneksi langsung antara unit input dan unit output. Secara umum, untuk masalah encoder ada dua kelompok unit tampak dengan unit V dalam setiap kelompok dan H hidden unit dengan Ln 2 H < V Bias A juga digunakan untuk setiap unit. Vektor pelatihan (vektor lingkungan) adalah vektor-vektor berikut:

Artinya, masing-masing set unit yang terlihat hanya dapat memiliki satu unit "pada" setiap saat dan kita menginginkan pola og aktivasi dalam dua set unit terlihat untuk mencocokkan meskipun tidak ada komunikasi langsung antara kedua kelompok. Karena bobot bisa menjadi sangat besar jika bersih tidak menerima infomation pelatihan bagi banyak kemungkinan konfigurasi, versi berisik vektor pelatihan ini digunakan. Masing-masing presentasi pola pelatihan, komponen yaitu 1 dalam vektor pelatihan yang benar diatur ke 0, dengan probabilitas 0,15. Komponen yang diatur ke 1, dengan probabilitas 0.005. jadwal pendinginan adalah

Dengan kata lain, mengikuti algoritma sebelumnya, suhu awal adalah 20. Sekarang, ada dua unit unclamped selama fase pertama dari siklus pelatihan (apabila statistik untuk menemukan PCij ditentukan). Jadi. Langkah 7-9 dilakukan empat lagu (dua zaman, yang masing-masing terdiri dari dua upaya untuk memperbarui unit) pada T = 20; suhu berkurang ke T = 15, dan Stes 7-9 dilakukan empat kali lebih. maka mereka dilakukan empat kali dengan T = 12 dan delapan kali dengan T = 10. Statistik dikumpulkan selama 10 zaman pada T = 10, yaitu. Langkah 13-16 dilakukan 20 kali. Fraksi rata-rata waktu yang unit i dan j adalah kedua "on" ditentukan. Proses ini diulang untuk setiap vektor pelatihan empat, dan hasil untuk semua vektor pelatihan yang rata-rata.

Proses penentuan PFij menggunakan jadwal pendinginan sama dan mengumpulkan statistik untuk jumlah yang sama pada zaman suhu akhir (T = 10). Namun, karena tidak ada unit yang dijepit selama fase kedua ini, masing-masing zaman terdiri dari 10 upaya untuk memperbarui unit. Setelah nilai-nilai PCtJ dan PFij telah ditemukan, bobot diperbarui dan seluruh berat siklus update (Langkah 1-38) diulang, sampai berat telah stabil atau perbedaan antara PCij dan Pij yang cukup kecil. Dalam 250 tes dari masalah 4-2-4 encoder, bersih selalu menemukan salah satu minima global dan tetap pada solusi itu. Sebanyak 1.810 siklus pembaruan berat badan yang diperlukan, tetapi jumlah rata-rata adalah 110 [Ackley, Hinton, & Sejnowski. 1985]. Setelah pelatihan, internet dapat diterapkan dengan menjepit unit masukan dan memungkinkan internet untuk mencapai kesetimbangan (misalnya, mengikuti jadwal pendinginan sama seperti yang diberikan untuk algoritma pelatihan). Para aktivasi dari unit keluaran kemudian memberikan respon net. 7.2.3 SIMPLE RECURRENT NET Beberapa jaringan saraf telah dikembangkan untuk mempelajari pola berurutan atau waktu bervariasi. Berbeda dengan jaring berulang dengan bobot simetris atau jaring feedforward, jaring ini tidak selalu menghasilkan output yang stabil-basi. Pada bagian ini, kita mempertimbangkan jaring sederhana berulang [Elman, 1990, Hertz, Krogh. & Palmer, 19.911 yang dapat digunakan untuk belajar string karakter [Servan-Schreiber, Cleeremans, & McClelland, 1989]. Bersih ini dapat dianggap sebagai "sebagian berulang" bersih, dalam sebagian besar koneksi feedforward saja. Sebuah kelompok tertentu unit menerima sinyal umpan balik dari langkah waktu sebelumnya. Unitunit ini dikenal sebagai unit konteks. Bobot pada koneksi umpan balik lo unit konteks yang tetap, dan pengolahan informasi berurutan dalam waktu, sehingga pelatihan pada dasarnya tidak lebih sulit daripada jaring backpropagation standar. ARCHITECTURE

Pada waktu t, yang aktivasi dari unit konteks adalah aktivasi (sinyal output) dari unit tersembunyi pada saat langkah sebelumnya. Bobot dari unit konteks ke unit tersembunyi dilatih secara persis sama dengan bobot dari unit input ke unit tersembunyi. Dengan demikian, pada setiap langkah waktu, algoritma pelatihan adalah sama seperti untuk backpropagation standar. APPLICATION Salah satu contoh penggunaan jaring berulang sederhana menunjukkan kemampuan net untuk belajar yang tidak terbatas jumlah urutan dari berbagai panjang [Servan-Schreiber Cleeremans, & McClelland, 1989]. Bersih dilatih untuk memprediksi huruf berikutnya dalam serangkaian karakter. Senar yang dihasilkan oleh tata bahasa terbatas-state kecil di mana setiap huruf muncul dua kali, diikuti oleh karakter yang berbeda Diagram tata bahasa diberikan pada Gambar 7.14. String dimulai dengan simbol B dan berakhir dengan simbol E. Pada setiap titik keputusan, jalan bisa diambil dengan probabilitas yang sama. Dua contoh dari string sesingkat mungkin dihasilkan oleh tata bahasa ini B P V V E dan B T X S E

Pola pelatihan untuk jaringan saraf terdiri dari 60.000 string acak mulai panjang 3-30 huruf (tidak termasuk Memulai dan Mengakhiri simbol). Arsitektur jaringan saraf untuk contoh ini memiliki enam unit input (satu untuk masing-masing dari lima karakter, plus satu untuk simbol dari Begin) dan enam unit keluaran (satu untuk masing-masing dari lima karakter, plus satu untuk simbol End). Ada tiga unit tersembunyi (dan karena itu, tiga unit konteks). Dalam kasus tertentu, internet dapat ditampilkan seperti pada Gambar 7.15. Dengan arsitektur seperti yang diilustrasikan, pola input untuk huruf B (simbol dari Begin) akan sesuai dengan vektor (1,0, 0, 0, 0, 0). Melatih bersih untuk string tertentu melibatkan beberapa langkah, jumlah tergantung pada panjang tali. Pada awal pelatihan, aktivasi dari unit konteks diatur ke 0,5. Simbol pertama (simbol dari Begin) disajikan ke unit masukan, dan bersih memprediksi penggantinya. Kesalahan (perbedaan antara diprediksi dan penerus yang sebenarnya ditentukan oleh string) ditentukan dan backpropagated, dan bobot disesuaikan. Unit konteks menerima salinan aktivasi unit tersembunyi ', dan simbol berikutnya dalam string.

(yang merupakan nilai target untuk unit output pada langkah pertama pelatihan) disajikan kepada unit masukan. Pelatihan berlanjut dengan cara ini hingga simbol Akhir tercapai. Algoritma pelatihan untuk tata bahasa konteks-sensitif dalam contoh yang diberikan LIHAT HALAMAN 376 Setelah pelatihan, jaring dapat digunakan untuk menentukan apakah string adalah string yang valid, menurut tata bahasa. Karena setiap simbol disajikan, bersih memprediksi penerus sah mungkin simbol itu. Setiap satuan keluaran dengan aktivasi 0,3 atau lebih besar menunjukkan bahwa huruf itu merupakan adalah penerus sah untuk arus masukan. Untuk menentukan apakah string adalah valid, surat-surat disajikan ke net secara berurutan, asalkan bersih memprediksi penerus valid dalam string. Jika net gagal untuk memprediksi penggantinya, string ditolak. Jika semua penerus diperkirakan, string diterima sebagai valid. Hasil yang dilaporkan untuk 70.000 string acak, 0,3% di antaranya adalah sah menurut tata bahasa, adalah bahwa bersih benar menolak semua 99,7% dari string yang valid dan diterima semua string yang valid. Bersih juga dilakukan dengan sempurna pada 20.000 string dari tata bahasa dan satu set yang sangat panjang string (100 atau lebih karakter). 7.2.4 BACKPROPAGATION IN TIME Kami sekarang mempertimbangkan jaringan di mana output dari bersih pada satu waktu langkah menjadi masukan pada saat langkah berikutnya. Jaring ini dapat dilatih untuk beberapa langkah

waktu dengan membuat salinan bersih (dengan bobot yang sama), pelatihan setiap salinan, dan kemudian rata-rata update berat. Proses ini, awalnya diperkenalkan oleh Rumelhart, Hinton. dan Williams (1986), disebut "backpropagation dalam waktu" [Hertz, Krogh. & Palmer, 1991] atau kadang-kadang "backpropagation berulang" [Hecht-Nielson, 1990]. ARSITEKTUR Sebuah contoh sederhana dari backpropagation dalam waktu bersih yang ditunjukkan pada Gambar 7.16. Suatu bentuk diperluas dari backpropagation dalam waktu bersih diilustrasikan pada Gambar 7.17. Sebuah generalisasi ini memungkinkan untuk kedua input eksternal dan sinyal berulang dari waktu langkah sebelumnya, seperti yang ditunjukkan pada Gambar 7.18. Seperti dalam jaring berulang sederhana yang dibahas di bagian sebelumnya, koneksi berulang memiliki berat tetap pada 1; bobot disesuaikan yang akan ditampilkan.

ALGORITMA

Algoritma pelatihan menggunakan backpropagation pada waktunya untuk jaring berulang dari bentuk diilustrasikan pada Gambar 7.16 atau 7.18 didasarkan pada pengamatan bahwa kinerja jaring tersebut untuk tetap jumlah waktu langkah N identik dengan hasil diperoleh dari jaring feedforward dengan DI lapisan bobot disesuaikan. Sebagai contoh, hasil yang dihasilkan oleh net pada Gambar 7.16 setelah tiga langkah waktu juga bisa diperoleh dari bersih yang ditunjukkan pada Gambar 7.17. Proses pelatihan terdiri dari lulus feedforward melalui jaringan diperluas seluruh (untuk jumlah yang diinginkan langkah kapur). Kesalahan ini kemudian dihitung untuk setiap lapisan output (yaitu, untuk setiap langkah waktu). Penyesuaian bobot untuk setiap salinan busur bersih ditentukan secara individual (yaitu, computed) dan sebesar (atau rata-rata) atas jumlah langkah waktu yang digunakan dalam pelatihan. Akhirnya, semua salinan dari setiap berat diperbarui. Pelatihan berlanjut dengan cara ini untuk setiap pola pelatihan, untuk menyelesaikan zaman. Seperti backpropagation standar, biasanya, banyak zaman yang diperlukan. Perhatikan bahwa tidak perlu sebenarnya untuk mensimulasikan bentuk diperluas bersih untuk pelatihan. Net dapat berjalan selama beberapa langkah waktu, penentuan informasi kesalahan dan update berat badan pada setiap langkah dan kemudian menjumlahkan koreksi berat badan dan menerapkannya setelah jumlah tertentu dari langkah. Selain itu, informasi tentang kesalahan tidak harus tersedia untuk semua unit output pada semua langkah waktu. Koreksi berat badan dihitung dengan menggunakan informasi apapun yang tersedia dan kemudian dirata-rata sesuai dengan jumlah waktu langkah. Dalam contoh di bagian berikutnya, informasi mengenai kesalahan diberikan hanya pada saat langkah kedua, tidak ada tanggapan yang ditentukan setelah pertama kali langkah. APPLICATION Example 7.7 Using backpropagation in time to form a simple shift register Sebuah jaringan saraf tanpa unit tersembunyi telah dilatih untuk bertindak sebagai register geser sederhana menggunakan backpropagation dalam waktu [Rumelhart, Hinton, & Williams. 1986a]. Sebagai contoh, perhatikan jaringan yang ditunjukkan pada Gambar 7.19, dengan tiga unit input dan tiga unit output. (Dalam prakteknya, unit-unit ini bisa sama, tapi kami akan memperlakukan mereka sebagai yang berbeda untuk menekankan kesamaan dengan Angka 7.16 dan 7.18. Untuk mempermudah, bobot tidak ditampilkan dalam gambar atau dalam diagram yang mengikuti. Selain unit ditampilkan, masing-masing unit menerima sinyal Bias.

Pola pelatihan terdiri dari semua vektor biner dengan tiga komponen, target yang terkait dengan setiap vektor adalah pola bergeser dua posisi ke kiri (dengan sampul). Ini adalah respon yang diinginkan dari gawang setelah dua langkah waktu pengolahan. Bentuk diperluas jaring ditunjukkan pada Gambar 7.20. Contoh ini menggambarkan fakta bahwa itu tidak diharuskan untuk memiliki informasi tentang kesalahan pada langkah waktu selang. Jika net diberitahu respon yang diinginkan setelah satu langkah waktu, solusi akan sangat sederhana. Sebaliknya, beban di kedua salinan bersih disesuaikan atas dasar kesalahan setelah dua langkah waktu. Secara umum, kombinasi informasi tentang kesalahan pada tingkat akhir dan pada salah satu atau semua tingkat menengah dapat digunakan. Rumelhart, Hinton. dan Williams (1986a, 1986b) menemukan bahwa bersih konsisten belajar bobot yang diperlukan untuk pergeseran mendaftar di 200 atau lebih sedikit zaman pelatihan, dengan learning rate sebesar 0,25, asalkan bobot bias yang didesak negatif. Kesimpulan yang sama berlaku untuk net dengan lima input (dan output) unit. Dalam kedua kasus ini, jika bias tidak dibatasi menjadi negatif, solusi lain untuk pelatihan juga dapat hasil. Ini memberikan hasil yang diinginkan setelah bahkan jumlah langkah waktu, tapi tidak setelah ganjil langkah waktu.

Di sini sekali lagi, kita bisa memikirkan proses pelatihan untuk bersih sebagai terdiri dari banyak salinan bersih, tapi itu tidak perlu sebenarnya untuk memprogram setiap salinan terpisah. Proses pelatihan adalah sebagai berikut: LIHAT HALAMAN 383 Jika net yang terlatih dengan data yang mewakili beberapa fungsi sinus teredam, dengan periode yang sama tapi amplitudo awal yang berbeda (pada t = 0), kemudian setelah pelatihan, bersih akan menghasilkan respon yang benar untuk setiap amplitudo awal yang berada dalam rentang nilai digunakan dalam pelatihan. Hal ini menunjukkan bahwa internet telah belajar sesuatu yang lebih umum dari sekedar fungsi khusus yang digunakan dalam pelatihan. 7.2.5 BACKPROPAGATION TRAINING FOR FULLY RECURRENT NETS Backpropagation dapat diterapkan untuk jaring berulang dengan pola sewenang-wenang hubungan antara unit. Proses yang dijelaskan di sini adalah backpropagation berulang disajikan oleh Hertz. Krogh, dan Palmer (1991), berdasarkan pada karya Pineda [1987. 1988, 1989] dan Almeida [1987, 1988]. Para aktivasi jaring umum berulang kami diasumsikan mematuhi persamaan evolusi Cohen dan Grossberg (1983) dan Hopfield (1984), yaitu,

di mana xi, merupakan masukan eksternal ke unit Vi dan touth adalah waktu konstan. Kami berasumsi bahwa setidaknya satu penarik stabil ada, yaitu.

Untuk melatih jaring berulang menggunakan backpropagation, kita mengasumsikan bahwa nilai target yang ditentukan untuk beberapa unit, yang kita sebut unit output. Kesalahan didefinisikan dengan cara biasa untuk unit ini, yaitu,

di mana penjumlahan berkisar atas semua unit output. Gradient descent diterapkan pada jaring ini memberikan aturan pembaruan berat yang membutuhkan inversi matriks pada setiap langkah. Namun, jika kita menulis update berat badan sebagai

Dimana

(di mana inversi matriks disertakan dalam jangka YQ), kita menemukan [Hertz, Krogh, & Palmer, 1991] bahwa istilah YQ mematuhi persamaan diferensial dari bentuk yang sama persis dengan persamaan evolusi untuk jaringan asli. Dengan demikian, pelatihan jaringan dapat digambarkan oleh algoritma berikut: LIHAT HALAMAN 385 Aplikasi backpropagation berulang telah memasukkan pola penyelesaian [Almeida, 1987], visi [Qian & Sejnowski, 19.881, dan kontrol manipulator robot [Barhen, Gulati, & Zak, 1989]. (Sec Hertz, Krogh, & Palmer, 1991, untuk rincian lebih lanjut dari derivasi algoritma.)

NEOCOGNITRON ALGORITMA Sinyal output dari unit dalam S-jenis sel (sel di salah satu S-layer) adalah fungsi dari sinyal rangsang yang diterima dari unit lapisan sebelumnya dan sinyal penghambatan yang diterima dari unit-unit yang sama. Mekanisme ini dijelaskan dalam hal unit menengah, atau tambahan, (dilambangkan di

sini sebagai unit V) yang sinyal ke S unit sebanding dengan (tertimbang) norma Euclidean dari sinyal yang dikirim oleh unit masukan. Kami mengadopsi notasi berikut:

Sinyal yang dikirim oleh penghambatan Unit V adalah

dimana penjumlahan lebih dari semua unit yang terhubung ke V dalam array apapun dan seluruh array. Lapisan input diperlakukan sebagai tingkat CO. Dengan demikian, S unit yang khas membentuk masukan skala nya,

Dimana

adalah input rangsang bersih dari unit C, dan v w0 adalah input bersih dari unit V. Sinyal output

Penghambatan sinyal berfungsi untuk menormalkan respon unit S dengan cara yang agak mirip dengan yang digunakan pada ART2. Output dari unit lapisan C adalah fungsi dari input bersih yang diterima dari semua unit, dalam semua array S, yang memberi makan ke dalamnya. Seperti ditunjukkan dalam deskripsi arsitektur, masukan yang biasanya dari 9 atau 25 unit di masing-masing satu, dua, atau tiga S array. Input bersih adalah

Output adalah

Parameter tergantung pada tingkat dan 0,25 untuk level 1, 2, dan 3 dan 1,0 untuk Level 4. PROSES PELATIHAN Neocognitron ini dilatih lapis demi lapis. Bobot dari unit C ke unit S beradaptasi, seperti berat dari unit V dengan S satuan. Bobot dari unit C ke unit V adalah tetap. Bobot dari sebuah array S-lapisan yang sesuai untuk C-lapisan array tetap. Mereka kuat untuk unit yang lebih dekat, tapi tidak ada metrik tertentu ditentukan. Sebagai contoh dari jenis pola berat badan yang dapat digunakan, mempertimbangkan "taksi metrik," di mana jarak dari unit S-lapisan Sik, jh ke unit C-lapisan Ci, j adalah | k | + | h |. Kemungkinan array bobot dapat didasarkan pada rumus untuk berat dari ke Si-j, jh ke Ci, j yaitu, Untuk 5 x 5 wilayah koneksi, yang adalah apa yang kita miliki untuk koneksi dari S2-lapisan ke C2layer, bobot akan:

Pola beban adalah sama untuk setiap unit CI. Bobot tetap dari unit C ke unit penghambatan V juga diatur untuk mengurangi monoton sebagai fungsi jarak. Bobot untuk unit S-layer (dari unit masukan atau dari unit C-lapisan dalam tingkat sebelumnya) dilatih secara berurutan. Bobot dari unit input ke 51 unit terlatih dan kemudian dibekukan. Selanjutnya, bobot dari unit CI ke 52 unit dilatih dan diperbaiki. Proses berlanjut, tingkat demi tingkat, sampai lapisan output tercapai. Kami menggambarkan proses secara rinci berikutnya. Pelatihan Bobot dari Unit Masukan ke Unit S1. Masing-masing dari 12 array di SI-lapisan dilatih untuk menanggapi pola masukan 3x3 yang berbeda. Pelatihan fitur pola untuk setiap susunan lapisan 51 ditunjukkan pada Gambar 7.31. Setiap unit dalam array S11 merespon dengan pola (segmen horisontal) ketika muncul di bagian array masukan dari mana bahwa unit tertentu menerima sinyal. Pola bobot untuk semua unit di S11 adalah sama. Dalam rangka untuk melatih semua unit dalam array S11, kita hanya harus melatih satu unit (yaitu, unit pusat). Pola pelatihan untuk array S11 disajikan ke pusat dari array input (dan sinyal target dikirim ke array S1 menandakan bahwa unit pusat array S11 adalah satuan untuk dilatih). Berat dari unit masukan i + k,

j + h untuk S11 satuan i, j disesuaikan sebagai berikut:

Untuk pertama S-layer, sinyal Ci + k, j + h adalah hanya sinyal input. Berat t (Ii + k, j + jam; S11i, j) adalah berat tetap ke unit penghambatan. Dengan demikian, penyesuaian berat sebanding dengan sinyal yang diterima oleh unit penghambatan. Berat dari unit hambat ke unit S disesuaikan dengan jumlah

Nilai awal untuk bobot disesuaikan adalah 0, dan tingkat belajar biasanya diambil relatif besar, sehingga unit S dilatih belajar respon yang diinginkan setelah hanya beberapa presentasi dari pola. Ketika bobot untuk unit pusat ditentukan, masing-masing unit lainnya dalam array S11 diberikan sama persis dengan set bobot. Dengan cara ini, unit pusat dilatih untuk merespon ketika pola input disajikan di tengah lapangan masukan, namun unit lain dalam array S11 menanggapi pola input yang sama (dalam hal ini, segmen garis kecil horizontal) ketika muncul di bagian lain dari bidang masukan. Dengan cara yang sama, unit pusat array S12 dilatih untuk menanggapi pola masukan yang diberikan untuk itu pada Gambar 7.31. Setelah bobot ditentukan, semua unit lainnya dalam array ini diberi bobot yang sama. Pelatihan terus dengan cara yang sama untuk masing-masing 12 array di lapisan S1. Sebuah diagram penampang bidang reseptif untuk 51 satuan (lihat Gambar 7.39) menggambarkan alasan bahwa pola pelatihan untuk tingkat busur hanya 3x3: ". Melihat" Itu semua unit S1 dapat

Pelatihan Bobot dari Unit CI ke Unit S2. Unit pusat di setiap array di S2-lapisan menerima sinyal dari sembilan unit dalam setiap susunan CI. Setiap array S2 dilatih untuk menanggapi sejumlah kecil pola. Misalnya, pola pelatihan untuk S24 array mungkin ada beberapa variasi dari pola yang ditunjukkan pada Gambar 7.40.

Seperti dijelaskan sebelumnya, pola pelatihan disajikan ke pusat kolom input, dan unit pusat dalam array S24 ditunjuk untuk mempelajari pola. Bobot untuk sembilan koneksi dari setiap susunan CI disesuaikan menggunakan aturan pembelajaran yang sama seperti untuk lapisan pertama. Perhatikan bahwa secara umum, sangat sedikit dari array CI akan merespon sinyal input, sehingga pola hubungan yang sebenarnya (dengan bobot nol) dari tingkat CI ke tingkat S2 tidak segencar gambaran umum akan menunjukkan. Meskipun pola latihan ini adalah segmen garis diagonal murni, pola pelatihan untuk array S2 lainnya melibatkan kombinasi pola sederhana untuk yang S1 dan CI array telah dilatih untuk merespon. Adapun lapisan pertama, setelah unit pusat telah belajar pola pelatihan (biasanya, empat variasi dasarnya pola yang sama), unit lain dalam array yang memiliki bobot mereka tetap pada nilai yang sama sebagai unit pusat. Pelatihan setiap array dalam hasil S2-lapisan dengan cara yang sama. Ketika semua array dilatih, bobot tetap dan kita melanjutkan ke tingkat berikutnya bobot disesuaikan. Diagram cross-sectional untuk bidang reseptif, yang ditunjukkan pada Gambar 7.41, menggambarkan alasan bahwa pola pelatihan untuk tingkat ini adalah 11 x 11. Jika kita menelusuri kembali koneksi dari unit pusat pada tingkat S2 ke tingkat masukan, kita melihat bahwa 11 x 11 wilayah pada bidang masukan mempengaruhi array S2-tingkat. Pelatihan Bobot dari Unit C2 ke Unit S3. Pelatihan array S3-tingkat berikut persis prosedur yang sama seperti untuk tingkat yang lebih rendah (dengan berat sekarang tetap). Bidang reseptif dari unit pusat kini seluruh array input, sehingga pola pelatihan 19 x 19.

Pelatihan Bobot dari Unit C3 ke Unit S4. Pelatihan akhir dari bobot, untuk 16 unit S4, didasarkan pada berbagai pola sampel dibahas pada bagian berikutnya.