Judul : Linear Simultaneous Equations’ Neural Solution and Its

Application to Convex Quadratic Programming with Equality-

Constraint

Latar belakang: Berbagai penelitian ilmiah dan aplikasi praktis dapat diselesaikan sebagai

masalah penyelesaian persamaan matriks [1-6]. Sebagai contoh, analisis stabilitas dan

gangguan untuk sistem kontrol dapat dilihat sebagai solusi dari persamaan matriks Sylvester

[1, 2]; sifat stabilitas dan / atau ketahanan dari sistem kontrol dapat diperoleh dari

penyelesaian persamaan matriks Lyapunov [4-6]. Oleh karena itu, solusi real-time untuk

persamaan matriks memainkan peran mendasar dalam berbagai bidang sains, teknik, dan

bisnis.

Adapun solusi persamaan matriks, banyak algoritma numerik telah diusulkan. Secara umum,

operasi aritmatika minimal dari algoritma numerik biasanya sebanding dengan kubus dimensi

matriks koefisien, yaitu, 𝑂 (𝑁3) [7]. Agar puas dengan kompleksitas yang rendah dan

persyaratan waktu-nyata, baru-baru ini, banyak jaringan saraf baru telah dieksploitasi

berdasarkan implementasi perangkat keras [2, 4, 5, 8-13]. Sebagai contoh, Tank dan Hopfield

memecahkan masalah pemrograman linier dengan menggunakan jaringan saraf Hopfield

(HNN) yang diusulkan [9], yang mempromosikan pengembangan jaringan saraf dalam

optimisasi dan masalah aplikasi lainnya. Wang dalam [10] mengusulkan semacam model

jaringan saraf berulang (RNN) untuk solusi online dari persamaan simultan linier dalam

implementasi rangkaian paralel-implementasi. Dalam karya sebelumnya [2, 4, 5, 11], Dengan

metode desain Zhang, tipe baru model RNN diusulkan untuk solusi persamaan matriks-vektor

linier yang terkait dengan matriks koefisien timevarying secara real-time.

Dalam makalah ini, berdasarkan pada jaringan saraf Wang [10], kami menyajikan model saraf

berbasis gradien yang ditingkatkan untuk persamaan simultan linier, dan kemudian, model

saraf tersebut diterapkan untuk menyelesaikan pemrograman kuadratik dengan kendala

kesetaraan. Banyak investigasi dan analisis pada jaringan saraf Wang telah dipresentasikan
dalam karya sebelumnya [10, 12, 13]. Untuk memanfaatkan penuh jaringan saraf Wang, kami

mentransformasikannya

Tujuan : Jaringan saraf berbasis gradien (GNN) ditingkatkan dan disajikan untuk

penyelesaian persamaan aljabar linier. Kemudian, model GNN seperti itu digunakan untuk

solusi daring pemrograman cembung kuadratik (QP) dengan kendala kesetaraan dalam

penggunaan fungsi Lagrangian dan kondisi Karush-Kuhn-Tucker (KKT). Menurut arsitektur

elektronik dari GNN seperti itu, diketahui bahwa kinerja GNN yang disajikan dapat

ditingkatkan dengan mengadopsi berbagai array fungsi aktivasi dan / atau parameter desain.

Hasil simulasi komputer membuktikan bahwa GNN seperti itu dapat memperoleh solusi

akurat dari masalah QP

dengan cara yang efektif.

Metedologi : pemrograman cembung kuadrat ke dalam persamaan-matriks linear umum.

Selain itu, terinspirasi oleh metode desain jaringan saraf Zhang [2, 4, 5, 11, 12], jaringan saraf

berbasis gradien (GNN), yaitu, jaringan saraf Wang, ditingkatkan, dikembangkan, dan

diselidiki untuk solusi online dari pemrograman kuadratik cembung dengan penggunaan

fungsi Lagrangian dan kondisi Karush-KuhnTucker (KKT). Pada Bagian 5, hasil simulasi

komputer menunjukkan bahwa, dengan memperbaiki strukturnya, kita juga bisa mendapatkan

kinerja yang lebih baik untuk model jaringan saraf yang ada

Pembahasan :

Model Neural untuk Persamaan LinearSimultan

Pada bagian ini, model jaringan saraf berbasis gradien (GNN) disajikan untuk persamaan

linear simultan:

𝐴𝑥 = 𝑏,

di mana matriks koefisien nonsingular 𝐴: = [𝑎𝑖𝑗] ∈ 𝑅𝑛 × 𝑛 dan vektor koefisien 𝑏: = [𝑏1, 𝑏2,

𝑏3,. . . , 𝑏𝑛] 𝑇 ∈ 𝑅𝑛 diberikan sebagai konstanta dan 𝑥 ∈ 𝑅𝑛 adalah vektor yang tidak

diketahui yang harus dipecahkan untuk membuat (1) benar.

Menurut algoritma berbasis gradien tradisional [8, 10, 12], fungsi energi berbasis norma yang

bernilai skalar dihargai 𝜀 (𝑥): = ‖𝐴𝑥 - 𝑏‖ 2/2 pertama kali dibangun, dan kemudian

berkembang di sepanjang arah penurunan dihasilkan dari fungsi energi seperti itu, kita bisa

mendapatkan model GNN linier untuk solusi aljabar linier (1); itu adalah,

𝑥 = −𝛾𝐴̇ 𝑇
(𝐴𝑥 − 𝑏) ,

di mana 𝛾> 0 menunjukkan parameter desain konstan (atau tingkat pembelajaran) yang

digunakan untuk skala tingkat konvergen. Untuk meningkatkan kinerja konvergensi jaringan

saraf, terinspirasi oleh jaringan saraf Zhang [2, 4, 5, 11, 12], model linier (2) dapat

ditingkatkan dan dirumuskan kembali ke dalam bentuk nonlinier umum berikut:

𝑥 = −Γ𝐴̇ 𝐹 (𝐴𝑥 − 𝑏) ,
𝑇

di mana parameter desain Γ ∈ 𝑅𝑛 × 𝑛 adalah matriks positif-pasti, yang digunakan untuk

skala tingkat konvergensi solusi. Untuk mempermudah, kita dapat menggunakan 𝛾𝐼 sebagai

pengganti Γ dengan 𝛾> 0 ∈ 𝑅 [4, 11]. Selain itu, aktivasi-fungsi-array 𝐹 (⋅): 𝑅𝑛 → 𝑅𝑛 adalah

pemetaan bernilai matriks, di mana setiap unit proses yang dinilai skalar 𝑓 (⋅) adalah fungsi

aneh yang meningkat secara monoton. Secara umum, empat tipe dasar fungsi aktivasi, linier,

daya, fungsi sigmoid, dan fungsi sigmoid, dapat digunakan untuk konstruksi pemecah saraf

[4, 11]. Perilaku dari keempat fungsi ini ditunjukkan pada Gambar 1, yang menunjukkan

bahwa kinerja konvergensi yang berbeda dapat dicapai dengan menggunakan fungsi aktivasi

yang berbeda. Selain itu, fungsi aktivasi baru juga dapat dibuat berdasarkan empat fungsi

aktivasi di atas. Adapun model saraf (3), kita memiliki teorema berikut

Teorema 1.

Pertimbangkan koefisienmatriks nonsingular konstan 𝐴 ∈ 𝑅𝑛 × 𝑛 dan vektor koefisien 𝑏 ∈

𝑅𝑛. Jika array fungsi aktivasi ganjil yang meningkat secara monoton mon (⋅) digunakan,

maka status struktural𝑥 (𝑡) model struktural (3), mulai dari keadaan awal 𝑥 (0) ∈ 𝑅𝑛, akan

menyatu ke solusi unik 𝑥 ∗ = 𝐴 1− dari persamaan linear (1)

Bukti. Biarkan kesalahan solusi 𝑥 (𝑡) = 𝑥 (𝑡) - 𝑥̂ ∗ (𝑡). Untuk singkatnya, argumen selanjutnya

𝑡 dihilangkan. Lalu, dari (3), kita punya

𝑥 = −𝛾𝐴̂̇ 𝐹 (𝐴𝑥̂) ,
𝑇

di mana Γ = 𝛾𝐼 untuk kesederhanaan. Oleh karena itu, formulir entri dapat ditulis sebagai

𝑥̂̇𝑖 = −𝛾∑𝑎𝑗𝑖𝑓 (∑ (𝑎𝑖𝑗𝑥̂𝑗)) ,∀𝑖, 𝑗 ∈ {1, 2, 3, . . . , 𝑛} .

𝑗=1 𝑗=1

Kemudian, untuk menganalisis subsistem (5), kita dapat mendefinisikan fungsi kandidat

Lyapunov sebagai V𝑖 (𝑡) = (𝑥̂𝑖2) / 2. Jelas, V𝑖 (𝑡)> 0 untuk 𝑥̂𝑖 = 0̸, dan V𝑖 (𝑡) = 0 hanya untuk

𝑥̂𝑖 = 0. Dengan demikian, fungsi kandidat Lyapunov V𝑖 (𝑡) adalah fungsi yang tidak negatif.

Selanjutnya, dengan menggabungkan subsistem (5), kita bisa mendapatkan

fungsi waktu-turunan dari V𝑖 (𝑡) sebagai berikut

𝑑V𝑖 (𝑡) = 𝑥̂ 𝑥̂̇ = −𝛾𝑥̂ ∑𝑛 𝑎 𝑓 (∑𝑛 (𝑎 𝑥̂ ))

dimana (𝑎𝑖𝑗𝑥̂𝑗) Karena 𝑓 (⋅) adalah fungsi monoton yang aneh, kita memiliki we (−𝑢) = −𝑓

(𝑢) dan {{> 0 if 𝑢 > 0,

𝑓 (𝑢) {{= 0if 𝑢 = 0, (7)

{ <0 if 𝑢 < 0

Oleh karena itu, 𝛾𝑦𝑇𝑓 (𝑦)> 0 jika 𝑦 = 0̸, dan 𝛾𝑦𝑇𝑓 (𝑦) = 0 jika dan hanya jika 𝑦 = 0. Dengan

kata lain, turunan-waktu V̇𝑖 (𝑡) = −𝛾𝑦𝑇𝑓 (𝑦) tidak positif untuk setiap 𝑦. Ini dapat menjamin

bahwa V̇𝑖 (𝑡) adalah fungsi pasti-negatif. Dengan teori Lyapunov [14, 15], setiap entri

kesalahan solusi 𝑥̂𝑖 dalam subsistem (5) dapat konvergen ke nol; yaitu, 𝑥̂𝑖 → 0. Ini berarti

kesalahan solusi 𝑥 (𝑡) = ̂ 𝑥 (𝑡) - 𝑥 ∗ → 0 seiring waktu 𝑡 → ∞. Oleh karena itu, keadaan saraf

𝑥 (𝑡) dari model saraf (3) dapat bertemu dengan solusi unik 𝑥 ∗ = 𝐴 − 1𝑏 dari persamaan

linear (1). Bukti pada konvergensi model saraf (3) dengan demikian selesai.

Kesimpulan : Atas dasar jaringan saraf Wang, jaringan saraf berbasis gradien yang

ditingkatkan telah disajikan untuk solusi dari masalah pemrograman kuadratik cembung

secara real-time. Dibandingkan dengan tiga fungsi aktivasi lainnya, fungsi power-sigmoid

adalah pilihan terbaik untuk kinerja konvergensi yang unggul. Hasil simulasi komputer

semakin membuktikan bahwa model GNN yang disajikan dapat menyelesaikan masalah QP
cembung dengan akurasi dan efisiensi, dan kinerja konvergensi dapat diperoleh dengan

menggunakan fungsi aktivasi power-sigmoid