Lagrange multiplier

Dari Wikipedia, ensiklopedia bebas Langsung ke: navigasi , cari

Gambar 1: Menemukan x dan y untuk memaksimalkan (ditampilkan dalam warna merah) .

tunduk pada kendala

Gambar 2: Kontur peta Gambar 1. Garis merah menunjukkan kendala kontur kami , Solusinya adalah memaksimalkan

. Garis biru

. Titik di mana garis merah tangensial menyentuh kontur biru solution.Since

Dalam optimasi matematika , metode Lagrange (dinamai Joseph Louis Lagrange ) menyediakan strategi untuk menemukan maxima lokal dan minima dari fungsi tunduk pada kendala kesetaraan . Misalnya (lihat Gambar 1), mempertimbangkan masalah optimasi memaksimalkan tunduk

Kita membutuhkan keduanya dan memiliki turunan parsial pertama kontinu. Kami memperkenalkan variabel baru ( ) Disebut multiplier Lagrange dan mempelajari fungsi Lagrange yang didefinisikan oleh

dimana Istilah mungkin baik ditambah atau dikurangi. Jika

adalah maksimum

untuk masalah dibatasi asli, maka ada sehingga adalah titik stasioner untuk fungsi Lagrange (titik stasioner adalah titik di mana turunan parsial dari adalah nol, yaitu ). Namun, tidak semua titik stasioner menghasilkan solusi dari masalah asli. Dengan demikian, metode Lagrange menghasilkan kondisi yang diperlukan untuk optimal dalam masalah terbatas. [1] [2] [3] [4] [5] kondisi yang cukup untuk minimum atau maksimum juga ada.

Isi

1 Pendahuluan o 1.1 Belum tentu ekstrem 2 Penanganan beberapa kendala o Kendala 2,1 revisited Tunggal o 2.2 Beberapa kendala 3 Interpretasi pengganda Lagrange 4 Cukup kondisi 5 Contoh o 5.1 Contoh 1 o 5.2 Contoh 2 o 5.3 Contoh: entropi o 5.4 Contoh: optimasi numerik 6 Aplikasi o 6.1 Ekonomi o 6.2 Kontrol Teori 7 Lihat juga 8 Referensi 9 Pranala luar

Pendahuluan
Salah satu masalah yang paling umum dalam kalkulus adalah menemukan maksimum atau minimum (pada umumnya, "ekstrem") dari suatu fungsi, tetapi sering sulit untuk menemukan bentuk tertutup untuk fungsi yang sedang extremized. Kesulitan seperti itu sering muncul ketika seseorang ingin memaksimalkan atau meminimalkan fungsi sesuai dengan kondisi di luar tetap atau kendala. Metode Lagrange adalah alat yang ampuh untuk memecahkan masalah kelas ini tanpa perlu secara eksplisit memecahkan kondisi dan menggunakannya untuk menghilangkan variabel tambahan.

Pertimbangkan masalah dua dimensi diperkenalkan di atas: memaksimalkan tunduk Kita dapat membayangkan kontur dari f diberikan oleh

untuk berbagai nilai

, Dan kontur

diberikan oleh

Misalkan kita berjalan di sepanjang garis kontur dengan . Secara umum garis kontur dan mungkin berbeda, sehingga mengikuti garis kontur untuk orang bisa bersinggungan dengan atau menyeberangi garis kontur dari . Hal ini setara dengan mengatakan bahwa sementara bergerak sepanjang garis kontur untuk nilai dapat bervariasi. Hanya ketika garis kontur untuk memenuhi garis kontur tangensial , kita tidak menambah atau mengurangi nilai - Yaitu, ketika garis kontur sentuh tetapi tidak melewati. Garis kontur f dan g sentuhan ketika vektor singgung dari garis kontur sejajar. Karena gradien dari fungsi tegak lurus terhadap garis kontur, ini adalah sama dengan mengatakan bahwa gradien dari f dan g sejajar. Jadi kami ingin poin , dimana dimana dan

dan

adalah gradien masing. Konstanta diperlukan karena meskipun dua vektor gradien sejajar, besaran vektor gradien umumnya tidak sama. Untuk memasukkan kondisi menjadi satu persamaan, kami memperkenalkan sebuah fungsi tambahan

dan memecahkan

Ini adalah metode pengali Lagrange. Perhatikan bahwa .

menyiratkan

Tidak tentu ekstrem

The ekstrem terkendala merupakan titik kritis dari Lagrangian lokal (Lihat Contoh 2 di bawah). , Tetapi mereka tidak ekstrem

Satu dapat merumuskan Lagrangian tersebut sebagai Hamiltonian , dalam hal ini adalah solusi minimum lokal untuk Hamiltonian. Hal ini dilakukan dalam kontrol optimal teori, dalam bentuk prinsip minimum Pontryagin ini . Fakta bahwa solusi dari Lagrangian belum tentu ekstrem juga menimbulkan kesulitan untuk optimasi numerik. Hal ini dapat diatasi dengan menghitung besarnya gradien, sebagai nol besarnya adalah minima selalu lokal, seperti digambarkan dalam contoh optimasi numerik .

Penanganan beberapa kendala

Sebuah paraboloid, beberapa set level (garis kontur alias) dan 2 garis kendala.

Zoom pada set tingkat dan kendala, kita melihat bahwa dua baris kendala berpotongan untuk membentuk "joint" kendala yang titik. Karena hanya ada satu titik untuk menganalisis, titik yang sesuai pada paraboloid adalah otomatis minimum dan maksimum. Meskipun penalaran disederhanakan disajikan dalam bagian di atas tampaknya gagal karena level set tampaknya "menyeberang" titik dan pada saat yang sama gradien yang tidak sejajar dengan gradien kendala baik, pada kenyataannya, hubungan antara titik ini dan kontur tingkat mirip dengan hubungan garis singgung bola dalam ruang 3D. Jadi intinya masih dapat dianggap "bersinggungan" dengan kontur tingkat. Metode pengali Lagrange juga dapat mengakomodasi beberapa kendala. Untuk melihat bagaimana hal ini dilakukan, kita perlu menguji kembali masalah dalam cara yang sedikit berbeda karena konsep "persimpangan" dibahas di atas menjadi jelas dengan cepat ketika kita mempertimbangkan jenis kendala yang dibuat ketika kita memiliki lebih dari satu kendala bertindak bersama-sama. Sebagai contoh, mempertimbangkan paraboloid dengan kendala yang merupakan titik tunggal (seperti yang mungkin dibuat jika kita memiliki kendala baris 2 yang bersinggungan). Meskipun level set (yaitu, garis kontur) tampaknya "persimpangan" titik dan yang gradien tampaknya tidak menjadi sejajar dengan gradien dari salah satu dari dua kendala line, pada kenyataannya, hubungan antara titik dan garis kontur mirip dengan hubungan garis singgung bola dalam ruang 3D. Jadi intinya masih dapat dianggap "bersinggungan" dengan kontur tingkat. Dan intinya adalah jelas maksimum dan minimum karena hanya ada satu titik pada paraboloid yang memenuhi kendala. Sementara contoh ini tampaknya sedikit aneh, mudah untuk memahami dan merupakan perwakilan dari semacam kendala "efektif" yang muncul cukup sering ketika kita berurusan dengan beberapa kendala berpotongan. Dengan demikian, kita mengambil pendekatan yang sedikit berbeda di bawah ini untuk menjelaskan dan memperoleh metode Lagrange Multipliers dengan sejumlah kendala. Sepanjang bagian ini, variabel independen akan dilambangkan dengan sebagai sebuah kelompok, kami akan menunjukkan mereka sebagai dan, .

Juga, fungsi yang dianalisis akan dilambangkan dengan persamaan .

dan kendala akan diwakili oleh

Ide dasar pada dasarnya tetap sama: jika kita hanya mempertimbangkan titik-titik yang memenuhi kendala (yaitu berada di kendala), maka titik adalah titik stasioner (yaitu titik di wilayah "datar") dari f jika dan hanya jika kendala pada saat itu tidak memungkinkan gerakan ke arah mana perubahan nilai f. Setelah kita telah menemukan titik stasioner, kita perlu melakukan pemeriksaan lebih lanjut untuk melihat apakah kita telah menemukan minimal, titik maksimum atau hanya diam yang bukan. Kita mulai dengan mempertimbangkan tingkat set f di . Himpunan vektor mengandung petunjuk di mana kita dapat bergerak dan masih tetap dalam level set yang sama adalah arah di mana nilai f tidak berubah (yaitu perubahan sama dengan nol). Dengan demikian, untuk setiap vektor v di , Hubungan berikut harus memegang:

di mana notasi di atas berarti -Komponen dari vektor v. Persamaan di atas dapat ditulis ulang dalam bentuk geometris yang lebih kompak yang membantu intuisi kita:

Hal ini membuat jelas bahwa jika kita berada di p, maka semua arah dari titik yang tidak mengubah nilai f harus tegak lurus dengan (Gradien dari f di p).

Sekarang mari kita perhatikan efek dari kendala. Setiap kendala membatasi arah yang kita dapat bergerak dari titik tertentu dan masih memenuhi kendala. Kita dapat menggunakan prosedur yang sama, untuk mencari himpunan vektor mengandung petunjuk di mana kita dapat bergerak dan masih memenuhi kendala. Seperti di atas, untuk setiap vektor v di , Hubungan berikut harus memegang:

Dari ini, kita melihat bahwa pada titik p, segala arah dari titik ini yang masih akan memuaskan kendala ini harus tegak lurus dengan .

Sekarang kita siap untuk memperbaiki ide kami lebih lanjut dan menyelesaikan metode: titik pada f adalah titik stasioner terbatas jika dan hanya jika arah bahwa perubahan f melanggar setidaknya salah satu kendala. (Kita bisa melihat bahwa hal ini benar karena jika arah bahwa perubahan f tidak melanggar kendala, maka akan ada suatu "hukum" titik terdekat dengan nilai yang lebih tinggi atau lebih rendah untuk f dan titik saat kemudian akan tidak menjadi titik stasioner. )

kendala revisited Tunggal

Untuk kendala tunggal, kita menggunakan pernyataan di atas untuk mengatakan bahwa pada titik-titik stasioner arah bahwa perubahan f adalah dalam arah yang sama yang melanggar kendala. Untuk menentukan apakah dua vektor berada dalam arah yang sama, kami mencatat bahwa jika dua vektor mulai dari titik yang sama dan "dalam arah yang sama", maka salah satu vektor selalu bisa "mencapai" yang lain dengan mengubah panjang dan / atau membalik ke menunjukkan jalan yang berlawanan sepanjang jalur arah yang sama. Dengan cara ini, kita dapat dengan ringkas menyatakan bahwa dua vektor titik dalam arah yang sama jika dan hanya jika salah satu dari mereka dapat dikalikan oleh beberapa bilangan real sehingga mereka menjadi sama dengan yang lain. Jadi, untuk tujuan kita, kita mengharuskan:

Jika sekarang kita tambahkan lagi persamaan simultan untuk menjamin bahwa kita hanya melakukan tes ini ketika kita berada pada titik yang memenuhi kendala, kita berakhir dengan 2 persamaan simultan bahwa ketika dipecahkan, mengidentifikasi semua titik stasioner terbatas:

Perhatikan bahwa di atas adalah cara singkat menulis persamaan. Sepenuhnya diperluas, ada simultan persamaan yang perlu dipecahkan untuk variabel yang dan :

Beberapa kendala
Selama lebih dari satu kendala, alasan yang sama berlaku. Jika dua atau lebih kendala aktif bersama-sama, masing-masing memberikan kontribusi kendala arah yang akan melanggarnya. Bersama-sama, "arah pelanggaran" membentuk "ruang pelanggaran", di mana gerakan kecil dalam segala arah dalam ruang akan melanggar satu atau lebih kendala. Dengan demikian, untuk memenuhi beberapa kendala kita bisa state (menggunakan terminologi baru) bahwa pada titik stasioner, arah bahwa perubahan f adalah dalam "ruang pelanggaran" yang diciptakan oleh kendala bertindak bersama-sama. Ruang pelanggaran diciptakan oleh kendala terdiri dari semua poin yang dapat dicapai dengan menambahkan kombinasi linear dari vektor arah pelanggaran-dengan kata lain, semua poin yang "terjangkau" ketika kita menggunakan arah pelanggaran individu sebagai dasar ruang . Dengan demikian, kita dapat secara singkat menyatakan bahwa v berada dalam ruang didefinisikan oleh jika dan hanya jika terdapat satu set "pengganda" sedemikian rupa sehingga:

yang bagi, kami menerjemahkan tujuan untuk menyatakan bahwa arah yang berubah f pada p adalah di "ruang pelanggaran" didefinisikan oleh kendala jika dan hanya jika:

Seperti sebelumnya, kita sekarang menambahkan persamaan simultan untuk menjamin bahwa kita hanya melakukan tes ini ketika kita berada pada titik yang memenuhi kendala setiap, kita berakhir dengan persamaan simultan bahwa ketika dipecahkan, mengidentifikasi semua titik stasioner terbatas:

Metode selesai sekarang (dari sudut pandang pemecahan masalah menemukan titik stasioner) tetapi sebagai matematikawan senang dalam melakukan, persamaan dapat lebih kental ke dalam bentuk yang lebih elegan dan ringkas. Lagrange harus cerdik menyadari bahwa persamaan di atas terlihat seperti derivatif parsial dari beberapa fungsi skalar L besar yang mengambil semua dan semua sebagai masukan. Selanjutnya, ia kemudian mungkin telah memperhatikan bahwa pengaturan setiap persamaan sama dengan nol adalah persis apa yang harus dilakukan untuk memecahkan titik stasioner tak terbatas dari fungsi yang lebih besar. Akhirnya, ia menunjukkan bahwa L fungsi yang lebih besar dengan derivatif parsial yang persis yang kita butuhkan dapat dibangun sangat sederhana sebagai berikut:

Memecahkan persamaan di atas untuk poin tak terbatas yang stasioner menghasilkan persis titik stasioner sama dengan pemecahan untuk titik stasioner dibatasi dari f di bawah kendala . Untuk menghormati Lagrange, fungsi di atas disebut Lagrangian, skalar disebut Lagrange Multipliers dan metode optimasi sendiri disebut Metode pengali Lagrange. Metode Lagrange adalah umum oleh Karush-Kuhn-Tucker kondisi , yang juga dapat mempertimbangkan kendala ketimpangan rekening bentuk h (x) c.

Interpretasi pengganda Lagrange

Seringkali pengganda Lagrange memiliki tafsir karena beberapa kuantitas bunga. Misalnya, jika ekspresi adalah Lagrangian

kemudian

Jadi, k adalah laju perubahan kuantitas yang dioptimalkan sebagai fungsi dari variabel kendala. Sebagai contoh, dalam mekanika Lagrangian persamaan gerak yang diperoleh dengan mencari titik stasioner dari tindakan , waktu integral dari perbedaan antara energi kinetik dan potensial. Dengan demikian, gaya pada partikel karena potensi skalar, , Dapat diartikan sebagai pengali Lagrange menentukan perubahan dalam tindakan (transfer potensial menjadi energi kinetik) setelah variasi dalam lintasan partikel dibatasi. Dalam teori kontrol ini dirumuskan bukan sebagai persamaan costate . Selain itu, dengan teorema amplop nilai optimal dari multiplier Lagrange memiliki interpretasi sebagai efek marginal dari kendala yang sesuai konstan pada nilai dicapai optimal dari fungsi tujuan aslinya: jika kita menunjukkan nilai di optimum dengan tanda bintang, maka dapat ditunjukkan bahwa

Misalnya, di bidang ekonomi keuntungan optimal untuk pemain dihitung tunduk pada ruang dibatasi tindakan, di mana pengali Lagrange adalah perubahan nilai optimal dari fungsi tujuan karena relaksasi dari kendala tertentu (misalnya melalui perubahan Pendapatan), dalam konteks seperti adalah biaya marjinal dari kendala tersebut, dan disebut sebagai harga bayangan .

kondisi yang cukup

Artikel utama: matriks Hessian # Berbatasan Hessian Kondisi cukup untuk maksimum lokal dibatasi atau minimum dapat dinyatakan dalam urutan minor utama (penentu kiri atas-dibenarkan sub-matriks) dari berbatasan matriks Hessian dari turunan kedua dari ekspresi Lagrangian. [6]

Contoh
Contoh 1

Gambar. 3. Ilustrasi dari masalah optimasi dibatasi Misalkan kita ingin memaksimalkan tunduk pada kendala Set layak adalah lingkaran satuan, dan tingkat set dari f adalah garis diagonal (dengan kemiringan -1), sehingga kita dapat melihat grafis yang maksimum terjadi pada , Dan bahwa minimum terjadi pada Menggunakan metode pengganda Lagrange, kami telah . , Maka . Mengatur gradien hasil sistem persamaan .

di mana persamaan terakhir adalah kendala asli. Dua yang pertama persamaan hasil Mensubstitusikan ke hasil persamaan terakhir dan , Di mana , Sehingga .

, Yang berarti bahwa titik stasioner yang

dan

. Mengevaluasi fungsi f obyektif tersebut menghasilkan poin

sehingga maksimum adalah , Yang dicapai pada

, Yang dicapai pada .

, Dan minimum adalah

Contoh 2

Gambar. 4. Ilustrasi dari masalah optimasi dibatasi Misalkan kita ingin mencari nilai maksimum

dengan kondisi bahwa x dan y koordinat terletak pada lingkaran di sekitar asal dengan jari-jari, 3 yaitu, tunduk pada kendala

Karena hanya ada satu kendala tunggal, kita akan menggunakan hanya satu multiplier, katakanlah . Kendala g (x, y) -3 sama dengan nol pada lingkaran dengan jari-jari 3. Jadi apapun -3 beberapa g (x, y) dapat ditambahkan ke f (x, y) meninggalkan f (x, y) tidak berubah di daerah bunga (di atas lingkaran di mana kendala asli kami puas). Mari

Yang penting nilai-nilai

terjadi di mana gradien adalah nol. Derivatif parsial

Persamaan (iii) hanya kendala aslinya. Persamaan (i) menyiratkan

atau = - y. Dalam

kasus pertama, jika x = 0 maka kita harus memiliki oleh (iii) dan kemudian oleh (ii) = 0. Dalam kasus kedua, jika = - y dan menggantikannya ke dalam persamaan (ii) kita mendapati bahwa,

Kemudian x 2 = 2 y 2. Mensubstitusikan ke dalam persamaan (iii) dan memecahkan untuk y memberikan ini nilai y:

Jadi ada enam poin penting:

Mengevaluasi tujuan pada titik-titik, kita menemukan

Oleh karena itu, fungsi tujuan mencapai yang maksimum global (tunduk pada batasan) pada dan minimum global di Hessian dari . adalah titik kritis , Itu bukan titik ekstrem lokal. . Mengingat setiap , Kita dapat memilih positif kecil dan kecil nilai baik besar dan kurang dari . dari salah satu tanda Intinya adalah minimum lokal dan

adalah sebuah maksimum lokal , sebagaimana ditentukan oleh pertimbangan matriks

Perhatikan bahwa sementara Kami memiliki lingkungan untuk mendapatkan

Contoh: entropi
Misalkan kita ingin menemukan distribusi probabilitas diskrit pada poin dengan maksimal entropi informasi . Ini adalah sama dengan mengatakan bahwa kita ingin menemukan setidaknya bias distribusi probabilitas pada poin . Dengan kata lain, kita ingin memaksimalkan entropi Shannon persamaan:

Untuk ini menjadi distribusi probabilitas jumlah dari probabilitas sama dengan 1, sehingga kendala kami adalah = 1:

pada setiap titik

harus

Kami menggunakan pengali Lagrange untuk menemukan titik entropi maksimum, distribusi probabilitas diskrit pada . Kami mengharuskan:

, Di semua

yang memberikan sistem n persamaan,

, Sehingga:

Melaksanakan diferensiasi dari n persamaan, kita mendapatkan

Hal ini menunjukkan bahwa semua adalah sama (karena mereka bergantung pada saja). Dengan menggunakan kendala j p j = 1, kita menemukan

Oleh karena itu, distribusi seragam distribusi dengan entropi terbesar, diantara distribusi pada poin n.

Contoh: optimasi numerik

Pengali Lagrange menyebabkan titik-titik kritis terjadi pada titik-titik pelana.

Besarnya gradien dapat digunakan untuk memaksa titik rawan terjadi pada minimum lokal. Dengan pengali Lagrange, titik kritis terjadi pada titik pelana , bukan di maxima lokal (atau minimum). Sayangnya, teknik optimasi numerik banyak, seperti mendaki bukit , gradient descent , beberapa kuasi-Newton metode , antara lain, dirancang untuk menemukan maxima lokal (atau minimum) dan bukan poin pelana. Untuk alasan ini, satu baik harus memodifikasi formulasi untuk memastikan bahwa itu adalah masalah minimisasi (misalnya, dengan extremizing kuadrat dari gradien dari Lagrangian sebagai berikut), atau menggunakan teknik optimasi yang menemukan titik stasioner (seperti metode Newton tanpa extremum mencari cari baris ) dan belum tentu ekstrem.

Sebagai contoh sederhana, mempertimbangkan masalah mencari nilai x yang meminimalkan , Dibatasi sedemikian rupa sehingga . (Masalah ini agak patologis karena hanya ada dua nilai yang memenuhi kendala ini, tetapi berguna untuk tujuan ilustrasi karena fungsi tak terbatas terkait dapat divisualisasikan dalam tiga dimensi.) Menggunakan pengganda Lagrange, masalah ini dapat diubah menjadi masalah optimasi tak terbatas:

Dua titik kritis terjadi pada titik pelana mana

dan

Untuk memecahkan masalah ini dengan teknik optimasi numerik, pertama-tama kita harus mengubah ini masalah tersebut bahwa titik kritis terjadi pada minimum lokal. Hal ini dilakukan dengan menghitung besarnya gradien dari masalah optimasi tak terbatas. Pertama, kita menghitung turunan parsial dari masalah dibatasi berkenaan dengan masingmasing variabel:

Jika fungsi target tidak mudah terdiferensiasi, diferensial sehubungan dengan masing-masing variabel dapat diperkirakan sebagai

, , dimana adalah nilai kecil. Berikutnya, kita menghitung besarnya gradien, yang merupakan akar kuadrat dari jumlah kuadrat d

ari derivatif parsial:

(Karena besarnya selalu non-negatif, mengoptimalkan lebih besarnya kuadrat-setara dengan mengoptimalkan lebih besarnya demikian,. Akar kuadrat `` "dapat dihilangkan dari persamaan ini dengan tidak ada perbedaan yang diharapkan dalam hasil optimasi.) Titik rawan terjadi pada h dan , Seperti dalam . Berbeda dengan titik kritis dalam Namun, titik-titik kritis dalam h terjadi pada minimum lokal, sehingga teknik optimasi numerik dapat digunakan untuk menemukan mereka.

Aplikasi