Beta Quantil - Indonesia
Beta Quantil - Indonesia
com
Haleh Akrami*1, Umar Zamzam*1, Anand Joshi1, Sergul Aydore2, Richard Leahy1
ABSTRAK Perlu dicatat bahwa jumlah data pelatihan yang tidak terbatas tidak
arXiv:2309.07374v1 [cs.LG] 14 Sep 2023
Regresi Kuantil (QR) dapat digunakan untuk memperkirakan ketidakpastian aleatorik di jaringan saraf dalam akan mengurangi ketidakpastian aleatorik, meskipun hal ini dapat
dan dapat menghasilkan interval prediksi. Mengukur ketidakpastian sangat penting dalam penerapan kritis seperti mengurangi ketidakpastian epistemik. Ada banyak metode untuk
diagnosis klinis, di mana penilaian ketidakpastian yang realistis sangat penting dalam menentukan status penyakit memperkirakan ketidakpastian ini, termasuk regresi proses
dan merencanakan pengobatan yang tepat. Penerapan model regresi kuantil yang paling umum adalah ketika Gaussian, jaringan saraf sadar ketidakpastian, jaringan saraf
kemungkinan parametrik tidak dapat ditentukan. Meskipun regresi kuantil cukup kuat terhadap observasi respons Bayesian, dan metode ansambel [1, 2, 3].
outlier, regresi kuantil dapat sensitif terhadap observasi (fitur) kovariat outlier. Fitur outlier dapat mengganggu Studi terbaru mengusulkan penggunaan regresi kuantil
performa masalah regresi pembelajaran mendalam seperti terjemahan gaya, rekonstruksi gambar, dan deteksi bersyarat untuk memperkirakan ketidakpastian aleatorik dalam
anomali mendalam, sehingga berpotensi menghasilkan kesimpulan yang menyesatkan. Untuk mengatasi masalah jaringan saraf [2, 4, 5, 6, 7] dan menunjukkan bahwa ia dapat
ini, kami mengusulkan solusi kuat untuk regresi kuantil yang menggabungkan konsep divergensi kuat. Kami menghitung interval yang dikalibrasi dengan baik. Penerapan model
membandingkan kinerja metode yang kami usulkan dengan (i) regresi kuantil yang paling sedikit dipangkas dan (ii) regresi kuantil yang paling umum adalah dalam kasus di mana
regresi yang kuat berdasarkan regularisasi parameter spesifik kasus dalam kumpulan data nyata sederhana dengan kemungkinan parametrik tidak dapat ditentukan [8]. Mirip dengan
adanya outlier. Metode-metode ini belum diterapkan dalam kerangka pembelajaran mendalam. Kami juga analisis regresi klasik yang memperkirakan mean kondisional, theα
menunjukkan penerapan metode yang diusulkan dengan menerapkannya pada tugas penerjemahan pencitraan regresi kuantil -th (0< α <1)mencari solusi untuk masalah minimalisasi
medis menggunakan model difusi. Kami membandingkan kinerja metode yang kami usulkan dengan (i) regresi berikut [8]:
kuantil yang paling sedikit dipangkas dan (ii) regresi yang kuat berdasarkan regularisasi parameter spesifik kasus ∑
dalam kumpulan data nyata sederhana dengan adanya outlier. Metode-metode ini belum diterapkan dalam
argumen min ρα(kamuSaya-Fθ(XSaya)), (1)
θ Saya
kerangka pembelajaran mendalam. Kami juga menunjukkan penerapan metode yang diusulkan dengan
menerapkannya pada tugas penerjemahan pencitraan medis menggunakan model difusi. Kami membandingkan Di manaXSayaadalah masukannya,kamuSayaadalah tanggapannya,Fadalah model yang
kinerja metode yang kami usulkan dengan (i) regresi kuantil yang paling sedikit dipangkas dan (ii) regresi yang kuat diparameterisasi olehθ, Danραadalahfungsi pemeriksaanataukekalahan pinball[8]
berdasarkan regularisasi parameter spesifik kasus dalam kumpulan data nyata sederhana dengan adanya outlier. didefinisikan sebagai:
Metode-metode ini belum diterapkan dalam kerangka pembelajaran mendalam. Kami juga menunjukkan penerapan {
metode yang diusulkan dengan menerapkannya pada tugas penerjemahan pencitraan medis menggunakan model
(kamuSaya-Fθ(XSaya))α, jikakamuSaya≥Fθ(XSaya)
ρα(kamuSaya-Fθ(XSaya)) =
difusi. (Fθ(XSaya)-kamuSaya)(1− α), jikakamuSaya<Fθ(XSaya)
Pertama, kita mulai dengan kumpulan data sederhana pada dan Lopez-Paz [4] menerapkan Regresi Kuantil (SQR) secara simultan
gugus bintang CYB OB1 yang dianalisis pada [11]. Dataset ini untuk memperkirakan ketidakpastian aleatorik dan menyarankan untuk
terdiri dari 47 observasi dimana empat titik dengan leverage memperkirakan semua tingkat kuantil secara bersamaan. Kami
tinggi tidak mengikuti tren data lainnya. Ia memiliki satu variabel memodelkan data menggunakan jaringan saraf tiga lapis dengan fungsi
penjelas yaitu logaritma suhu efektif di permukaan bintang. aktivasi ReLU. Kami kemudian menerapkan tiga metode tangguh TQR,
Variabel bebasnya adalah logaritma intensitas cahayanya. Para RCP, danβ-QR. Kami menggunakan SGD dengan pengoptimal ADAM
penulis telah menunjukkan kemanjuran regresi kuantil yang untuk pelatihan. Kami melatih TQR danβ-QR dengan ukuran batch 128
paling sedikit dipangkas dibandingkan dengan regresi kuantil dan dijalankan masing-masing selama 500 epoch. RCP dilatih selama
menggunakan optimasi program linier untuk menemukan sepuluh epoch dan 500 langkah optimasi berulang. Kami memperkirakan
parameter model. Namun, tujuan kami adalah untuk menyelidiki kinerja model kuat untuk kuantil 0,25, 0,5, dan 0,75. Hasil kami
ketahanan dalam jaringan saraf di mana solusinya akan dihitung menunjukkan hal ituβ-QR memperkirakan kuantil yang kuat dan hasil
menggunakan penurunan gradien stokastik (SGD). Kami yang sebanding dengan TQR (Gbr. 2).
Gambar 3.Memperkirakan T2 MRI QL(0,05),QH(0,95),QM(0,5) untuk model difusi dari T1 MRI. Membandingkan kuantil taksiran menggunakan
kuantil tidak kuat dan kuat (β-QR) model dengan model bebas outlier.
Tabel 1.Perbandingan kinerja TQR, RCP dan β-QR. Setiap Meja 2.Membandingkan kinerjaβ-QR dengan bebas outlier pada
entri menunjukkan norma Frobenius tentang perbedaan model dasar. Untuk kesalahan prediksi, MSE menghitung antara
antara estimasi kuantil dan kebenaran dasarnya (bebas ground truth T2 dan median masing-masing model
outlier) untuk kumpulan data gugus bintang CYB OB1. metode Kesalahan prediksi Kesalahan kuantitas
diandalkan dan kuantil yang rusak. Untuk mengurangi dampak buruk dari sampel outlier dan memulihkan keandalan model,
kami mengintegrasikan usulan fungsi kerugian kuat yang disajikan pada (4) ke dalam proses pelatihan. Fungsi kerugian ini 4. KESIMPULAN
dirancang untuk mengurangi pengaruh outlier selama pelatihan, sehingga secara efektif membawa performa model mendekati
performa model yang dilatih hanya pada data bersih dari set data Cam-CAN. Fungsi kerugian yang kuat digunakan untuk melatih Dalam makalah ini kami memperkenalkan pendekatan regresi kuantil
model dengan kumpulan data gabungan Cam-CAN dan BRATS. Hasil percobaan ini diilustrasikan pada Gambar 3, memberikan kuat yang dirancang untuk meningkatkan keandalan model
perbandingan kualitatif dari model yang dilatih. Tabel 2 menunjukkan hasil kuantitatif kami. Hasil ini dengan jelas menunjukkan pembelajaran mendalam dalam menghadapi outlier. Metode kami
hal itu Fungsi kerugian ini dirancang untuk mengurangi pengaruh outlier selama pelatihan, sehingga secara efektif membawa memanfaatkan konsep dari divergensi yang kuat hingga pengaruh
performa model mendekati performa model yang dilatih hanya pada data bersih dari set data Cam-CAN. Fungsi kerugian yang outlier yang lebih kecil selama pelatihan. Kami mendemonstrasikan
kuat digunakan untuk melatih model dengan kumpulan data gabungan Cam-CAN dan BRATS. Hasil percobaan ini diilustrasikan keefektifan pendekatan kami pada kumpulan data yang sederhana
pada Gambar 3, memberikan perbandingan kualitatif dari model yang dilatih. Tabel 2 menunjukkan hasil kuantitatif kami. Hasil ini namun nyata, menunjukkan kemampuannya dalam meningkatkan
dengan jelas menunjukkan hal itu Fungsi kerugian ini dirancang untuk mengurangi pengaruh outlier selama pelatihan, sehingga akurasi regresi kuantil dibandingkan dengan metode regresi kuantil
secara efektif membawa performa model mendekati performa model yang dilatih hanya pada data bersih dari set data Cam-CAN. kuat yang ada. Memperluas penerapan pada pencitraan medis, dan
Fungsi kerugian yang kuat digunakan untuk melatih model dengan kumpulan data gabungan Cam-CAN dan BRATS. Hasil menunjukkan kegunaan praktisnya, pendekatan yang diusulkan
percobaan ini diilustrasikan pada Gambar 3, memberikan perbandingan kualitatif dari model yang dilatih. Tabel 2 menunjukkan terbukti efektif dalam mengurangi efek outlier pada pelatihan model
hasil kuantitatif kami. Hasil ini dengan jelas menunjukkan hal itu memberikan perbandingan kualitatif dari model yang dilatih. difusi untuk menerjemahkan gambar otak MRI dari modalitas
Tabel 2 menunjukkan hasil kuantitatif kami. Hasil ini dengan jelas menunjukkan hal itu memberikan perbandingan kualitatif dari pembobotan T1 ke pembobotan T2, sehingga menjadikan kinerjanya
model yang dilatih. Tabel 2 menunjukkan hasil kuantitatif kami. Hasil ini dengan jelas menunjukkan hal itu lebih dekat dengan modalitas pembobotan T1 ke pembobotan T2.
model dilatih hanya pada data bersih.
5. REFERENSI [20] Chitwan Saharia, William Chan, Huiwen Chang, Chris Lee, Jonathan
Ho, Tim Salimans, David Fleet, dan Mohammad Norouzi, “Palette:
[1] Nicki Skafte, Martin Jørgensen, dan Søren Hauberg, “Pelatihan yang andal Model difusi gambar-ke-gambar,” dalamProsiding Konferensi ACM
dan estimasi jaringan varians,” diKemajuan dalam Sistem Pemrosesan SIGGRAPH 2022, 2022, hlm.1–10.
Informasi Neural, 2019, hlm.6323–6333.
[21] Jason R Taylor, Nitin Williams, Rhodri Cusack, Tibor Auer, Meredith A Shafto,
[2] Yaniv Romano, Evan Patterson, dan Emmanuel Candes, “Regresi kuantil Marie Dixon, Lorraine K Tyler, Richard N Henson, dkk., “Pusat Cambridge
terkonformalisasi,” dalamKemajuan dalam Sistem Pemrosesan Informasi untuk Penyimpanan Data Penuaan dan Ilmu Saraf (cam-can) : Data mri,
Neural, 2019, hlm.3543–3553. meg, dan kognitif struktural dan fungsional dari sampel umur orang
[3] Jakob Gawlikowski, Cedrique Rovile Njieutcheu Tassi, Mohsin Ali, Jongseok dewasa cross-sectional,”gambar saraf, jilid. 144, hal.262–269, 2017.
Lee, Matthias Humt, Jianxiang Feng, Anna Kruspe, Rudolph Triebel, Peter
Jung, Ribana Roscher, dkk., “Survei ketidakpastian dalam jaringan saraf [22] Bjoern H Menze, Andras Jakab, Stefan Bauer, Jayashree Kalpathy-
dalam,”Tinjauan Kecerdasan Buatan, hal.1–77, 2023. Cramer, Keyvan Farahani, Justin Kirby, Yuliya Burren, Nicole Porz,
[4] Natasa Tagasovska dan David Lopez-Paz, “Ketidakpastian model tunggal untuk Johannes Slotboom, Roland Wiest, dkk., “Patokan segmentasi
pembelajaran mendalam,” diKemajuan dalam Sistem Pemrosesan Informasi gambar tumor otak multimodal (anak nakal ),”Transaksi IEEE pada
Neural, 2019, hlm.6417–6428. pencitraan medis, jilid. 34, tidak. 10, hal. 1993–2024, 2014.
[5] Haleh Akrami, Anand Joshi, Sergul Aydore, dan Richard Leahy, “Regresi
kuantil untuk estimasi ketidakpastian dalam berbagai hal dengan aplikasi
untuk deteksi lesi otak,” diKonferensi Internasional tentang Pemrosesan
Informasi dalam Pencitraan Medis. Springer, 2021, hlm.689–700.
[6] Haleh Akrami, Anand Joshi, Sergul Aydore, dan Richard Leahy, “Regresi
kuantil mendalam untuk estimasi ketidakpastian dalam deteksi lesi tanpa
pengawasan dan pengawasan,”arXiv pracetak arXiv:2109.09374, 2021.
[7] Anastasios N Angelopoulos, Amit Pal Kohli, Stephen Bates, Michael Jordan,
Jitendra Malik, Thayer Alshaabi, Srigokul Upadhyayula, dan Yaniv Romano,
“Regresi gambar-ke-gambar dengan kuantifikasi ketidakpastian bebas
distribusi dan aplikasi dalam pencitraan,” diKonferensi Internasional
tentang Pembelajaran Mesin. PMLR, 2022, hlm.717–730.
[8] Keming Yu dan Rana A Moyeed, “Regresi kuantil Bayesian,” Statistik &
Surat Probabilitas, jilid. 54, tidak. 4, hal.437–447, 2001.
[9] Haleh Akrami, Anand A Joshi, Sergül Aydöre, dan Richard M Leahy, “Regresi kuantil
mendalam untuk estimasi ketidakpastian dalam deteksi lesi tanpa pengawasan
dan pengawasan,”Jurnal pembelajaran mesin untuk pencitraan biomedis, jilid. 1
Agustus 2022.