HENGKI MURADI

G161180031

SEKOLAH PASCASARJANA STATISTIKA FMIPA

INSTITUT PERTANIAN BOGOR
2019
 Pendahuluan
 Komputasi Untuk Grup Lasso
 Komputasi Untuk Grup Lasso Yang Jarang
 Contoh
 Model yang di estimasi adalah model linear dimana 𝑌𝑁𝑥1 dan 𝑋𝑁 𝑥 𝑝
 Dimisalkan sebanyak 𝑝 variabel predictor dibagi menjadi 𝐿 grup, dimana
𝑝𝑙 merupakan jumlah variabel predictor di dalam grup 𝑙.
 𝑋𝑙 adalah matriks predictor yang berhubungan dengan grup 𝑘𝑒 − 𝑙 dan vaktor 𝛽𝑙 .
 Diasumsikan bahwa 𝑦 𝑑𝑎𝑛 𝑋 memiliki center dan semua variabel memiliki mean
sama dengan 0.
 Yuan & Lin (2007) mengusulkan grup lasso yang memecahkan masalah optimasi
konveks.
𝐿 𝐿

min ||𝑦 − 1 − ෍ 𝑋𝑙 𝛽𝑙 ||22 + 𝜆 ෍ 𝑝𝑙 𝛽𝑙 2

𝛽∈𝑅𝑝
𝑙=1 𝑙=1

 Meier et.al (2008) memperluas grup Lasso pada logistic regression.

 Namun, Grup laso tidak menghasilkan sparsitas dalam suatu kelompok. Artinya,
jika sekelompok parameter tidak nol, semuanya akan menjadi tidak nol. Friedman
et.al (2010) mengusulkan penalti yang lebih umum yang menghasilkan sparsity
pada tingkat fitur grup dan individual, untuk memilih grup dan prediktor dalam
grup.
 Kriteria the Sparse Group Lasso:
𝐿 𝐿

min ||𝑦 − 1 − ෍ 𝑋𝑙 𝛽𝑙 ||22 + 𝜆1 ෍ 𝑝𝑙 𝛽𝑙 2 + 𝜆2 | 𝛽 |1

𝛽∈𝑅𝑝
𝑙=1 𝑙=1

 Jika 𝜆2 = 0 maka persamaan diatas menjadi grup lasso.

 Subgradient grup lasso:

𝑋𝑙𝑇 𝑦 − ෍ 𝑋𝑙 𝛽𝑙 + 𝜆. 𝑠𝑙 = 0
𝑙
𝛽𝑙
 Dimana jika 𝛽𝑙 ≠ 0 maka 𝑠𝑙 = dan jika 𝛽𝑙 = 0 maka 𝑠𝑙 merupakan vector dengan
𝛽𝑙
| 𝑠𝑙 |2 < 1.
 Jika 𝑋𝑙𝑇 σ𝑘≠𝑙 𝑋𝑘 𝛽መ𝑘 < 𝜆 maka 𝛽መ𝑙 = 𝟎.

 Jika 𝑋𝑙𝑇 σ𝑘≠𝑙 𝑋𝑘 𝛽መ𝑘 ≥ 𝜆 maka

−1
𝛽መ𝑙 = 𝑋𝑙𝑇 𝑋𝑙 + 𝜆ൗ ෡𝑙
𝛽
𝑋𝑙𝑇 𝑦 − σ𝑘≠𝑙 𝑋𝑘 𝛽መ𝑘
 Jika diasumsikan 𝑋𝑙𝑇 𝑋𝑙 = 𝑰 dan 𝑠𝑙 = 𝑋𝑙𝑇 𝑦 − σ𝑘≠𝑙 𝑋𝑘 𝛽መ𝑘 maka
𝛽መ𝑙 = 1 − 𝜆/| 𝑠𝑙 | 𝑠𝑙
 Namun jika prediktornya tidak ortonormal, salah satu pendekatan adalah untuk
ortonormalkan sebelum menerapkan grup lasso.
 Jika 𝑋𝑙 = 𝑈𝐷𝑉 𝑇 maka kolom-kolom 𝑈 = 𝑋𝑙 𝑉𝐷 −1 ortonormal.
 Kriteria
grup lasso dapat dipisahkan sehingga desentralisasi blok dapat
digunakan untuk optimalisasi.
 Friedman, et.al (2010) focus pada satu grup 𝑙 dan varaibel predictor yakni 𝑋𝑙 = 𝑍 =
𝑍1 , 𝑍2 , … , 𝑍𝑘 , serta koefisien dinotasikan 𝛽𝑙 = 𝜃 = (𝜃1 , 𝜃2 , … , 𝜃𝑘 ) dan residual 𝑟 =
𝑦 − σ𝑘≠𝑙 𝑋𝑘 𝛽𝑘 .
 Subgradient:
𝑍𝑗𝑇 𝑟 − ෍ 𝑍𝑗 𝜃𝑗 + 𝜆1 𝑠𝑗 + 𝜆2 𝑡𝑗 = 0
𝑗
𝜃𝑗
 Untuk 𝑗 = 1,2, … , 𝑘 dimana jika 𝜃𝑙 ≠ 0 maka 𝑠𝑗 = ൗ| 𝜃 | dan jika 𝜃𝑙 = 0 𝑚𝑎𝑘𝑎 | 𝑠 |2 ≤
1.