Home Work #4: Logistic Regression

(Tugas dikerjakan sendiri dengan tulisan tangan dan dibuat softcopy pdf-nya yang masih
mudah terbaca, tidak buram karena kurang cahaya atau terlihat kabur tulisannya.
Pengumpulan dilakukan secara online di situs kuliah.itb.ac.id paling lambat hari Kamis, 1
Oktober pukul 23.55)

! #$% (( "∑#
"$% (" *" )
1. Diberikan 𝑃(𝑌 = 0|𝑋) = !"#$% (( # dan 𝑃(𝑌 = 1|𝑋) = !"#$% ((! #
! "∑"$% (" *" ) ! "∑"$% (" *" )

!𝑋 ! , 𝑌 ! % adalah pasangan masukan dan keluaran dari data pelatihan ke-𝑙.

"#(%)
Jika 𝐿(𝑊) = ln 𝑃!𝑌 ! 0𝑋 ! , 𝑊% , tunjukkan bahwa = ∑( 𝑋(! (𝑌 ! − 𝑃3(𝑌 ! |𝑋 ! , 𝑊)).
"'!

2. Untuk model logistic regression multi-kelas, posterior probability diberikan oleh:

*+, ('
"# .∑$
!%& '"! 0! )
𝑃(𝑌 = 𝑦) |𝑋 = 𝑥) = 1.∑()& *+, (' $ untuk 𝑘 = 1, … , 𝐾 − 1
'%* '# .∑!%& ''! 0! )

1
𝑃(𝑌 = 𝑦2 |𝑋 = 𝑥) =
1+ ∑271
36! exp (𝑤34 + ∑5(61 𝑤3( 𝑥( )

Dimana 𝑤,- menyatakan bobot untuk kelas ke-m dengan 𝑌 = 𝑦. dan masukan 𝑥- .
Setiap input adalah sebuah vektor dengan dimansi n. Untuk mempermudah notasi,
diasumsikan bahwa nilai 𝑤/- = 0 sehingga secara menyeluruh bisa kita tuliskan
kedua persamaan di atas menjadi:

*+, ('
"# .∑$
!%& '"! 0! )
𝑃(𝑌 = 𝑦) |𝑋) = 1.∑()& *+, (' $ untuk 𝑘 = 1, … , 𝐾
'%* '# .∑!%& ''! 0! )

a. Berapa banyak parameter yang diperlukan dan apa parameter tersebut?
b. Diberikan data pelatihan sebanyak S sampel: {(𝑥 ! , 𝑦! ), (𝑥 0 , 𝑦 0 ), … , (𝑥 1 , 𝑦 1 )},
tuliskan secara eksplisit fungsi log likelihood dan sederhanakan semaksimal
mungkin.
8

𝐿(𝑤1 , … , 𝑤271 ) = @ ln 𝑃(𝑌 = 𝑦( , |𝑋 = 𝑥( )

(61

c. Hitung dan sederhanakan gradient L untuk setiap 𝑤. .

3 2 0
d. Jika ditambahkan term regularisasi 0 ∑/5!
,4! ∑-4! 𝑤,- sehingga fungsi
obyektifnya menjadi :
/5!
𝜆 3
0
𝐹(𝑤! , … , 𝑤/5! ) = 𝐿(𝑤! , … , 𝑤/5! ) − 8 8 𝑤,-
2 -4!
,4!

Hitung gradient F untuk setiap 𝑤𝑘 .