Maksimum Likelihood Estimation pada Regresi Linier dan Regresi Logistik

http://oc.its.ac.id/jurusan.php?fid=1&jid=3
wiwiek@statistika.its.ac.id
Prosedur penaksiran parameter menggunakan metode
MLE adalah berikut :
1. Menuliskan model dugaan.
2. Menuliskan PDF variabel respon setiap eksperimen,
disesuaikan dengan model dugaan.
3. Mengalikan n PDF variabel respon (bila terdapat n
eksperimen); ini merupakan fungsi likelihood.
4. Melakukan operasi ln pada fungsi likelihood.
5. Menurunkan fungsi ln likelihood terhadap parameter
yang akan ditaksir, yaitu : koefisien regresi (0 & 1)
dan variansi error(
2
), bila model dugaan adalah mo-
del regresi sederhana.
Penerapan metode MLE pada regresi linier
sederhana
1. Model dugaan setiap eksperimen :
Yi = 0 + 1Xi + i, i ~ N(0,
2
)
Yi ~ N(i, ,
2
), i = E(Yi) = E(0 + 1Xi + i)
= 0 + 1Xi

2
= var(Yi)
2. PDF variabel respon setiap eksperimen :
Eksperimen
ke
PDF
1
2
n

,
_

,
_

,
_

2
2
1 1 0 1
5 , 0 2
2
1 1
5 , 0 2 1
2
)) ( (
exp
) 2 (
1
2
1
exp
) 2 (
1
) (
1

X y
y
y f
Y

,
_

,
_

,
_

2
2
2 1 0 1
5 , 0 2
2
2 2
5 , 0 2 2
2
)) ( (
exp
) 2 (
1
2
1
exp
) 2 (
1
) (
2

X y
y
y f
Y
.
.
.

,
_

,
_

,
_

2
2
1 0
5 , 0 2
2
5 , 0 2
2
)) ( (
exp
) 2 (
1
2
1
exp
) 2 (
1
) (

n n
n n
n Y
X y
y
y f
n
3. Fungsi Likelihood :
L

,
_

+

2
2
1 1 0 1
5 , 0 2
2
)) ( (
exp
) 2 (
1

X y
X

,
_

2
2
2 1 0 2
5 , 0 2
2
)) ( (
exp
) 2 (
1

X y
X . . . X

,
_

2
2
1 0
5 , 0 2
2
)) ( (
exp
) 2 (
1

n n
X y
.

,
_

n
i
i i n
X y L
1
2
1 0 2 5 , 0 2
)) ( (
2
1
exp
) 2 (
1


4. ln fungsi likelihood :

,
_

+
+

,
_

+
n
i
i i
n
n
i
i i n
X y
X y
L
1
2
1 0
1 2
5 , 0 2
1
2
1 0
2
5 , 0 2
)) ( (
2
) (
) 2 ln(
)) ( (
2
1
) 2 ln( ln

lnL maksimum bila

+
n
i
i i
X y
1
2
1 0
)) ( ( minimum; ini
merupakan jumlah kuadrat error metode least square,
sehingga rumus penaksir koefisien regresi seperti pada
metode least square; termasuk rumus untuk standart error
penaksir koefisien regresi.
5. Penurunan fungsi likelihood

0 ) ( ) (
2
1
) 1 (
1
2
)) ( ( ) (
2
1
) 1 (
1
2 ) (
ln
1
2 2 2
2
1
2
1 0
2 2
2 2

,
_

+
,
_

n
i
i
n
i
i i
n
X y
n
d
L d

,
_

n
i
i
n
i
i
n maka
n
1
2 2
1
2 2
2
/ ) ( ) (
2
1 1
2

Penaksir ini bias, yang tak bias ialah :
) 2 /( ) (
1
2 2

n
i
i
n
Penaksir parameter mejadi takbias bila n besar.
Selang kepercayaan parameter didapatkan seperti pada
metode least square, begitu pula dengan pengujian hipo-
tesis secara parsial.
Pengujian hipotesis secara sequensial menggunakan sta-
tistik uji perbandingan nilai likelihood. Nilai likelihood
ialah nilai yang didapatkan dengan cara mensubstitusikan
nilai penaksir parameter pada fungsi likelihood.
Contoh :
x 1 2 3 4 5 6 7 8
y 1 1,2 1,8 2,5 3,6 4,7 6,6 9,1
Model dugaan : Yi = 0 + 1Xi + , atau Yi = b0 + b1Xi
Nilai penaksir :
b0 = -1,20 b1 = 1,11 SSE = 5,03 s1
2
= SSE/8 = 0,6288
MSE = SSE/6 = 0,84
Nilai likelihood, yaitu L(y;b0,b1, s1
2
) =
2 / 2
) 2 (
n
e


= (10,7397)
-4
Nilai likelihood untuk model-model yang lain :
L(y;b0,s0
2
) = (121,8426)
-4
, L(y;b0,b1,b2 ,s2
2
) = (0,4270)
-4
Perumusan hipotesis dan statistik uji menggunakan per-
bandingan nilai likelihood :
Perumusan
hipotesis
Statistik uji, dinotasikan X
2
H0: 1 = 0
H1: 1 0

,
_

,
_

2
1
2
0
2
1 1 0
2
0 0
ln
) , , ; (
) , ; (
ln 2
s
s
n
s y L
s y L

= 19,43
H0: 2 = 0
H1: 2 0

,
_

,
_

2
2
2
1
2
2 2 1 0
2
1 1 0
ln
) , , , ; (
) , , ; (
ln 2
s
s
n
s y L
s y L


= 25,8
H0: 1 = 2
= 0

,
_

,
_

2
2
2
0
2
2 2 1 0
2
0 0
ln
) , , , ; (
) , ; (
ln 2
s
s
n
s y L
s y L

= 45,23
) , , , ; ( ) , , ; ( ) , ; (
2
2 2 1 0
2
1 1 0
2
0 0
s y L s y L s y L < <
Catatan : L(y;b0,b1,b2 ,s2
2
) untuk model kuadratik.
Perumusan
hipotesis
Distribusi Statistik uji
bila H0 benar
Titik Kritis
Daerah
Penolakan H0
Kesimpulan
H0: 1 = 0
H1: 1 0
2
1
2
~ X
2
, 1

=
. . .
2
, 1
2

> X
. . .
H0: 2 = 0
H1: 2 0
2
1
2
~ X
2
, 1

=
. . .
2
, 1
2

> X
. . .
H0: 1 = 2 = 0
2
2
2
~ X
2
, 2

=
. . .
2
, 2
2

> X
. . .
Isilah titik-titik pada tabel di atas dengan hasil tabel atau perhitungan yang benar.
Model mana yang terbaik? Berilah alasan.
Penerapan metode MLE pada Regresi
Logistik
Regresi Logistik ialah regresi dengan variabel respon ter-
diri dari dua kejadian, sukses atau gagal, disebut respon
biner; sehingga hasil kejadian tersebut dapat didekati o-
leh distribusi Binomial. Selanjutnya, yang dimodelkan
ialah probabilitas terjadi sukses, dengan prediktor yang
diduga berkontribusi terhadap kejadian sukses.
Model regresi logistik dinyatakan dengan persamaan :
x
T
i
x

+

e
P
i
1
1
) (
i = 1, 2, ... , s
dengan : P(xi) adalah probabilitas terjadi sukses pada
kelompok ke i,
xi
T
= 0 + 1xi , bila digunakan satu prediktor.
Proses penaksiran parameter didahului oleh pembentukan
fungsi likelihood. Misal eksperimen menggunakan s ke-
lompok, setiap kelompok dinamai kelompok ke i, i = 1,
2, ... , s. Pada setiap kelompok terdapat ni subyek atau u-
nit eksperimen, dan diantaranya terdapat ri sukses.
Dengan asumsi terjadinya sukses atau tidak sukses ber-
distribusi binomial, maka PDF banyak sukses setiap ke-
lompok ke i, dengan ni subyek dan probabilitas setiap
subyek sukses P(xi), adalah :
[ ] [ ]
i i
T
i
T
i
i
T
i
i i i
r n
x
x
r
x
r n
i
r
i
e
e
e
x P x P

1
1
]
1

+
1
]
1

1 1
1
* ) ( 1 ) ( *
Tanda * pada persamaan di atas seharusnya diisi kombi-
nasi(ni,ri) atau ( )
i
i
n
r
, tetapi ini akan hilang pada proses
hasil pendeferensialan disamadengankan 0, sehingga ti-
dak perlu dituliskan.
Fungsi Likelihood menjadi :
L() =

1
1
]
1

+
1
]
1

+
s
i
r n
x
x
r
x
i i
T
i
T
i
i
T
i
e
e
e 1 1 1
1

ln L() =
]} [ )] ln(1 [ {
1
x - x
T
i
x
T
i
T
i
+

i
s
i
i
r e n

Khusus untuk satu prediktor, xi
T
= 0 + 1xi, sehingga
ln fungsi likelihood menjadi :
]} x ( [ )] ln(1 x ( [ { ) ( ln
1 0
1
) (
1 0
1 0
) - )
1 1


+ + +

+
i
s
i
x
i
r e n L

] ) x ( [ ) ln(1 )] x ( [
1
1 0
1 1
) (
1 0
1 0


+
+ + +
s
i
i
s
i
s
i
x
i i
r e n n
1 1
-

Selanjutnya ln fungsi likelihood diturunkan terhadap 0
dan 1 , kemudian masing-masing disamadengankan 0,
sehingga didapatkan :


+
+

1
]
1

s
i
i
s
i
x
x
i
r
e
e
n
L
i
i
1 1
) (
) (
0
0
1 (
1
) ( ln
1 0
1 0

+
+

1
]
1

s
i
i i
s
i
x
x
i
x r x
e
e
n
L
i
i
1 1
) (
) (
1
0
1 (
1
) ( ln
1 0
1 0

Buktikan!
Penaksir 0 dan 1 didapatkan dari solusi dua persamaan
di atas. Solusi tidak dapat dihitung secara langsung, teta-
pi harus melalui iterasi yang lazim digunakan pada meto-
de numerik.
Adapun perumusan hipotesis dan statistik uji (dilakukan
dengan menggunakan perbandingan nilai likelihood) a-
dalah sebagai berikut :
H0 : 1 = 0 , artinya pengaruh prediktor terhadap kejadian
sukses tidak bermakna,
H1 : 1 0
Statistik uji :
1
]
1

(
)

(
ln 2 ) (
P L
L

dengan : ( ) ( )
i i
i i
i
i
i
i
r n
r n
n
s
i
r
r
n
P L

1
)

1
1
]
1

+
1
]
1

s
i
r n
x
x
r
x
i i
T
i
T
i
i
T
i
e
e
e
L
1 1 1
1
)

Distribusi Statistik uji bila H0 benar adalah :

2
1
~ ) (
k s
L
Langkah selanjutnya seperti pada Tabel di atas.
Regresi logistik juga dapat dipandang sebagai regresi
terboboti dengan :
- variabel respon

,
_

) ( 1
) (
ln
i
i
x P
x P
- variabel prediktor X
- model regresi:

,
_

) ( 1
) (
ln
i
i
x P
x P
= 0 + 1xi + i.
- var

,
_

,
_

) (

1
) (

ln
i
i
x P
x P
~
)) (

1 )( (

1
i i i
x P x P n
- pembobot, wi = 1/var = )) (

1 )( (

i i i
x P x P n
- V adalah matrik diagonal dengan elemen :
)) (

1 )( (

1
i i i
x P x P n
Proses selanjutnya seperti regresi WLS.
Penaksir probabilitas sukses pada prediktor bernilai x0 :
)

(
0
0 1 0
1
1

x
e
P
+
+

Contoh :
Suatu penelitian dilakukan untuk memodelkan hubungan
antara proporsi lymphoblasts yang menyimpang dengan
dosis pemaparan streptonigrin. Unit eksperimen yang di-
gunakan adalah kelinci. Data eksperimen sbb :
Dosis streptoni-
grin (mg/kg berat
Banyak
Lymphoblasts
Banyak yg
menyimpang
Proporsi yang
menyimpang
badan) (ni) (ri)
)

(
i
P
0
30
60
75
90
600
500
600
300
300
15
96
187
100
145
0,025
0,192
0,312
0,333
0,483
Hasil perhitungan respon dan pembobot adalah sbb :

,
_

) (

1
) (

ln
i
i
x P
x P
Dosis
Pembobot
(wi)
-3,6636
-1,4373
-0,7908
-0,6946
-0,0680
0
30
60
75
90
14,625
77,568
128,794
66,633
74,913
Sumber : Classical And Modern Regression With Appli-
cations, Second Edition, oleh Raymond H
Myers, 1990, halaman 320.
Lakukan pengolahan data menggunakan WLS dan Mak-
simum Likelihood, untuk mendapatkan model dan meng-
evaluasi kemaknaan pengaruh prediktor.
Kunci Jawaban :

,
_

) (

1
) (

ln
i
i
x P
x P
= -2,56488 + 0,02806 X