1, April 2003
11
PENAKSIR MAKSIMUM LIKELIHOOD
BAGI MODEL PROBIT DAN MODEL
PROBIT BIVARIAT
Benny Yong
Jurusan Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Katolik Parahyangan, Bandung 40141
E-mail : benny-y@home.unpar.ac.id
Intisari
Tulisan ini menyajikan bagaimana mencari penaksir bagi model probit dan
model probit bivariat , yaitu dengan metode maksimum likelihood .
Abstract
This paper describes how to find the estimator for a probit model and for a
bivariate probit model by maximum likelihood method .
Diterima :19 Februari 2003
Disetujui untuk dipublikasikan : 7 Maret 2003
I. Metode Maksimum Likelihood
Misalkan
n
X X X ,..., ,
2 1
menyatakan peubah acak yang
saling bebas dengan fungsi padat
peluangnya dinyatakan oleh
( ) ,
i
x f , dengan adalah
parameter yang akan ditaksir
dengan metode maksimum
likelihood. Maka fungsi padat
peluang gabungannya adalah :
( ) ( ) ( ) ( )
( )
n
i
n n
x f
x f x f x f x x x f
1
2 1 2 1
,
, ... , . , ; ..., ,
= ( )
n
x x x L ,..., ,
2 1
=
( ) L
(disebut like-
lihood function)
Taksiran maksimum likelihood
untuk adalah nilai yang
memaksimumkan L . Nilai yang
memaksimumkan L adalah sama
dengan nilai yang
memaksimumkan L ln .
II. Model Probit
Model probit adalah model tak
linear ya ng menggunakan
bilangan biner (peubah dummy
) sebagai peubah takbebasnya
dan mengandaikan faktor
disturbance ( galat )
i
berdistribusi normal ( )
2
, 0 N .
Peubah dummy yang dimaksud
disini adalah jenis peubah
diskret yang mempunyai dua
nilai.
Misalkan ada peubah respons
*
i
yang menunjukkan sentimen atau
perasaan individu terhadap suatu
hal , contohnya sikap seseorang
terhadap suatu par tai tertentu .
Peubah respons ini dipengaruhi
oleh berbagai karakteristik individu
dan kondisi lingkungan sehingga
persamaan
*
i
dapat
dituliskan sebagai
*
i
=
INTEGRAL, Vol. 8 No. 1, April 2003
12
i i
+
'
, dengan
'
adalah
vektor koefisien dan
i
adalah
vektor peubah bebas.
*
i
tidak dapat diamati tetapi kita
dapat mengamati tindakan / pilihan
tindakan individu bila
*
i
melewat i batas tertentu . Misalkan
, jika
*
i
> 0, maka 1
i
dan
jika 0
*
i
, maka 0
i
. Dari
hal tersebut diperoleh:
( ) ( ) ( )
( )
( )
( )
i
i
i i
i i i i
F
F
P
P P P
>
> + >
'
'
'
' *
1
0 0 1
Demikian pula untuk 0
i
, diperoleh: ( ) ( )
i i
F P
'
0 = ( )
i
F
'
1 ,
dengan ( ) dt e F
i
t
i
'
2
2
1
'
2
1
dan ( )
i
F
'
berdistribusi normal
( ) 1 , 0 N .
Model dengan peluang sukses ( )
i
x F
'
dengan n pengamatan yang saling bebas
memberikan fungsi kemungkinannya sebagai berikut :
( )
n n
y y y P , ... , ,
2 2 1 1
( ) ( ) ( ) ( )
0 1
' '
1
i i
y y
i i
x F x F
yang dapat ditulis sebagai : ( ) ( ) [ ]
n
y
i
y
i
i i
x F x F L
1
1
' '
1 .
Dengan melogaritmakan fungsi kemungkinannya diperoleh:
( ) ( ) ( ) ( )
+
n n
i i i i
x F y x F y L
1 1
' '
1 ln 1 ln ln
Kemudian untuk memaksimumkannya dihasilkan :
( ) ( ) ( ) ( )
( ) ( ) ( )
( )
( ) ( )
( ) ( ) ( )
( ) 0
1
1
1 1 ln
1
'
' '
'
'
1
' '
' '
i
n
i
i i
i i
i i
n
i i
i i i i
x x f
x F x F
x F y
x x f
x F x F
x F y x F y L
Karena model probit mengandaikan
i
berdistribusi normal ( )
2
, 0 N maka
fungsi kemungkinan yang telah dilogaritmakan ( log-likelihood ) menjadi :
( ) ( ) ( )
+
1
'
0
'
ln 1 ln ln
i i
y
i
y
i
x x L , ( )
i
x
'
adalah fungsi distribusi
dari peubah acak yang berdistribusi normal .
Turunan pertamanya untuk memaksimumkan L adalah :
INTEGRAL, Vol. 8 No. 1, April 2003
13
( )
( )
i
n
i i
i i i
y
i i
y
i i
y
i
i
i
y
i
i
i
x
x q
x q q
x x
x x
L
i i
i i
1
]
1
1
'
'
1
1
0
0
1 0
1
ln
n
i i
x
1
0 , dengan 1 2
i i
y q
Koefisien
ML
( penaksir maksimum likehood ) dapat dicari dari persamaan
0
ln
L
.
III. Model Probit Bivariat
Model probit bivariat adalah model yang dikembangkan dari model probit dengan
menggunakan dua peubah dummy sebagai peubah tak bebasnya . Model ini
mengandaikan faktor disturbance ( galat )
i
berdistribusi normal bivariat.
Secara umum, model untuk dua persamaan dapat dituliskan sebagai berikut:
1 1 1
*
1
'
i i i
y + , 1
1
i
y , jika 0
*
1
>
i
y
0
1
i
y , untuk yang lain
2 2 2
*
2
'
i i i
y + , 1
2
i
y , jika 0
*
2
>
i
y
0
2
i
y , untuk yang lain
Dalam model probit bivariat , model untuk dua persamaan ini diandaikan sebagai
berikut :
( ) ( )
( ) ( )
( ) ( ) ( ) ( ) ( ) [ ]
( )
2 1
2 2 1 1 2 1
2 1
2 1
,
1
0
Cov
Var Var
Misalkan fungsi distribusi dari normal bivariat adalah :
( ) ( ) ( )
< <
2 1
, , , , ,
2 1 2 2 1 2 1 2 2 2 1 1
x x
x x dz dz z z x x P
dengan fungsi padat peluangnya adalah :
( )
( ) ( )
( )
2
1 / 2
2
1
2 1 2
1 2
, ,
2
2 1
2
2
2
1
+ x x x x
e
x x ,
angka 2 pada
2
dan
2
masing - masing menunjukkan fungsi padat peluang dan
fungsi distribusi dari normal bivariat .
INTEGRAL, Vol. 8 No. 1, April 2003
14
Misalkan 1 2
1 1
i i
y q dan 1 2
2 2
i i
y q
Diketahui 1
ij
q jika 1
ij
y dan 1
ij
q jika 2 , 1 0 j y
ij
Kemudian dimisalkan kembali
ij j ij
x z ' dan 2 , 1 j z q w
ij ij ij
serta
2 1
*
i i i
q q
Maka didapat fungsi kemungkinannya adalah :
( ) ( )
*
2 1 2 2 2 1 1
, , ,
i i i i i
w w y y P
Bukti :
Bila :
a) 0
1
i
y dan 0
2
i
y
Maka 1
1
i
q dan 1
2
i
q . Kemudian diperoleh :
( ) ( )
( )
* *
1 2 1 2
' '
1 1 1 2 2 2
0, 0 0, 0
0, 0
i i
i i i i
P P y y
P x x
< <
+ < + <
= ( )
2
'
2 2 1
'
1 1
,
i i i i
x x P < <
= ( )
1
'
1 2
'
2
2 1 2 1 2
, ,
i i
x
i i i i
x
d d
= ( ) , ,
2
'
2 1
'
1 2 i i
x x
= ( )
2 1 2 2 1 1 2
, ,
i i i i i i
q q z q z q
= ( )
*
2 1 2
, ,
i i i
w w
b) 0
1
i
y dan 1
2
i
y
Maka 1
1
i
q dan 1
2
i
q . Kemudian diperoleh :
( ) ( )
( )
* *
1 2 1 2
' '
1 1 1 2 2 2
0, 1 0, 0
0, 0
i i
i i i i
P P y y
P x x
< >
+ < + >
= ( )
2
'
2 2 1
'
1 1
,
i i i i
x x P > <
= ( )
1
'
1
2
'
2
2 1 2 1 2
, ,
i
i
x
i i i i
x
d d
( misalkan :
2 2 i i
w )
= ( )
1
'
1
2
'
2
2 1 2 1 2
, ,
i
i
x
i i i i
x
dw d w
= ( )
1
'
1 2
'
2
2 1 2 1 2
, ,
i i
x
i i i i
x
dw d w
=
( ) ( )
( )
+
1
'
1
2
2 1
2
2
2
1
2
'
2
2 1
2
1 2
2
1 2
i
i i i i
i
x
i i
w w
x
dw d
e
INTEGRAL, Vol. 8 No. 1, April 2003
15
=
( ) ( )
( )
+
1
'
1
2
2 1
2
2
2
1
2
'
2
2 1
2
1 2
2
1 2
i
i i i i
i
x
i i
w w
x
dw d
e
= ( )
1
'
1 2
'
2
2 1 2 1 2
, ,
i i
x
i i i i
x
dw d w
= ( ) , ,
2
'
2 1
'
1 2 i i
x x
= ( )
2 1 2 2 1 1 2
, ,
i i i i i i
q q z q z q
= ( )
*
2 1 2
, ,
i i i
w w
c) 1
1
i
y dan 0
2
i
y ( Untuk hal ini buktinya serupa dengan hal b) ) .
d) 1
1
i
y dan 1
2
i
y
Maka 1
1
i
q dan 1
2
i
q . Kemudian diperoleh :
( ) ( ) ( ) 0 , 0 0 , 0 1 , 1
2 2
'
2 1 1
'
1
*
2
*
1 2 1
> + > + > >
i i i i i i
x x P y y P P
= ( )
2
'
2 2 1
'
1 1
,
i i i i
x x P > >
=
( )
1
'
1 2
'
2
2 1 2 1 2
, ,
i i
x
i i i i
x
d d
(misalkan:
1 1 i i
w dan
2 2 i i
w )
= ( )( )( )
1
'
1 2
'
2
2 1 2 1 2
, ,
i i
x
i i i i
x
dw dw w w
= ( )
1
'
1 2
'
2
2 1 2 1 2
, ,
i i
x
i i i i
x
dw dw w w
= ( )
1
'
1 2
'
2
2 1 2 1 2
, ,
i i
x
i i i i
x
dw dw w w
= ( ) , ,
2
'
2 1
'
1 2 i i
x x
= ( )
2 1 2 2 1 1 2
, ,
i i i i i i
q q z q z q
= ( )
*
2 1 2
, ,
i i i
w w
Dari a) sampai d) , terbukti bahwa ( ) ( )
*
2 1 2 2 2 1 1
, , ,
i i i i i
w w y y P .
Misalkan dilakukan n pengamatan yang saling bebas . Ini memberikan fungsi
kemungkinannya sebagai berikut : ( )
*
2 1 2
1
, ,
i i i
n
w w L
Dengan demikian diperoleh : ( )
n
i i i
w w L
1
*
2 1 2
, , ln ln
Turunan dari fungsi kemungkinannya yang telah dilogaritmakan ( log-likelihood )
adalah :
2 , 1
ln
1 2
,
_
j x
g q
L
n
ij
ij ij
j
, dengan ( )
1
1
]
1
2
*
1
*
2
1 1
1
i
i i i
i i
w w
w g
INTEGRAL, Vol. 8 No. 1, April 2003
16
,
_
n
i i
q q L
1 2
2 2 1
ln
Bukti :
( )
n
i i i
w w L
1
*
2 1 2
, , ln ln = ( )
n
i i i i i
x q x q
1
*
2
'
2 2 1
'
1 1 2
, , ln
Dari ( )
( ) ( )
( )
2
1 / 2
2
1
2 1 2
1 2
, ,
2
2 1
2
2
2
1
+ x x x x
e
x x , diperoleh :
( )
*
2
'
2 2 1
'
1 1 2
, ,
i i i i i
x q x q =
( )
,
_
+
1
'
1 1
2
2
*
* 2 2
2
'
2 2
*
1 2
2
1 2
i i
i
i
i i
x q
i
uv v u
x q
dudv
e
, maka :
( )
( )
2
'
2 2 1
'
1 1
2
2
*
*
* 2 2
1 1
*
2
'
2 2 1
'
1 1 2
1 2
1 2
2
exp
) , , (
i i i i
x q x q
i
i
i
i i i i i
dudv
uv v u
x q x q
= dv x q
e
i i
x q
i
v x q v x q
i i
i
i i i i i
1 1
*
1 2
2
2
'
2 2
2
2
*
1
'
1 1
* 2 2
1
2
'
1
2
1
1 2
,
_
,
_
=
( )
dv e e
x q
i i
i
i i i
i
i i
x q
v x q v
x q
i
i i
,
_
,
_
,
_
2
'
2 2
2
*
1
'
1 1
* 2
2
*
2
1
2
'
1
2
1
2
1 2
2
1 2
*
1 1
1 2
=
( ) ( )
dv e e
x q
i i
i
i i i i i i
i
i i
x q
x q x q v x q
i
i i
,
_
1
]
1
,
_
,
_
2
'
2 2
2
*
2
1
'
1 1
*
2
1
'
1 1
*
2
*
2
1
2
'
1
2
1
2
1 2 1 2
*
1 1
1 2
=
( )
dv e e e
x q
i i
i
i i i
i
i i i
i
i i
x q
x q v x q x q
i
i i
,
_
1
]
1
,
_
,
_
,
_
,
_
2
'
2 2
2
*
2
1
'
1 1
*
2
*
2
1
2
'
1
2
1
2
*
2
*
2
1
2
'
1
2
1
2
1 2 1 2 1 2
*
1 1
1 2
=
( )
dv e e
x q
i i
i
i i i
i i
x q
x q v
x q
i
i i
,
_
1
]
1
,
_
2
'
2 2
2
*
2
1
'
1 1
*
2
1
2
'
1
2
1
2
1 2
2
*
1 1
1 2
INTEGRAL, Vol. 8 No. 1, April 2003
17
=
( )
( )
dv e e x q
i i
i
i i i
i i
x q
x q v
i
x q
i i
,
_
1
]
1
,
_
2
'
2 2
2
*
2
1
'
1 1
*
2
2
1
2
'
1
2
1
1 2
*
2
1 1
1 2
1
2
1
=
1 1 1 i i i
g x q
dengan
( )
( ) ( )
1 1
'
1 1
2 2
2
1
'
1 1
2
1
2
'
1
2
1
2
1
2
1
i i i
x q
x q
w x q e e
i i
i i
,
_
dan
( )
( )
1
1
]
1
,
_
1
]
1
2
2
'
2 2
2
*
2
1
'
1 1
*
2
*
1
'
1 1
*
2
'
2 2
1 2
*
1 1 2
1
i
i i i i i
x q
x q v
i
x q x q
dv e
i i
i
i i i
=
1
1
]
1
2
*
1
*
2
1
i
i i i
w w
Dengan demikian diperoleh :
1 1 1
1
*
2
'
2 2 1
'
1 1 2
) , , (
i i i
i i i i i
g x q
x q x q
Jadi :
( )
( )
1
1
]
1
n
i i i
i i i
w w
w w
L
1 1
*
2 1 2
*
2 1 2
1
, ,
, ,
1 ln
=
( )
( )
1
1
]
1
n
i i i i i
i i i
x q x q
w w 1 1
*
2
'
2 2 1
'
1 1 2
*
2 1 2
, ,
, ,
1
=
( )
n
i i i
i i i
g x q
w w 1
1 1 1 *
2 1 2
, ,
1
=
( )
1
1
*
2 1 2
1 1
, ,
i
n
i i i
i i
x
w w
g q
Demikian pula bukti untuk
2
ln
L
, buktinya serupa dengan
1
ln
L
.
Diperoleh :
2
ln
L
=
( )
2
1
*
2 1 2
2 2
, ,
i
n
i i i
i i
x
w w
g q
Jadi terbukti bahwa : 2 , 1
ln
1
2
,
_
j x
g q
L
n
ij
ij ij
j
, dengan
( )
1
1
]
1
2
*
1
*
2
1 1
1
i
i i i
i i
w w
w g
.
Sedangkan bukti untuk
,
_
n
i i
q q L
1 2
2 2 1
ln
dapat secara
langsung diperoleh dengan mudah
dari persamaan
( )
n
i i i
w w L
1
*
2 1 2
, , ln ln
.
INTEGRAL, Vol. 8 No. 1, April 2003
18
Penaksir maksimum likelihood
untuk model probit bivariat ini
dapat diperoleh dengan cara
menyusun secara serentak ketiga
turunannya (yaitu : ,
ln
,
ln
2 1
L L
dan
L ln
) sama dengan nol,
dimana proses pencariannya dapat
menggunakan metode iterasi
Newton dengan alat bantu software
, salah satunya adalah software
LIMDEP .
IV. Penutup
Metode maksimum likelihood
merupakan salah satu metode
penaksiran yang memenuhi kriteria
penaksir yang baik . Khususnya
untuk ukuran sampel yang cukup
besar , seperti data yang
digunakan untuk model probit dan
model probit bivariat , metode ini
sangat baik digunakan . Sifat
sifat penaksir maksimum
likelihood antara lain konsisten ,
berdistribusi normal asimtotik dan
efisien asimtotik .
V. Pustaka
[1] Greene , William H ,
Econometrics Analysis,
Macmillan , Inc. , 1995
[2] Gujarati , D. , Basic
Econometrics, McGraw-Hill ,
Inc. , 1978
[3] Hoel , P . G . , Introduction to
Mathematical Statistics, John
Wiley and Sons , Inc. , 1984
[4] Hogg and Craig ,
Introduction to Mathematical
Statistics, Prentice-Hall , Inc.
, 1995
[5] Maddala , G . S . , Limited
Dependent and Qualitative
Variables in Econometrics,
Cambridge Univ . Press , 1983
[6] Myers and Walpole ,
Probability and Statistics for
Engineers and Scientists,
Macmillan , Inc. , 1978