Tigas Analisis Data Kualitatif Nahiruddin

(1302 201 010)

Perbandingan antara Regresi Logit, Probit dan Tobit

PERBANDINGAN ANTARA REGRESI LOGIT,

PROBIT DAN TOBIT

1. Model Regresi Logit

Regresi logistik sering digunakan dalam menyelesaikan masalah klasifikasi pada

metode parametrik. Metode ini digunakan untuk menggambarkan hubungan variabel

dependen (variabel respon) dengan variabel independen (variabel predictor) bersifat

kategori, kontinu atau kombinasi keduanya.

Untuk menggambar kondisional mean dari Y (respon) terhadap X (prediktor)

digunakan hitungan π( x ) =E (Y x) . Bentuk dari model logistik adalah sebagai berikut:

exp( β 0 + β ' x )
π ( x) = (1.1)
1 + exp( β 0 + β ' x)

dimana : β ’ = (β 1, β 2, …, β p) dan X = (x1, x2, …, xp)

p = jumlah parameter

dengan menggunakan transformasi logit dari π (x), maka model logistik dapat disebut

Model Logit yang ditunjukkan oleh:

 π ( x)  p
g ( x ) = ln   = β 0 + β1 x1 + β 2 x 2 + ... + β p x p = ∑ β j x j
1 − π ( x)  j =1

(1.2)

Pada regresi linier berganda diasumsikan bahwa Y = π (x) + ε dimana ε adalah

galat error dan menunjukkan selisih obyek pengamatan terhadap nilai harapannya. Galat

-1-
Tigas Analisis Data Kualitatif Nahiruddin
(1302 201 010)
Perbandingan antara Regresi Logit, Probit dan Tobit

diasumsikan berdistribusi normal dengan rataan nol variansi tetap terhadap variabel

pengamatannya. Sehingga dengan respon yang biner dinyatakan, jika

Y = 0, maka ε = -π (x) dengan probabilitas 1 - π (x)

Y = 1, maka ε = 1 - π (x) dengan probabilitas π (x).

Dan dapat dinyatakan bahwa ε memiliki E(ε ) = 0 dan var(ε ) = π (x). [1 - π (x)] yang

mengikuti distribusi binomial (Hosmer,1989).

Metode pendugaan yang digunakan untuk mengestimasi parameter yang belum

diketahui adalah pendugaan likelihood Maksimum (Maximum Likelihood Estimation atau

MLE) dengan menetapkan asumsi distribusi Bernoulli dan obyek pengamatan saling

bebas, E(ε i, ε j) = 0, i ≠ j.

Pada pasangan pengamatan (xi,yi) fungsi likelihood yang dimaksimumkan adalah :

ς ( xi ) = π ( xi ) y [1 − π ( xi )] 1− y
i i
(1.3)

Karena pengamatan diasumsikan bersifat independen, maka likelihood

pengamatan mrupakan perkalian dari fungsi likelihood masing-masing, misal dinyatakan

dengan :

I
I ( β ) = ∏ς ( xi )
i =1

yi
I
 π ( xi ) 
= ∏  {1 − π ( xi )} n
i
(1.4)
i =1  (1 − π ( x i )) 

dimana yi adalah variabel random binomial yang saling bebas, i = 1, 2,…, I dengan

E(yi) = ni . π (xi) dan ∑ ni = N.

-2-
Tigas Analisis Data Kualitatif Nahiruddin
(1302 201 010)
Perbandingan antara Regresi Logit, Probit dan Tobit

yi
 π ( xi ) 
Karena z = exp (ln z), maka untuk z =   persamaan (1.4) dapat
 (1 − π ( xi )) 

ditulis menjadi :

 I ni    π ( xi ) 
∏ {1 + π ( xi ) }  exp ∑ y i ln  {1 − π ( x )}  (1.5)
 i =1    i 

kemudian dilakukan transformasi logit terhadap model regresi logistik pada persamaan

(1.5). sehingga didapatkan model :

 I  
−ni
   
∑ 
 ∑β j xij
1 + exp  exp ∑( y i xij ) β j  (1.6)
 i =1   
   j 
   j 


Prinsip dari MLE untuk mendapatkan nilai taksiran β adalah dengan

memaksimumkan fungsi likelihood. Nilai maksimim dari fungsi persamaan (1.6)

diperoleh melalui transformasi log sebagai berikut :

L(β ) = ln (I(β ))

    
  
= ∑∑y i x ij β j −∑ni ln 1 +exp ∑β j xij  (1.7)
  
 j  i   i   j 


Nilai β diperoleh melalui turunan parsial pertama L(β ) terhadap β yang

disamadengankan nol, sehingga persamaan (1.7) akan menjadi :

∂L( β )
= ∑ y i xia − ∑ni xia π i = 0 (1.8)
∂Lβ a i i

dimana a = 0,1, 2, …., p dengan

-3-
Tigas Analisis Data Kualitatif Nahiruddin
(1302 201 010)
Perbandingan antara Regresi Logit, Probit dan Tobit

   
 exp ∑βi xij  


πi =   j  
menyatakan taksiran likelihood maksimum dari
 
1 + exp ∑β j xij 
  
  j 

π (xi). Sedang terhadap varians diperoleh dari turunan parsial kedua dari persamaan (1.8)

yang hasilnya sebagai berikut :

   
 exp ∑βi xij  
∂2 L( β)  
= −∑ni xia xib 

 j  
∂βa ∂βb  
i
1 + exp ∑β j xij 
  
  j 

= −∑ni xia xib π i (1 −π i ) (1.9)

i

dimana a, b = 0, 1, 2, …, p

2. Model Regresi Probit

Regresi Probit adalah suatu analisis regresi yang digunakan untuk menggambarkan

hubungan antara variabel dependen dan variabel independen. Variabel dependen (variable

respon) biasa disimbolkan Y dengan skala pengukuran dikotomus (biner) dan variabel

independent (variable prediktor) biasa disimbolkan X yang skala pengukuran bersifat

dikotomus, polikotomus atau kontinu.

1  1 
Jika φ ( x) = exp  − x 2 
2π  2 

Dan jika diketahui

Y=1 P(y = 1x)

Y=0 P(y = 0x)

-4-
Tigas Analisis Data Kualitatif Nahiruddin
(1302 201 010)
Perbandingan antara Regresi Logit, Probit dan Tobit

β0 +β1 x
1  1 
Maka P(y = 1/x) = ∫ 2π
exp  − t 2 dt
 2 

= Φ [β 0 + β 1x] (2.1)

Dengan Φ [.] adalah fungsi komulatif distribusi normal standar.

Φ−1 [ P ( y =1 x )] = Φ−1 [Φ[ β0 + β1 x ]]

Φ−1 [ P ( y = 1 x )] = β0 + β1 x

−1
atau Z = β 0 + β 1x1 dengan Z = Φ P ( y =1 x)

Dengan cara yang sama jika variabel bebas lebih dari satu, maka:

Z = Xβ + e (2.2)

Dengan Z merupakan variabel yang tidak diobservasi dan observasi kita adalah :

Y=1 Jika Z > 0

Y=0 jika Z ≤ 0 dengan ε adalah residual yang diasumsikan

berdistribusi normal dengan mean nol (0) dan varians satu (1).

Probabilitas Yi = 1 dari persamaan (2.1) adalah :

P ( y i =1  x) = Φ (Xiβ )

(2.3)

P ( y i = 0  x) = 1 - Φ (Xiβ ) (2.4)

3. Model Regresi Tobit

Regresi Tobit (regrsi tersensor) merupakan analisis regresi yang digunakan untuk

menggambarkan hubungan antara variabel dependen dan variabel independen. Variabel

-5-
Tigas Analisis Data Kualitatif Nahiruddin
(1302 201 010)
Perbandingan antara Regresi Logit, Probit dan Tobit

dependen (variable respon) biasa disimbolkan Y yang berskala campuran dengan variabel

indepeden (variable prediktor) biasa disimbolkan X. Output dari analisis regresi ini untuk

mengestimasi nilai rata-rata dari variabel dependen bila nilai variabel independen

diketahui.

Formula model tobit secara umum adalah sebagai berikut :

Y* = Xβ + ε (3.1)

dimana :

Y* : vektor dari variabel takbebas

X : matriks dari variabel regressor atau bebas

β : vektor estimasi parameter yang nilainya belum diketahui

ε : residual model yang mengikuti distribusi normal terpotong (0,σ 2).

Model Tobit juga dapat terbentuk dalam dua bagian formula yang digunakan untuk

memprediksikan variabel tak bebas yaitu memprediksikan nilai dimana variabel tak bebas

adalah nol (limited) sedangkan yang lain tidak nol (unlimited). Model tobit dapat ditulis

sebagai:
*
Yi * Yi > 0
Jika
Yi =  (3.2)
Untuk
 0 yang lain

Nilai ekspektasi dari regresi Tobit adalah :

E (Y X ) =P (Yi >0) E (Yi Yi >0) +P (Yi =0) E (Yi Yi =0)

1
= Φ( X i β +σ ) + P (Yi = 0). 0
Φ (3.3).
= XβΦ +σ

-6-
Tigas Analisis Data Kualitatif Nahiruddin
(1302 201 010)
Perbandingan antara Regresi Logit, Probit dan Tobit

Tujuan utama dari pembentukan model adalah untuk memilih variabel yang sesuai

dan memberikan hasil yang terbaik dalam menjelaskan masalah yang dihadapi. Semakin

banyak variabel yang masuk kedalam model, maka semakin kompleks model yang

dihasilkan. Begitu juga semakin banyak variabel prediktor yang diperlukan untuk

menduga respon. Hal ini diatasi dengan menyeleksi variabel yang masuk ke model secara

bertahap agar didapatkan model yang layak digunakan.

Langka-langkah yang dilakukan untuk memilih variabel yang layak adalah pertama,

memeriksa korelasi antara variabel prediktor. Tujuannya adalah untuk mendapatkan

variabel prediktor yang independen. Jika didapatkan variabel prediktor yang saling

berkorelasi, maka hanya variabel prediktor yang mempunyai korelasi terbesar dengan

variabel respon yang akan diikutkan dalam pembentukan model, karena variabel prediktor

yang nilai korelasinya dengan variabel respon kecil sudah terwakili oleh variabel tersebut.

Selanjutnya membuat model univariat, yaitu dengan meregresikan masing-masing

variabel prediktor terhadap variabel respon. Untuk mengetahui apakah hubungan antara

variabel respon dengan prediktor signifikan atau tidak. Variabel prediktor yang tidak

mempunyai hubungan yang signifikan dengan variabel respon akan dikeluarkan dari

pembentukan model. Kemudian memodelkan secara serentak (multivariate) variabel

respon dan semua variabel prediktor yang signifikan pada pemodelan univariate.

-7-