Logistic Regression:

Regression with a
Binary
Dependent Variable
OLEH :

DIAN FITRIANI

Y U N I W U L A N D A R I ( 0 4 2 11 4 1 5 3 0 2 2 )
Regresi Logistik
Analisis Regresi Logistik
1 2
Teknik statistik yang
digunakan ketika variabel
dependen adalah variabel
kategorikal (nominal atau
nonmetrik) dan variabel
independennya adalah
variabel metrik atau
nonmetri
3 4
Regresi Logistik Lebih disukai dibanding
An, Diskrimina karena :
1. Regresi logistik tidak menghadapi
asumsi ketat dan jauh lebih kuat
ketika asumsi ini tidak terpenuhi,
sehingga penerapannya sesuai
dalam banyak situasi
2. Mirip Dengan An. Regresi Berganda
Beda dengan Analisis Diskriminan
Regresi logistik dalam
bentuk dasarnya terbatas
pada dua kelompok untuk
variabel terikat, meskipun
formulasi lain dapat
menangani lebih banyak
kelompok
Tujuan Regresi Logistik
Regresi logistik memiliki aplikasi yang
luas dalam situasi di mana tujuan
utamanya adalah untuk
mengidentifikasi kelompok tempat
suatu objek (misalnya, orang,
perusahaan, atau produk). Aplikasi
potensial termasuk memprediksi apa
pun yang hasilnya biner (mis.,
Ya/Tidak).
Tahapan Proses Analisis Regresi
Logistik
01 Tujuan Regresi Logistik.

02 Desain Riset Dari Regresi Logistik

03 Asumsi dari Regresi Logistik

04 Estimation of the logistic regression model and assessing overall fit

05 Interpretasi Hasil.

06 Validasi
 01 Tujuan Regresi Logistik.

Regresi logistik paling cocok untuk mengatasi dua tujuan

penelitian:

1. Mengidentifikasi variabel independen yang

mempengaruhi keanggotaan kelompok dalam variabel
dependen
2. Menetapkan sistem klasifikasi berdasarkan model
logistik untuk menentukan keanggotaan kelompok.

 Dalam proses klasifikasi regresi logistik ,seperti analisis diskriminan yaitu

memberikan dasar untuk mengklasifikasikan tidak hanya sampel yang digunakan
untuk memperkirakan fungsi diskriminan tetapi juga pengamatan lain yang dapat
memiliki nilai untuk semua variabel independen.
 Dengan cara ini, analisis regresi logistik dapat mengklasifikasikan pengamatan lain
ke dalam kelompok yang ditentukan.
 02 Desain Riset Dari Regresi Logistik

Representasi Variabel Dependen Biner

Regresi Logistik memiliki Fitur yang Unik, yang
Dalam analisis diskriminan, karakter nonmetrik dari variabel
mempengaruhi Desain Penelitian :
dependen dikotomis diakomodasi dengan membuat prediksi
keanggotaan kelompok berdasarkan Z score diskriminan.
1. Mengidentifikasi variabel independen yang
Membutuhkan cutting scores and Memasukkan
mempengaruhi keanggotaan kelompok dalam pengamatan dalam Kelompk.
variabel dependen Regresi logistik mewakili dua kelompok kepentingan
sebagai variabel biner dengan nilai 0 dan 1.
2. Menetapkan sistem klasifikasi berdasarkan model Tidak masalah kelompok mana yang diberi nilai 1 versus 0,
logistik untuk menentukan keanggotaan kelompok. tetapi mana yang dipilih ini harus dicatat untuk interpretasi
koefisien

 Jika kelompok mewakili karakteristik (misalnya, jenis kelamin), maka salah satu kelompok dapat diberi nilai 1 (misalnya, perempuan) dan
kelompok lainnya diberi nilai 0 (misalnya, laki-laki). Dalam situasi seperti itu, koefisien akan mencerminkan dampak variabel independen
terhadap kemungkinan orang tersebut menjadi perempuan (yaitu, kelompok berkode 1).

 Jika kelompok mewakili hasil atau peristiwa (misalnya, keberhasilan atau kegagalan, pembelian atau nonpembelian), penetapan kode
kelompok berdampak pada interpretasi juga. Asumsikan bahwa kelompok yang berhasil diberi kode 1, dengan kegagalan diberi kode 0.
Kemudian, koefisien mewakili dampak pada kemungkinan keberhasilan. Sama mudahnya, kode dapat dibalik (kode 1 sekarang menunjukkan
kegagalan) dan koefisien mewakili kekuatan yang meningkatkan kemungkinan kegagalan.
 Regresi logistik Bagaimanapun Juga berbeda dari regresi berganda, karena secara khusus dirancang
untuk memprediksi probabilitas suatu peristiwa yang terjadi (yaitu, probabilitas pengamatan berada
dalam kelompok berkode 1). Meskipun nilai probabilitas adalah ukuran metrik, ada perbedaan
mendasar antara regresi berganda dan regresi logistik..

PENGGUNAAN KURVA LOGISTIK

 Untuk mendefinisikan hubungan yang

dibatasi oleh 0 dan 1, regresi logistik
menggunakan kurva logistik untuk
mewakili hubungan antara variabel
independen dan dependen.

 Model regresi linier tidak dapat

mengakomodasi hubungan seperti itu,
karena secara inheren nonlinier.
Hubungan linier regresi, bahkan dengan
tambahan transformasi untuk efek
nonlinier, tidak dapat menjamin bahwa
nilai yang diprediksi akan tetap berada
dalam kisaran 0 dan 1.
SIFAT UNIK VARIABEL DEPENDEN

Sifat biner dari variabel dependen (0 atau 1) memiliki sifat yang melanggar asumsi regresi berganda.Antara
lain :
1. Error dari variabel diskrit mengikuti distribusi binomial bukan distribusi normal, sehingga membatalkan
semua pengujian statistik berdasarkan asumsi normalitas.
2. Varians dari variabel dikotomis tidak konstan, menyebabkan Heterokedastisitas.
3. Tidak ada pelanggaran yang dapat diperbaiki melalui transformasi variabel dependen atau independen

REGRESI LOGISTIK
 UKURAN SAMPEL
1. Ukuran Sampel Keseluruhan :

 Menggunakan Metode Maximum Likelihood Estimation (MLE), Sehingga dalam Estimasi membutuhkan
sampel yang besar.
 Misalnya, Hosmer dan Lemeshow merekomendasikan ukuran sampel lebih besar dari 400 .

2. Ukuran Sampel Per Kategori Variabel Dependen

 Ukuran sampel yang direkomendasikan untuk setiap kelompok setidaknya 10 pengamatan per parameter
yang diestimasi. Ini jauh lebih besar daripada regresi berganda, yang memiliki minimal lima pengamatan
perparameter, dan itu untuk sampel keseluruhan, bukan ukuran sampel untuk setiap kelompok, seperti
yang terlihat dengan regresi logistik.

DAMPAK VARIABEL INDEPENDEN NONMETRIK

Ketika mereka dimasukkan dalam model, mereka selanjutnya membagi sampel menjadi sel-sel yang dibuat
oleh kombinasi variabel dependen dan variabel independen nonmetrik.
Misalnya, variabel independen biner sederhana membuat empat grup ketika digabungkan dengan variabel
dependen biner. Peneliti masih harus menyadari bahwa jika salah satu dari grup-grup ini memiliki ukuran
sampel yang sangat kecil maka grup tersebut secara efektif dihilangkan dari analisis
03 Asumsi dari Regresi Logistik

Keuntungan regresi logistik dibandingkan dengan analisis diskriminan dan bahkan regresi berganda
sebagian besar berasal dari kurangnya asumsi umum yang diperlukan dalam analisis regresi logistik
1. Tidak memerlukan bentuk distribusi spesifik dari variabel independen dan isu-isu seperti
heteroskedastisitas
2. Tidak memerlukan hubungan linier antara variabel independen dan variabel.
04 Estimation of the logistic regression model and assessing overall fit

Salah satu karakteristik unik dari regresi logistik adalah penggunaan hubungan logistik yang
dijelaskan sebelumnya baik dalam memperkirakan model logistik dan membangun hubungan
antara variabel dependen dan independen.

Estimating the Logistic Regression Model

 Regresi logistik memiliki variate tunggal yang terdiri dari koefisien estimasi untuk setiap
variabel independen, seperti yang ditemukan dalam regresi berganda.
 Regresi logistik mendapatkan namanya dari transformasi logit yang digunakan dengan
variabel dependen, menciptakan beberapa perbedaan dalam proses estimasi.
• Transforming the dependent variable
 Gambar 2 menggambarkan dua contoh hipotetis untuk menyesuaikan
hubungan logistik dengan data sampel. Data aktual mewakili apakah
suatu peristiwa terjadi atau tidak dengan menetapkan nilai 1 atau 0 untuk
hasil (dalam hal ini 1 diberikan ketika peristiwa itu terjadi, 0 sebaliknya .
 Pada bagian (a), kurva logistik tidak dapat memuat data dengan baik,
karena sejumlah nilai variabel independen memiliki hasil (1 dan 0).
Namun, pada bagian (b), hubungan yang jauh lebih terdefinisi dengan
baik didasarkan pada variabel bebas
ESTIMASI KOEFISIEN
Dalam regresi berganda, memperkirakan hubungan linier yang paling sesuai dengan
data. Dalam regresi logistik, mengikuti proses yang sama untuk memprediksi variabel
dependen dengan suatu variasi yang terdiri dari koefisien logistik dan variabel
independen yang sesuai. Apa yang berbeda adalah bahwa dalam regresi logistik, nilai
prediksi tidak pernah bisa berada di luar kisaran 0 hingga 1

Transforming a probability into odds and logit values

Sama seperti regresi berganda, regresi logistik memprediksi variabel dependen
metrik, dalam hal ini nilai probabilitas dibatasi pada kisaran antara 0 dan 1.
Transformasi logistik menyelesaikan proses ini dalam dua langkah :
• Restating a Probability as Odds
• Calculating the Logit Value
• Restating a Probability as Odds
• Dalam bentuk aslinya, probabilitas tidak dibatasi oleh nilai antara 0 dan 1. Jadi, bagaimana jika kita menyatakan
kembali probabilitas sedemikian rupa sehingga variabel baru akan selalu berada di antara 0 dan 1. Menyatakan kembali
dengan menyatakan probabilitas sebagai peluang— rasio probabilitas dari dua hasil atau peristiwa, Probi (1 -Probi).
Dalam bentuk ini, setiap nilai probabilitas sekarang dinyatakan dalam variabel metrik yang dapat diestimasi secara
langsung. Nilai peluang apa pun dapat diubah kembali menjadi probabilitas yang berada di antara 0 dan 1.

• Calculating the Logit Value

• Variabel odds memecahkan masalah membuat perkiraan probabilitas antara 0 dan 1, tetapi kita memiliki
masalah lain: Bagaimana kita menjaga nilai odds agar tidak di bawah 0, yang merupakan batas bawah
odds (tidak ada batas atas). Solusinya adalah menghitung apa yang disebut nilai logit, yang dihitung
dengan mengambil logaritma peluang.
Peluang kurang dari 1.0 akan memiliki nilai logit negatif,
rasio odds yang lebih besar dari 1,0 akan memiliki nilai
logit positif, dan rasio odds 1,0 (sesuai dengan probabilitas
.5) memiliki nilai logit 0.

Dengan nilai logit, sekarang kita

memiliki variabel metrik yang dapat memiliki
nilai positif dan negatif tetapi selalu dapat
ditransformasikan kembali ke nilai
probabilitas antara 0 dan 1. Namun, perlu
diketahui bahwa logit tidak pernah dapat
benar-benar mencapai salah satu dari 0 atau 1.
Nilai ini sekarang menjadi variabel dependen
dari model regresi logistik.
ESTIMASI MODEL

Proses estimasi koefisien logistik serupa dengan yang digunakan dalam regresi, meskipun dalam kasus ini hanya dua nilai aktual
yang digunakan untuk variabel dependen (0 dan 1). Dalam regeresi liner Estimasi menggunaka OLS (Ordinary Least Square)
Sedangkan dalam Regresi Logistik menggunakan Metode MLE (Maximum Likelihood Estimation)

Estimating the Coefficients.

Koefisien yang diperkirakan untuk variabel independen diestimasi dengan menggunakan nilai logit atau nilai odds sebagai ukuran dependen.
Masing-masing formulasi model ini ditunjukkan di sini:
Maximum Likelihood Estimation (MLE).
Ordinary Least Square (OLS)
Multiple Regression
Meminimalkan jumlah perbedaan kuadrat antara nilai aktual dan nilai prediksi
dari variabel dependen

Maximum Likelihood Estimation (MLE)

Logistic Regression
Sifat nonlinier dari transformasi logistik mengharuskan prosedur lain, prosedur
Maximum Likelihood, digunakan secara iteratif . Memaksimalkan kemungkinan
bahwa suatu peristiwa akan terjadi. Nilai kemungkinan alih-alih jumlah kuadrat
kemudian digunakan saat menghitung Kesesuaian Model secara keseluruhan
STUDI KASUS

Research Article
Analysis of Haematological Parameters as Predictors of Malaria Infection Using a Logistic Regression Model: A Case
Study of a Hospital in the Ashanti Region of Ghana

 Tujuan Penelitian menentukan sejauh mana parameter hematologis dan karakteristik demografis pasien dapat
digunakan untuk memprediksi infeksi malaria menggunakan regresi logistik
 Sumber Data : Data sekunder dari departemen laboratorium St.Rumah Sakit Patrick, Ofnso
 Rentang Waktu : Januari-Juni 2018
 Sampl : 2076 pasien
 Laki-laki : 876 pasien
 Perempuan: 1200 pasien
 Usia : 1-102 Tahun
Parameter hematologi : hemoglobin (Hb), sel darah putih (WBC), trombosit (Plt), limfosit (Limfa), jumlah sel
campuran (MXD), dan neutrofil (Neut).

Untuk penelitian ini, data yang diperoleh diberi kode sebagai berikut:malaria (positif = 1 dan negatif = 0); jenis kelamin
(1 = laki-laki, 0 = perempuan). Usia dan semua parameter hematologi yang digunakan dalam penelitian ini adalah
variabel numerik dan oleh karena itu tidak memerlukan pengkodean

Analisis yang digunakan untuk menganalisis Parameter hematologi sebagai predictor Infeksi Malaria Adalah Regresi
Logistik.
untuk memprediksi apakah seorang
pasien menderita malaria atau tidak,
usia, kadar hemoglobin (Hb),
trombosit (Plt), dan limfosit (Limfa)
pasien itu bisa menjadi faktor yang
relevan. Oleh karena itu, peningkatan
variabel-variabel ini dapat
menurunkan kemungkinan pasien
terkena malaria.
PRAKTEK SPSS
Sebuah perusahaan pembiayaan sepeda motor ingin mengetahui faktor-faktor apa saja yang mempengaruhi sebuah kridit
kendaraan dapat mengalami kemacetan. Data digunakan sampel sebanyak 35 peminjam untuk mencari penyebab dimana
faktor-faktor yang dicurigai diantaranya, DP (Besar uang muka), jangka waktu pembayaran, umur peminjam dan
pendidikan peminjam

Langkah-langkah SPSS

2
3