Hafid Gisen Parastra (22081019)

Statistik Multivariat

1. How would you differentiate among multiple discriminant analysis, regression analysis,
logistic regression analysis, and analysis of variance?
Jawab:
Analisis diskriminan ganda: variabel dependen adalah variabel kategori (nominal atau
nonmetrik) dan variabel independen adalah variabel metrik.
Analisis regresi: beberapa variabel independen dan variabel dependen tunggal adalah
metrik.
Analisis regresi logistik: untuk klasifikasi dan analitik prediktif. Analisis ini
memperkirakan kemungkinan suatu peristiwa yang terjadi, seperti keberhasilan atau
kegagalan, berdasarkan data variabel independen yang diberikan. Karena hasilnya adalah
probabilitas, variabel dependen dibatasi antara 0 dan 1.
Analysis of Variance (ANOVA): variabel independen tunggal adalah nonmetrik dan
beberapa variabel dependen adalah metrik. Analis menggunakan uji ANOVA untuk
menentukan pengaruh variabel independen terhadap variabel dependen dalam studi
regresi.

Singkatnya, MDA digunakan untuk mengklasifikasikan kasus ke dalam kelompok,

Analisis Regresi digunakan untuk menentukan hubungan antara variabel dependen dan
satu atau lebih variabel independen, Regresi Logistik digunakan untuk memodelkan
probabilitas suatu peristiwa terjadi, dan ANOVA digunakan untuk membandingkan sarana
dua atau lebih kelompok.

2. When would you employ logistic regression rather than discriminant analysis? What are
the advantages and disadvantages of this decision?
Jawab:
Regresi logistik dan analisis diskriminan adalah teknik yang digunakan untuk
memprediksi klasifikasi variabel dependen kategoris. Namun, ada beberapa situasi di
mana regresi logistik mungkin lebih disukai daripada analisis diskriminan.
Regresi logistik adalah teknik yang digunakan untuk memodelkan hubungan antara
variabel dependen dan satu atau lebih variabel independen ketika variabel dependen
bersifat kategoris. Regresi logistik adalah metode yang lebih fleksibel daripada analisis
diskriminan, karena dapat menangani berbagai situasi di mana hubungan antara variabel
dependen dan independen mungkin kompleks atau nonlinier.
Di sisi lain, analisis diskriminan adalah teknik yang menemukan kombinasi linier dari
variabel independen yang paling baik memisahkan kelompok pengamatan berdasarkan
keanggotaan kelas mereka. Analisis diskriminan mengasumsikan bahwa variabel
independen biasanya didistribusikan dalam setiap kelompok dan memiliki matriks
kovarians yang sama di seluruh kelompok.

Berikut adalah beberapa keuntungan dan kerugian menggunakan regresi logistik daripada
analisis diskriminan:

Keuntungan dari Regresi Logistik:

a. Dapat menangani berbagai jenis data, termasuk data kontinu, biner, ordinal, dan
nominal.
b. Dapat memodelkan hubungan nonlinier antara variabel dependen dan independen.
c. Memberikan perkiraan probabilitas, yang dapat berguna untuk pengambilan
keputusan.
Kekurangan Regresi Logistik:
a. Mengasumsikan bahwa hubungan antara variabel dependen dan independen adalah
linier pada skala log-odds.
b. Mungkin memerlukan ukuran sampel yang besar untuk mendapatkan perkiraan
koefisien yang stabil.
c. Bisa sensitif terhadap outlier.

Keuntungan Analisis Diskriminan:

a. Mengasumsikan bahwa variabel independen biasanya didistribusikan dalam setiap
kelompok, yang mungkin lebih realistis dalam beberapa situasi.
b. Dapat menangani lebih dari dua kelompok pengamatan.
Kekurangan Analisis Diskriminan:
a. Mengasumsikan matriks kovarians yang sama di seluruh kelompok, yang mungkin
tidak selalu demikian.
b. Mengasumsikan hubungan linier antara variabel independen dan fungsi
diskriminan.
c. Mungkin kurang fleksibel daripada regresi logistik.
 Dapat disimpulkan bahwa, regresi logistik mungkin lebih disukai daripada analisis
diskriminan ketika hubungan antara variabel dependen dan independen kompleks atau
nonlinier. Namun, analisis diskriminan mungkin lebih disukai ketika asumsi matriks
kovarians yang sama di seluruh kelompok masuk akal dan ada lebih dari dua kelompok
pengamatan.

3. How does logistic regression handle the relationship of the dependent and independent
variables?
Jawab:
Regresi logistik adalah teknik statistik yang digunakan untuk memodelkan hubungan
antara variabel dependen kategoris (sering disebut sebagai "variabel respons") dan satu
atau lebih variabel independen (sering disebut sebagai "variabel prediktor" atau
"kovariat").

Tujuan regresi logistik adalah untuk memperkirakan probabilitas terjadinya hasil atau
peristiwa tertentu berdasarkan nilai variabel prediktor. Tidak seperti regresi linier, yang
memodelkan hubungan antara variabel dependen kontinu dan satu atau lebih variabel
independen, regresi logistik memodelkan hubungan antara variabel dependen biner atau
kategoris dan satu atau lebih variabel independen.

Regresi logistik memodelkan hubungan antara variabel prediktor dan peluang log dari
hasil yang terjadi. Log-odds (juga dikenal sebagai "logit") adalah transformasi probabilitas
hasil yang terjadi, sehingga logit mengambil nilai antara tak terhingga negatif dan tak
terhingga positif.

Model regresi logistik mengasumsikan bahwa hubungan antara log-odds dari hasil yang
terjadi dan variabel prediktor adalah linier. Dengan kata lain, untuk setiap variabel
prediktor, perubahan log-odds dari hasil yang terjadi sebanding dengan perubahan nilai
variabel prediktor, memegang semua variabel lain konstan.

Untuk memperkirakan parameter model regresi logistik, estimasi kemungkinan maksimum

biasanya digunakan. Model regresi logistik cocok untuk data dengan menemukan nilai
parameter yang memaksimalkan kemungkinan mengamati data, mengingat model yang
ditentukan.
 Setelah model regresi logistik dipasang, dapat digunakan untuk memprediksi probabilitas
hasil yang terjadi untuk pengamatan baru, berdasarkan nilai variabel prediktor untuk
pengamatan tersebut. Probabilitas yang diprediksi kemudian dapat digunakan untuk
membuat keputusan atau menarik kesimpulan berdasarkan analisis.

4. What are the unique characteristics of interpretation in logistic regression?

Jawab:
Regresi logistik adalah teknik statistik yang sering digunakan untuk memodelkan
hubungan antara variabel dependen biner atau kategoris dan satu atau lebih variabel
independen. Interpretasi koefisien dan hasil regresi logistik dapat berbeda dari regresi
linier, karena karakteristik unik dari regresi logistik. Berikut adalah beberapa karakteristik
utama interpretasi dalam regresi logistik:

Koefisien dalam regresi logistik dinyatakan dalam hal peluang log. Dalam regresi linier,
koefisien dinyatakan dalam hal unit variabel dependen. Dalam regresi logistik, koefisien
mewakili perubahan peluang log dari variabel dependen untuk peningkatan satu unit
dalam variabel prediktor.

Koefisien dalam regresi logistik tidak secara langsung sebanding satu sama lain. Dalam
regresi linier, koefisien secara langsung sebanding, dan ukuran koefisien sesuai dengan
ukuran efek variabel prediktor pada variabel dependen. Dalam regresi logistik, ukuran
koefisien tidak sesuai dengan ukuran pengaruh variabel prediktor pada variabel dependen,
dan koefisien tidak secara langsung sebanding satu sama lain.

Odds ratio sering digunakan untuk menginterpretasikan pengaruh variabel prediktor

terhadap variabel dependen dalam regresi logistik. Rasio peluang mewakili rasio peluang
variabel dependen yang terjadi untuk dua tingkat variabel prediktor yang berbeda,
menahan semua variabel lain konstan.

Koefisien regresi logistik diperkirakan menggunakan estimasi kemungkinan maksimum.

Ini berarti bahwa koefisien diperkirakan untuk memaksimalkan kemungkinan mengamati
data, mengingat model yang ditentukan. Hal ini berbeda dengan regresi linier, di mana
koefisien diperkirakan menggunakan estimasi kuadrat terkecil.
 Model regresi logistik mengasumsikan bahwa hubungan antara variabel prediktor dan
peluang log dari variabel dependen adalah linier. Ini berarti bahwa pengaruh variabel
prediktor pada variabel dependen diasumsikan konstan di semua tingkatan variabel
prediktor. Jika asumsi ini dilanggar, dapat menyebabkan hasil yang bias atau salah.

Singkatnya, interpretasi dalam regresi logistik membutuhkan pemahaman tentang

karakteristik unik dari teknik ini, termasuk ekspresi koefisien dalam hal log-odds,
penggunaan rasio peluang untuk menafsirkan efek variabel prediktor, dan asumsi model.

5. Explain the concept of odds and why it is used in predicting probability in a logistic
regression procedure.
Jawab:
Dalam regresi logistik, konsep peluang digunakan untuk memprediksi probabilitas
variabel dependen biner atau kategoris yang terjadi. Peluang mewakili kemungkinan suatu
peristiwa terjadi relatif terhadap kemungkinan peristiwa tersebut tidak terjadi. Peluang
suatu peristiwa didefinisikan sebagai probabilitas peristiwa yang terjadi dibagi dengan
probabilitas peristiwa yang tidak terjadi.

Misalnya, jika probabilitas seseorang mengalami serangan jantung adalah 0,3, maka
kemungkinan orang tersebut mengalami serangan jantung adalah 0,3/(1-0,3) = 0,43. Ini
berarti bahwa orang tersebut 0,43 kali lebih mungkin mengalami serangan jantung
daripada tidak mengalami serangan jantung.

Dalam regresi logistik, hubungan antara variabel prediktor dan variabel dependen
dimodelkan menggunakan fungsi logit, yang merupakan logaritma alami dari peluang.
Fungsi logit digunakan karena memungkinkan hubungan linier antara variabel prediktor
dan peluang log dari variabel dependen. Persamaan untuk fungsi logit adalah:

logit(p) = ln(p/(1-p))

di mana p adalah probabilitas variabel dependen yang terjadi.

Model regresi logistik memperkirakan koefisien variabel prediktor, yang dinyatakan dalam
hal peluang log dari variabel dependen. Koefisien ini dapat digunakan untuk memprediksi
peluang log dari variabel dependen untuk pengamatan baru. Untuk mengubah peluang log
kembali menjadi probabilitas, inversi fungsi logit digunakan, yang merupakan fungsi
logistik. Persamaan untuk fungsi logistik adalah:

p = 1/(1 + e^(-logit(p)))

di mana e adalah konstanta matematika kira-kira sama dengan 2,71828.

Model regresi logistik menggunakan odds dan fungsi logit untuk memodelkan hubungan
antara variabel prediktor dan variabel dependen. Hal ini memungkinkan untuk prediksi
probabilitas variabel dependen yang terjadi, yang dapat berguna dalam berbagai aplikasi,
seperti memprediksi kemungkinan pasien mengembangkan penyakit, atau memprediksi
kemungkinan pelanggan membeli suatu produk.