Multiple Regression

Analysis
 DEFINISI
Regression Analysis
Teknik statistika yang digunakan untuk menganalisis pengaruh
variabel independen terhadap variabel dependen.
1. Simple regression (regresi sederhana)
• Apabila memiliki sebuah variabel independen
2. Multiple regression (regresi majemuk)
• Memiliki dua atau lebih variabel independen
 MODEL DASAR

Y = bo + b1X1 + b2X2 + … + bnXn

Keterangan :
Y = prediksi nilai variabel dependen
b0 = konstanta (intercept)
bn =bobot regresi untuk variabel independen ke-n
Xn = variabel independen ke-n
TAHAPAN REGRESI
1 • Identifikasi Masalah

2 • Rancangan Penelitian

3 • Pembentukan Model

4 • Interpretasi Hasil

5 • Validasi Model
STAGE 1

IDENTIFIKASI
MASALAH
 TUJUAN
1. Menentukan tujuan penggunaan analisis regresi
– Prediksi
– Eksplanasi

2. Kesesuaian terhadap hubungan statistika

– Analisis regresi majemuk tepat untuk digunakan jika
hubungan antara variabel dependen dan independen yang
ingin diteliti adalah statistical relationship, bukan
functional relationship

3. Menentukan variabel dependen dan variabel independen

 PREDIKSI (1)
Salah satu tujuan utama dari analisis regresi adalah memprediksi
nilai variabel dependen dengan mengetahui nilai atau status
setiap variabel independennya.

– Maksimasi kekuatan prediksi dari variate dengan seluruh

variabel independen yang ada
– Membandingkan dua atau lebih variate yang terbentuk
dengan set variabel independen yang berbeda
PREDIKSI (2)

Uang Jajan/Bln Berat Badan

Rp 1.000.000,- 85 kg
Rp 850.000,- 70 kg
Bisa diprediksi
Rp 450.000,- 58 kg dengan regresi

Rp 300.000,- ???
 EKSPLANASI
• Konsep analisis regresi majemuk juga dapat dimanfaatkan
untuk menilai tingkat dan karakteristik hubungan antara
variabel dependen dengan setiap variabel independennya.

• Interpretasi model regresi bergantung pada 3 sudut pandang:

o Kepentingan variabel independen
o Tipe hubungan yang terjadi
o Hubungan timbal-balik antar sesama variabel independen
 STATISTICAL RELATION
• Statistical relation vs Functional relation?
o Functional relation tidak mengharapkan adanya error
o Statistical relation mengimplikasikan bahwa harus disadari
bahwa hasil ekspektasi akan mengandung error

• Ilustrasi (functional relation):

Total cost = Variable cost + Fixed cost
→ Apabila VC = $2 per unit, FC = $500, dan diketahui bahwa
jumlah produksi 100 unit, maka TC harus sama dengan $70
 PENYALAHGUNAAN
• Sering kali penelitian menyalahgunakan analisis regresi dalam
aplikasinya
• Analisis regresi hanya mampu menjelaskan bahwa ada
hubungan secara statistik
• Analisis regresi tidak mampu menghasilkan hubungan sebab
akibat (kausalitas), syarat kausalitas:
o X terjadi sebelum Y
o Y tidak terjadi apabila X tidak terjadi
o Y terjadi apabila X terjadi
VARIABEL DEPENDEN DAN INDEPENDEN

• Penentuan variabel dependen dan independen harus

sesuai dengan logical thinking dan penelitian yang
telah teruji kebenarannya
• Contoh:
o Ukuran kaki anak TK Kemampuan membaca
o Kemampuan membaca
dipengaruhi ukuran kaki??

STAGE 2

RANCANGAN
PENELITIAN
 ISU STATISTIKA
1. Menentukan ukuran sampel
– Statistical power (1-β)
– Statistical significance level (α)
– Generalizability
– Hair (1998) menyatakan bahwa jumlah sampel minimum
adalah lima kali jumlah variabel independen

2. Menentukan variabel dummy

– Apabila variabel independen adalah nonmetrik maka perlu
dilakukan pembentukan variabel dummy
POWER & SIGNIFICANCE LEVEL (1)

Apabila diketahui persamaan regresi: = a + bX

Maka, bentuk hipotesis regresi:
H0 : b = 0 (tidak ada hubungan antara X dan Y)
H1 : b ≠ 0 (ada hubungan antara X dan Y)

Power (1-β) : Probabilitas ditolaknya H0, pada saat sebenarnya tidak ada
hubungan antara X dan Y
Significance Level (α) : Probabilitas diterimanya H0, pada saat sebenarnya
ada hubungan antara X dan Y
POWER & SIGNIFICANCE LEVEL (2)
 JUMLAH SAMPEL
• Jumlah sampel : jumlah variabel independen = 5:1
(artinya untuk setiap satu variabel independen
minimum terdapat lima buah subjek sampel)
• Untuk metode stepwise direkomendasikan
perbandingannya 50:1
• Idealnya terdapat 15-20 subjek sampel untuk
setiap satu variabel independen
 VARIABEL DUMMY
• Menentukan jenis pengkodean (Indicator coding/Effect coding)
• Menentukan kategori acuan (Reference Category)

Misalkan terdapat sebuah variabel non-metrik dengan 3 kategori

– Jumlah variabel dummy = 3-1 = 2
– Prediksi gaji berdasarkan social skill:
• Tinggi (D1 = 1 ; D2 = 0) Y = a + b1X + b2
• Biasa (D1 = 0 ; D2 = 1) Y = a + b1X + b3
• Rendah (D1 = 0 ; D2 = 0) Y = a + b1X
Maka bentuk model variate: Y = a + b1X + b2D1 + b3D2
STAGE 3

PENGUJIAN ASUMSI
INDIVIDUAL
 ASUMSI 1 - LINEARITAS
• Analisis regresi Berbasis korelasi Hubungan linear

• Pengujian
– Scatter plot antar setiap variabel
• Apabila ternyata disimpulkan bahwa terjadi hubungan yang
tidak linear, maka perlu dilakukan transformasi data
• Untuk membangun model: Y = α + β1X1 + β2X2 + β3X3 ,
maka:
– Hubungan (X1 dan Y); (X2 dan Y); (X3 dan Y) harus linear
 ASUMSI 2 - HOMOSCEDASCITY

• Uji ini diperlukan untuk memeriksa apakah variansi

error yang dihasilkan dari ekspektasi nilai variabel
dependen adalah konstan.

• Pengujian:
– Scatterplot antara error dan ekspektasi variabel
dependen
– Levene Test, Box’s M
 ASUMSI 3 - NORMALITAS (1)

• Pengujian
– Normal Probability Plot
– Kolmogorov-Smirnov
– Shapiro-Wilks

• Apabila terdapat data yang tidak normal, maka

dapat dilakukan transformasi data ataupun
penambahan data
 ASUMSI 3 - NORMALITAS (2)

 Tujuan
• Memperbaiki data pada asumsi yang dilanggar
• Meningkatkan korelasi antar variabel

 Metode Transformasi
• Square-root
• Logaritma/Logaritma natural (ln)
• 1/X
STAGE 4

PEMBENTUKAN
MODEL
TAHAP PEMBENTUKAN MODEL

1. Pemilihan variabel independen ke dalam

variate.
2. Pengujian apakah regression variate sesuai
dengan asumsi analisis regresi.
3. Memeriksa statistical significance.
4. Identifikasi influential observations.
 PENDEKATAN PEMBENTUKAN VARIATE

• Confirmatory specification approach

– Memasukkan seluruh variabel ke dalam model

• Sequential search approach

– Memaksimasi kemampuan prediksi dengan jumlah variable
sedikit mungkin
– Forward/Backward/Stepwise

• Combinatorial approach
– Mencoba semua kombinasi variabel yang memiliki
kemampuan prediksi terbaik
 PENGUJIAN ASUMSI VARIATE

Konsekuensi dari penurunan model matematis dari

estimasi parameter regresi
• Asumsi Variate
– Linearitas > ANOVA
– Homoscedasticity > Plot residu terhadap nilai prediksi
– Independensi Error > Durbin-Watson
– Normalitas Error > Normal probability plot
STATISTICAL SIGNIFICANCE (1)
• Coeffcient of determination (R2)
Mengindikasikan total variasi dari variabel dependen yang
terjelaskan oleh variabel independen yang masuk dalam
model.

• Adjusted coefficient of determination ( adj R2)

– Dipengaruhi oleh jumlah variabel independen relatif
terhadap ukuran sampel.
– Digunakan untuk menghilangkan pengaruh jumlah
variabel independen agar dapat diperbandingkan.
 STATISTICAL SIGNIFICANCE (2)
• Standard error of the estimate
Standard error of estimate merupakan salah satu ukuran
akurasi kemampuan memprediksi oleh model. Standard error
of estimate digunakan sebagai estimasi atas deviasi standar
dari nilai dependen aktual di sekitar garis regresi.

• Statistical significance of regression model (Uji-F)

Menguji variabel yang masuk kedalam regression model
secara bersama-sama (terutama pada metode enter)
INFLUENTIALS OBSERVATIONS (1)

 Outliers
Observasi yang memiliki nilai residual (error) yang besar.
 Leverage Points
Observasi yang berbeda dari observasi lainnya yang
berbasis pada nilai variabel independen.
 Other Influentials Observations
Observasi yang menghasilkan efek yang tidak sesuai
dengan hasil regresi.
INFLUENTIALS OBSERVATIONS (2)
REMEDY FOR INFLUENTIALS

 Error in Observations or data entry -> correcting the data or

deleting the case.
 Valid but exceptional observation -> deleting the case unless
the situations are included in the regression equation.
 Exceptional observations with no explanation -> no reason
for deleting the case.
 Ordinary observation in its individual characteristic but
exceptional in its combination of characteristics -> indicate
modifications to the conceptual basis of the regression model.
STAGE 4

INTERPRETASI
HASIL
 INTERPRETASI HASIL REGRESI
 Melakukan evaluasi persamaan regresi dengan
merepresentasikan nilai dari koefisien regresi.

 Menggunakan koefisien standardized beta untuk

mengevaluasi tingkat kepentingan relatif dari setiap
variabel independen.

 Memeriksa apakah ada multikolinearitas dan

dampaknya.
STAGE 5

VALIDASI MODEL
 VALIDASI
 Tujuan
- Mengukur generalizability
- Mengantisipasi adanya over-fitting

 Metode
Membandingkan dengan model regresi yang dibentuk dari set
data lain.

 Sumber Data
- Split sample
- Observasi baru
 That’s All

Any questions?