MULTIPLE REGRESSION

ANALYSIS
Introduction

▪ Analisis regresi sejauh ini merupakan teknik ketergantungan yang paling banyak digunakan dan
serbaguna, yang dapat diterapkan di setiap aspek pengambilan keputusan bisnis.

▪ Misalnya, analisis regresi adalah dasar untuk model peramalan bisnis, mulai dari model
ekonometrik yang memprediksi ekonomi nasional berdasarkan tingkat pendapatan input tertentu,
investasi bisnis, dll.

▪ Model regresi juga digunakan untuk mempelajari bagaimana konsumen membuat keputusan atau
membentuk kesan dan sikap. Implementasi lain termasuk mengevaluasi bantuan faktor penentu
dalam menjaga kualitas dan menentukan kelayakan produk baru atau pengembalian yang
diharapkan untuk masalah stok baru.

2
Analisis regresi merupakan teknik pengolahan data yang popular karena beberapa
alasan :

▪ Pertama, para peneliti saat belajar statistika tingkat dasar sudah sering diperkenalkan dengan teknik
regresi linier sederhana (OLS = Ordinary Linier Regresion) yang merupakan pernyataan fungsi
sederhana Y=f (x) .

▪ Kedua, teknik regresi cukup fleksibel untuk menguji hubungan antarvariabel yang bersifat dependen
dan memiliki varian (jenis) sehingga peneliti bisa memiliki bentuk model yang dengan situasi yang
dihadapi.

▪ Ketiga, dengan teknik regresi peneliti dapat melihat dengan segera dampak perubahan nilai
variable-variable independen terhadap variable dependen.

3
 Analisis Regresi Berganda adalah teknik statistik umum yang digunakan untuk

WHAT IS MULTIPLE REGRESSION ANALYSIS?

mengukur atau menganalisis pengaruh antara lebih dari satu variabel prediktor

“
(variabel bebas) terhadap variabel terikat.
Tujuan : untuk menggunakan variabel independen yang nilai-nilainya diketahui untuk
dapat memprediksi nilai tunggal yang dipilih oleh peneliti.

Formulasi dasarnya :
Y = X1 + X2 +... + Xn,
(metrik) (metrik)

Jadi, untuk menggunakannya anda harus mampu membagi variabel menjadi variabel yang
dependen dan independen. Analisis regresi juga merupakan alat statistik yang harus
digunakan hanya ketika variabel yang dependen dan independen adalah metrik. Akan tetapi,
dalam keadaan tertentu, dapat mencakup data nonmetrik sebagai variabel independen
(dengan mengubah baik ordinal atau nominal data dengan coding variabel dummy) atau
variabel dependen (dengan penggunaan biner dalam teknik khusus regresi logistik). 4
 WHAT IS MULTIPLE REGRESSION ANALYSIS?
Untuk penerapkan analisis regresi berganda:

“
(1) data harus metrik atau ditransformasi dengan tepat, dan
(2) sebelum memperoleh persamaan regresi, peneliti harus memutuskan
variabel mana yang harus dependen dan variabel mana yang tersisa
sebagai independen

 
Pada umumnya model regresi berganda dapat ditulis
sebagai berikut
+ (1)
Dimana:
= variable terikat
= Konstanta
, = koefesien regresi
X1,X2 = variable bebas
5
 Kapan digunakan?

Regresi berganda merupakan salah satu alat yang digunakan didalam statistika parametrik
dan oleh sebab itu pemakaiannya perlu mempertimbangkan sifat distribusi data yang
diolah. Teknik ini digunakan, jika ingin membuat prediksi berdasarkan model yang telah
diketahui atau ingin menentukan kekuatan hubungan (asimetris) antara variable dependen
dan independen, dimana variable dependen diukur dengan skala metriks seperti skala
rasio atau minimal skala interval.

6
Asumsi metode regresi berganda

1. Model telah dinyatakan secara tepat hubungan ▪ seperti Yatau bentuk lain yang berakibat
 
antara variable dependen masing-masing hubungan nonlinier. Jika model nonadditive dan
variable independen adalah linier (variable nonlinier, maka perlu dikonversi menjadi bentuk
independen berpangkat satu) additive linier.
2. Sebagai konsekuensi syarat atau asumsi (1), 3. Varians residual (error terms) persamaan regresi
maka model yang dikembangkan harus relative stabil atau kosntan atau homogen, Var (|
merupakan model pertambahan (additive) Xi) = Maksudnya tidak ada heterokedastisitas
seperti model (1) diatas bukan model yang 4. Nilai ekspetasi (rata-rata) residual adalah nol, E
dinyatakan sebagai model perkalian
(|Xi) = 0
(multipliative),

7
Asumsi metode regresi berganda
5.▪ Antara nilai residual (error term) yang terkait
 
dengan suatu observasi dengan nilai residual
yang terkait dengan observasi lainnya tidak ada
hubungan (=tidak ada korelasi serial) alias
independen, Cov (, |Xi,Xj) = 0
6. Residual (error terms) berdistribusi normal,
maksudnya bentuk distribusi error terms adalah
simetris (seimbang antara yang diatas dan
dibawah garis prediksi model), N (0, ).
▪ Adanya
7.
  variabilitas dalam nilai X, artinya nilai X
harus berbeda.
8. Model regresi telah dispesifikasi secara benar.
Dengan kata lain tidak ada bias (kesalahan)
spesifikasi dalam model yang digunakan dalam
analisis empirik
9. Hubungan antara variable independen yang satu
dengan yang lainnya relative tidak signifikan atau
dengan kata lain tidak ada multikolonieritas
antarvariabel independen, E().
8
 Multiple Regression Decission Diagram

9
 Multiple Regression Decission Diagram

10
 Stage 1 Research Problem

PREDIKSI DENGAN MULTIPLE REGRESSION

Salah satu tujuan fundamental dari beberapa regresi adalah untuk memprediksi variabel
dependen dengan satu perangkat variabel independen. Dalam melakukannya, regresi
berganda untuk memenuhi satu dari dua tujuan:
• Pertama adalah untuk memaksimalkan kekuatan prediktif keseluruhan dari variabel
independen seperti yang diwakili dalam variate tersebut
• Kedua, membandingkan dua set atau lebih variabel-variabel independen untuk
memastikan kekuatan prediksi dari setiap variat.

EXPLANATION MULTIPLE REGRESSION

multiple regression juga menyediakan alat untuk menilai secara obyektif derajat dan karakter
dari hubungan antara variabel-variabel tergantung dan independen dengan membentuk
variabel-variabel independen dan kemudian memeriksa besarnya, tanda-tanda, dan
signifikansi statistik koefisien regresi untuk setiap variabel independen.
11
 Stage 1 Research Problem
EXPLANATION MULTIPLE REGRESSION
• Penafsiran yang paling langsung dari perbedaan regresi adalah penentuan yang relatif penting
dari setiap variabel independen dalam prediksi ukuran yang dependen
• Selain menilai pentingnya variabel, multiple regression juga mampu meneliti cara menilai sifat
hubungan antara variabel independen dan variabel dependen.

SELECT DEPENDEN AND INDEPENDEN VARIABLE

Keberhasilan akhir dari setiap teknik multivariat, termasuk multiple regression, dimulai dengan
pemilihan variabel yang akan digunakan dalam analisis. Karena regresi berganda adalah teknik
dependen, peneliti harus menentukan variabel mana yang merupakan variabel bergantungan dan
variabel mana yang merupakan variabel tidak bergantung. Meskipun sering kali pilihannya tampak
jelas, sang peneliti hendaknya selalu mempertimbangkan tiga persoalan yang dapat mempengaruhi
keputusan apa pun: stong theory, measurement error, dan specification error.

12
 Stage 1 Research Problem

RULE OF THUMB 1
Memenuhi beberapa tujuan regresi
▪ Hanya pemodelan persamaan struktural (SEM) yang secara
langsung dapat mengukur kesalahan, tetapi menggunakan
skala terintegrasi dapat mengurangi ketika menggunakan
banyak kemunduran
▪ Jika ragu, masukkan variabel yang berpotensi tidak relevan
(variabel hanya dapat mengacaukan interpretasi) ketimbang
menghilangkan variabel yang relevan (yang dapat bias semua
perkiraan regresi).

13
 STAGE 2. RESEARCH DESIGN ISSUE
“
Kemampuan beradaptasi dan fleksibilitas adalah dua alasan utama
penggunaan regresi berganda di berbagai macam pengaplikasian. Seperti yang
akan anda lihat di bagian berikut, multiple regression dapat mewakili berbagai
macam hubungan dependen. Dalam melakukannya terdapat tiga unsur:
▪ Sample size. Multiple regresi mempertahankan tingkat yang diperlukan
dari kekuatan statistik dan makna praktis/statistik di berbagai ukuran
sampel.
▪ Elemen unik dari hubungan ketergantungan. Meskipun variabel
independen diasumsikan menjadi metrik dan memiliki hubungan linear
dengan variabel yang tergantung, kedua asumsi dapat dilonggarkan
dengan menciptakan variabel tambahan untuk mewakili aspek-aspek
khusus dari hubungan.
▪ Sifat dari variabel independen. Beberapa regresi mengakomodasi
variabel-variabel independen metrik yang diasumsikan sebagai variabel
alami dan juga yang dengan komponen acak.

14
 STAGE 2. RESEARCH DESIGN ISSUE
“
▪ Statistical power and sample, ukuran sampel memiliki dampak langsung pada
ketepatan dan kekuatan statistik dari beberapa regresi. Sampel kecil, biasanya
memiliki karakteristik kurang dari 30 pengamatan, cocok untuk analisis hanya
dengan regresi sederhana dengan variabel independen tunggal. Bahkan dalam
situasi ini, hanya hubungan yang kuat dapat dideteksi dengan tingkat kepastian.
Demikian pula, besar sampel dari 1.000 pengamatan atau lebih membuat tes
signifikansi statistik terlalu sensitif, sering menunjukkan bahwa hampir semua
statistik signifikan. Dengan sampel besar seperti itu sang peneliti harus memastikan
bahwa kriteria dari signifikansi praktis dipenuhi dengan signifikansi statistik.
▪ GENERALIZATILITY AND SAMPLE SIZE dalam konteks untuk perannya dalam
menentukan kekuatan statistic, Ukuran sampel juga mempengaruhi kemampuan
generalisasi hasil oleh rasio pengamatan terhadap variabel independen. Aturan
umum adalah bahwa rasio tidak boleh jatuh di bawah 5:1, berarti bahwa lima
pengamatan dibuat untuk setiap variabel independen dalam variasi.

15
 Stage 2 Research Decission Issue
RULES OF THUMB 2
Sample Size Consideration
▪ Regresi sederhana bisa efektif dengan ukuran sampel 20, tapi
mempertahankan kekuatan di 80 di mul tiple regression
membutuhkan sampel minimal 50 dan setidaknya 100 pengamatan
untuk kebanyakan situasi penelitian
▪ Rasio minimum pengamatan terhadap variabel 5:1, tetapi rasio yang
disukai adalah 15:1 atau 20:1 yang harus meningkat ketika estimasi
stepwise digunakan
▪ Memaksimalkan derajat kebebasan meningkatkan generalisasi dan
alamat kedua model parsimoni dan masalah ukuran sampel

16
 Stage 3 : Assumption in multiple regression
1. Normalitas Residual
Uji normalitas residual adalah untuk melihat apakah nilai residual

“
terdistribusi normal atau tidak. Model regresi yang baik adalah
memiliki nilai residual yang terdistribusi normal. Kalau asumsi ini
dilanggar maka uji statistik menjadi tidak valid untuk jumlah sampel
kecil. Ada dua cara untuk mendeteksi apakah residual memiliki
distribusi normal atau tidak yaitu dengan analisis grafik dan uji
statistik.
 Analisis grafik
Dengan melihat normal probability plot yang membandingkan
distribusi kumulatif dari data sesungguhnya dengan distribusi
kumulatif dari distribusi normal. Distribusi normal akan membentuk
satu garis lurus diagonal, dan ploting data akan dibandingkan dengan
garis diagonal. Jika distribusi data adalah normal, maka garis yang
menggambarkan data sesungguhnya akan mengikuti garis
diagonalnya.

17
 Grafik Normality
• Jika data menyebar di sekitar garis diagonal
dan mengikuti arah grasi diagonal atau grafik
histogramnya menunjukkan pola distribusi
normal, maka model regresi memnuhi
asumsi normalitas.
• Jika data menyebar jauh dari garis diagonal
dan/atau tidak mengikuti arah garis diagonal
atau grafik histogram tidak menunjukkan
pola distribus normal, maka model regresi
tidak memenuhi asumsi normalitas.

18
Stage 3 : Assumption in multiple regression

2. Linieritas
▪ Ada hubungan linear antara variable bebas dengan variable terikat.
Asumsi linearitas diuji dengan uji linearitas regresi, misalnya dengan
kurva estimasi.
▪ Dengan kurva estimasi kita bisa tentukan ada hubungan linear atau
tidak dengan melihat nilai p value linearitas. Jika p value < 0,05 maka
terdapat hubungan yang linear antara predictor dan response.

19
 Stage 3 : Assumption in multiple regression
3. Uji heteroskedastisitas

“
• Tujuannya untuk melihat apakah terdapat ketidaksamaan varians dari
residual satu ke pengamatan ke pengamatan yang lain. Model regresi yang
memenuhi persyaratan adalah di mana terdapat kesamaan varians dari
residual satu pengamatan ke pengamatan yang lain tetap atau disebut
homoskedastisitas. Deteksi heteroskedastisitas dapat dilakukan dengan
metode scatter plot dengan memplotkan nilai ZPRED (nilai prediksi) dengan
SRESID (nilai residualnya).
• Model yang baik didapatkan jika tidak terdapat pola tertentu pada grafik,
seperti mengumpul di tengah, menyempit kemudian melebar atau
sebaliknya melebar kemudian menyempit.
Beberapa alternatif solusi jika model menyalahi asumsi heteroskedastisitas adalah
dengan mentransformasikan ke dalam bentuk logaritma, yang hanya dapat
dilakukan jika semua data bernilai positif. Atau dapat juga dilakukan dengan
membagi semua variabel dengan variabel yang mengalami gangguan
heteroskedastisitas.

20
Grafik heterokedasitas dan non heterokedasitas

21
 STAGE 4: Estimating the regression model and
assessing overall model fit
TEKNIK ESTIMASI
Apapun teknik estimasi yang dipilih, teori harus menjadi faktor penuntun dalam mengevaluasi model
regresi akhir karena:
1. Spesifikasi konfirmasi (Specification Confirmation), satu-satunya metode untuk memungkinkan
pengujian langsung dari model yang telah ditentukan, juga yang paling rumit dari perspektif
kesalahan spesifikasi, contoh kesengitan, dan mencapai keakuratan prediksi maksimum.
2. Sequential search method (misalnya stepwise estimation), meskipun memaksimalkan prediktif
yang akurat, menunjukkan suatu pendekatan "otomatis" pada penilaian model, sehingga sang
peneliti nyaris tidak bisa mengendalikan spesifikasi model akhir.
3. Penilaian kombinatorial, sambil mempertimbangkan semua model yang mungkin, masih
menghilangkan kendali dari peneliti dalam hal spesifikasi model akhir meskipun peneliti dapat
melihat set dari kira-kira setara model dalam hal ketepatan prediktif

22
 STAGE 4: Estimating the regression model and
assessing overall model fit

STATISTICAL SIGNIFICANCE AND INFLUENTIAL OBSERVATION

 Selalu memastikan signifikansi praktis ketika menggunakan ukuran sampel besar, karena model
hasil dan koefisien regresi dapat dianggap tidak relevan bahkan ketika secara statistik signifikan
karena hanya kekuatan statistik yang muncul dari ukuran sampel besar
 Gunakan R yang disesuaikan sebagai ukuran anda dari keseluruhan model prediksi akurasi
 Signifikansi statistik diperlukan untuk hubungan memiliki validitas, tapi statistik significance
tanpa dukungan teoritis tidak mendukung validitas
 Meskipun outliers mungkin mudah dapat diidentifikasi, bentuk-bentuk lain dari pengamatan
berpengaruh yang membutuhkan metode diagnostik yang lebih khusus dapat sama dengan atau
bahkan lebih berdampak pada hasilnya

23
Signifikansi dari keseluruhan: Menggunakan koefesien penentuan untuk menguji hipotesis
bahwa jumlah variasi yang dijelaskan oleh MODEL regresi lebih dari prediksi dasar (yaitu,
bahwa R secara signifikan lebih besar dari nol), rasio F dapat dihitung sebagai berikut :

24
STAGE 5 : Interpreting the Regression Variate
1. Menafsirkan dampak dari setiap variabel independen relatif terhadap variabel lainnya dalam
model, karena respecifikasi model dapat memiliki efek mendalam pada variabel yang tersisa:
Menggunakan beta saat membandingkan kepentingan relatif di antara variabel-variabel
independen
Koefisien regresi menggambarkan perubahan dalam variabel yang tergantung, tetapi dapat
sulit dalam membandingkan berbagai variabel independen jika format respon bervariasi
2. Multikollinearity mungkin dianggap "baik" ketika mengungkapkan efek penekan, tapi umumnya
dipandang sebagai berbahaya karena peningkatan dalam multikollinearity:
Mengurangi R keseluruhan yang dapat dicapai
Perkiraan yang membingungkan dari koefisien regresi
Secara negatif mempengaruhi statistik signifikan tes koefisien

25
STAGE 7 : Interpreting the Regression Variate
3. Tingkat multikolinearitas yang diterima secara umum (nilai toleransi hingga 0.10, bersesuaian
dengan VIF dari 10) hampir selalu mengindikasikan masalah dengan multicollinearitas, tetapi
masalah ini juga dapat dilihat pada tingkat collinearitas dan multicollinearity yang jauh lebih
rendah:
▪ Korelasi Bivariate dari 0.70 atau lebih tinggi mungkin menghasilkan masalah, dan bahkan korelasi
yang lebih rendah mungkin bermasalah jika mereka lebih tinggi daripada korelasi antara variabel
independen dan dependen
▪ Nilai yang jauh lebih rendah dari ambang batas yang disarankan (nilai VIP genap 3 sampai 5)
dapat mengakibatkan interpretasi atau masalah estimasi, terutama ketika hubungan dengan
ukuran dependen lebih lemah

26
 STAGE 6 : Validation Hasil

Langkah terakhir adalah untuk memastikan bahwa itu mewakili populasi

genera (generalisasi) dan cocok untuk situasi di mana itu akan digunakan
(trans ferability).
▪ Menambahan atau membagi sampel
▪ Perhitungan Statistik PRESS
▪ Membandingkan Model Regresi
▪ Peramalan dengan Model

27
Thanks!

28