STATISTIK MULTIVARIAT

CORRELATION AND SIMPLE REGRESSION

DISUSUN OLEH :

OCTAVIA RENIAR PUTRI

: 041614153015

ERIKA SEFILA PUTRI

: 041614153016

RISKA AGUSTIN

: 041614153020

MAGISTER SAINS MANAJEMEN

FAKULTAS EKONOMI DAN BISNIS
UNIVERSITAS AIRLANGGA
TAHUN 2016

REGRESI SEDERHANA DAN KORELASI

1. ANALISIS REGRESI
Analisis regresi bertujuan untuk membuat estimasi dan atau membuat perkiraan nilai rata-rata
dari variabel dependen atas dasar nilai dari variabel independen yang telah diketahui atau telah
ditetapkan. Terdapat 2 macam regresi, yaitu:
1. Simple Regression
Merupakan regresi yang melibatkan variabel dependen dan 1 variabel independen.
Model regresi sederhana dapat dirumuskan sebagai: Y = b0 + b1 X1 + e
Y adalah sebagai variabel dependen; b0 adalah intercept; b1 adalah koefisien regresi yang
mengukur besarnya pengaruh variabel X1 terhadap Y; X1 adalah variabel independen; dan e
adalah error (residual/sisa).
2. Multiple Regression
Merupakan regresi yang melibatkan variabel dependen dan 2 atau lebih variabel independen.
Model regresi berganda dapat dirumuskan sebagai: Y = b0 + b1 X1 + b2 X2 + . + bn Xn + e
Y adalah sebagai variabel dependen; b0 adalah intercept; b1 adalah koefisien regresi yang
mengukur besarnya pengaruh variabel X1 terhadap Y; X1 adalah variabel independen pertama;
dan seterusnya sama untuk variabel independen kedua sampai ke-n; dan e adalah error
(residual/sisa).
2. TIPE-TIPE YANG DIGUNAKAN DALAM ANALISIS REGRESI
Terdapat tiga data yang tersedia untuk sebuah analisis empiris, yaitu:
1. Data Time Series
` Merupakan kumpulan observasi terhadap nilai-nilai sebuah variabel dari beberapa waktu yang
berbeda.
2. Data Cross Section
Merupakan data yang terdiri atas satu atau lebih variabel yang dikumpulkan dalam satu
periode yang sama.
3. Data Panel
Merupakan gabungan atau kombinasi dari data time series dan cross section.
3. LINEARITAS DALAM PARAMETER
Terdapat dua model, yaitu:
1. Model Regresi Linear
Y = b0 + b1 X1 + e atau Y = b0 + b1 X12 + e
2. Model Regresi Non-linear
Y = b0 + b12 X1 + e atau Y = b0 + b12 X12 + e

Terminologi regresi linear akan selalu berarti sebuah regresi yang linear dalam parameterparameternya; b-nya (yaitu parameternya) berpangkat satu saja. Parameter untuk variabel
independennya, atau X-nya, bisa saja linear atau tidak linear.
4. LANGKAH-LANGKAH REGRESI
-

Klik Analyze Regression Linear

Masukkan variabel Y ke kotak Dependent, variabel V1 ke kotak Independent, dan
Family_ID ke kotak Case Labels.
Klik Statistics, Centang Estimates, Model Fit, Descriptives, Durbin Watson, dan Casewise
Diagnostics (pilih all cases).
Klik Plot, Isikan SRESID pada y-axis dan ZPRED pada x-axis. Centang Histogram dan
Normal Probability Plot.
Klik Continue.
Analisis hasilnya pada Output SPSS.

5. UJI ASUMSI KLASIK

Selanjutnya perlu dilakukan asumsi klasik dalam analisis regresi untuk mengetahui ada atau
tidaknya gejala penyimpangan sampel. Beberapa uji asumsi klasik yang dapat dilakukan antara
lain:
1. Uji Normalitas
Pengujian ini bisa dilakukan dengan beberapa cara, yaitu:
a. Analisis Grafik
Ini adalah cara termudah yaitu dengan melihat grafik histogram atau normal probability plot.
Dasar pengambilan keputusan:
Jika data menyebar di sekitar garis diagonal dan mengikuti arah garis diagonal atau grafik
histogramnya berarti menunjukkan pola distribusi normal, maka model regresi memenuhi
asumsi normalitas, dan sebaliknya.
b. Rasio Skewness dan Kurtosis
Uji normalitas dengan grafik dapat menyesatkan kalau tidak hati-hati, karena secara visual
kelihatan normal, padahal secara statistik bisa sebaliknya. Uji statistik sederhana dapat
dilakukan dengan melihat nilai skewness dan kurtosis dari residual.
Nilai Z statistik untuk skewness bisa dihitung dengan rumus:
Z-skewness = Skewness / (6/N)
Nilai Z statistik untuk kurtosis bisa dihitung dengan rumus:
Z-kurtosis = Kurtosis / (24/N)
Dimana N adalah jumlah sampel, jika nilai Z hitung > Z tabel, maka distribusi tidak normal.
Pengujian ini bisa dilakukan dengan cara yaitu:
- Lakukan regresi
- Lanjutkan dengan menekan tombol save dan aktifkan unstandardized residual
- Tekan continue, lalu OK
- Sekarang kita memiliki data residual (Res_1)
- Dari menu utama SPSS, pilih Analyze Descriptive Statistics Descriptives
- Pada kotak variabel, isikan unstandardized residual

c.
a.
b.
c.
d.

- Pilih Option, aktifkan kurtosis dan skewness

- Amati hasil output SPSS
Kolmogorov-Smirnov Normality Test
Data yang normal adalah Sig. Kolmogorov-Smirnov > Sig. Penelitian (0,05). Cara
melakukan uji normalitas dengan SPSS adalah:
Klik Analyze Nonparametric Tests 1-Sample K-S.
Pada jendela One-Sample Kolmogorov-Smirnov Test, isikan unstandardized residual.
Pastikan sudah tercentang Normal pada Test Distribution.
Klik OK.

2. Uji Autokorelasi
Uji autokorelasi digunakan untuk mengetahui apakah terdapat korelasi antara variabel
pengganggu pada periode tertentu dengan variabel pengganggu pada periode sebelumnya.
Pendeteksian ada atau tidaknya autokorelasi dilakukan dengan melihat nilai Durbin-Watson.
Hasil regresi dikatakan tidak memiliki autokorelasi jika du < dw < 4-du.
3. Uji Heteroskedastisitas
Uji heteroskedastisitas dilakukan untuk mengetahui ada tidaknya hubungan antara variabel
pengganggu dengan variabel bebasnya. uji gejala heteroskedastisitas dapat diketahui dengan
melihat scatterplot. Plot data yang berpencar tidak secara acak dan membentuk suatu pola
tertentu menimbulkan dugaan terjadi masalah heteroskedastisitas, dan sebaliknya jika
pencaran data bersifat acak dan tidak membentuk suatu pola tertentu maka tidak terjadi
masalah heteroskedastisitas. Caranya dengan melihat grafik persilangan SRESID dengan
ZPRED pada output hasil SPSS, dengan langkah-langkah sebagai berikut:
a. Klik Analyze Regression Linear
b. Masukkan variabel y ke Dependent.
c. Masukkan variabel V1 ke Independent
d. Klik Plot.
e. Isikan SRESID pada y-axis dan ZPRED pada x-axis.
f. Klik Continue.
g. Amati hasilnya pada Output SPSS.
6. ANALISIS REGRESI
Setelah mengetahui asumsi klasik diatas telah dinyatakan lolos, maka selanjutnya kita dapat
melanjutkan analisis regresi. Kita dapat melakukan interpretasi pada beberapa nilai di bawah ini:

a. Regression Coefficient
Koefisien regresi adalah estimasi perubahan pada variabel dependen untuk setiap perubahan
di dalam variabel independen. Jika koefisien regresi ditemukan signifikan secara statistik,
nilai koefisien regresi akan menunjukkan seberapa besar perubahan variabel independen
mempengaruhi variabel dependen.
b. Intercept
Intercept atau konstanta adalah nilai yang jika variabel independen di dalam model dianggap
konstan, maka nilai variabel dependen adalah sebesar nilai intercept atau konstanta tersebut.
c. Koefisien Determinasi
Koefisien determinasi (R2) pada intinya mengukur seberapa jauh kemampuan model dalam
menerangkan variansi variabel dependen. Nilai koefisien determinasi adalah antara nol dan
satu. Nilai R2 yang kecil berarti kemampuan variabel independen dalam menjelaskan variansi
variabel dependen amat terbatas, dan sebaliknya.
d. Standard Error of Estimate (SEE)
Ukuran lain untuk keakuratan prediksi adalah variasi yang diharapkan dalam nilai-nilai yang
diprediksi, yang disebut sebagai standard error of estimate (SE E). Makin kecil nilai SEE ini
akan membuat model regresi semakin tepat dalam memprediksi variabel dependen.
7. KORELASI
Analisis korelasi bertujuan untuk mengukur kekuatan asosiasi (hubungan) linear antara dua
variabel dan arah hubungannya. Hal ini mengukur kekuatannya apakah termasuk kategori kuat
atau lemah dan apakah arah hubungannya searah (positif) atau berlawanan arah (negatif).
Korelasi tidak menunjukkan hubungan fungsional atau dengan kata lain analisis korelasi tidak
membedakan antara variabel dependen dengan variabel independen.
a. Kekuatan Korelasi

Koefisien Korelasi (R) : -1 R 1

Jika tidak ada hubungan nilai korelasi 0
Gambar diatas menunjukkan rentang kekuatan dari angka korelasi. Sebagai tambahan,
koefisien determinasi merupakan koefisien korelasi (R) yang dikuadratkan.

b. Arah Korelasi

c. Uji Signifikan Koefisien Korelasi

Hipotesis :
Ho : = 0 (Tidak ada korelasi dalam populasi)
H1: 0 (ada korelasi dalam populasi)
P value < : Ho ditolak
P value : Ho tidak ditolak
d. Pearsons Correlation
n XY X Y
R
n X 2 ( X ) 2 n Y 2 ( Y ) 2

8. HASIL OUTPUT SPSS

Descriptive Statistics
Mean

Std.

Deviation
Y

7.00

1.773

V1

4.25

1.581

8
Correlations
Y

Pearson Correlation

V1

1.000

.866

V1

.866

1.000

.003

.003

V1

Sig. (1-tailed)

V1

Variables Entered/Removeda
Mod

Variables

Variables

el

Entered

Removed

V1

Method

Enter

a. Dependent Variable: Y
b. All requested variables entered.
Model Summaryb
Mod

el
1

Adjusted R

Std. Error of

Square

Square

the Estimate

.866a

.751

.709

Durbin-Watson

.956

2.511

a. Predictors: (Constant), V1
b. Dependent Variable: Y
ANOVAa
Model

Sum of

df

Mean

Squares
Regression
1

Residual
Total

a. Dependent Variable: Y
b. Predictors: (Constant), V1

Sig.

Square

16.514

16.514

5.486

.914

22.000

18.063

.005b

Coefficientsa
Model

Unstandardized

Standardized

Coefficients

Coefficients

B
1

(Constant)
V1

Std. Error

2.871

1.029

.971

.229

Sig.

Collinearity Statistics

Beta

Tolerance

.866

2.792

.032

4.250

.005

1.000

a. Dependent Variable: Y

Casewise Diagnostics
Case

FAMILY_I

Std.

Residual

Number

Simple
regression

Predictio
n error

Predicted

Residual

Value

-.852

4.81

-.814

1.240

4.81

1.186

-.792

6.76

-.757

.254

6.76

.243

.284

7.73

.271

-.762

7.73

-.729

-.732

8.70

-.700

1.360

10

8.70

1.300

a. Dependent Variable: Y
Residuals Statisticsa
Minimum

Maximum

Mean

Std.

Deviation
Predicted Value

4.81

8.70

7.00

1.536

-1.423

1.107

.000

1.000

Standard Error of Predicted Value

.343

.615

.465

.118

Adjusted Predicted Value

3.98

9.00

6.96

1.618

Residual

-.814

1.300

.000

.885

Std. Residual

-.852

1.360

.000

.926

Stud. Residual

-1.113

1.625

.020

1.124

Deleted Residual

-1.390

2.024

.045

1.317

Stud. Deleted Residual

-1.140

1.982

.108

1.267

Mahal. Distance

.025

2.025

.875

.860

Cook's Distance

.005

.928

.278

.335

Centered Leverage Value

.004

.289

.125

.123

Std. Predicted Value

a. Dependent Variable: Y

VIF

1.000

Charts

Descriptive Statistics
N

Minimum

Maximum

Mean

Std. Deviation

Statistic

Statistic

Statistic

Statistic

Statistic

.0000000

.88525334

Unstandardized

-.81429

1.30000

Residual
Valid N (listwise)

One-Sample Kolmogorov-Smirnov Test

Unstandardized
Residual
N
Normal Parametersa,b

Most Extreme Differences

8
Mean
Std. Deviation

.0000000
.88525334

Absolute

.285

Positive

.285

Negative

-.179

Kolmogorov-Smirnov Z

.807

Asymp. Sig. (2-tailed)

.532

a. Test distribution is Normal.

b. Calculated from data.

Skewness

Kurtosis

Statistic

Std. Error

Statistic

.603

.752

-1.477

Std. Error
1.481

9. INTERPRETASI
A. UJI NORMALITAS
Terdapat beberapa cara menguji normalitas. Berdasarkan tabel Descriptive Statistics Skewness
dan Kurtosis, kita dapat melihat bahwa besarnya nilai skewness adalah 0,603 dan kurtosis adalah
-1,477. Kemudian kita bisa menghitung:
Z-skewness = 0,603 / (6/8) = 0,696
Z-kurtosis = -1,477 / (24/8) = -0,853
Selanjutnya, kita harus membandingkan nilai Z hitung diatas dengan Z tabel.
Diketahui = 0,05, dimana sisanya berarti 0,95. Angka 0,95 dibagi menjadi 2 untuk masingmasing sisi sehingga satu sisi menghasilkan angka 0,475.
Hasil tersebut kemudian dapat dilihat pada tabel Z dibawah ini dan menunjukkan bahwa posisi
0,475 berada pada z-value 1,96.

Kesimpulannya adalah data residual terdistribusi normal karena baik hasil perhitungan Zskewness (0,696) maupun Z-kurtosis (-0,853) < Z tabel (1,96).
Cara lainnya yaitu berdasarkan tabel kolmogorov smirnov test, kita dapat melihat bahwa nilai
kolmogorov smirnov adalah 0,807 dan signifikan pada 0,532. Hal ini berarti data residual
terdistribusi normal karena Sig. Kolmogorov-Smirnov (0,532) > Sig. Penelitian (0,05). Hasil ini
konsisten dengan uji normalitas sebelumnya yang menggunakan analisis skewness dan kurtosis.
B. UJI AUTOKORELASI
Kita bisa melihat pada tabel Model Summary yang menunjukkan angka durbin watson sebesar
2,511. Hasil regresi dikatakan tidak memiliki autokorelasi jika du < dw < 4-du. Nilai du disini
dapat dilhat pada tabel berikut:

Dimana pada kasus ini, kita memiliki k (variabel independen) = 1 dan n (jumlah sampel) = 8,
sehingga didapat angka du sebesar 1,3324. Maka dari itu, dapat disimpulkan bahwa regresi tidak
memiliki autokorelasi karena du (1,3324) < dw (2,511) < 4-du (2,6676).
C. UJI HETEROSKEDASTISITAS
Kita bisa melihat pada scatterplot yang menunjukkan bahwa pencaran data bersifat acak dan
tidak membentuk suatu pola tertentu sehingga dapat disimpulkan tidak terjadi masalah
heteroskedastisitas.
D. KOEFISIEN REGRESI
Kita bisa melihat pada tabel Coefficients yang menunjukkan bahwa koefisien regresi untuk V1
terhadap Y adalah sebesar 0,971 (unstandardized). Dan dapat diketahui juga bahwa V1 memiliki
pengaruh positif signifikan terhadap Y, karena sig. (0,005) < (0,05).
E. INTERCEPT
Kita bisa melihat pada tabel Coefficients yang menunjukkan bahwa intercept untuk V1 terhadap
Y adalah sebesar 2,871 (pada baris constant).
Berdasarkan angka koefisien regresi dan intercept, maka dapat kita rumuskan model
prediction equation untuk regresi sederhana ini sebagai berikut:

atau

Y= 2,87 + 0,97V1
F. KOEFISIEN DETERMINASI
Kita bisa melihat pada tabel Model Summary yang menunjukkan angka R 2 sebesar 0,751 yang
berarti variabel independen V1 mampu menjelaskan pengaruh terhadap variabel dependen Y
sebesar 75,1%.
G. STANDARD ERROR OF ESTIMATE
Kita bisa melihat pada tabel Model Summary yang menunjukkan angka SE E sebesar 0,956, yang
berarti memberikan 95,6% confidence interval pada nilai 2,34, yang didapat dengan mengalikan
SEE dengan t-value yaitu sebesar 2,447. T-value ini didapat dari melihat tabel berikut:

Dimana df (residual) = 6 dan untuk two-tails = 0,05 yang menghasilkan t-value sebesar 2,447.
Semakin kecil nilai SEE akan membuat model regresi semakin tepat dalam memprediksi variabel
dependen.
H. KORELASI
Kita bisa melihat pada tabel Correlations yang menunjukkan angka sig. (2 tailed) sebesar 0,003
yang berarti ada korelasi yang signifikan karena p-value (0,003) < (0,05). Selain itu,
berdasarkan pada tabel Model Summary, dapat diketahui juga koefisien korelasi (R) yaitu
sebesar 0,866 yang berarti korelasi/hubungan antara variabel V1 dan Y ini berada pada kategori
rentang kuat-sangat kuat dan arah korelasinya positif karena R > 0.