Kesalahan Umum

Regresi-korelasi vs
Hubungan Kausal
Relationship vs Causal Relationship

• Tidak semua hubungan antara

variabel berupa hubungan sebab-
akibat
• Penentuan suatu hubungan bersifat
sebab-akibat memerlukan teori yang
kuat dari bidang ilmu terkait
Richard P. Runyon, et al. Fundamentals of
BehavioralStatistics. New York: McGraw-Hill,
1996

 Koefisien korelasi digunakan untuk menentukan

tingkat keeratan hubungan antara variabel bebas
dan variabel terikat (pp.223-224);
 Koefisien korelasi yang tinggi tidak menunjukkan
adanya pengaruh (p.225)
 Hubungan sebab akibat (pengaruh X terhadap Y )
hanya dapat ditentukan melalui penelitian
eksperimen (p.294).
 Para peneliti sering membuat kesalahan dengan
menafsirkan koefisien regresi dan koefisien
korelasi sebagai pengaruh antara variabel (p.294).
David G. Kleinbaum, and Lawrence L. Kupper. Applied
Regression Analysis and Other Multivariable Methods.
Massachusetts, North Scltuate: Duxbury Press, 1978.

“Harus selalu diingat bahwa hubungan

yang sangat kuat antara variabel bebas
dan variabel terikat dalam analisis regresi
dan korelasi tidak dapat ditafsirkan
bahwa variabel bebas mempengaruhi
variabel terikat.” Untuk menguji
hubungan sebab akibat dibutuhkan
metodologi lanjutan, misalnya penelitian
eksperimen (p. 35).
Sam Kash Kachigan, Multivariat Statistical Analysis: A
Conceptual Introduction. New York: Radius Press, 1982.

 Analisis korelasi bertujuan untuk menentukan tingkat keeratan hubungan

antara variabel, sedangkan analisis regresi untuk menentukan persamaan
yang menjelaskan sifat hubungan antara variabel. Selanjutnya, persamaan
garis regresi digunakan untuk meramalkan skor variabel terikat berdasarkan
skor variabel bebas (p.160).
 Semakin tinggi koefisien korelasi antara variabel bebas dan variabel terikat
maka semakin tepat variabel bebas dalam meramalkan variabel terikat
(p.161).
Tujuan analisis regresi adalah:
 Untuk menentukan ada-tidaknya hubungan antara variabel
 Untuk menjelaskan sifat hubungan antara variabel melalui persamaan
matematis
 Untuk meramalkan hubungan antara variabel melalui persamaan matematis
 Khusus untuk regresi ganda, untuk meramalkan kontribusi beberapa variabel
bebas terhadap variabel terikat (p.161).
Analisis regresi dan korelasi dapat juga digunakan untuk menguji pengaruh
variabel perlakuan terhadap variabel terikat dalam penelitian eksperimen
(p. 161).
A. Ferguson and Yoshio Takane. Statistical Analysis In
Psycohology and Education. New York: McGrow-Hill
Book Company, 1989.

Analisis regresi digunakan untuk

menentukan bentuk atau sifat hubungan
antara variabel penelitian, sedangkan
analisis korelasi digunakan untuk
menentukan tingkat keeratan hubungan
dan/atau variansi bersama antara variabel
tersebut (concomitant variation)
(p.115)
Schuyler W. Huck and William H. Cormier.
Reading Statistics and Research. New York:
Harper Collins, 1996.

“Penting untuk diingat bahwa koefisien

regresi dan korelasi tidak menunjukkan
pengaruh (hubungan sebab akibat).
Regresi dan korelasi tidak sama dengan
pengaruh (p.69).
Frederick J. Gravetter and Larry B. Wallnau. Statistics for
the Behavioral Sciences. Minnesota: West Publishing Co.,
1985.

“Kesalahan yang sering ditemukan

adalah koefisien regresi dan korelasi
selalu ditafsirkan sebagai hubungan
sebab-akibat (pengaruh) antara
variabel (p.541).
Jack R. Fraenkel and Norman E. Wallen. How to Design
and Evaluate Research in Edacation. San Farancisco State
University: McGraw-Hill Inc. 1993.

Studi korelasional tidak dengan sendirinya

menunjukkan hubungan sebab dan akibat.
Korelasi tinggi antar variabel sering menjadi
fokus penelitian tambahan, dengan
menggunakan desain eksperimental untuk
menguji apakah hubungan itu memang
bersifat sebab akibat (kausal) (pp.288-289).
John W. Best and James V. Kahn. Research in
Education. Nedham Heights, MA: Allyn and Bacon,
1993

”Beberapa kekeliruan dan keterbatasan harus

dipertimbangkan dalam menafsirkan makna
koefisien korelasi. Koefisien korelasi tidak
menyiratkan hubungan sebab-akibat antara
variabel. Sebuah studi eksperimental terkontrol
hampir pasti akan menunjukkan beberapa
hubungan sebab akibat (p.309)
Regresi & Korelasi
Linear Sederhana
Persyaratan/Asumsi
 Data interval atau rasio (data
metrik)
 Sampel minimal 30
 Sampek acak
 Data berdistribusi normal
 Data bersifat linear
 Homokedastis
 Tidak ada multikolinearitas antara
variabel bebas
 Asumsi Analisis Regresi Linier

1. Data Y berskala minimal interval

Data X berskala minimal nominal
(jika data X berskala nominal / ordinal harus
menggunakan bantuan variabel dummy)
2. Existensi untuk setiap nilai dari variabel x
yang tetap, y adalah variabel random
dengan distribusi probabilitas tertentu
yang mempunyai mean dan varians.

14
3. Nilai y secara statistik saling bebas
4. Linieritas, nilai rata-rata y adalah sebuah
fungsi garis lurus dari x
5. Homoscedasticity. Varians dari y adalah
sama pada beberapa x
6. Distribusi normal pada beberapa nilai
tertentu x, y mempunyai distribusi
normal

15
Asumsi Analisis Regresi Linier

16
Asumsi Analisis Regresi Linier

17
Analisis Regresi
• Apa itu analisis regresi?
• Apa bedanya dengan
korelasi?

Analisis Regresi  Analisis statistika yang

menguji hubungan linear antara dua atau lebih
variabel kuantitatif sehingga salah satu
variabel dapat diramalkan dari variabel
lainnya.
 Analisis Regresi
 Mempelajari dan mengukur hub statistik yg tjd
antara 2 variabel atau lebih
 Meramalkan/ memperkirakan nilai dari satu
variabel dalam hubungannya dengan variabel lain
yang diketahui melalui persamaan garis regresi
 Teknik statistika yg berguna untuk memeriksa
dan memodelkan hubungan diantara variabel
(terapannya biasanya dikaitkan dengan studi
ketergantungan suatu variabel bebas pada
variabel terikat)
 Analisis regresi dan korelasi linear
sederhana merupakan hubungan antara
satu variabel independent dengan satu
variabel dependent.
 Analisis Regresi dan korelasi linier
sederhana merupakan metode statistik yang
digunakan untuk menganalisis hubungan
linier antara satu variabel independen
dengan satu variabel dependen.
 Pada dasarnya, metode ini berfungsi untuk
mengetahui arah hubungan dan tingkat
keeratan hubungan antara variabel (bukan
hubungan kausal/sebab akibat).
20
Regresi : Linear dan Non Linear
(kuadratik, logaritmik,
eksponensial kubik, hiperbolik, dll)

Regresi Sederhana dan Berganda

Sederhana jika hanya terdiri dari satu
variabel bebas/ independent
Berganda jika terdiri lebih dari satu
variabel bebas/ independent
• Jenis Variabel
Y = variabel dependen, terikat, tergantung,
kriterium.
X = variabel independen, bebas, tak tergantung,
prediktor.

Variabel terikat (dependent variable atau response variable)

adalah variabel yang nilainya akan diramalkan dan biasanya
diplot pada sumbu tegak (sumbu-y).
Variabel bebas (independent variable atau explanatory
variable) adalah variabel yang diasumsikan berkorelasi dengan
variabel terikat dan biasanya diplot pada sumbu datar (sumbu-x).

22
Bentuk persamaan regresi linear
sederhana

Y  a  bX

Untuk meramalkan persamaan regresi mk

nilai a dan b dirumuskan

b
 XY  n X Y
2
X n X
2

a Y b X
Pengujian hipotesis koefisien regresi
• Menentukan formulasi hipotesis untuk
parameter a dan b
• Menentukan taraf nyata α dan nilai t tabel
yg ditentukan dgn derajat bebas (db) = n-2
• Menentukan kriteria pengujian
• Menentukan nilai uji statistik
a  a0
Untuk parameter a t hit 
Sa
b  b0
Untuk parameter b t hit 
Sb

Membuat kesimpulan
• Standart error/ kesalahan bakunya

Se 
  a. Y  b. XY
Y 2

n2

• Utk koefisien regresi a, kesalahan

bakunya
Sa 
  Se
X 2

n. X 2  ( X ) 2

• Utk koefisien regresi b, kesalahan

bakunya
Se
Sb 
( X ) 2
X 2

n
26
27
28
29
Analisis korelasi
 Contoh Output SPSS:
Model Summary
Std. Error Change Statistics
R Adjusted of the R Square F Sig. F
Model R Square R Square Estimate Change Change df1 df2 Change
1 .858a .736 .716 2.20307 .736 37.614 2 27 .000
a. Predictors: (Constant), X2, X1
 Koefisien Korelasi (R)

•R dalam analisis regresi disebut

koefisien korelasi dan diartikan sebagai
korelasi atau hubungan antara variabel
independen dan variabel dependen.
•Mengukur seberapa kuat atau derajat
keeratan suatu relasi yang terjadi antara
variabel
•Koefisien korelasi memiliki nilai -1≤ r
≤+1
Untuk menentukan keeratan
hubungan antara variabel diberikan
patokan r:

•0,91 – 1,00; hubungan yang sangat kuat

•0,71 – 0,90; hubungan yang kuat
•0,51 – 0,70; hubungan yang moderat
•0,31 – 0,50; hubungan yang lemah
•0,00 – 0,30; hubungan yang sangat lemah
 Koefisien Determinasi (R²)
 Koefisien korelasi merupakan akar dari koefisien
determinasi (R²)
 Koefisien determinasi merupakan suatu ukuran yg
digunakan utk melihat seberapa besar sumbangan
variabel independent terhadap variasi variabel dependent.
 Nilai R² berkisar 0 < R² < 1

Kegunaannya:
 Untuk ukuran ketepatan garis regresi dari hasil estimasi
terhadap sekelompok data hasil observasi.
 Utk mengukur proporsi dari jumlah variasi yg diterangkan
oleh model regresi.
 Adjusted R Square (R2 yang
Disesuaikan)

 Kelemahan Koefisien Determinasi (R²)

adalah nilainya akan selalu meningkat
jika jumlah variabel bebas ditambahkan
dalam model kendatipun tambahan
variabel baru tersebut tidak memberikan
kontribusi yang signifikan terhadap model
regresi.
 Untuk mengatasi hal ini maka nilai R²
harus disesuaikan (Adjusted R square).
 Adjusted R square bertujuan untuk
menyesuaikan kontribusi variabel
independen dalam model regresi.
 Dengan penyesuaian ini maka koefisien
determinasi akan meningkat jika variabel
baru yang ditambahkan tersebut dapat
memberikan kontribusi yang signifikan
terhadap model regresi, sebaliknya akan
menurun jika variabel baru tersebut tidak
memberikan kontribusi yang signifikan
terhadap model.
 Adjusted R square (R2 yang
disesuaikan) sering digunakan pada
model regresi yang melibatkan lebih
dari dua variabel prediktor dan/atau
model regresi lebih kompleks dengan
banyak prediktor
 R2 yang disesuaikan dianggap sebagai
estimasi populasi yang lebih baik dan
berguna saat membandingkan nilai R2
antara model dengan jumlah variabel
independen yang berbeda.
Contoh Perubahan Nilai R Square Adjusted
Model Summary
Change Statistics
R Adjusted R Std. Error of R Square F
Model R Square Square the Estimate Change Change df1 df2 Sig. F Change
1 .020 a
.000 -.010 7.61969 .000 .036 1 93 .851
2 .131 b
.017 -.004 7.59681 .017 1.561 1 92 .215
3 .423 c
.179 .152 6.98076 .162 17.954 1 91 .000
4 .530 d
.281 .249 6.57103 .102 12.702 1 90 .001
5 .564 e
.318 .280 6.43416 .037 4.870 1 89 .030
6 .597f .356 .312 6.28566 .038 5.255 1 88 .024
7 .644g .415 .368 6.02577 .059 8.755 1 87 .004
8 .659 h
.434 .381 5.96224 .019 2.864 1 86 .094
a. Predictors: (Constant), X1
b. Predictors: (Constant), X1, X2
c. Predictors: (Constant), X1, X2, X3
d. Predictors: (Constant), X1, X2, X3, X4
e. Predictors: (Constant), X1, X2, X3, X4, X5
f. Predictors: (Constant), X1, X2, X3, X4, X5, X6
g. Predictors: (Constant), X1, X2, X3, X4, X5, X6, X7
h. Predictors: (Constant), X1, X2, X3, X4, X5, X6, X7, X8

Berbeda dengan R squared, R squared adjusted tidak searah,

nilainya naik dan turun ketika ditambahkan variabel baru. Hal ini
yang membuktikan bahwa R squared adjusted tidak berpengaruh
terhadap banyak atau sedikitnya variabel di dalam model.
Koefisien Korelasi

39
Korelasi Tinggi dan Positif
Korelasi
Korelasi
Korelasi
CONTOH PENERAPAN
1. Judul:
HUBUNGAN GAYA KEPEMIMPINAN KEPALA DENGAN
KINERJA GURU SMA

2. Variabel:
Variabel Bebas: Gaya kepemimpinan kepala sekolah
Variabel Terikat: Kinerja guru SMA

3. Masalah:
Apakah terdapat hubungan antara gaya
kepemimpinan kepala sekolah dengan kinerja guru
SMA?
5. Hipotesis penelitian:
Terdapat hubungan positif yang signifikan
antara gaya kepemimpinan kepala sekolah
dengan kinerja guru SMA

6. Hipotesis Statistik:
H₀ : ρY1 = 0; H₁ : ρY1 > 0
Desain: korelasional.

X : Gaya kepemimpinan Kepsek

Y : Kinerja Guru SMA

Hipotesis Statistik:
H₀ : ρyi = 0; Tidak terdapat hubungan linear positif yang signifikan
H₁ : ρyi > 0; Terdapat hubungan linear positif yang signifikan
 Pengujian Hipotesis
a. Untuk Hipotesis a, dan b:
1) Persamaan Regresi Linear Sederhana:
a) Ŷ = a₁ + b₁X₁
b) Ŷ = a₂ + b₂X₂
2) Uji Linearitas:
H₀ : Y = α + βX
H₁ : Y ≠ α + βX
Uji F dengan harapan terima H₀
3) Uji Signifikansi (koefisen) Regresi:
H₀ : β = 0
H₁ : β > 0
Uji F dengan harapan tolak H₀
4) Uji Signifikansi (koefisen) Korelasi sederhana:
H₀ : ρyi = 0
H₁ : ρyi > 0
Uji t dengan harapan tolak H₀
No Y X
1 69 59
2 65 67
3 63 66
4 65 63 CONTOH DATA HASIL PENELITIAN
5 69 71
6 52 48 (SAMPEL 30 ORANG GURU)
7 68 66
8 71 69
9 70 66
10 59 63
11 59 66
12
13
65
67
64
66
Keterangan
14
15
70
69
65
70
X = Gaya kepemimpinan kepsek
16 67 66 Y = Kinerja Guru SMA
17 70 65
18 66 68
19 66 65
20 65 64
21 64 66
22 69 67
23 61 64
24 68 69
25 66 68
26 68 67
27 63 65
28 71 71
29 64 63
30 66 60
Uji Hipotesis
Uji Hipotesis: SPSS
Posedur:
Analyze  Regression  Linear (Muncul Kotak
Dialog)

Pindahkan Y ke Dependent dan X1 ke

Independent(s)

Pilih Statistics... aktifkan Descriptives (yang lain

abaikan)  Continue

Selanjutnya klik OK

Akan muncul hasil-hasil SPSS sebagai berikut:

Output SPSS

Model Summary
Std. Error Change Statistics
R Adjusted of the R Square F Sig. F
Model R Square R Square Estimate Change Change df1 df2 Change
1 .670a .448 .429 3.12653 .448 22.758 1 28 .000
a. Predictors: (Constant), X1

ANOVAa
Sum of Mean
Model Squares df Square F Sig.
1 Regression 222.461 1 222.461 22.758 .000b
Residual 273.706 28 9.775
Total 496.167 29
a. Dependent Variable: Y
b. Predictors: (Constant), X1
Output SPSS

Coefficientsa
Unstandardized Standardized
Coefficients Coefficients

Model B Std. Error Beta t Sig.

1 (Constant) 23.545 8.883 2.651 .013

X1 .648 .136 .670 4.770 .000

a. Dependent Variable: Y
Penjelasan Istilah dalam Output SPSS: Regresi
Linear Sederhana

Istilah Definisi/Deskripsi
R Karena hanya ada satu variabel bebas, angka ini
merupakan korelasi bivariat (r) antara Gaya
Kepemimpinan dengan Kinerja. Ini adalah statistik uji
persamaan regresi, dan ukuran efek untuk menunjukkan
seberapa kuat hubungan antara variabel dependen dan
variabel yang memprediksinya.
R2 Nilai yang mengidentifikasi proporsi variansi bersama
antara Kinerja dengan Gaya Kepemimpinan. Dalam hal ini
44,8% varians dalam Kinerja dijelaskan oleh Gaya
kepemimpinan.
Adjusted R2 R2 adalah nilai yang akurat untuk sampel yang diambil
tetapi dianggap sebagai estimasi yang optimis untuk nilai
populasi. R2 yang disesuaikan dianggap sebagai
perkiraan populasi yang lebih tepat.
Penjelasan Istilah dalam Output SPSS: Regresi
Linear Sederhana
Istilah Definisi/Deskripsi
Std Error of the Standar deviasi dari nilai yang diharapkan untuk variabel
Estimate dependen, Kinerja.
Regression Statistik yang berkaitan dengan bagian varians yang
dijelaskan.
Residual Statistik yang berkaitan dengan bagian varians yang tidak
dapat dijelaskan.
Df Derajat kebebasan: Untuk regresi sederhana, jumlah
variabel independen (1 dalam hal ini). Untuk residual,
jumlah subjek (30) dikurangi jumlah variabel bebas (1),
dikurangi 1: (30 – 1– 1 = 28).
Sum of Squares Untuk regresi ini adalah jumlah kuadrat antara kelompok;
untuk residual, jumlah kuadrat dalam kelompok. Perhatikan
bahwa dalam hal ini terdapat porsi yang lebih besar dari
varians yang tidak dapat dijelaskan daripada varians yang
dijelaskan, kenyataan juga tercermin dalam nilai R2.
Penjelasan Istilah dalam Output SPSS: Regresi
Linear Sederhana
Istilah Definisi/Deskripsi
Mean Squares Jumlah kuadrat dibagi derajat kebebasan
F Regresi kuadrat rata-rata dibagi dengan residual kuadrat rata-rata.

Signif F Kemungkinan bahwa hasil ini dapat terjadi secara kebetulan (p).
B Koefisien dan konstanta untuk persamaan regresi linier: Gaya
Kepemimpinan (pred) = 23,545 + 0.648 (Kinerja).
Std Error Kesalahan standar B: Ukuran stabilitas atau kesalahan
pengambilan sampel dari nilai-nilai B. Ini adalah standar deviasi
dari nilai B yang diberikan sejumlah besar sampel yang diambil dari
populasi yang sama.
Beta β, koefisien regresi standar. Ini adalah nilai B untuk skor standar
(skor-z) dari variabel Kinerja. Nilai ini akan selalu bervariasi antara
±1,0 dalam hubungan linier sederhana. Untuk hubungan dengan
lebih dari satu prediktor (seperti hubungan lengkung ini) kadang-
kadang akan meluas di luar kisaran itu
t B dibagi dengan kesalahan standar B.
Signif of t Kemungkinan bahwa hasil ini dapat terjadi secara kebetulan (p)
 Penafsiran Output ANOVA
ANOVAb
Sum of Mean
Model Squares df Square F Sig.
1 Regression 222.461 1 222.461 22.758 .000a
Residual 273.706 28 9.775
Total 496.167 29
a. Predictors: (Constant), X1
b. Dependent Variable: Y

Nilai sig (p) = 0,000 < 0,05 artinya

hubungan antara X1 dan Y signifikan
 Penafsiran Output Model Summary

Koefisien determinasi (R Square

Adjusted) (sumbangan X1 terhadap Y
(rY12) = 0,429 atau 43%

Model Summary
Std. Error Change Statistics
R Adjusted of the R Square F Sig. F
Model R Square R Square Estimate Change Change df1 df2 Change
1 .670a .448 .429 3.12653 .448 22.758 1 28 .000
a. Predictors: (Constant), X1
Penafsiran Output Coefisien Regresi
Coefficientsa
Unstandardized Standardized
Coefficients Coefficients

Model B Std. Error Beta t Sig.

1 (Constant) 23.545 8.883 2.651 .013

X1 .648 .136 .670 4.770 .000

a. Dependent Variable: Y

Nilai konstanta regresi (a) = 23,545 (0,013 < 0,05) = signifikan

Nilai koefisien regresi (b) = 0,648 (0,000 < 0,05) = signifikan

Dengan demikian maka persamaan garis regresi

Y’ = 23,545 + 0,648X1 layak untuk digunakan memprediksi
hubungan antara Y dengan X1
 Kesimpulan
Berdasarkan hasil analisis regresi dan korelasi
sederhana Y atas X1 diperoleh persamaan regresi
Y’=23,545+0,648X1, koefisien determinasi
disesuaikan (R Square Adjusted) sebesar 0,429
(43%). Hasil ini menunjukkan bahwa gaya
kepemimpinan kepala sekolah merupakan salah
satu prediktor kinerja guru SMA dengan kontribusi
sebesar 43%. Melalui persamaan garis regresi
Y’=23,545+0,648X1 dapat dijelaskan bahwa setiap
peningkatan satu skor gaya kepemimpinan kepala
sekolah akan diikuti oleh peningkatan kinerja guru
sebesar 0,648 skor pada konstanta 23,545.