SEDERHANA
Regresi Linear
TUJUAN PEMBELAJARAN
enjelaskan regresi
enghitung dan menginterpretasikan arti dari persamaan regresi
dan standard error dari estimasi-estimasi untuk analisis regresi
linier sederhana
enggunakan ukuran-ukuran yang diperoleh dari analisis regresi
dan untuk membuat dugaan-dugaan interval dari variabel-
variabel terikat bagi keperluan peramalan (forecasting)
enghitung dan menjelaskan makna dari koefisien-koefisien dan
determinasi dalam menggunakan teknik-teknik analisa linier
sederhana
Regresi Linear
AGENDA
endahuluan
Regresi Linear
1. PENDAHULUAN
Regresi Linear
nalisa korelasi bertujuan untuk mengukur "seberapa kuat"
atau "derajat kedekatan" suatu relasi yang terjadi antar
variabel.
Regresi Linear
alam menentukan apakah terdapat suatu hubungan
yang logis antar variabel, terutama bila penilaian
dilakukan terhadap angka-angka statistik saja, perlu
diperhatikan beberapa hal yang berkaitan dengan
masuk akal atau tidaknya hubungan tersebut jika
ditinjau dari sifat dasar hubungan tersebut.
erdapat beberapa kemungkinan bentuk relasi meliputi
hubungan sebab akibat (cause-and-effect relationship),
hubungan akibat penyebab yang sama (common-cause
factor relationship) hubungan semu (spurious
relationship).
Regresi Linear
angkah pertama dalam menganalisa relasi antar
variabel adalah dengan membuat diagram pencar
(scatter diagram) yang menggambarkan titik-titik
plot dari data yang diperoleh. Diagram pencar ini
berguna untuk
• membantu dalam melihat apakah ada relasi yang
berguna antar variabel,
• membantu dalam menentukan jenis persamaan yang
akan digunakan untuk menentukan hubungan
tersebut.
Regresi Linear
Linier positif Linier negatif
Regresi Linear
Curvelinier positif Curvelinier negatif
Regresi Linear
Curvelinier Tak tentu
Regresi Linear
2. ANALISIS REGRESI LINEAR
Regresi Linear
Asumsi yang digunakan dalam regresi linear adalah sebagai berikut:
a. E i 0
b. E i2 2
c. E i j cov(i , j ) 0
d. X i konstan
Untuk memperkirakan A dan B dipergunakan metode kuadrat kesalahan terkecil,
dimana
Model sebenarnya : Y A BX
Model perkiraan : Y a bX e
a, b, dan e adalah penduga untuk A, B, dan
e Yi (a bX i ) .
2 2
Yi a bX i ei atau ei Yi (a bX i ) dan i
i
Regresi Linear
penurunan parsial terhadap a dan b yang sederhana diperoleh
Y X
i
i
i
i
2
X i X i Yi
i i
a Y bX 2
dan
n X i2 X i
i i
n X i Yi X i Yi
i i i
b 2
n X X i
i
2
i i
Regresi Linear
y
ŷ a bx
y
y (0)
(+)
y
y
(-)
(+)
y
(0) y
(-)
y
(+)
y
y (-)
(+) y
(-)
Regresi Linear
Nilai variabel A dan B untuk populasi diberikan oleh
A Y B X dan
E XY E X E Y covX , Y xy
B
E X 2 E X
2
var X x
1
Bila s xy X i Yi X i Yi / n adalah penduga untuk xy dan
n i i i
1
2
2
s
x i i i adalah penduga untuk x2 , maka
n i
X 2
X / n
s xy x y
i
i i
b
s x2 x i
2
i
Regresi Linear
2
X 2 X / n
dimana i xi yi i X iYi i X i i Yi / n dan i i i i i i
x 2
2
e2
2 1 X
varb 2
dan vara a e
2
2
i xi2 n xi
b
i
2
X
cova, b a ,b e2
xi
i
2
Regresi Linear
Contoh 1
Dari suatu praktikum fisika dasar diperoleh data yang menghubungkan variabel
bebas x dan variabel terikat y seperti ditunjukkan dalam tabel berikut.
Uji ke- x y
1 6 30
2 9 49
3 3 18
4 8 42
5 7 39
6 5 25
7 8 41
8 10 52
56 296
Regresi Linear
Jika berdasarkan kajian teoritis dan sifat dari fenomena yang
menghubungkan x dan y dapat diasumsikan mempunyai bentuk
hubungan linier, maka persamaan garis regresinya dapat ditentukan
sebagai berikut.
Tabel perhitungan:
Uji ke- x y xy x2 y2
1 6 30 180 36 900
2 9 49 441 81 2401
3 3 18 54 9 324
4 8 42 336 64 1764
5 7 39 273 49 1521
6 5 25 125 25 625
7 8 41 328 64 1681
8 10 52 520 100 2704
56 296 2257 428 12920
x
x 56 7 y
y 296 37
n 8 n 8
Regresi Linear
Kolom y2 ditambahkan pada tabel meskipun belum digunakan untuk perhitungan
persamaan garis regresi. Nilai tersebut akan digunakan kemudian. Jadi dengan
menggunakan hasil pada tabel, nilai dari konstanta a dan b dapat ditentukan:
n xy x y 8(2257) (56)(296) 1480
b 5,1389
n x x
2 2
8(428) (56)2 288
a y bx 37 (5,1389)(7) 1,0277
Jadi persamaan garis regresi linier yang menggambarkan hubungan antara
variabel x dan y dari data sampel pada percobaan/praktikum di atas adalah:
yˆ a bx 1,0277 5,1389 x
Dengan menggunakan persamaan garis regresi yang diperoleh, maka dapat
diperkirakan hasil yang akan diperoleh (nilai y) untuk suatu nilai x tertentu.
Misalnya untuk x = 4 maka dapat diperkirakan bahwa y akan bernilai:
yˆ a bx 1,0277 5,1389 x =1,0277 + 5,1389(4) = 21,583
Regresi Linear
60
50 y = 5.1389x + 1.0278
40
30
y
20
10
0
0 2 4 6 8 10 12
Regresi Linear
Karena variansi dari A dan B tidak diketahui maka digunakan variansi
dari a dan b yang dapat dinyatakan sebagai
e 2 y i b 2 xi2 y i b xi yi
S
2
e i i i
i i
2
2 S e2 2
2 1 X
S dan S a S e
i xi2 n xi
b 2
i
Regresi Linear
y y
x x
(a)x (b)x
Regresi Linear
Dengan menggunakan data dan tabel perhitungan pada contoh 1, maka
standard error estimasi dari garis regresi yang diperoleh adalah:
s y ,x
y 2 a y b xy
n2
(11,920) 1,0277(296) 5,1389(2,257)
1,698
82
Regresi Linear
3. UJI KOEFISIEN DAN
KORELASI
Untuk melihat pengaruh X terhadap Y, maka dilakukan pengujian pada koefisien regresi
B. Bila X tidak mempengaruhi Y maka B = 0, bila ada pengaruh negatif B < 0, ada pengaruh
positif B > 0, dan bila ada pengaruh X terhadap Y maka B 0. Perumusan untuk pengujian
koefisien regresi B, adalah:
a. Ho : B = 0
b. H1 : B > 0 (ada pengaruh X terhadap Y positif)
H1 : B < 0 (ada pengaruh X terhadap Y negatif)
H1 : B 0 (ada pengaruh X terhadap Y)
c. Dengan diketahui, dari tabel distribusi-t maka dapat dihitung t untuk pengujian
satu arah dan t untuk pengujian dua arah.
2
b Bo sy,x
tb sb
sb ; x 2
(x2 ) n
e. Simpulkan, tolak Ho atau terima Ho.
Regresi Linear
Pendugaan Parameter Regresi
Dari nilai atau derajat kepercayaan (1 - ) yang telah ditentukan, interval
pendugaan parameter A dan B dapat ditentukan, yang diberikan masing-masing oleh:
b t s b B b t s b dan
2 2
a t sa A a t sa
2 2
Regresi Linear
Dengan menggunakan data dan tabel perhitungan pada contoh 1 dan hasil
perhitungan standard error estimasi dari garis regresi yang diperoleh pada
contoh 12, maka uji kemiringan (slope) garis regresi dapat dilakukan sebagai
berikut:
1. Hipotesis:
Ho : B = 0
H1 : B 0
2. α = 0.05
3. Digunakan distribusi t 0,025 dengan df = n - 2 = 8 - 2 = 6
4. Batas-batas daerah penolakan uji dua ujung (two-tailed)
Dari tabel distribusi t batas kritis adalah = tcr = 2,447
5. Aturan keputusan:
Tolak H0 dan terima H1 jika perbedaan yang terstandard antara
kemiringan sample (b) dan kemiringan populasi yang dihipotesiskan (B Ho )
kurang dari -2,447 atau lebih dari 2,447. Jika sebaliknya terima H0
Regresi Linear
6. Rasio Uji
s y ,x 1,698 1,698
sb 0,283
6
x
2 2
56
x2 n
428
8
b BHo 5,1389 0
RUt ttest 18,159
sb 0,283
7. Pengambilan keputusan
Karena RUt = 18,159 bernilai jauh lebih besar daripada nilai batas
tcr = 2,447, maka H0: B = 0 ditolak. Hal ini bahwa hipotesis
alternatif yang menyatakan bahwa terdapat kemiringan pada garis
regresi untuk populasi serta suatu hubungan regresi yang berarti
benar-benar ada antara variabel X dan Y.
Regresi Linear
Dengan menganggap nilai variable terikat, y yang sesungguhnya
terdistribusi normal di sekitar garis regresi maka suatu estimasi interval
dapat diperoleh sebagai:
yˆ z sy ,x
3sy ,x
y ŷ
3s y ,x
yˆ1 2sy ,x ŷ 1
x
x1
Regresi Linear
Untuk Sampel Kecil (n < 30)
a. Prediksi Kisaran Nilai Rata-rata y Jika Diketahui x
Estimasi interval untuk sampel kecil dengan situasi ini dapat
diperoleh dengan rumus berikut:
xg x
2
1
yˆ t / 2 sy ,x
x
2
n
x n
2
dimana:
ŷ = estimasi titik yang dihitung dengan persamaan regresi untuk nilai
x tertentu
tα/2 = nilai t untuk α/2 ( =tingkat kepercayaan) dengan derajat
kebebasan n-2
xg = nilai x yang ditentukan
n = jumlah observasi pasangan pada sampel
Regresi Linear
b. Prediksi Kisaran Nilai Spesifik y Jika Diketahui x
Estimasi interval untuk sampel kecil dengan situasi ini dapat diperoleh
dengan rumus berikut:
xg x
2
1
yˆ t / 2 sy ,x 1
x
2
n
x n
2
Regresi Linear
Dengan menggunakan data dan tabel perhitungan pada contoh 1 dan persamaan
garis regresi yang dihasilkan serta nilai sy,x pada contoh 2 , dapat diprediksi
dengan tingkat kepercayaan 95 persen dan derajat kebebasan = n - 2 = 8 -2 = 6,
untuk x = 4,
xg x
2
1
yˆ t / 2 s y ,x
x
2
n
x n
2
1 4 7 2
21,583 2,447 1,698
8 428 56 2 8
Jadi dengan derajat kepercayaan 95 persen diperoleh: 19,038 < ŷ < 24,128
Regresi Linear
4. ANALISIS KORELASI
Sebelum dilakukan analisa regresi, langkah yang biasa ditempuh adalah
melakukan analisa korelasi yang ditujukan untuk mengetahui erat tidaknya hubungan
antar variabel. Pada analisa regresi, untuk observasi Y diasumsikan bahwa X adalah
tetap konstan dari sampel ke sampel. Interpretasi koefisien korelasi untuk mengukur
kuatnya hubungan antar variabel tergantung pada asumsi yang digunakan untuk X
dan Y. Bila X dan Y bervariasi maka koefisien korelasi akan mengukur “covariability
(kesamaan variasi)” antara X dan Y. Di dalam analisa regresi, koefisien korelasi
digunakan untuk mengukur “cocok/tepat (fitness)” garis regresi sebagai pendekatan
data observasi. Besarnya koefisien korelasi dinyatakan sebagai
cov( X , Y ) xy
x y x y
Dalam prakteknya, tidak diketahui tetapi nilainya dapat diestimasi berdasar data
sampel. Bila r adalah penduga , dengan r dinyatakan sebagai
x y
i
i i n X i Yi X i Yi
i i i
r
x y
i
i
i
i
n X i2 X i
2
n Yi 2 Yi
2
i i i i
Regresi Linear
Pengujian hipotesis tentang dilakukan dengan langkah-langkah sebagai berikut
a. Ho : = 0 (tidak ada hubungan antara X dan Y)
H1 : > 0 (ada hubungan positif)
H1 : < 0 (ada hubungan negatif)
H1 : 0 (ada hubungan)
Apabila = 0, maka variansi r diberikan oleh
1 r2
var(r ) r2
n2
Dimana r2 disebut sebagai koefisien determinasi untuk mengukur besarnya
kontribusi X terhadap variasi Y
r n2
tr dengan derajat kebebasan n
1 r2
Regresi Linear
Dengan menggunakan data dan tabel perhitungan pada contoh 1 dan
persamaan garis regresi yang dihasilkan dapat diperoleh koefisien
determinasi dan koefisien korelasi sebagai berikut. Dari persamaan
regresi a = 1,0277 dan b = 5,1389. Jumlah pasangan pengamatan n =
8. Maka:
a y b xy n y
2
r2 2 2
y n y
1,0277 296 5,1389 2257 8 37
2
2
0,982
11920 8 37
r 0,982 0,991
Regresi Linear
Hubungan antara koefisien regresi b dengan koefisien korelasi r dinyatakan oleh
sy
br
sx
dimana s y
1
Yi Y
n i
2
dan s x
1
Xi X
n i
2
.
Regresi Linear
5. REGRESI LINEAR NON LINEAR
Tidak selamanya hubungan antara X dan Y dapat bersifat linear, akan tetapi bisa
juga non linear. Metode kesalahan kuadrat terkecil dapat pula digunakan untuk
menentukan parameter sebagai koefisien pada hubungan yang non linear.
Bentuk-bentuk hubungan non linear dapat didekati/ditransformasi sebagai hubungan
linear, Tabel 11.1. adalah beberapa bentuk transformasi dari non linear menjadi linear
Yo Ao Bo X o .
Tabel 11.1. Hubungan Koefisien Non Linear Dengan Hasil Transformasi Linear
Persamaan Hasil Transformasi Yo Ao Bo X o
Persamaan Asal
Yo Ao Bo Xo
B Y A B 1
Y A
X X
Y Ae BX ln Y ln A B X
Regresi Linear
Dalam statistika seringkali menduga nilai rata-rata Y pada nilai X tertentu. Telah
E Yˆo E a bX o E a E b X o A BX o E Yo | X o
1 X o X 1 X o X
2 2
a bX o t / 2 se E Yo | X o a bX o t / 2 s e
n Xi 2
n X i2
Interval penduga untuk individu Yo pada X = Xo diberikan oleh
1 X o X 1 X o X
2 2
a bX o t / 2 se Yo a bX o t / 2 s e
n Xi 2
n X i2
Regresi Linear