STATISTIKA TEKNIK
POKOK BAHASAN :
Regresi Linear
Abstract Kompetensi
Analisis regresi mempelajari bentuk Mahasiswa mampu menjelaskan
hubungan antara satu atau lebih pengertian regresi linear
peubah bebas (X) dengan satu
peubah tak bebas (Y)
Pendahuluan
Analisis regresi mempelajari bentuk hubungan antara satu atau lebih peubah bebas (X) dengan
satu peubah tak bebas (Y). dalam penelitian peubah bebas ( X) biasanya peubah yang
ditentukan oelh peneliti secara bebas misalnya jumlah tenaga suatu proyek, waktu
penyelesaian proyek infrastruktur dan sebagainya.
Peubah tak bebas (Y) dalam penelitian berupa respon yang diukur akibat perlakuan/peubah
bebas (X). Misalnya jumlah sel darah merah akibat pengobatan dengan dosis tertentu, jumlah
mikroba daging setelah disimpan beberapa hari, berat ayam pada umu tertent dan sebagainya.
Bentuk hubungan antara peubah bebas (X) dengan peubah tak bebas (Y) bisa dalam bentuk
polinom derajat satu (linear) polinom derajat dua (kuadratik). Polinim derajat tiga (Kubik) dan
seterusnya. Disamping itu bisa juga dalam bentuk lain misalnya eksponensial,logaritma,sigmoid
dan sebagainya. Bentuk-bentuk ini dalam analisis regresi-korelasi biasanya ditransformasi
supaya menjadi bentuk polinom.
Dalam bentuk yang paling sederhana yaitu satu eubah bebas (X) dengan satu peubah tak
bebas (Y) mempunyai persamaan :
Y =a +bx
Disini a disebut intersep dan b koefisien arah
Dalam pengertian fungsi persamaan garis Y + a +bx hanya ada satu yang dapat dibentuk dari
dua buah titik dengan koordinat yang berbeda yaitu ( X1, Y1) dan X2,Y2). Hal ini berarti kita bisa
membuat banyak sekali persamaan garis dalam bentuk lain melalui dua buat titik yang berbeda
koordinatnya/tidak berimpit.
(Y − Y)1 (X − X 1 )
Persamaan garis melalui dua buah titik dirumuskan sebagai berikut : =
(Y2 − Y1 ) (X 2 − X 1
Y=a+bx
-----------------
y
b=
x
--------------------------
a ……………………..
x
X
Sebagai contoh misalnya titik A (1,3) dan titik B (4,9) maka persamaan gais linear yang dapat
dibuat adalah :
(Y − 3) ( X − 1)
=
(9 − 3) (4 − 1)
(Y-3)(4-1) =(X-1) (9-3)
3Y-9 = 6X-6
3Y = 3 +6X Y=1+2X
Dalam bentukmatrik bisa kita buat persaman sebagai berikut :
Y1 = a + b X1
Y2 = a + b X2
Y1 1 X 1 a
Y = 1 X 2 b
2
3 1 1 a
=
9 1 4 b
−1
a 1 1 a
=
b 1 4 b
a 1 4 − 1 3
b = (4 − 1) − 1 1 9
a 4 / 9 − 1 / 3 3 4 − 3 1
b = − 1 / 3 1 / 3 9 = − 1 + 3 = 2
y 2 = o + 1 X 2 + 2
y 3 = o + 1 X 3 + 3
…………………..
y n = o + 1 X n + n
Dengan notasi matrik dapat ditulis sebagi berikut :
Y1 1 X1 1
Y 1 X2
2 2
Y3 1 X 3 o 3
= +
. . . 1 .
. . . .
Yn 1 X n n
Jadi kita peroleh matrik Y,X,β dan ε dengan dimensi sebagi berikut :
β
Y
nx1 = nx2
X
2x1
+ ε
nx1
Jika diasumsikan E(ε) = 0 maka E(Y) = Xβ
Bila modelnya benar β merupakan penduga terbaik yaitu dengan jalan melakukan
penggandaan awal dengan X’ sehingga diperoleh persamaan normal sebagai berikut :
X’Y = X’X β
2x1 2x2 2x1
n n
Yi n X o
i
ni =1 = n i =1
2 1
n
XY X
Xi
i =1
i i
i =1
i
i =1
−1
n
n
0
n Xi Yi
= n ni =1
i =1
n
1 X 2 XY
X1
i =1
i
i =1
i =1
i i
Jadi β=(X’X)-1X’Y
Disini(X’X)-1 adalah kebalikan (inverse)dari matrik X’X
n n
Xi − Xi
2
1
(X’X)-1 = n
i =1n i =1
− ( X i ) 2 − X i
n
n X i
2
n
i =1 i =1
i =1
Y − 1 X
n
o n n
Jadi = = X i Yi − ( X i )( Yi ) / n
1 i =1 i =1 i =1
n n
X i 2 − ( X i ) 2 / n
i =1 i =1
Contoh
Seorang peneliti ingin mengetahui bentuk hubungan antara jumlah cacing jenis tertentu
denagn jumlah telurnya pada usus ayam buras. Untuk tujuan tersebut diperiksa 20 ekor ayam
dan ditemukan sebagai berikut :
X
i =1
i =12+14+13+…………………………+15=269
Y
i =1
i =45+50+51+……………………….+63=1055
X
2
i =122+142+132+……………………+152=3719
i =1
Y
i =1
i
2
=452+502+512+……………………+622=57449
X Y
i =1
i i =12x45+14x50+13x51+…………………+15x63=14604
1 n 1
X = Xi = = 269 = 13,45
n i =1 20
1 n 1
X =
n i =1
Yi =
20
= 1055 = 52,75
20 n
Yi 20 X i 0
20i =1 = 20 i =1
2 1
20
XY X
X1
i =1
i i
i =1
i
i =1
1055 20 269 o
14604 = 269 3719
1
20 2 20
n 2
o 1 X1 − X i Yi
= i =120 20i =1
i =1
20
− ( X i ) 2 − X i
20
1 20 X 2 X i Yi
1
20
i =1 i =1
i =1 i =1
Persamaan garis regresi Yi =-2,442 + 4,103 Xi bukanlah satu-satunya garis penduga untuk
menyatakan hubungan antara jumlah cacing dengan jumlah telurnya. Sudah barang tentu
masih banyak lagi bentuk persamaan penduga yang dapat dibuat misalnya dalam bentuk
persamaan Yi=βo+β1Xi+β2Xi2,Yi=βoXiβ1 ( dalam bentuk linear LnYi=Ln βo+βiLnXi) dan masih
banyak lagi bentuk yang lainnya
Untuk menyatakan apakah garis yang diperoleh cukup baik untuk menggambarkan hubungan
antara peubah bebas (X) dengan peubah tak bebas(Y) dapat dilakukan pengujian bentuk model
yang digunakan dan keeratan hubungannya (korelasinya) untuk menyatakan ketepatan dan
ketelitian persamaan garis regresi yang diperoleh.
Garis regresi yang kita peroleh akan selalu melalui rata-rata peubah X dan Y (X,Y) maka dapat
dijelaskan seperti gambar dibawah ini
β0
0 _
X
X
( )
n n 2
(Y
i =1
i − Y .) = i − Y . + (Yi −Y i)
2
i =1
n n
n
1 n
JK Regresi =
i =1
(Yˆ
i − Y .) 2
= ( X ' Y ) −
n
( Yi ) 2
i =1
n n 2
n
Sedangkan= (Yˆ − Y .)(Y
i =1
i i − Yˆi ) = 0
Untuk menentukan apakah garis regresi yang kita peroleh cukup dapat dipercaya maka kita
dapat mengujinya dengan uji F seperi tabel ragam dibawah ini
Total n-1 JK T
KTR
Jika hasil hitungan yaitu F hitung ( )≥ dari F tabel (0,05; p,n-1-p) maka dapat disimpulkan
KTG
persamaan garis regresi nyata (P<0,05) bentuk persamaannya seperti yang kita duga demikian
KTR
pula jika F hitung ( )≥ dari F tabel (0,05; p,n-1-p) maka dapat disimpulkan persamaan garis
KTG
regresi sangat nyata (P>0,05) atau dengan kata lain persamaaan garis regresi tersebut tidak
bisa kita terima sebagai penduga hubungan antara peubah (X) dengan Peubah (Y)
Bila bentuk hubungan antar peubah X dengan peubah Y sudah dapat kita terima maka kita
ingin pula mengetahui seberapa besar keeratan hubungannya (korelasinya). Walaupun bentuk
hubungan antara peubah X dengan peubah Y ada dalam bentuk yang benar belum tentu
korelasinya besar karena banyak peubah lain yang turut mempengaruhi perubahan peubah Y.
Besarnya perubahan peubah Y yang dapat diterangkan oleh peubah X dengan menggunakan
persamaan garis regresi yang diperoleh disebut koefisien determinan. Koefisien determinan
diberi lambing r2 untukbentuk persamaan garis regresi sederhana dan R2 untuk bentuk
persamaan lainnya, besarnya 0<r2 =R2<1 dan dihitung dengan rumus :
JK Re gresi
r 2 = R2 =
JKTotal
Total 19 1797,750
Jadi dapat disimpulkan bahwa persamaan garis regresi yang diperoleh sangat nyata (P<0,01)
karena F hitung> F tabel pada taraf signifikansi 0,01 (289,89>8,29)
JKregresi 1692 ,652
Jadi r 2 = = = 0,9415
JKTotal 1797 ,750
Jadi dengan menggunakan persamaan garis regresi penduga Yi =-2,442 + 4,103 Xi banyaknya
jumlah telur cacing pada usus ayam buras sekitar 94,15 % ditentukan oleh banyaknya cacing
dalam usus tersebut sedangkan 5,85 % ditentukan atau dipengaruhi oleh factor lain.
Keeratan hubungan (r=±√0,9415=0,9703) dalam persamaan ini diambil hanya r positip karena
dengan bertambah besarnya nilai Xi nilai Yi juga meningkat. Untuk menyatakan apakah
hubungan cukup berarti maka besarnya r ini dapat dibandingkan dengan r tabel. Jika r hitung ≥
r tabel (0,05:p,db=n-p-1) maka disimpulkan keeratan hubungannya nyata (P>0,05) dan jika r
hitung ≥ r tabel (0,01;p,db=n-p-1) maka disimpulkan keeratan hubungannya sangat nyata
(P<0,01) sedangkan jika r hitung< r tabel (0,05;p,db=n-p-1) maka disimpulkan keeratan
hubungannya tidak nyata (P<0,01)
Bila persamaan garis regresi derajat polinomnya atau peubah bebasnya (X) lebih besar dari
satu maka perlu dilakukan pengujian terhadap koefisien garis regresinya (βj yaitu β1,β2,…………,βp),
untuk mengetahui βj yang mana yang menentukan ketepatan dan ketelitian garis regresinya
yang diperoleh. Misalkan terdiri dari p peubah bebas maka modelnya menjadi Yi = βo +
β1Xi1+………..+βpXip dengan persamaan normalnya :
n n n n
Yi n Xi 1 Xi2 ............. Xip
n i =1
n i =1
n n
i =1
n
i =1
Xi1Yi Xi1Xip
i =1
i =1
Xi1 i =1
X i2 1
i =1
Xi1Xi2 ............. i =1
n = n n n n 2
Xi2Yi Xi2 Xi 2 Xi 1 X i2 .............. Xi 2 Xip
i =1 i =1 i =1 i =1 i =1
.......... ................ ................. ................. ............. ................
n n n n n
XipYi Xip XipXi 1 XipXi1 .............. X i2 p
i =1 i =1 i =1 i =1 i =1
Jadi :β= (X’X)-1X’Y
Jika elemen-elemen matrik X kita kurangi dengan rata-rata elemen-elemen tiap kolomnya maka
diperoleh matrik XA. sebagai contoh kita untuk p=2 maka matriknya adalah sebagai berikut :
( X 11 − X .1 ) ( X 12 − X .2 )
( X 21 − X .1 ) ( X 22 − X .2 )
X A = ( X 31 − X .1 ) ( X 32 − X .2 )
.............. ..............
( X − X . ) ( X n 2 − X .2 )
n1 1
n n
( Xi1 − X 1 .) 2 ( Xi 1 − X i2 − X .2 )
X 'A X A = n
i =1 i =1
n
( Xi − X . )( Xi − X . ) 2 2
( Xi2 − X 2 . )
1 2 2 2
i =1 i =1
JKX 1 JHKX 1 X 2
Biasanya ditulis : X ' A X A =
JHKX 1 X 2 JKX 2
Untuk menguji βi kita cari kekalikan dari matriks XAXA-1kemudian kita gandakan dengan
n
S r2 regresi yaitu ( Yˆi − Yi) 2 /( n − p − 1) maka pengujian βi dapat dilakukan dengan rumus :
i =1
i
tH =
Sbi
Jawab
Dari data yang diperoleh diduga bentuk persamaan garis regresinya Yi =β0 +β1Xi +β2X12+εi
Jadi persamaann normalnya adalah X’Y=X’X β
n n n
Yi n Xi X 2
1
ni =1 n i =1 i =1
o
X 1 1
3
n n
XiYi = Xi
X
2
i =1 i =1 i =1
1
i =1
n n n n 2
X 12Yi X 12 X 3
X 1
4
i =1 i =1
1
i =1 i =1
199 15 64 356 0
803 = 64 356 2278
1
4055 356 2278 15703 2
−1
15 64 356 199
1 803
= 64 356 2278
2 356 2278 15703 4055
i =1 n i =1 15
= 2903-2640,067=262,933
1 n 2
JK Regresi =(X”Y)’ − ( )
n i =1
3,36313
6,77799 2
= 199 803 4055 − (199 )
− 0,80123 15
= 669,263 +5442,726 -3248,988-2640,067
= 222,934
n
JK Galat = Yi
i =1
2
− ( X ' Y )' = JK total – JK Regresi
= 262,933-222,934 =39,999
Total 14 262,933
n
1 n (356) 2
JK X = Xi − ( Xi ) = 15703 −
2 2 2 4
i =1 n i =1 15
= 15703 -8449,0667 =7253,9333
n
1 n n
JK XX2 =
i =1
Xi 3
− (
n i =1
Xi) (
i =1
Xi 2 )
(64)(356)
= 2278-
15
= 2278 – 1518,9333 =759,0667
82,9333 759,0667 −1 0,28545 − 0,02987
X’AXA = , X 'A X A =
759,0667 7253,9333 − 0,02987 0,00326
0,28545 − 0,02987 0,951405 − 0,099557
XAXA-1 S r = 3,333 − 0,02987 =
2
i
tH =
Sbi
6,77799
Untuk 1 maka t H = = 6,61
0,951405
− 0,80123
Untuk 2 maka t H = = 7,69
0,010866
Analisis regresi sederhana merupakan salah satu metodi uji regresi yang dapat dipakai sebagai
alat inferensi statistik untuk menentukan pengaruh sebuah variabel bebas (independen) X
terhadap variabel terikat (dependen) Y.
Regresi linear sederhana ataupun regresi linier berganda pada intinya memiliki beberapa
tujuan, yaitu :
• Menghitung nilai estimasi rata-rata dan nilai variabel terikat berdasarkan pada nilai variabel
bebas.
• Menguji hipotesis karakteristik dependensi
• Meramalkan nilai rata-rata variabel bebas dengan didasarkan pada nilai variabel bebas
diluar jangkaun sample.
Pada analisis regresi sederhana dengan menggunakan SPSS ada beberapa asumsi dan
persyaratan yang perlu diperiksa dan diuji, beberapa diantaranya adalah :
• Variabel bebas tidak berkorelasi dengan disturbance term (Error). Nilai disturbance term
sebesar 0 atau dengan simbol sebagai berikut: (E (U / X) = 0,
• Jika variabel bebas lebih dari satu, maka antara variabel bebas (explanatory) tidak ada
hubungan linier yang nyata,
• Model regresi dikatakan layak jika angka signifikansi pada ANOVA sebesar < 0.05,
• Predictor yang digunakan sebagai variabel bebas harus layak. Kelayakan ini diketahui jika
angka Standard Error of Estimate < Standard Deviation,
• Koefisien regresi harus signifikan. Pengujian dilakukan dengan Uji T. Koefesien regresi
signifikan jika T hitung > T table (nilai kritis),
• Model regresi dapat diterangkan dengan menggunakan nilai koefisiena determinasi (KD =
r2 x 100%) semakin besar nilai tersebut maka model semakin baik. Jika nilai mendekati 1
maka model regresi semakin baik,
• Data harus berdistribusi normal,
• Data berskala interval atau rasio,
• Kedua variabel bersifat dependen, artinya satu variabel merupakan variabel bebas
(variabel predictor) sedang variabel lainnya variabel terikat (variabel response)
Berikut ini contoh perhitungan regresi linier sederhana menggunakan software SPSS 19.
Dengan menggunakan data yang sama seperti pada artikel perhitungan korelasi, proses mulai
dengan memilih menu Analyze, kemudian pilih Linear,