TUGAS 3

PENGANTAR MODEL LINIER

ANALISREGRESI SEDERHANA SECARA MANUAL

Nama : Petronella Mira Melati

NIM : 131061007
Jurusan : Statistika

A. PENDAHULUAN
Analisis regresi merupakan salah satu analisis statistik yang sering digunakan untuk
menganalisis hubungan antara dua variabel atau lebih. Menurut Drapper dan Smith (1992)
analisis regresi merupakan metode analisis yang dapat digunakan untuk menganalisis data
dan mengambil kesimpulan yang bermakna tentang hubungan ketergantungan variabel
terhadap variabel lainnya.1 Analisis regresi dijelaskan melalui dua jenis variabel, yaitu
variabel dependen (tergantung) dan variabel independen (bebas). Untuk analisis regresi
linier sederhana, cukup diperlukan satu variabel dependen dan satu variabel independen.
Berbeda dengan analisis regresi linier berganda, yaitu satu variabel dependen dengan
beberapa variabel independen.
Dalam analisis regresi, terutama analisis regresi ganda, banyak digunakan aljabar
matriks. Dengan matriks dapat disajikan suatu sistem persamaan dengan lebih sederhana.
Berikut persamaan regresi linier sederhana:
Y i= 0 + 1 X i+ i dengan i=1,2, , n

Dimana:
Y i : variabel dependen dalam pengamatan ke-i

Xi : variabel independen, berupa nilai peubah bebas dari pengamatan ke-i

0, 1 : parameter

i : galat

1 Rahmadeni, dkk. Anaisis Jumlah Tenaga Kerja Terhadap Jumlah Pasien RSUD Arifin Achmad
Pekanbaru menggunakan Metode Regresi Gulud. No. 1, Desember 2014. Jurusan
Matematika Fakultas Sains dan Teknologi UI Suska Riau.
B. PEMBAHASAN
Berikut ini merupakan penerapan regresi linier sederhana dengan menggunakan matriks.
Jika terdapat beberapa pengamatan sampai dengan n data, berikut matriks penyusun model
regresi linier sederhana:
Variabel dependen;

[]
Y1
Y2
Y= .
.
.
Yn

Variabel independen:

[ ]
1 X1
x n 2= 1 X2

1 Xn

Didefinisikan vector:
= 0
[]

1

Berikut ini vector-vektor yang disusun untuk membentuk model regresi linier sederhana:

[ ][
Y1

][ ] [ ]
Y2 1 X1 0 1
. = 1 X2 1 + 2
.
. 1 Xn n n
Yn

Persamaan di atas juga dapat ditulis secara sederhana:

Y = X+
Keterangan:
Y adalah vector pengamatan variabel dependen yang berukuran n 1
X adalah variabel independen n (p+ 1)
adalah vector koefisien variabel independen ( p+1) 1
adalah vector galat yang berukuran n 1
i:1,2, , n menunjukkan banyaknya pengamatan
Notasi-notasi matriks yang sering digunakan dalam analisis regresi linier:
n

2i = 21+ 22+ 23 ++ 2n= '

i=1
n

y 2i = y12+ y 22 + y 23 ++ y 2n= y ' y

i=1

n y= y 1 + y 2 + y 3 ++ y n =1' y
2
2 ( y i ) ' '
ny = = y 11 y /n
n

Penentuan Rumus Koefisien Regresi

Untuk menentukan koefisien regresi dengan satu variabel independen, dapat diperoleh
dengan menggunakan persamaan sebagai berikut:
1

[ ] [
b0
b1
=
n
xi ][ ]
xi yi
x i2 x i y i

[ ]
x i2 x i
2 2

[]
b0
b1
=
( ( n x i2 ) ( x i ) ) ( ( n x i2) ( xi ) ) yi
x i
2
n
2
[ ]
xi yi
( ( n x i2 ) ( x i ) ) ( ( n x i2) ( xi ) )

[ ]
x i2 y i x i x i y i
2 2
( ( n x i2 ) ( x i ) ) ( ( n x i2) ( xi ) )
[]
b0
b1
=
x i y i
2
+
n xi yi
2
( ( n xi2 )( x i ) ) ( (n x i2 )( x i) )

[ ]
x i 2 y i x i x i y i
2
( ( n x i2) ( xi ) )
[]
b0
b1
=
x i y i + n x i y i
2
( ( n x i2)( xi ) )

Dari persamaan di atas diperoleh rumus, sebagai berikut:

 Xi Y i
n x i yi x i y i X i Y i n
b1 = 2
= 2
( (n x )( x ) )
i
2
i
X 2 ( X i )
i
n

Kemudian, untuk penduga b0

b0 =
x i 2 y i x i x i y i
2
( ( n x i2)( xi ) )
atau

1
b0 = ( Y b X ) =Y b 1 X
n i 1 i

Bila dinotasikan pada matriks, maka sebagai berikut:

Metode kuadrat terkecil:
'
S= =( y X ) ' ( y X )
( y ' X ' ' ) ( yX )
y ' y y ' X ' X y + ' X ' X
' ' ' '
y y y X y X + X ' X
' ' '
y y2 y X + X ' X
S
=2 X ' y +2 X ' X =0 2 X ' X =2 X ' y

Penduga ialah: b=( X ' X ) X ' y

1
X ' y=
[ ]
yi
xi yi
Melalui matriks, kita juga bisa menguji apakah b merupakan penduga yang tak bias?
1 1
b=( X ' X ) X ' y b=( X ' X ) X ' ( X + )
1
+ A , dengan A=( X ' X ) X '
E [ b ] = + A E [ ] = tak bias

Untuk mengetahui nilai ramalan, kita dapat mencarinya menggunakan persamaan matriks
sebagai berikut:
^y = X b
 1
X ( X ' ) X ' y =H y
Matriks hat

Jumlah Kuadrat dalam Notasi Matriks

Jumlah Kuadrat Sisaan:
S= ' = y ' y 2 y ' X + ' X ' X
y ' y 2 y ' X + ' X ' X ( X ' X )1 X ' y
y ' y ' X y
y' y y' X
Jumlah Kuadrat regresi tanpa b0
JKTotal Terkoreksi JKsisaan = y ' y y ' 11' y( y ' yb' X ' y )
b' X ' y y ' 11' y
Berikut tabel untuk menguji keberagaman variabel:
Derajat Bebas Jumlah Kuadrat
Sumber Keragaman Rata-rata Kuadrat
(db) (JK)
Regresi 1 n
JK regresi
( ^y i y )2 1
i=1

Sisaan n-2 n
JK sisaan
( y i ^y i )2 (n2)
i=1

n
Total n-1
( y i y )2
i=1

Untuk tabel keragaman dengan matriks, yaitu sebagai berikut:

Derajat Bebas Jumlah Kuadrat
Sumber Keragaman Rata-rata Kuadrat
(db) (JK)
Regresi 1 ' ' ' '
b X Y Y 11 Y JK regresi
1
Sisaan n-2 '
Y Y b X Y
' '
JK sisaan
S 2=
(n2)
' ' '
Total n-1 Y Y Y 11 Y

C. CONTOH KASUS
 Data berikut merupakan hasil penelitian tentang hubungan antara disiplin kerja (x) dengan
kinerja karyawan (y) di suatu perusahaan.
No. x y No. x y
1 65 68 21 68 72
2 82 83 22 67 69
3 68 68 23 74 77
4 68 72 24 62 60
5 88 90 25 58 62
6 73 75 26 62 63
7 75 77 27 92 92
8 63 67 28 50 54
9 78 80 29 84 84
10 94 94 30 93 96
11 80 84 31 70 73
12 59 61 32 89 90
13 85 89 33 88 87
14 83 87 34 56 58
15 77 79 35 62 60
16 93 97 36 84 85
17 92 94 37 87 87
18 70 70 38 79 89
19 64 67 39 78 79
20 95 99 40 74 74

Sumber: http://nuryatieny.blogspot.co.id/2013/03/contoh-hitungan-manual-statistika.html , diakses pukul 01.05

WIB pada tanggal 21 Desember 2016.

Tabel perhitungan:
x
2
y
2
xy y ( ^y y )2 ( y ^y )2 ( y y )2
No. x y
1 65 68 4.225 4.624 4.420 67,14 113,58 0,74 96,04
2 82 83 6.724 6.889 6.806 84,04 38,88 1,07 27,04
3 68 68 4.624 4.624 4.624 70,12 58,93 4,51 96,04
4 68 72 4.624 5.184 4.896 70,12 58,93 3,52 33,64
5 88 90 7.744 8.100 7.920 90,00 148,79 0,00 148,84
6 73 75 5.329 5.625 5.475 75,09 7,33 0,01 7,84
7 75 77 5.625 5.929 5.775 77,08 0,52 0,01 0,64
8 63 67 3.969 4.489 4.221 65,16 159,90 3,40 116,64
9 78 80 6.084 6.400 6.240 80,06 5,11 0,00 4,84
 10 94 94 8.836 8.836 8.836 95,96 329,79 3,84 262,44
11 80 84 6.400 7.056 6.720 82,05 18,05 3,81 38,44
12 59 61 3.481 3.721 3.599 61,18 276,22 0,03 282,24
13 85 89 7.225 7.921 7.565 87,02 84,95 3,93 125,44
14 83 87 6.889 7.569 7.221 85,03 52,26 3,88 84,64
15 77 79 5.929 6.241 6.083 79,07 1,61 0,00 1,44
16 93 97 8.649 9.409 9.021 94,97 294,68 4,14 368,64
17 92 94 8.464 8.836 8.648 93,97 261,55 0,00 262,44
18 70 70 4.900 4.900 4.900 72,11 32,36 4,46 60,84
19 64 67 4.096 4.489 4.288 66,15 135,75 0,72 116,64
20 95 99 9.025 9.801 9.405 96,95 366,87 4,19 449,44
21 68 72 4.624 5.184 4.896 70,12 58,93 3,52 33,64
22 67 69 4.489 4.761 4.623 69,13 75,17 0,02 77,44
23 74 77 5.476 5.929 5.698 76,09 2,94 0,84 0,64
24 62 60 3.844 3.600 3.720 64,16 186,01 17,32 316,84
25 58 62 3.364 3.844 3.596 60,19 310,24 3,29 249,64
26 62 63 3.844 3.969 3.906 64,16 186,01 1,35 219,04
27 92 92 8.464 8.464 8.464 93,97 261,55 3,89 201,64
28 50 54 2.500 2.916 2.700 52,24 653,48 3,11 566,44
29 84 84 7.056 7.056 7.056 86,02 67,62 4,09 38,44
30 93 96 8.649 9.216 8.928 94,97 294,68 1,07 331,24
31 70 73 4.900 5.329 5.110 72,11 32,36 0,79 23,04
32 89 90 7.921 8.100 8.010 90,99 174,02 0,98 148,84
33 88 87 7.744 7.569 7.656 90,00 148,79 8,99 84,64
34 56 58 3.136 3.364 3.248 58,20 384,20 0,04 392,04
35 62 60 3.844 3.600 3.720 64,16 186,01 17,32 316,84
36 84 85 7.056 7.225 7.140 86,02 67,62 1,05 51,84
37 87 87 7.569 7.569 7.569 89,00 125,53 4,02 84,64
38 79 89 6.241 7.921 7.031 81,05 10,59 63,13 125,44
39 78 79 6.084 6.241 6.162 80,06 5,11 1,13 1,44
40 74 74 5.476 5.476 5.476 76,09 2,94 4,35 14,44
3.11
Jml 3.029 2 235.123 247.976 241.372 3.112 5.679,85 182,55 5.862,40
Rat 77,8 5.878,0 6.034,3
a 75,73 0 8 6.199,40 0 77,80 142,00 4,56 146,56

1. Rata-rata variabel independen

n

Xi
X = i=1
n
3029
X =
40
 X =75,73
2. Rata-rata variabel dependen
n

Yi
Y = i=1
n

3112
Y =
40

Y =77,80

3. Menghitung penduga parameter 0 dan 1 yaitu b0 dan b1

X i Y i
X i Y i n
b1 = 2
2 ( X i )
X i
n

3029(3112)
241372
40
2
3029
235123
40

0,99

1
n i 1 i
b0 = ( Y b X )

Y b 1 X

77,800,99 ( 3029 )

2,55

Maka diperoleh persamaan regresi sebagai berikut: Y^ =2,55+ 0,99 X

Kita juga dapat menghitung nilai parameter penduga dengan menggunakan matriks.
'
Menyusun matriks X X seperti di bawah ini:

X ' X=
[ n
Xi
Xi
X 2i ]
 X ' X= 40 [3029
3029 235123 ]
Setelah menyusun matriks X' X kita perlu menghitung invers dari matriks X' X yang

akan digunakan untuk menghitung koefisien penduga parameter yaitu b0 dan b1

[ ]
x i2 x i
2 2

[ X; X ]
1
=
( ( n xi2 )( x i ) ) ( ( n x i2 )( x i ) )
xi n
2 2
( ( n xi )( x i ) ) ( ( n x i )( x i ) )
2 2

[ ]
235123 3029
1 40 ( 235123 )( 30292) 40 ( 235123 )(30292)
[ X; X ] =
3029 40
40 ( 235123 )( 30292) 40 ( 235123 )(30292)

[ X; X ]
1
[
= 1,0219 0,0132
0,0132 0,0002 ]
Berikut persamaan matriks yang digunakan untuk menghitung nilai b0 dan b1:
X ' X b=X ' Y

[ n
Xi
Xi
X 2i [] ] [ ]
b0
b1
=
Yi
X iY i

Untuk mencari nilai b0 dan b1 kita menghitung matriks X ' X1 dikalikan dengan matriks

X ' Y , kemuian diperoleh nilai b0 dan b1.

X
' 1
X X ( ' Y )
b=
1

[ ] [
b0
b1
=
n
xi
xi
x i2 ][ Yi
XiY i ]
[][
b0
= 1,0219 0,0132 3112
b1 0,0132 0,0002 241372 ][ ]
 [][
b0
b1 ][ ]
= 2,5512 = 2,55
0,9937 0,99

Sesuai perhitungan matriks di atas, diperoleh nilai b0 sebesar 2,55 dan b1 sebesar 0,99,

maka diperoleh persamaan regresi linier sederhana yaitu: Y^ =2,55+ 0,99 X

4. Uji Signifikansi Parsial (Uji t)

Kita akan menguji apakah variabel independen berpengaruh signifikan terhadap
variabel dependen secara parsial, uji yang dilakukan dengan menggunakan uji t.
Sebelumnya, kita dapat mencari seberapa kuat hubungan variabel independen terhadap
variabel dependen, yaitu dengan menghitung nilai r atau korelasi sebagai berikut:
xi yi
x i y i

n
r =

40 ( 241372 )(3029)(3112)
r=
40 ( 235123 )(3029)2 40 ( 247372 )(3112)2
228632
r=
232277

r=0,9843

Nilai korelasi yang diperoleh yaitu sebesar 0,9843 mendekati 1, maka dapat diartikan
bahwa terdapat hubungan yang positif atau kuat antara variabel disiplin kerja (independen)
dengan variabel kinerja karyawan (dependen)
Uji signifikansi secara parsial (uji t)
Hipotesis:
H0 : 1=0 (variabel disiplin kerja tidak berpengaruh terhadap kinerja karyawan)
H1 : 1 0 (variabel disiplin kerja berpengaruh terhadap kinerja karyawan)
Taraf Signifikansi:
=5 =0,05
Statistik Uji:
 r n2
t hitung =
1r 2
0,9843 402
t hitung =
10,98432
t hitung =34,385

Daerah kritis:
H0 ditolak jika nilai thitung > ttabel (0,05; 1; 38) = 2,02439
Keputusan: H0 ditolak karena nilai thitung (34,385) > ttabel (0,05; 1; 38) yaitu 2,02439
Kesimpulan:
Dengan demikian dapat disimpulkan bahwa secara parsial variabel disiplin kerja
berpengaruh terhadap varibel kinerja karyawan

5. Uji ANOVA (Uji F)

Selanjutnya, kita akan mencari nilai Fhitung untuk mengetahui apakah secara simultan
variabel independen yaitu disiplin kerja berpengaruh terhadap variabel dependen kinerja
karyawan di suatu perusahaan. Terdapat dua cara juga, yaitu dengan persamaan biasa dan
dengan menggunakan penghitungan persamaan matriks.
Tabel di bawah ini hasil perhitungan dengan rumus persamaan biasa:
Derajat Jumlah Rata-rata
Sumber Keragaman Fhitung
Bebas (db) Kuadrat (JK) Kuadrat
n
Regresi
1 ( ^y i y )2 5679,853 = 5679,853/4,804
i=1

Sisaan n =1182,347
n-2 = 182,55/38
= 40-2 = 38
( y i ^y i )2

i=1 = 4,804
n
Total n-1 = 5862,4/39
= 40-1 = 39
( y i y )2
i=1 = 150,32

Di bawah ini merupakan proses perhitungan JKR, JKS, dan JKT dengan menggunakan
persamaan matriks.
JKR=b; X ' Y n Y 2

[ b0 b1 ]
[ ]
Y i n Y 2
Xi Y i
 [ ]
[ 2,55 0,99 ] 3112 40 ( 77,82 )
241372

247793,45242113, 6

5679,853

Menghiung Jumlah Kuadrat Regresi dengan invers dari matriks b dikalikan dengan matriks

X' Y dan dikurangkan dengan jumlah data dikali rata-rata variabel Y dikuadratkan.

Maka akan diperoleh nilai JKR, yaitu sebesar 5679,853.

Selanjutnya, dalam menghitung Jumlah Kuadrat Sisaan dan Jumlah Kuadrat Total dihitung
dengan rumus dibawah ini:
JKS=Y ' Y b; X ' Y

Y i2[ b 0 b1 ]
[ Yi
XiY i ]
247976247793,4 5

182,55

JKT =Y ' Y n Y 2

24797640 ( 77,82 )

5862,4

Untuk menghitung kolom rata-rata kuadrat, hasil dari kolom jumlah kuadrat dibagi
dengan derajat bebasnya. Untuk JKR diperoleh hasil 5679,853 dibagi db = 1, JKS = 182,55
dibagi dengan db = n-2 yaitu 40-2 adalah 38, dan JKT juga dibagi dengan db = n-1 yaitu
39. Hasilnya ditunjukkan pada kolom rata-rata kuadrat.
Kemudian untuk menghitung Fhitung dengan cara Rata-rata Kuadrat Regresi dibagi
dengan Rata-rata Kuadrat Sisaan, dan diperoleh 1182,347. Dengan demikian, dapat
dilakukan uji hipotesis untuk mengetahui apakah variabel independen berpengaruh
terhadap variabel dependen.
Derajat Jumlah Kuadrat Rata-rata
Sumber Keragaman Fhitung
Bebas (db) (JK) Kuadrat
b X Y Y ' 11' Y
' '
Regresi 1 5679,853
 Sisaan n-2 Y ' b' X ' Y = 182,55/38 = 5679,853/4,804
= 4,804
' ' ' = 1182,347
Total n-1 Y Y Y 11 Y = 5862,4/39
= 150,32

Hipotesis:
H0 : 1=0 (variabel disiplin kerja tidak berpengaruh terhadap kinerja karyawan)
H1 : 1 0 (variabel disiplin kerja berpengaruh terhadap kinerja karyawan)
Taraf Signifikansi:
=5 =0,05
Statistik Uji:
nilai Fhitung = 1182,347
Daerah kritis:
H0 ditolak jika nilai Fhitung > Ftabel (0,05; 1; 38)
Keputusan:
H0 ditolak karena nilai Fhitung (1182,347) > Ftabel (0,05; 1; 38) yaitu 4,1
Kesimpulan:
Dengan demikian dapat disimpulkan bahwa secara simultan variabel disiplin kerja
berpengaruh terhadap varibel kinerja karyawan
Koefisien determinasi:
R2 = R R
= 0,9843 0,9843
= 0,9689
Nilai R-square yang diperoleh yaitu sebesar 0,9689 atau 96,89. Dapat diartikan bahwa
variabel disiplin kerja dapat menjelaskan variabel kinerja karwayan sebesar 96,89%, dan
sisanya sebesar 3,11% dijelaskan oleh variabel lain di luar model yang diteliti.

Setelah kita ketahui bahwa variabel x berpengaruh signifikan terhadap variabel y, berikut

persamaan regresi yang diperoleh: Y^ =2,55+ 0,99 X . Persamaan regresi tersebut dapat
 diinterpretasikan bahwa apabila nilai variabel disiplin kerja meningkat maka variabel kinerja
kerja akan meningkat sebesar 0,99 setiap satu satuan disiplin kerja.

D. KESIMPULAN
Berdasarkan pembahasan di atas dapat disimpulkan bahwa:
Matriks membantu penyelesaian analisis regresi dikarenakan suatu sistem persamaan
menjadi lebih sederhana.
Pada perhitungan penduga koefisien parameter b 0 dan b1, perhitungan tabel ANOVA
untuk memperoleh Fhitung menggunakan persamaan biasa dan persamaan matriks
hasil yang diperoleh adalah sama. Hal tersebut dikarenakan persamaan biasa
merupakan hasil dari penyederhanaan persamaan matriks.
Analisis regresi sangat bermanfaat dalam suatu penelitian, untuk mengetahui
bagaimana hubungan variabel satu dengan yang lainnya.
Dari contoh kasus, kita mengetahui bahwa variabel disiplin kerja memberikan
pengaruh yang signifikan terhadap variabel kinerja karyawan di suatu perusahaan.
Dua variabel ini saling berhubungan kuat atau positif karena memiliki nilai korelasi
sebesar 0,9843. Selain itu, variabel disiplin kerja mampu menjelaskan variabel
kinerja karyawan sebesar 96,89%, dan sisanya dijelaskan oleh variabel lain di luar
model.