Statistik Matematika pada Regresi

http://oc.its.ac.id/jurusan.php?fid=1&jid=3
Wiwiek Setya Winahju
wiwiek@statistika.its.ac.id

Statistik matematika yang akan diuraikan pada ba- hanya memuat variabel X, jadi penyebut fixed. Ada-
gian ini meliputi distribusi respon dan berbagai pun pembilang mengandung variabel random Y.
penaksir, yaitu : Selanjutnya pembilang dijabarkan sebagai berikut :
- distribusi variabel respon
n n

 X iYi  nXY    X i  X   Yi  Y 
- distribusi penaksir koefisien regresi (b0)
dan (b1) i 1 i 1
- distribusi penaksir respon, n
kemudian dilanjutkan dengan selang kepercayaan
dan pengujian hipotesis. i 1

   X i  X   Yi    X i  X   Y  
n n
Review Teorema    X i  X   Yi     X i  X   Y 
Suatu teorema menyatakan bahwa fungsi linier i 1 i 1
variabel random berdistribusi normal, juga ber- n

distribusi normal.    X i  X   Yi 
i 1

1. Distribusi Variabel Respon   X 1  X   Y1    X 2  X   Y2   . . .   X n  X   Yn 

Pada regresi linier sederhana berlaku persamaan :
Tampak bahwa pembilang merupakan fungsi linier
Yi = 0 + 1 Xi + i …..……. (1) Y1 , Y2 , . . . Yn , sehingga b1 mengikuti distribusi Yi
dengan asumsi i ~ N(0,2). Ini berarti E(i ) = 0, yaitu normal, dengan penurunan parameter sebagai
berikut :
dan var(i ) = 2. Persamaan (1) di atas menggam-
Mean b1 = E(b1)
barkan Yi merupakan fungsi linier i , karena 0 dan
 n n

1 , masing-masing adalah parameter, dan Xi varia-
bel fixed. Jadi hanya terdapat satu variabel random
  X i Y i  Y  Xi 

= E n
i 1 i 1

yang jelas spesifikasinya, yaitu i . Dengan demikian 
n

distribusi Yi mengikuti distribusi i , yaitu normal.  
 i 1
X i
2
 X 
i 1
Xi 

Adapun parameternya, yaitu mean dan variansi da-
pat diturunkan sebagai berikut :  n 
  X iYi  nXY 
Mean (Yi ) = E(Yi ) = E(0 + 1 Xi + i ) = E  i 1n 
 2 
= E(0 ) + E(1 Xi) + E(i )
  X i  nX 
2

= 0 + 1 Xi + 0 = 0 + 1 Xi  i 1 
 n
  n n

var(Yi ) = var(0 + 1 Xi + i )
 i i X Y  X nY  E  i i X Y  X  Yi 
= var(0)+ var(1 Xi) + var(i ) = E  i 1n    i 1n i 1 
= 0 + 0 + var(i ) = 2  2 
  X i  nX   X i2  nX 2
2

 i 1  i 1
Dapat dituliskan : Yi ~ N(0 + 1 Xi , 2)
 n   n   n   n 
2. Distribusi b0 dan b1   X i E (Yi )   XE   Yi    X i E (Yi )   X   E (Yi ) 
Dengan menggunakan metode kuadrat terkecil atau  i 1
n
  i 1  i 1
n
  i 1 

least square telah didapatkan penaksir 0 , dinotasi-  X i  nX

2

i 1
2
 X i  nX
2 2

i 1
kan b0 dan penaksir 1 , dinotasikan b1 , sebagai n n n n
berikut :  ( X i X ) E (Yi )  ( X i X ) (  0  1 X i )
 i 1
n
i 1
 i 1
n
i 1

1 n
 n
X 2
 nX 2
X 2
 nX 2
b0 =   Yi  b1  X i   Y  b1 X i i
n  i 1 i 1 
i 1 i 1

n
 n n

n n n
(X X )    0   1 X i 
 X Y Y  X
i i i  X Y  nXY
i i  i 1
i
 i 1
n
i 1 
b1  i 1
n
i 1
n
 i 1
n X i
2
 nX 2
X
i 1
i
2
 X  Xi
i 1
X
i 1
i
2
 nX 2 i 1

n n n

Akan dilakukan penurunan distribusi b1 lebih dulu (X i X )n  0   ( X i X ) 1 X i 0  1  ( X i X ) X i

untuk mempermudah. Rumus b1 dijabarkan agar  i 1
n
i 1
 n
i 1

muncul kejelasan variabel random yang membentuk X

i 1
i
2
 nX 2
X
i 1
i
2
 nX 2
b1. Pada rumus b1 tersebut tampak bahwa penyebut

1
 Dengan demikian didapatkan :
n
0  1  ( X i X ) X i  n

 i 1   2
 X i2 
b 0 ~ N   0 , n i 1 
n

X i
2
 nX 2  2 
n ( X i  X ) 
i 1 
 n n
  n   i 1 
1   X i  XX i  1   X i2  nX 2 
2

  i n1 i 1    i 1
n

1 Dengan didapatkannya E(b0) = 0 dan E(b1) = 1
 X i2  nX 2  X i2  nX 2 maka terbukti bahwa b0 dan b1 merupakan penaksir
i 1 i 1 tak bias bagi 0 dan 1.

Seperti yang telah diuraikan pada materi terdahulu, 3. Distribusi Ŷ0

yaitu Least Square atau Kuadrat Terkecil didapat-
kan var(b1) dinyatakan dengan pers berikut : Perhitungan nilai penaksir respon ke i dilakukan
dengan menggunakan penaksir model regresi yang
2 terbentuk, yaitu : Yˆi  b0  b1 X i . Bila ditentukan
n
var(b1) = satu prediktor yang digunakan untuk melakukan
(X
i 1
i  X )2 eksperimen, misal X0 , akan didapatkan penaksir
respon, Ŷ0 , sebagai berikut :
Dapat disimpulkan bahwa : Yˆ0  b0  b1 X 0 .

   Penaksir respon tersebut, Ŷ0 , jelas merupakan fung-

   2  si linier b0 dan b1. Karena b0 dan b1 berdistribusi
 
b 1 ~ N 1 , n  normal, maka Ŷ0 juga berdistribusi normal. Mean
  2 
   (Xi  X )  dan variansi Ŷ0 masing-masing akan diturunkan se-
  i 1 
bagai berikut :
Selanjutnya rumus b0 dijabarkan agar muncul keje-
lasan variabel random yang membentuk b0 . Mean( Ŷ0 ) = E (Yˆ0 )  E (b0  b1 X 0 )
1 
n n
 E (b0 )  E (b1 X 0 )   0  X 0 E (b1 )
b0 =   Yi  b1  X i   Y  b1 X
n  i 1 i 1    0  1 X 0
n
= 1
n Y  X b
i 1
i 1
Telah diuraikan pada materi Least Square atau Ku-
adrat Terkecil , variansi Ŷ0 sebagai berikut :
Persamaan di atas menunjukkan bahwa b0 meru-
 2 ( X 0  X )2 2
pakan fungsi linier Yi , i = 1, 2, … , n ; disamping  n
var( Ŷ0 ) = n .
itu juga merupakan fungsi linier b1 . Karena kedua
variabel random tersebut berdistribusi normal, maka
 ( X i  X )2
i 1
b1 mengikuti distribusi normal pula, dengan pena-
laran mean (b0) dan var(b0) sebagai berikut : Jadi,

Mean(b0) = E(b0) = E (Y  b1 X )   
n    2 ( X  X )2  2  
= E( 1n Y  X b ) i 1 Ŷ0 ~ N  (  0  1 X 0 ) , 
  n
 n 0 
2 
i 1
 

 (Xi  X ) 

 n
 n

 Y  X b    E (Y )  X E (b )
i 1
= E  1n i 1
1
n i 1
 i 1 i 1
n
= 1
n  E( 0   i X i   i )  X 1
i 1
Selang Kepercayaan
 n 
=    E (  0 )  E (  i X i )  E ( i    X 1
1
n
 i 1  Distribusi berbagai penaksir akan digunakan untuk
n mendapatkan taksiran selang berbagai parameter, a-
= 1n (n  0   i  X i )  X 1   0   i X  X 1   0 tau lazim disebut Selang Kepercayaan.
i 1
n
 2  X i2 1. Selang Kepercayaan 100(1)% Untuk 0
var(b0 )  n
i 1 Selang kepercayaan parameter 0 ini diturunkan
n ( X i  X ) 2 berdasarkan distribusi penaksirnya, yaitu b0 .
i 1

2
Penurunan diawali dari distribusi b0 , berikut :

 n

  2
 X i2 
b 0 ~ N   0 , n i 1 
 2 
n ( X i  X ) 

 i 1 

maka :
b0   0  b0   0 
~ N (0,1) atau Z, dan P  z   z1    1   ,
simpangan baku b0  2
simpangan baku b0 2


 b0   0 
atau P   z1    z1    1  
 2
simpangan baku b0 2

1/ 2
 n

  2
 X i2 
dengan simpangan baku b0 =  n i 1  ; selanjutnya simpangan baku b0 disingkat sb b0.
 n ( X  X )2 
  i 
 i 1 

Batas bawah dan batas atas selang kepercayaan didapat dengan cara menghitung solusi pertidaksamaan

b0   0
 z1    z1  .
2
simpangan baku b0 2

Solusi pertama : Solusi kedua : Interseksi solusi pertama dengan solusi kedua :

b0   0 b0   0 0
 z1    z1 
2
sb b0 sb b0 2

b0   0   z1  sb b0
2
b0   0  z1  sb b0
2
b0  z1  sb b0 b0  z1  sb b0
2 2
b0  z1  sb b0   0 b0  z1  sb b0   0
2 2

 0  b0  z1  sb b0
2
 0  b0  z1  sb b0
2
b0  z1  sb b0   0  b0  z1  sb b0
2 2

b0  z1  simpangan baku b0   0  b0  z1  simpangan baku b0

2 2

Apabila 2 tidak diketahui, maka digunakan penaksirnya, yaitu :

    Y  (b  b X ) 
n 2 n
Yi  Yˆi
2
i 0 1 i
,
ˆ 2  s 2  i 1
 i 1
n2 n2

nilai 2 menyatakan terdapat dua parameter, yaitu b0 dan b1. Selanjutnya, distribusi Z berubah menjadi distribusi
Student t, akibatnya z1 2 berubah menjadi tn  2, 1 2 dan simpangan baku berubah menjadi penaksir simpangan
baku; sehingga selang kepercayaan menjadi :

b0  tn  2,1  penaksir simpangan baku b0   0  b0  tn  2,1  penaksir simpangan baku b0

2 2

2. Selang Kepercayaan 100(1)% Untuk 1

Dengan penalaran seperti pada selang kepercayaan 100(1)% untuk 0 , didapatkan selang kepercayaan
100(1)% untuk 1 sebagai berikut :

b1  tn  2,1  penaksir simpangan baku b1  1  b1  tn  2,1  penaksir simpangan baku b1

2 2

3
3. Selang Kepercayaan 100(1)% Untuk Y0

Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , dan X0 merupakan nilai prediktor yang digu-
nakan untuk eksperimen, maka penaksir atau dugaan nilai respon dinyatakan oleh persamaan berikut :
Ŷ0  b0  b1 X 0 .

Distribusi b0 dan b1 masing-masing normal, sedang X0 konstanta, maka Ŷ0 yang merupakan fungsi linier b0 dan
b1, berarti fungsi linier variabel random normal, menjadikan Yˆ0 berdistribusi normal. Adapun mean dan varian-
sinya adalah sebagai berikut :
Mean( Yˆ0 ) = E( Yˆ0 ) = E(b0 + b1 X0) = 0 + 1 X0.

 2 ( X 0  X )2  2 s 2 ( X 0  X )2 s 2
  n   n
var( Yˆ0 ) n dan penaksir var( Yˆ0 ) n
 ( X i  X )2
i 1
 ( X i  X )2
i 1

Formula var( Ŷ0 ) ini seperti yang telah ditampilkan pada materi Least Square. Dengan demikian, dapat dinya-
takan :
  
   2 ( X  X )2  2  
Ŷ0 ~ N  (  0  1 X 0 ) ,   n 0 
  n 2 
 

 (Xi  X ) 

 i 1

Dengan penalaran seperti pada selang kepercayaan 100(1)% untuk 0 dan untuk 1 , didapatkan selang
kepercayaan 100(1)% untuk Y0 sebagai berikut :

Yˆ0  tn  2,1  penaksir simpangan baku Yˆ0  Y0  Yˆ0  tn  2,1  penaksir simpangan baku Yˆ0
2 2

4. Selang Prediksi 100(1)% Untuk Y0

Selanjutnya, bila diketahui atau ditentukan nilai variabel bebas sebesar X0 , dan X0 bukan merupakan nilai pre-
diktor yang digunakan untuk eksperimen, maka didapatkan penaksir atau dugaan nilai respon, yaitu Ŷ0 sebesar :
Ŷ0  b0  b1 X 0 .
Adapun variannya sedikit berbeda dengan var( Ŷ0 ) terdahulu.

Review:
Bila diketahui variabel random saling independen X1, X2, … , Xn , berasal dari populasi normal dengan mean  dan vari-
ansi 2, maka nilai rata-ratanya, yaitu X , akan berdistribusi normal dengan mean  dan variansi 2/n. Apabila terdapat
variabel random lain, yaitu : Xn+1 yang berasal dari populasi tempat X1, X2, … , Xn berasal, maka Xn+1 juga mempunyai
mean  dan variansi 2. Selisih antara Xn+1 dengan X , yaitu (Xn+1  X ) juga berdistribusi normal dengan mean dan va-
riansi sebagai berikut :
mean (Xn+1  X )=    = 0 dan var(Xn+1  X )=2+2/n =2(1+1/n)
Variabel X menyatakan penaksir Xi..

Gambaran kejadiannya adalah sebagai berikut :

Populasi Normal, X
mean = 
variansi = 

Sampel 1, berukuran n, Sampel 2, berukuran 1,

X1 , X2 , . . . , Xn , atau Xn+1
Xi, i = 1, 2, . . . , n, E(Xn+1)= 
Penaksir Xi = X , var(Xn+1)=2
E( X )= , var( X

Apabila dianalogikan dengan model regresi, kejadiannya menjadi sebagai berikut :

4
 Populasi Normal, Y0
mean (Y0) = 0 + 1 X0
variansi (Y0) = 2

Sampel 1 berukuran n, Sampel 2 berukuran 1,

Y01 , Y0 2 , . . . Y0 n Y0 n 1
atau Y0 i , i = 1, 2, . . . , Y0 n 1
mean( )=0 + 1
n, X0
Penaksir Y0 i = Yˆ0 Y0 n 1
var( )=2
E( Yˆ )=0 + 1 X0
0

variansi Yˆ0 = var( Yˆ0 )

Y0 n 1 ˆ Y ˆ
Selisih antara dengan Y0 , yaitu ( 0 n 1  Y0 ), berdistribusi normal dengan :

Y0 n 1 Yˆ
mean (  0 ) = 0

Y0 n 1 Yˆ Y0 n  1 ˆ
var(  0 ) = var( ) + var( Y0 )

2 ( X 0  X )2 2
 n
= 2 + n
 ( X i  X )2
i 1

 
 2 
1
1   ( X 0  X ) 
 n n
2 

2 
 (Xi  X ) 

=  i 1

Dengan demikian dapat dinyatakan bahwa :

 
 2 
1  1  ( X 0  X ) 
 n n

Y0 n1  Yˆ0   ( X i  X )2 
~ N (0, 2  i 1 ,

 
 2 
1
1   ( X 0  X ) 
 n n
2 
Y0 n1  Yˆ0   (Xi  X ) 
dan penaksir atau penduga varian ( ) ialah : s2  i 1 ,
1/ 2
 
 
1  1  ( X 0  X )
2

 n n

Y  Yˆ0   ( X i  X )2 
sehingga penaksir simpangan baku ( 0 n 1 ) menjadi : s  i 1 . 
Dengan penalaran seperti pada selang kepercayaan 100(1)% untuk 0 , 1 , dan Y0 , didapatkan selang pre-
Y
diksi 100(1)% untuk Y0 , yang pada pembahasan di atas dinamai 0 n1 sebagai berikut :

Yˆ0  tn  2,1  penaksir simpangan baku Yˆ0  Y0  Yˆ0  tn  2,1  penaksir simpangan baku Yˆ0
2 2

dengan penaksir simpangan baku seperti yang tertulis di atas kotak yang memuat formula selang prediksi.

Y  Yˆ0 Y
Turunkan penaksir simpangan baku ( 0 n1 ) dan selang prediksi 100(1)% untuk 0 n 1 , bila sample 2
berukuran q (pada pembahasan sebelumnya sampel 2 berukuran 1).
Pengujian Hipotesis

5
Pengujian hipotesis kemaknaan parameter sangat e-rat hubungannya dengan selang kepercayaan. Pe-ngujian
hipotesis untuk mendeteksi kemaknaan per-bedaan suatu parameter terhadap nol atau nilai ter-tentu, masing-
masing perumusannya adalah :

H0 :  = 0 terhadap H1 :   0,
atau :
H0 :  = 0 terhadap H1 :   0,

dengan 0 adalah nilai tertentu.

Pada analisis regresi sederhana,  merupakan para-meter koefisien regresi ( 0 dan 1), atau nilai respon bila
prediktor ditentukan (Y0). Berikut ini akan diu-raikan proses pengujian hipotesis dengan cara cepat dan cara
lengkap.

Cara Cepat
Pada perumusan hipotesis pertama, apabila selang kepercayaan memuat nilai 0, yang ditandai oleh ba-tas
bawah selang bernilai negatif dan batas atas bernilai positif; ini menyimpulkan H0 diterima. Pe-nerimaan H0 ini
berarti perbedaan parameter dengan nol tidak bermakna, atau  boleh dianggap nol. Ke-balikannya, yaitu batas
bawah selang dan batas atas bertanda sama, baik positif maupun negatif, berarti  berbeda bermakna dengan nol;
boleh dianggap  tidak nol.


batas bawah titik 0 batas atas
selang kepercayaan selang kepercayaan

Nilai batas atas dan batas bawah selang kepercayaan 100(1)% untuk 0 , 1 , dan Y0 , masing-masing adalah
sebagai berikut :

Para- Batas Atas (baris pertama)

meter Batas Bawah (baris ke dua)

b0  t n  2,1  penaksir simpangan baku b0

0
2

b0  t n  2,1  penaksir simpangan baku b0

2

b1  t n  2,1  penaksir simpangan baku b1

2

1
b1  t n 2,1  penaksir simpangan baku b1
2

Yˆ0  t n  2,1  penaksir simpangan baku Yˆ0

2

Y0
Yˆ0  t n  2,1  penaksir simpangan baku Yˆ0
2

Perumusan hipotesis ke dua, proses pengujiannya seperti pada perumusan pertama, dengan mensubsti-tusikan
nilai 0 pada 0.
Kriteria lain untuk memutuskan ialah nilai P. Bila nilai P  , berarti menerima H0, dan bila P <  berarti
menolak H0 .

Cara Lengkap
Cara ini mengikuti prosedur berikut :
i. Merumusan hipotesis dan menentuan nilai 
(biasanya  antara 0,01 sampai 0,10).
ii. Menghitung statistik uji.
iii. Menentukan titik kritis.
iv. Melakukan analisis keputusan dan interpretasi.

6
Pengujian Hipotesis 0
i. Perumusan Hipotesis
Perumusan hipotesis pertama,

H0 : 0 = 0 , H1 : 0  0 ,  = 0,05

Perumusan hipotesis ke dua,

H0 : 0 = 00 , H1 : 0  00 ,  = 0,05

dengan 00 bernilai tertentu.

ii. Perhitungan Statistik Uji

Dari penalaran selang kepercayaan 100(1)% untuk 0 didapatkan :

b0   0
 z1    z1  (2 diketahui)
2
simpangan baku b0 2

atau :
b0   0
 t n 2,1    t n 2,1  (2 tidak diketahui)
2 penaksir simpangan baku b0 2

Statistik uji yang digunakan menjadi :

b0   0
T
penaksir simpangan baku b0

Kepada 0 disubstitusikan nilai 0 atau 00, tergan-tung pada perumusan hipotesis.

Seringkali yang terjadi 2 tidak diketahui, sehingga bila H0 benar, maka statistik uji, yaitu T, akan ber-distribusi
Student t dengan derajat bebas n 2, di-nyatakan :

b0  0
T ~ tn-2
penaksir simpangan baku b0
(untuk perumusan hipotesis pertama)
atau,
b0   00
T ~ tn-2
penaksir simpangan baku b0
(untuk perumusan hipotesis ke dua)
Ada pilihan statistik uji yang lebih populer digu-nakan di program paket, yaitu |T|.

iii. Penentuan Titik Kritis

Titik kritis disesuaikan dengan bentuk distribusi statistik uji pada kondisi H0 benar. Karena T ~ tn-2, maka titik
kritisnya ialah : t n  2, 2 atau  t n 2,1 
2

dengan t n  2 ,1 2 .

iv. Analisis Keputusan Dan Interpretasi

Setelah titik kritis ditentukan, maka terbentuk tiga area, dijelaskan pada tabel berikut :

Area Lokasi Arti

I T < t n  2 , 2 Daerah penolakan H0

II t n  2,   T  t n  2,1Daerah
 penerimaan H0
2 2

III T  t n  2 ,1  Daerah penolakan H0

2

7
Keputusan untuk perumusan hipotesis pertama :
- Titik kritis, T, nilainya kurang dari nilai t n  2 , 2 ,
maka H0 ditolak, berarti perbedaan 0 dengan 0
bermakna, boleh dianggap 0  0.
- Titik kritis, T, diantara t n2 , 2 dan tn2,1  , maka
2

perbedaan 0 dengan 0 tidak bermakna, boleh

dianggap 0 = 0.
- Bila titik kritis T lebih dari tn  2,1 2 boleh
diang-
gap 0  0.

Catatan : Penolakan H0 secara langsung menjadi-

kan penerimaan H1 .

Keputusan untuk perumusan hipotesis ke dua :

Penalaran seperti pada keputusan perumusan perta-
ma, tetapi nilai 0 diganti dengan nilai 00 .

Keputusan juga dapat berdasarkan nilai P, yaitu luas

area dibawah kurva tn-2 yang melebihi nilai statistik
uji, dinotasikan P|T| > nilai statistik uji. Bila nilai
P  , berarti menerima H0, dan bila P <  berarti
menolak H0 .