Analisis Variansi
Analisis Variansi
http://oc.its.ac.id/jurusan.php?fid=1&jid=3
Wiwiek Setya Winahju
wiwiek@statistika.its.ac.id
(Y
Y )(Yi Yi ) 0
i 1
Bukti :
Review b0 dan b1 :
n
b1
(X
i 1
(X
i 1
X )2
S XY
, maka S XY b1 S XX
S XX
i 1
i 1
Y )(Yi Yi ) b1 ( X i X ){(Yi Y ) b1 ( X i X )}
i 1
(Y
Yi Yi
Y
Y
b0 Y b1 X
(Y
Yi
X )(Yi Y )
Yi Y b0 b1 X i Y Y b1 X b1 X i Y b1 ( X i X )
Yi Yi Yi Y b1 ( X i X )
Yi
Y )(Yi Yi ) b1 ( X i X ){(Yi Y ) b1 ( X i X )}
i 1
n
Yi Y
Y b0 b1 X
b1 ( X i X )(Yi Y ) b12 ( X i X ) 2
i 1
n
i 1
i 1
i 1
b1 S XY b S XX b1b1 S XX b12 S XX 0
n
i 1
i 1
i 1
(Y
i 1
i 1
2
1
Berdasarkan kedudukan titik pengamatan dan dugaan model regresi dapat disusun persamaan berikut :
b1 ( X i X )(Yi Y ) b12 ( X i X ) 2
(Y Y )
i 1
(Y
i 1
Sumber
Variasi
(Source)
Derajat
Bebas
(db)
(df)
n
Regresi
Kuadrat
tengah
(KT) =
JK/db
(MS)
Jumlah
Kuadrat
(JK)
(SS)
(Y Y )
i 1
KTRegresi
(Yi Yi ) 2
n-2
Error atau
Residual
s2
i 1
i 1
JK Regresi
R
2
JK Total
(Yi Y )2
(X
(Y Y )
(Y Y )
(Xi X )
i 1
i 1
R2
(Yi Y ) 2
(b
(Y
(Y b X b X
1
(Y
Y )2
i 1
(b1 ( X i X )) 2
i 1
(Y
2
1
b
R2
(Y
rY ,Y
i 1
(X
i 1
n
X)
(Y Y )
(X
b12
i 1
n
rX ,Y
(Y Y )
(X
i 1
n
= b1
i 1
(Y Y )(Y Y )
i
i 1
(Yi Y )2
(b
i 1
n
(Y Y )
b1 X i Y )(Yi Y )
n
(Y Y )
i 1
(Yi Y )2
i 1
X )2
b (X
i 1
Y )(Yi Y )
n
(Y Y )
i 1
Y )(Yi Y )
b12 ( X i Y )2
i 1
i 1
i 1
i 1
(Yi Y )2
X )2
i 1
(Y b X b X
1 / 2
(Y Y )
2
Y ,Y
Y )2
(X i X )2
Bukti :
2
1
i 1
i 1
R r
2
Y )2
i 1
2
X ,Y
Y )2
i 1
Buktikanlah !
Rumus R2 ini juga menyatakan kuadrat koefisien
korelasi antara Y dengan Y, sehingga bila dikaitkan
dengan rX,Y terdapat hubungan sebagai berikut :
Y )2
i 1
b1 X i Y ) 2
i 1
i 1
i 1
(Yi Y ) 2
rX ,Y
1/ 2
X )2
i 1
= b2
1
X )2
i 1
n
(Yi Y )2
i 1
n
i 1
i 1
n
Hubungan antara prediktor X dengan respon Y, selain dapat dinyatakan oleh koefisien regresi, yaitu b1,
dapat pula dinyatakan dengan koefisien korelasi,
yang dinotasikan rX,Y. Bedanya, koefisien regresi
dapat digunakan untuk memprediksi nilai respon,
sedang pada koefisien korelasi tidak dapat. Persamaan yang menyatakan hubungan ini adalah :
b1 =
(X
i 1
i 1
n
Koefisien ini dinyatakan dalam %, yang menyatakan kontribusi regresi, secara fisik adalah akibat
prediktor, terhadap variasi total variabel respon, yaitu Y. Makin besar nilai R2, makin besar pula kontribusi atau peranan prediktor terhadap variasi respon.
Biasanya model regresi dengan nilai R2 sebesar 70%
atau lebih dianggap cukup baik, meskipun tidak selalu. Rumus koefisien determinasi adalah sebagai
berikut :
(Y Y )
Koefisien Determinasi, R
2
1
(Y Y )
n-1
2
X ,Y
Total,
terkoreksi
JK
n2
(Y Y )
i 1
lack of fit artinya pengujian untuk mendeteksi apakah model linier order pertama tepat. Bila lack of fit
tidak bermakna maka model linier order pertama tepat, sedang bila lack of fit bermakna maka model linier order pertama tidak tepat, perlu dikembangkan
menjadi model linier kuadratik atau model nonlinier. Pengujian lack of fit ini diperlukan bila terdapat
pengamatan berulang, yaitu satu nilai prediktor atau satu kombinasi nilai prediktor (bila digunakan
beberapa prediktor) yang berpasangan dengan beberapa nilai respon.
b1 ( X i Y )(Yi Y )
rX ,Y
i 1
b1
(X
i 1
Y )
(Y Y )
i 1
rY ,Y rX ,Y , maka
rY2,Y rX2 ,Y R 2
Lack of Fit
Lack of fit artinya penyimpangan atau ketidak tepatan terhadap model linier order pertama. Pengujian
Nilai-nilai Respon
Yju
Yj
(Y
Pengulangan
ni
u 1
nj
2
ju
u 1
n1
(Y
Y1
X1
u 1
n1
n1
2
1u
n2
(Y
Y2
Y21 , Y22 , . . . , Y2 n2
1u
Y
u 1
X2
ju
u 1
n2
n2
u 1
n jY j2
Y1 ) 2 =
n1 1
n1Y1 2
2u
Y2 ) 2 =
2
2u
nY
Derajat
Bebas
db
Y j )2 =
n2 1
2
2 2
nm
(Y
Ym
Xm
nn
u 1
nm
mu
Y
u 1
2
mu
Ym ) 2 =
nm 1
n Y
2
m m
Contoh 1:
Berikut ini data hasil eksperimen :
Eksperimen
ke
1
2
3
2,3
1,8
2,8
1,3
1,3
2,0
Eksperimen
ke
9
10
11
1,7
2,8
2,8
3,7
4
4
Eksperimen
ke
17
18
19
3,5
2,8
2,1
5,3
5,3
5,3
4
1,5
2,0
12
2,2
4
20
3,4
5
2,2
2,7
13
5,4
4,7
21
3,2
6
3,8
3,3
14
3,2
4,7
22
3
7
1,8
3,3
15
1,9
4,7
23
3
8
3,7
3,7
16
1,8
5
24
5,9
Sumber : Applied Regression Analysis, Second Edition, Norman Draper dan Harry Smith, halaman 38.
5,7
6
6
6,3
6,3
1,3
2
3,3
3,7
4
4,7
5,3
6
Mean
Respon,
Nilai-nilai Respon,
Yju
2,3
2,8
3,8
3,7
2,8
5,4
3,5
3,2
1,8
1,5
1,8
1,7
2,8
3,2
2,8
3,0
Yj
Pengulangan,
nj
Derajat
Bebas
db
2
2
2
2
3
3
3
2
0,125
0,845
2,000
2,000
0,240
6,260
0,980
0,020
1
1
1
1
2
2
2
1
12,470
11
2,05
2,07
...
...
...
...
...
...
2,2
1,9
2,1
Derajat
Bebas
(db)
Tabel ANOVA 1
Jumlah
Kuadrat
Kuadrat
tengah
(JK)
(KT) = JK/db
(Source)
Regresi
(df)
1
(SS)
6,326
(MS)
6,326
Error
atau
Residual
Total,
terkoreksi
22
21,192
s 2 0,963
23
27,518
(KTL of F
dibagi
Fit
Error
Murni
Total,
terkoreksi
11
12,470
23
27,518
1,134
KTerror murni)
F
KT Reg /
KT Error
6,569
Sumber
Variasi
(Source)
Regresi
Tabel ANOVA 2
Kuadrat
Derajat Jumlah
tengah
Bebas Kuadrat
(KT) =
(db)
(JK)
JK/db
(df)
(SS)
(MS)
6,326
6,326
Error atau
Residual
22
21,192
Lack of
11
8,722
Analysis of Variance 1
6,569
(KTRegresi
s 2 0,963 dibagi
KTerror)
0,793
Data pada contoh 1 bila diolah menggunakan MINITAB tanpa memperhatikan lack of fit menghasilkan
Tabel ANOVA 1 berikut :
Source
Regression
Residual Error
Total
DF
1
22
23
SS
6,3247
21,1937
27,5183
MS
6,3247
0,9633
F
6,57
P
0,018
0,699
Analysis of Variance 2
Source
Regression
Residual Error
Lack of Fit
Pure Error
Total
DF
1
22
11
11
23
SS
6,3247
21,1937
8,7237
12,4700
27,5183
MS
6,3247
0,9633
0,7931
1,1336
F
6,57
P
0,018
0,70
0,718
Contoh 2, Soal K
Y
0,971
0,979
0,982
0,971
0,957
0,961
0,956
0,972
0,889
0,961
0,982
0,975
0,942
0,932
0,908
0,97
0,985
0,933
0,858
0,987
0,958
0,909
0,859
0,863
0,811
0,877
0,798
0,855
X
3
4,7
8,3
9,3
9,9
11
12,3
12,5
12,6
15,9
16,7
18,8
18,8
18,9
21,7
21,9
22,8
24,2
25,8
30,6
36,2
39,8
44,3
46,8
46,8
58,1
62,3
70,6
RESI1
-0,02239
-0,00945
0,003999
-0,0041
-0,01636
-0,00916
-0,01039
0,006193
-0,07652
0,005065
0,028388
0,027485
-0,00551
-0,01522
-0,03109
0,031486
0,0491
0,001164
-0,06919
0,073747
0,061007
0,022459
-0,01448
-0,00322
-0,05522
0,043593
-0,02321
0,057887
0,788
0,821
0,83
0,718
0,642
0,658
71,1
71,3
83,2
83,6
99,5
111,2
-0,00766
0,02592
0,069472
-0,04137
-0,0712
-0,02123
0,795661
0,79508
0,760528
0,759367
0,713201
0,67923
0,9
Apabila pengolahan dilakukan dengan memperhatikan lack of fit, didapatkan hasil keluaran berikut :
0,8
0,7
0,6
0
20
40
60
X
80
100
120
>
>
>
>
>
>
let k1=sum(X)
let k2=sum(Y)
let k3=sum(X**2)
let k4=sum(Y**2)
let k5=sum(X*Y)
print k1-k5
Data Display
FITS1
0,99339
0,988454
0,978001
0,975098
0,973356
0,970162
0,966387
0,965807
0,965516
0,955935
0,953612
0,947515
0,947515
0,947224
0,939094
0,938514
0,935901
0,931836
0,92719
0,913253
0,896993
0,886541
0,873475
0,866216
0,866216
0,833407
0,821212
0,797113
Xi
= K1 = 1244,50
i 1
i 1
= K4 =
27,5736
n
Yi
= K2 = 30,4580
i 1
XY
= K5 =
i 1
1032,49
n
X
i 1
2
i
= K3 = 73920,1
Coef
1,00210
-0,0029035
S = 0,0393282
SE Coef
0,01089
0,0002335
R-Sq = 82,9%
T
92,04
-12,43
P
0,000
0,000
R-Sq(adj) = 82,3%
Analysis of Variance
Source
DF
SS
MS
F
Regression
1 0,23915 0,23915 154,62
P
0,000
Probability Plot of C1
Normal - 95% CI
99
99
50
10
1
-2
-1
0
1
Standardized Residual
1
0
-1
-2
0,7
Frequency
5,0
2,5
0,0
-2
-1
0
1
Standardized Residual
0,8
0,9
Fitted Value
1,0
7,5
90
-1,47059E-07
0,03873
34
0,390
0,364
80
70
60
50
40
30
20
10
5
-0,10
-0,05
0,00
C1
0,05
0,10
Contoh 3, Soal L
Pada soal K di atas, tampak terdapat nilai-nilai prediktor yang sangat dekat, sehingga pantas dianggap
ulangan, dinamai ulangan hampiran.
10,0
Mean
StDev
N
AD
P-Value
95
Percent
2
1
0
-1
-2
1
10
15
20
25
Observation Order
30
Nilai-nilai Respon,
(Yju)
0,971
0,956
0,975
0,908
0,863
0,855
0,830
Mean Respon,
(Yj )
Pengulangan,
(nj)
Jumlah Kuadrat
Penyimpangan Terhadap
Mean Respon
Derajat
Bebas
(db)
9,6
12,5
18,83
21,8
46,8
71
...
2
3
3
2
2
3
2
...
...
...
...
...
...
...
0,01678
1
2
2
1
1
2
1
10
0,957
0,972 0,889
0,942 0,932
0,970
0,811
0,788 0,821
0,718
Lengkapilah perhitungan dan isikan pada tabel di atas. Selanjutnya, lengkapilah pula tabel ANOVA berikut :
Analysis of Variance
Source
Regression
Residual Error
Lack of Fit
Pure Error
Total
DF
1
32
SS
0,23915
0,04949
...
10
...
0,01678
33
0,28864
MS
0,23915
0,00155
F
154,62
P
0,000
...
...
...
...
Lakukanlah evaluasi, apakah lack of fit bermakna ? Lakukan analisis kebaikan model.
Bandingkan dengan hasil analisis model di soal K.
Derajat
Bebas
(db)
(df)
Sumber
Variasi
(Source)
Kuadrat
tengah
(KT) =
JK/db
(MS)
Jumlah
Kuadrat
(JK)
(SS)
n
Regresi
(Y Y )
i 1
n
Error atau
Residual
Total,
terkoreksi
n-2
KTRegresi
(Yi Yi ) 2
s2
i 1
JK
n2
(Yi Yi )
i 1 j 1
i 1 j 1
suku 2
suku 3
Penalaran suku 1,
Diasumsikan : Yij~N(,2)
Yij
Yij ~ N ( , 2 ), maka
~ N (0,1),
Yij
Yij
~ , maka
i 1 j 1
2
1
ni
ni
k
Yij Y
~ 2k
,
Yij Y
ni 1 i 1 j 1
i 1 j 1
i 1
Didapatkan hasil :
k
ni
Y
ni
ij
~ 2k
ni
i 1
~ 2k
2
n
1
i
i 1
~ 2k 2
ni 1
i 1
Penalaran suku 2,
Diasumsikan : Yij~N(i,2)
Yij ~ N ( i , 2 ), maka
Yij i
Y i
~ , maka ij
j 1
2
ni
i 1 j 1
ij
ni
2
1
Y
k
Yij i
~ N (0,1),
2
n i 1
Yij Yi
i 1 j 1
k
~ n2i ,
ni
~ 2k
ni k
i 1
Yi ~ 2k
ni k
2
i 1
Didapatkan hasil :
k
ni
( y
yknk
i 1 j 1
ij
yi ) 2 ni (Yi. Y ) 2 ~ k21 2
i 1
yk
y2
ni
i 1 j 1
suku 1
1
2
k
yk1
yk2
.
.
.
ni
ni
Organisasi Data :
i
1
2
...
y11
y21
...
y12
y22
...
.
.
...
.
.
...
.
.
...
y1
ni
Yij Yi
j 1
y2n 2
i 1 j 1
i 1
y1n1
n-1
1 ni
yi. yij
ni j 1
n y
i i
ni
Y
k
Yi ~
2
ij
i 1 j 1
Y ~ N ( , 2 ), E (Y ), 2 var(Y )
Y E (Y )
Y
~ N (0,1)
1/ 2
(var(Y ))
ni k
i 1
Penalaran suku 3,
Yi.
2
Yi. ~ N ( , ),
~ N (0,1)
1/ 2
ni
2
ni
(Yi . )
ni
~ 12
i 1
ni (Yi. ) 2
i 1
(Yi. )
ni
k
~ k2
i 1
~ k2
Kembali ke Regresi
n
Penalaran distribusi
(Y Y )
i 1
ni (Yi. Y ) 2
~ k21
2
Hasil Keseluruhan :
Y
k
ni
i 1 j 1
ij
ni
ij
i 1 j 1
~ 2k 2
ni 1
Yi ~ 2k
ni k
2
i 1
ni
(Y
i 1 j 1
i 1
Y
k
i.
Y ) ni (Yi . Y ) 2 ~ k21 2
2
i 1
Perlu diingat :