ANALISIS REGRESI:

ANALISIS RESIDUAL

Liza Kurnia Sari (lizakurnia@stis.ac.id)

Politeknik Statistika STIS

1
RESIDUAL (SISAAN)
■ Error merupakan simpangan nilai observasi terhadap
dugaan nilai harapannya.
■ Error untuk amatan ke-i

■ Sifat error dapat digambarkan melalui residual

■ Residual merupakan simpangan nilai observasi terhadap
nilai estimasinya.
■ Residual untuk amatan ke-i

■ Sifat residual

2
 PEMERIKSAAN RESIDUAL (SISAAN)
■ Dalam membentuk model regresi kita melihat pola umum
data. Sedangkan dalam analisis residual kita melihat
penyimpangannya dari pola tersebut.
■ Penyimpangan pada model regresi linier yang dimaksud,
yaitu:
◻ Fungsi regresi tidak linier
◻ Suku error tidak memiliki varians yang konstan
(heteroscedastic)
◻ Suku error tidak saling bebas
◻ Error tidak menyebar normal
◻ Satu atau beberapa variabel bebas yang telah dihilangkan
dalam model.

3
PEMERIKSAAN RESIDUAL (SISAAN)
■ Melalui residual, kita juga bisa melihat apakah sebuah
pengamatan merupakan pencilan atau bukan
■ Melalui residual, kita juga bisa melihat apakah sebuah
pengamatan merupakan amatan berpengaruh atau
bukan

4
BEBERAPA PLOT RESIDUAL YG
BERMANFAAT
■ Plot antara residual vs variabel bebas
■ Plot antara residual vs nilai estimasi yi (fitted values)
■ Plot antara residual vs waktu
■ Plot antara residual vs variabel yang dihilangkan/dibuang
■ Box plot dari residual
■ Normal probability plot dari residual

5
Contoh:

Pada plot residual terhadap X

Plot residual terlihat bahwa saat nilai X
terhadap X acak, bertambah besar residual juga
menunjukkan bertambah besar. Hal ini
asumsi linieritas menunjukkan residual tidak
terpenuhi memiliki varians yang konstan

6
Contoh:

Boxplot
NPP residual bisa menunjukkan
dianggap membentuk residual
garis lurus, menceng
menunjukkan residual kanan
normal

7
MEMERIKSA PENCILAN
■ Pencilan adalah pengamatan yang nilai mutlak
residualnya jauh lebih besar daripada residual-residual
lainnya.
■ Bisa jadi terletak pada tiga atau empat simpangan baku
atau lebih jauh lagi dari rata-rata residualnya.
■ Keberadaan pencilan harus diperiksa dengan seksama,
apakah pencilan itu merupakan kesalahan dalam
pencatatan amatan atau pencilan tersebut muncul dari
kombinasi keadaan yang tidak biasa yang mungkin saja
sangat penting dan perlu diselidiki lebih jauh.

8
MEMERIKSA PENCILAN
■ Memeriksa nilai X yang merupakan pencilan
melalui nilai leverage dari hat matrix
■ Memeriksa nilai Y yang merupakan pencilan
melalui nilai sisaan terstudent
■ Memeriksa amatan berpengaruh
melalui jarak Cook (Cook’s distance)

9
Diagram Pencar Amatan yang
Merupakan Pencilan pada RLS

Sumber: Neter (1989)

10
■ Suatu amatan dapat merupakan pencilan, dilihat
berdasarkan hubungan dari nilai Y, dari nilai X, atau dari
keduanya.
■ Amatan 1 merupakan pencilan dari nilai Y. Titik ini
terletak jauh dari kelompok datanya meski nilai X-nya
berada di tengah jangkauan nilai X.
■ Amatan 2, 3 merupakan pencilan dari nilai X karena nilai
X-nya jauh lebih besar dibanding yang lain.
■ Titik 3 juga pencilan dari nilai Y.

11
■ Tidak semua pencilan mempunyai pengaruh yang besar
terhadap kecocokan garis regresi.
■ Amatan 1 tidak berpengaruh besar karena ada beberapa
nilai X yang sama yang akan menjaga kecocokan garis
regresi.
■ Amatan 2 tidak berpengaruh karena titiknya konsisten
dengan arah garis regresi.
■ Amatan 3 sangat berpengaruh terhadap kecocokan garis
regresi. Nilai X-nya berbeda dg yg lain, merupakan
pencilan, dan nilai Y-nya tidak konsisten dengan arah
garis regresi.

12
Identifikasi Pencilan dalam X
■ Hat matrix: H = X(X’X)-1X’
■ Diagonal ke-i dari H dihitung dengan
hii = Xi’(X’X)-1Xi
dengan
Nilai hii dan p = banyak parameter

■ hii disebut leverage

■ hii menunjukkan jarak antara X amatan ke-i dengan
rata-rata X seluruh amatan. hii besar berarti amatan ke-i
jauh dari rata-rata X .

13
Identifikasi Pencilan dalam X
■ hii dianggap besar jika nilainya lebih dari 2 kali rata-rata
leverage. Rata-rata leverage dihitung dengan:

■ hii dianggap besar jika

14
Identifikasi Pencilan dalam X
■ Pada materi regresi dalam bentuk matriks (Pertemuan 4)
diketahui bahwa
(taksiran Y mrpk komlin dari Y)
dan
e = (I – H)Y dengan
■ hii adalah pembobot dari Yi dalam menentukan
■ Semakin besar hii semakin penting Yi dalam
menentukan
■ Semakin besar hii maka semakin kecil varians ei
sehingga semakin dekat ke Yi

15
Contoh (Data Body Fat di Neter Ch 8)
Amatan Xi1 Xi2 Yi Amatan Xi1 Xi2 Yi
1 19.5 43.1 11.9 11 31.1 56.6 25.4
2 24.7 49.8 22.8 12 30.4 56.7 27.2
3 30.7 51.9 18.7 13 18.7 46.5 11.7
4 29.8 54.3 20.1 14 19.7 44.2 17.8
5 19.1 42.2 12.9 15 14.6 42.7 12.8
6 25.6 53.9 21.7 16 29.5 54.4 23.9
7 31.4 58.5 27.1 17 27.7 55.3 22.6
8 27.9 52.1 25.4 18 30.2 58.6 25.4
9 22.1 49.9 21.3 19 22.7 48.2 14.8
10 25.5 53.5 19.3 20 25.2 51 21.1

16
Diagram Pencar X1 dan X2
Dilihat berdasarkan
nilai X1 dan X2,
■ Amatan 15,
pencilan utk X1
dan bernilai kecil
utk X2
■ Amatan 3 berada
di luar pola data,
tetapi nilainya
bukan pencilan
utk X1 maupun
X2
■ Amatan 1 dan 5
tampak ekstrim

17
Nilai ei, hii, di*
Amatan ei hii di* Amatan ei hii d i*
1 -1.683 0.201 -0.730 11 0.336 0.120 0.137
2 3.643 0.059 1.534 12 2.226 0.109 0.923
3 -3.176 0.372 -1.656 13 -3.947 0.178 -1.825
4 -3.158 0.111 -1.348 14 3.447 0.148 1.524
5 0 0.248 0 15 0.571 0.333 0.267
6 -0.361 0.129 -0.148 16 0.642 0.095 0.258
7 0.716 0.156 0.298 17 -0.851 0.106 0.344
8 4.015 0.096 1.760 18 -0.783 0.197 0.335
9 2.655 0.115 1.117 19 -2.857 0.067 -1.176
10 -2.475 0.110 -1.034 20 1.04 0.050 0.409

18
Menghitung hii

■ h15,15 = 0,333
■ h3,3 dan h15,15 keduanya lebih besar dari 2p/n = 2(3)/20 =
0,3.
Jadi, amatan 3 dan 15 termasuk pencilan dilihat dari
nilai X-nya

19
 Identifikasi Pencilan dalam Y
■ Residual e bila dibagi dengan akar rataan kuadrat sisa
(s) diperoleh residual/sisaan terbakukan (standardized
residuals),

■ Cara yang dianggap lebih baik dalam membakukan

residual adalah membagi ei dengan penaksir simpangan
bakunya

■ ei* adalah residual/sisaan terstudent (internal), yang

berdistribusi t dengan df = n–p–1
20
Identifikasi Pencilan dalam Y
■ Yi yang merupakan pencilan akan memengaruhi nilai ei.
■ Akan dilihat pengaruhnya terhadap taksiran Yi jika ada
amatan yang dihapus (dihilangkan):

■ di disebut deleted residuals

■ hii yang besar membuat di besar. di mengidentifikasi
pencilan dalam Y ketika ei tidak bisa mengidentifikasnya.

■ di* disebut studentized deleted residuals atau residual

terstudent eksternal
■ Amatan disebut pencilan jika di* > ttabel
21
Menghitung di*

■ Amatan ke-3, 8, 13 memiliki absolut residual terstudent

eksternal yang besar. Nilai di* dibandingkan dg t(1–α
,n–p–1) = t(0.95,16) = 1.746
■ Amatan 8 dan 13 lebih besar daripada titik kritis jadi
merupakan pencilan

22
Amatan Berpengaruh
■ Pengaruh amatan ke-i dihitung dengan jarak Cook

■ Di bergantung pada nilai residual ei dan leverage hii

■ Amatan disebut berpengaruh terhadap kecocokan
garis regresi jika Di > Ftabel
■ Amatan ke-i dapat berpengaruh jika:
◻ ei besar dan hii moderat
◻ hii besar dan ei moderat
◻ ei dan hii besar

23
Menghitung Di
D3 < Ftabel,
berarti amatan
ke-3 tidak
berpengaruh
Amatan Di Amatan Di
terhadap
1 0.046 11 0.001 kecocokan
2 0.046 12 0.035 garis regresi
3 0.490 13 0.212
4 0.072 14 0.125
5 0 15 0.013
6 0.001 16 0.002
7 0.006 17 0.005
8 0.098 18 0.010
9 0.053 19 0.032
10 0.044 20 0.003
24