Anda di halaman 1dari 7

Resume Bootstrap dan Jackknife

Bootstrap dan jackknife adalah teknik nonparametrik dan resampling yang bertujuan untuk menaksir standart eror dan confidence interval parameter populasi, seperti : mean, median, proporsi, koefisien korelasi dan regresi, dengan tidak selalu memperhatikan asumsi distribusi. Beberapa penaksir parameter yang dibahas: MSE penaksir, mean, varian, korelasi, dan koefisien regresi.

Tahapan / Prosedur / Algoritma :

Bootstrap
1. Sampel asal, dari eksperimen atau simulasi, berukuran n. 2. Resample dengan pengembalian, didapatkan Resampel ke i (i = 1, 2, . . . , REP), REP biasanya 1000 atau lebih, makin banyak makin baik. 3. Perhitungan penaksir setiap hasil resample, didapatkan : ,1 , , 2 , ... , , R P ; b b b E ,i . bentuk umumnya b 4. Perhitungan penaksir bootstrap : 1 REP bootstrap = b = b ,i REP i =1

Jackknife
1. Sampel asal, berukuran n. 2. Resample dengan mengeluarkan elemen sampel ke i, i = 1, 2, ... , n. Didapatkan Resample ke i (i = 1, 2, . . . , n). 3. Perhitungan penaksir setiap hasil resample, didapatkan : ,1 , , 2 , ... , , n ; j j j ,i . bentuk umumnya j 4. Perhitungan penaksir jackknife : 1 n jackknife = j = j,i n i =1

Keterangan : ,i atau j,i suatu penaksir parameter, pada penerapannya dapat berupa : mean, b varian, standart deviasi, korelasi, dan koefisien regresi.

Beberapa Rumus :
mean populasi dan variansi populasi, penaksir mean dan penaksir variansi.
S Confidence Interval 95% untuk : X 2 n

Margin of error = 2

S n

ukuran keakuratan mean sampel terhadap mean populasi.

) Mean Square Error penaksir, MSE penaksir, MSE = E ( 2 , MSE mean = 2 / n

MSEpenaksir bootstrap = MSE b =

1 REP 1 n ( b ,i ) 2 , MSEpenaksir jackknife = MSE j = ( b ,i ) 2 REP i =1 n i =1


M SE

margin errorpenaksir, margin error = 2 -

margin error b = . . .

margin error j = . . .

Variansi dan Bias untuk Penaksir Bootstrap dan Penaksir Jackknife 1 REP Eb = Ekspektasipenaksir bootstrap = Ekspektasipenaksir jackknife = . . . b ,i REP i =1 Biaspenaksir bootstrap = B b = E b Biaspenaksir jackknife = . . . Variansipenaksir bootstrap = varb = 1 REP
REP i =1

b ,i

E) 2

Variansipenaksir jackknife = . . .

Penaksir Interval Mean


Bila X ~ N( , 2), maka Z = (X - )/ akan berdistribusi N(0, 1), atau Z ~ N(0, 1), dan
t= X S/ n

berdistribusi t dengan derajat bebas n-1; t disebut kuantitas pivot. Lebih lanjut berlaku

sifat :
X P t 0,975 < < t 0, 975 S/ n = 0,95

dan C I 0,95 untuk : X t 0,975

S S < < X + t 0,975 n n

atau :
X P t 0 , 025 < < t 0 ,975 = 0,95 S/ n

dan C I 0,95 untuk : X t 0 ,975

S S < < X t 0, 025 n n

Perhitungan yang perlu dilakukan: - t pivot bootstrap :


t b ,i = X b ,i X S b ,i / n

- C I 0,95 untuk :

X t b , 0 ,975

S n

<< X t b , 0 , 025

S n

t b, 0.025 dan t b, 0.975 masing-masing adalah percentil ke 2,5 dan ke 97,5 distribusi t pivot bootstrap.

Penaksir Interval Variansi dan Stadar Deviasi


Rumus-rumus parametrik :
2 pivot = ( n 1)S 2 2

2 (n 1)S 2 2 P 0,025 < < 0,975 = 0,95 2

(n 1)S 2 ( n 1)S 2 < 2 < 2 2 0,975 0, 025

Perhitungan yang perlu dilakukan: 2

pivot bootstrap :

2 ,i = b

( n 1)S 2 ,i b S2

- C I 0,95 untuk 2 :

( n 1)S 2 ( n 1)S 2 < 2 < 2 b , 0.975 2 , 0.025 b

- C I 0,95 untuk standart deviasi :

( n 1)S 2 < std deviasi 2 , 0.975 b

<

( n 1)S 2 2 , 0.025 b

Berbagai metode mendapatkan C I parameter : - Kuantitas Pivot - Percentile, b , 0.025 < < b , 0.975 - Residual, e b , 0.975 < e b , 0.025 BCA,
T () + z 0 z p 1 a (z 0 z p ) < T () < T () + z 0 z p 1 a (z 0 + z p )

Prosedur penurunan kuantitas pivot dan metode mendapatkan selang kepercayaan ini berlaku juga untuk parameter yang lain, seperti : koefisien korelasi dan koefisien regresi.

Prosedur Resampling
Ada beberapa cara resampling, tergantung kepada parameter yang akan ditaksir. 1. Resampling satu variabel, untuk penaksiran mean dan variansi
MTB > Sample n C1 C2; SUBC> Replace.

2. Resampling dua variabel bivariate, untuk penaksiran koefisien korelasi atau koefisien regresi dengan variabel bebas random
MTB > Sample n C1 C2 C3 C4; SUBC> Replace.

3. Resampling dua variabel bivariate, untuk penaksiran koefisien regresi dengan variabel bebas fix Algoritma : 1. Menyediakan sampel, (Xi , Yi), i = 1, 2, ... , n, menghitung b0 dan b1, serta Yi dan ei. 2. Melakukan resampling ei,r (r = 1), menambahkan ei,r dengan Yi , mendapatkan Yi,r sampel menjadi pasangan (Xi,Yi,r). Selanjutnya menghitung : b0r, b1r, Yi , r dan ei,r (r = 2). 3. Menambahkan ei,r dengan Yi , r , mendapatkan Yi,r sampel menjadi pasangan (Xi,Yi,r). Selanjutnya menghitung : b0r, b1r, Yi , r dan ei,r (r = 3). 4. Mengulang langkah 3, sampai b mencapai 1000 atau lebih. 5. Menghitung penaksir bootstrap untuk b0 dan b1, C I, dll.

Regresi Bootstrap Dan Jackknife


Bootstrap b0 b = ... b1 b = ... var(bb) = matrik varian kovarian penaksir koefisien regresi
REP

[(b
r =1

r,b

b b ) ( b r , b b b )T /( REP 1)

C I 0,95 : b b t n p , / 2 Se (b b ) < < b b + t n p , / 2 Se ( b b ) Jackknife b0 j = ... b1j = ... var(bj) = matrik varian kovarian penaksir koefisien regresi (n 1) n = (b r , j b j ) (b r , j b j ) T n r =1

C I 0,95 : b j t n p , / 2 Se ( b j ) < < b j + t n p , / 2 Se (b j )

Resampling dua variabel (X,Y), untuk penaksiran koefisien regresi dengan variabel bebas, yaitu X, yang dikendalikan oleh peneliti, disebut X fixed. Algoritma : 1. Menyediakan sampel (Xi , Yi), i = 1, 2, ... , n, menghitung b0 dan b1, serta Yi dan ei 2. Melakukan resampling pertama dengan pengembalian pada ei , didapatkan ei,r (r = 1), menambahkan ei,r pada Y , didapatkan Yi,1 ; sehingga sampel menjadi pasangan (Xi,Yi,1). Selanjutnya menghitung b01 dan b11 , dan lain-lain, yang diperlukan. 3. Melakukan resampling ke dua dengan pengembalian pada ei , didapatkan ei,r (r = 2), menambahkan ei,r pada Y , didapatkan Yi,2 ; sehingga sampel menjadi pasangan (Xi,Yi,2). Selanjutnya menghitung b02 dan b12 , dan lain-lain, yang diperlukan. 4. Melakukan resampling ke tiga dengan pengembalian pada ei , didapatkan ei,r (r = 3), menambahkan ei,r pada Y , didapatkan Yi,3 ; sehingga sampel menjadi pasangan (Xi,Yi,3). Selanjutnya menghitung b03 dan b13 , dan lain-lain, yang diperlukan. 5. Melanjutkan resampling sampai r mencapai 1000 atau lebih. 6. Menghitung penaksir bootstrap untuk b0 dan b1, C I koefisien regresi, dll.
i
i

mult X m20 Xb subtract Xb yy e tran e eT mult eT e s2 let n = count(xx) mult s2 0.33 MSE mult XIV MSE m30 diagonal m30 C5 let seb0 = (C5(1))**0,5 let seb1 = (C5(2))**0,5 name m20 'bb' name m30 'covb' PRINT m20 m30 seb0 seb1 copy e ei DO k1=1:1000 sample n ei ee; replacement. copy ee eb ADD Xb eb YR mult XT YR XR mult XIV XR B COPY B c11 let b0(k1)=c11(1) let b1(k1)=c11(2) ENDDO let b0_boot=mean(b0) let b1_boot=mean(b1)
HISTO b0 HISTO b1

Contoh Program Macro


MACRO regres16 xx yy c4 mconstant seb0 seb1 n k1 b0_boot b1_boot mcolumn xx yy c4 c5 ei ee c11 b0 b1 mmatrix X XT XTX XIV Y XTY m20 Xb e eT s2 MSE m30 bb covb eb YR XR B copy c4 xx X tran X XT mult XT X XTX inve XTX XIV copy yy Y mult XT Y XTY mult XIV XTY m20

PRINT b0_boot b1_boot ENDMACRO xx yy C4 12 110 1 21 200 1 31 320 1 43 465 1 56 600 1 MTB > %regres16.txt 'xx' 'yy' C4 Executing from file: D:\Program Files\MINITAB 14\MACROS\regres16.txt Answer = 161,0089 Answer = 53,1329

Data Display

Matrix bb -30,0131 11,3194 Matrix covb 57,0179 -1,42305 -1,4230 0,04365 seb0 seb1 n 7,55102 0,208930 5,00000

Histogram of b1
Histogram of b1
80 70 60 F requency 50 40 30 20

Histogram of b0
Histogram of b0
80 70 60 F requency 50 40 30 20 10 0

10 0 10,875

11,000

11,125

11,250

11,375 b1

11,500

11,625

11,750

Data Display
b0_boot b1_boot -29,7829 11,3156

-45

-40

-35

-30 b0

-25

-20

-15

Program macro ini tentang pembootstrapan Regresi. Penaksir parameter dan penaksir covarian taksiran parameter disusun dengan menggunakan rumus :
b = ( X T X ) 1 X T Y cov(b) = (X X)
T 1

M SE,

tidak menggunakan menu.