Modul 7

Regresi Bootstrap
7.1 Prosedur Bootstrap Adalah prosedur pengambilan sampel baru secara berulang sebanyak B sampel baru dari data asal berukuran n, dimana untuk sebuah sampel baru dilakukan pengambilan titik sampel dari data asal dengan cara satu persatu sampai n kali dengan pengembalian. Misalkan terdapat data asal berukuran n, yaitu X = ( x1 , x2 , , xn ) maka dengan prosedur Bootstrap akan diperoleh sampel-sampel baru berukuran n sebagai berikut (Efron, 1993): sampel ke-1 , X*1 = ( x11*, x21*, x31* , , xn1* ) sampel ke-2 , X*2 = ( x12*, x22*, x32* , , xn2* ) sampel ke-n , X*B = ( x1B*, x2B*, x3B* , , xnB* ) Algoritma 1 : Prosedur Bootstrap 1. Mulai 2. Input data asal (berukuran n) 3. Ulangi untuk j = 1, 2, , B (B ditentukan user) langkah berikut: - Lakukan pengambilan titik sampel satu persatu pengembalian sebanyak n kali - Cetak sampel ke-j 4. Selesai 7.2

dengan

Inferensi Statistik Dengan Bantuan Prosedur Bootstrap Misalkan dalam suatu penelitian diambil sampel berukuran n amatan, X = (x1 , x2 , , xn) dan dari sampel ini dihitung estimator (7.1) = T ( X ) dengan suatu metode tertentu. Jika statistik tersebut distribusinya sulit ditentukan maka dalam inferensi selanjutnya, prosedur Bootstrap dapat digunakan sebagai alternatif untuk menyelesaikannya. Dengan menerapkan metode yang sama dengan metode untuk mendapatkan (7.1) maka dari sampelsampel baru Bootstrap akan diperoleh estimator-estimator (Efron, 1993) : (7.2) * j = T ( X * j ) , j = 1, 2, ..., B Kemudian uji hipotesa pada taraf terhadap parameter dilakukan dengan pendekatan interval kepercayaan persentil Bootstrap : dari sebaran nilai-nilai yang didapat dengan (7.2) akan ditentukan distribusi kuantilnya, selanjutnya diambil kuantil /2 sebagai batas bawah dan kuantil (1- /2) sebagai batas atas interval. Tolak H0 jika nilai parameter yang dinyatakan di H0 tidak berada di dalam interval kepercayaan (Efron, 1993). 25

Teori dan Praktikum Statistika Komputasi : Modul 7

Regresi Linier Bila diberikan himpunan pasangan data regresi { (yi , xi1 , xi2 , , xip) } , i = 1, 2, , n yang mengikuti model regresi linier : (7.3) y i = 0 + 1 xi1 + 2 xi 2 + ... + p xip , i = 1, 2, , n = ( , , ,..., ) diberikan maka estimator koefisien (parameter) regresi
0 1 2 p

7.3

dalam bentuk matrik sebagai berikut (Drapher dan Smith, 1992) : = (X ' X) 1 X ' Y dimana : Y = ( y1 , y 2 , L , y n ) '

(7.4) (7.5) (7.6)

1 x11 1 x 21 X = M M 1 x n1
7.4

x12 x 22 M xn 2

L x1 p L x2 p M L x np

Inferensi Koefisien Regresi Dengan Prosedur Bootstrap Misalkan data berpasangan untuk regresi dinotasikan zi = (yi , xi1 , xi2 , , xip) untuk i = 1, 2, , n. Dalam bentuk matrik, data sampel awal dapat dituliskan sebagai Z = ( z1 , z2 , , zn) . Apabila prosedur Bootstrap di atas dilakukan terhadap data regresi maka untuk mendapatkan sebuah sampel baru adalah dengan resampling terhadap n pasang amatan zi untuk i = 1, 2, , n satu persatu dengan pengembalian. Sehingga melalui prosedur Bootstrap akan diperoleh sebuah sampel baru : Z* = ( z1* , z2* , , zn* ) (7.7) Selanjutnya pembentukan sampel baru ini dilakukan sebanyak B kali sehingga didapat sampel-sampel Bootstrap : Z *1 , Z *2 , , Z *B (7.8) *j Kemudian untuk tiap-tiap sampel baru Z , j=1, 2, , B ini diekstrak menjadi : Y * j dan X * j . Dengan menerapkan metode yang sama dengan metode untuk mendapatkan (7.4) maka dari sampel-sampel baru Bootstrap akan diperoleh estimatorestimator dalam bentuk vektor : * j = ( ( X * j )' X * j ) 1 ( X * j )' Y * j , j = 1, 2,, B. (7.9) Berdasarkan (7.9) dapat dirinci masing-masing estimator koefisien : *j , * j ,L, * j dengan j = 1, 2,, B 0 1 p (7.10)

Selanjutnya untuk uji hipotesis terhadap masing-masing koefisien 0 , 1 ,..., p , dapat dilakukan dengan pendekatan interval kepercayaan persentil Bootstrap.

Teori dan Praktikum Statistika Komputasi : Modul 7

26

Algoritma 2 : Inferensi Koefisien Regresi Dengan Prosedur Bootstrap 1. Mulai 2. Input data regresi 3. Hitung estimator titik dengan rumus (7.4) 4. Ulangi untuk j = 1, 2, , B (B ditentukan user) langkah berikut : - Lakukan pengambilan titik sampel satu persatu dengan pengembalian sebanyak n kali - Hitung estimator titik dengan (7.9) pada sampel baru tersebut 5. Tentukan distribusi kuantil dari tiap-tiap estimator berdasarkan hasil pada langkah 4 6. Tentukan batas bawah dan batas atas interval keperc. berdasar hasil langkah 5 untuk masing-masing parameter sesuai dengan taraf 7. Tentukan keputusan uji hipotesis 8. Selesai 7.5 Program

Program prosedur Bootstrap (resampling) :

sampl.bootstrap<-function(x,B) { x<-as.vector(x) n<-length(x) for (j in 1:B) { xbaru<-sample(x,n,replace=T) cat("sampel bootstrap ke-",j," :\n") print(xbaru) } }

Soal Latihan : 1. Buatlah program untuk prosedur Bootstrap pada regresi ! 2. Buatlah program untuk inferensi koefisien regresi dengan prosedur Bootstrap ! (note : menentukan distr. kuantil lihat help (quantile) )

Teori dan Praktikum Statistika Komputasi : Modul 7

27