Resampling

Methods
KELOMPOK 4:
1. Ainun Cahyani Putri (1917141016)
2. Asraruddin (1917141021)
3. Egi Saputra (1917141024)
4. Faika Tunnas (1917141023)
5. Muh. Iqbal Rustan (1917141019)
6. Sapriani (1917141025)
 POKOK PEMBAHASAN

Teknik Pengambilan Sampel Ulang dan Pengambilan Sampel Ulang :

Jaringan Saraf : Beberapa Perkembangan Statistika Baru
Terbaru untuk Pemilihan Model
1. Pengenalan 1. Distribusi Sampling
2. Pemilihan Model untuk Jaringan Saraf 2. Cara untuk Menghasilkan Distribusi
Sampling
3. Contoh Numerik
3. Pendekatan Resampling ke Inferensi
Statistik
4. Prosedur Bootstrap
5. Tes Permutasi
6. Prosedur Umum Tes Permutasi
7. Contoh Uji Permutasi dengan R Studio
 Jaringan saraf tiruan diterima secara luas
sebagai cara yang berpotensi dan berguna untuk
pemodelan struktur non linier. Jaringan saraf
dianggap sebagai model terdistribusi paralel yang
Teknik Pengambilan terdiri dari unit pemrosesan data sederhana.
Sampel Ulang dan Struktur paralel ini memberikan alasan untuk
Jaringan Saraf : kemampuan aproksimasinya yang terkenal:
Beberapa mengingat jumlah suku nonlinier yang cukup
Perkembangan Terbaru besar dan pilihan parameter yang sesuai, yang
untuk Pemilihan Model mampu mendekati fungsi arbiter variabel secara
arbiter dengan baik. Karena fleksibilitasnya, dan
karena keberhasilan yang ditunjukkan dalam
berbagai aplikasi empiris, jaringan saraf tiruan
Pengenalan telah menjadi fokus perhatian yang cukup besar
sebagai alat yang mungkin untuk meramalkan
variabel ekonomi dan keuangan. Dalam konteks
ini, jaringan saraf tiruan biasanya kompetitif
sehubungan dengan teknik nonparametrik
alternatif.
 Dalam kerangka regresi, strategi pembangunan model jaringan saraf dapat
dihadapi dalam perspektif statistik, menghubungkannya dengan pendekatan
pemilihan model klasik. Pemilihan topologi yang tepat harus didasarkan pada
prosedur uji statistik dan kemampuan prediksi model di luar sampel, untuk
fungsi kerugian tertentu, untuk menghindari struktur yang terlalu parametris.
Strategi ini menyiratkan perbandingan beberapa model yang berbeda dan
pengintaian data muncul sebagai masalah serius, karena kumpulan data
tertentu digunakan lebih dari sekali untuk inferensi atau pemilihan model.
CREDITS: This presentation template was created by Slidesgo, including
icons by Flaticon, and infographics & images by Freepik
Pemilihan Model untuk Jaringan Saraf
Saat menggunakan jaringan saraf, salah satu
masalah yang paling kritis adalah bagaimana
memilih arsitektur jaringan yang sesuai untuk
masalah yang dihadapi. Hal ini memerlukan
pemilihan jumlah unit tersembunyi yang sesuai,
himpunan variabel penjelas yang sesuai, dan
sebagai konsekuensi dari hubungan-
hubungannya. Praktisi biasanya mengacu pada
kriteria informasi seperti Akaike Information
Criterion (AIC) dan Schwarz Information
Criterion (SIC). Kriteria ini menambahkan
penalti kompleksitas pada kemungkinan log-
likelihood, dan model yang mengoptimalkan
kemungkinan log yang dikenai sanksi ini lebih
disukai.
Umumnya, SIC memberikan model yang paling
konservatif (yaitu paling tidak kompleks) dan terbukti
berkinerja baik dalam memilih model peramalan dalam
konteks lain. Oleh karena itu, dalam kerangka jaringan
saraf, SIC biasanya lebih banyak disukai. Bagaimanapun,
semua prosedur pemilihan model tidak sepenuhnya
memuaskan. Karena kriteria pemilihan model bergantung
pada informasi sampel, nilai aktualnya bergantung pada
variasi statistik. Akibatnya model dengan nilai kriteria
pemilihan model yang lebih tinggi mungkin tidak
mengungguli secara signifikan pesaingnya.
 Perhatikan bahwa statistik bootstrap hanya berisi estimator berdasarkan sampel asli dan
ini adalah sangat nyaman ketika berhadapan dengan model jaringan saraf. Jika estimasi
diperlukan untuk setiap sampel bootstrap, prosedur akan segera menjadi tidak layak dalam
kerangka kerja kami. Prosedur bootstrap konsisten dalam kerangka jaringan saraf. Di
bawah umum kondisi keteraturan, dapat ditunjukkan bahwa, jika q = h, untuk P, R → ∞.
Seperti biasa prosedur bootstrap dapat diimplementasikan oleh Monte Carlo. Untuk
setiap replikasi bootstrap, hitung statistik bootstrap, 𝑆𝑝 ∗ . Lakukan bootstrap B ulangan (B
besar) dan hitung kuantil dari distribusi empiris B statistik bootstrap. Tolak Hipotesis Nol
H0 jika 𝑆𝑝 lebih besar dari (1-α) persentil. Perhatikan bahwa, untuk memperkirakan
persentil, B harus cukup besar (biasanya B > 1000) dan bahwa indeks dihasilkan hanya
sekali pada prosedur awal. Selain itu diasumsikan bahwa h = q.
 Contoh Numerik
Untuk mengevaluasi kemampuan prosedur untuk
memilih model yang tepat untuk proses
pembangkitan data yang diberikan, maka digunakan
kumpulan data simulasi dengan struktur yang
diketahui. Yang pertama adalah model linier (M1)
dengan dua regresi yang didefinisikan sebagai:
Y = X1 + ε
di mana X = (X1, X2)𝑇 diambil dari distribusi seragam, ε
adalah Gaussian standar dan 1 menunjukkan vektor
kolom dengan panjang yang sesuai. Model ini bisa
benar dimodelkan dengan menggunakan jaringan,
dengan skip layer, dua unit input dan nol unit
tersembunyi. Model M2 adalah model yang sama
yang digunakan dalam Tibshirani (1996) dan
didefinisikan sebagai:
Y = 3ψ (2 X1 + 4 X2 + 3 X3 + 3 X4 )+3ψ (2 X1 + 4 X2 − 3 X3 −
3 X4 ) + ε
di mana ψ adalah fungsi aktivasi logistik, X =
(X1, X2, X3, X4)𝑇 adalah vektor variabel acak Gaussian
multivariat dengan rata-rata nol, varians unit dan
berpasangan korelasi sama dengan 0,5 dan ε
gaussian dengan mean nol dan varians sama dengan
0,7. Ini memberikan rasio signal-to-noise kira-kira
sama dengan 1,2. Jelas jaringan saraf dengan fungsi
aktivasi logistik, empat neuron input dan dua neuron
tersembunyi adalah model yang ditentukan dengan
benar dan tidak ada kesalahan spesifikasi. Model M3
adalah model yang sama yang digunakan dalam De
Veaux dkk (1998) dan didefinisikan sebagai
2𝜋
Y = 1,5 cos ( (X1 −0,5)2 + (X2 −0,5)2 + (X3 −0,5)2 ) + ε
3
di mana ε adalah gaussian dengan rata-rata nol dan
varians sama dengan 0,1 dan X = (X1, X2, X3)𝑇 diambil
secara acak dari unit hypercube. Fungsi tersebut
simetri radial pada ketiga variabel tersebut.
 "Distribusi Sampling" adalah dasar dari Inferensi
Statistik. Distribusi sampling mewakili frekuensi
Pengambilan relatif dari semua nilai statistik yang mungkin
diberikan dengan serangkaian kondisi yang
Sampel Ulang : terdefinisi dengan baik. Pengetahuan inilah yang
Statistika Baru memungkinkan kita untuk membedakan
terjadinya "kemungkinan" vs. “ketidakmungkinan"
(signifikan). Statistik yang paling umum
digunakan memiliki distribusi sampling terdefinisi
matematis yang terkenal: misalnya, rata-rata,
proporsi binomial, perbedaan antara rata-rata
Distribusi Sampling sampel, dan lain-lain.
Distribusi Sampling Mean
Populasi Berdistribusi Normal
Distribusi Sampling Mean
Populasi Berdistribusi Uniform
Distribusi Sampling Mean
Populasi Berdistribusi Student t
 Pendekatan Pengambilan Sampel Ideal

1.1. Ambil sejumlah besar sampel berukuran N dari

populasi yang Anda minati dan buat
pengambilan sampel khusus distribusi untuk
statistik Anda

Pendekatan Probabilitas Teoretis

Cara untuk Menghasilkan
Distribusi Sampling 2. Terapkan teori matematika untuk menghasilkan
distribusi yang diharapkan dari statistik yang
diberikan.

Pendekatan Pengambilan Sampel Ulang

3. Gambarkan sampel dari populasi target Anda dan

gunakan teknik Monte Carlo untuk mengambil
sampel ulang secara acak untuk menghasilkan
perkiraan yang diturunkan secara empiris dari

3.
distribusi sampling statistik Anda.
Pendekatan Resampling ke Inferensi Statistik

Resampling mengacu pada berbagai metode statistik berdasarkan data

yang tersedia (sampel) daripada seperangkat asumsi standar tentang
populasi yang mendasarinya. Metode tersebut termasuk bootstrap, pisau
lipat, dan Uji permutasi. Resampling mewakili ide "baru" tentang analisis
statistik yang berbeda dari statistik tradisional. Bootstrap adalah metode
statistik untuk menghasilkan distribusi sampling dari suatu statistik
dengan pengambilan sampel dengan penggantian dari sampel data asli.
Bootstrap juga dapat dimanfaatkan untuk memperkirakan interval
kepercayaan dan untuk melakukan pengujian hipotesis nol
CREDITS: This presentation template was created by Slidesgo, including
icons by Flaticon, and infographics & images by Freepik
 Prosedur Bootstrap
a) Resample

Resampling merupakan proses pengambilan sampel kembali

dari sampel yang telah kita ambil dari populasi. Istilah

sampel bootstrap (resample) digunakan untuk menyebut

sampel yang telah kita resampling dari sampel asli. Jumlah

dari sampel bootstrap yang diseleksi bergantung pada

keadaan khusus dari masing-masing pemakaian.

b) Perhitungan Distribusi Bootstrap
c) Penggunaan Distribusi Bootstrap
Inferensia statistik untuk resample disebut distribusi
Distribusi bootstrap digunakan untuk mencari nilai-
bootstrap. Untuk mengestimasi nilai tengah dari suatu
nilai yang diinginkan seperti mean, selang
populasi (μ), maka yang menjadi estimatornya adalah
kepercayaan, standard error dan lain sebagainya.
nilai tengah dari sampel (𝑥),
ҧ sama halnya, estimator
Distribusi bootstrap memberikan banyak informasi
bootstrap dari ragam populasi adalah ragam sampel
mengenai inferensia statistik.
yang bersesuaian. Estimator bootstrap dari koefisien

korelasi populasi adalah koefisien korelasi sampel

yang bersesuaian dan seterusnya. Inferensia statistik

paling umum yang sering diperoleh dengan

menggunakan prosedur bootstrap adalah mean

 Tes Permutasi

Tes Permutasi adalah jenis uji signifikansi statistik di mana distribusi

statistik uji di bawah hipotesis nol diperoleh dengan menghitung semua
nilai yang mungkin dari statistik uji di bawah penataan label pada titik
data yang diamati. Tes permutasi ada untuk setiap statistik uji, terlepas
dari apakah distribusinya diketahui atau tidak. Dengan demikian, kita
selalu bebas memilih statistik yang paling membedakan antara hipotesis
dan alternatif dan yang meminimalkan kerugian.
 Bootstrap Tes Permutasi

Sampel Acak Penugasan Acak

 Prosedur Umum Tes Permutasi

Sampel tanpa populasi semu untuk

Kumpulkan data dari kelompok
kontrol dan perlakuan 1. 3. mensimulasikan kelompok kontrol
dan pengobatan

Hitung statistik target untuk

Gabungkan sampel untuk
membentuk populasi semu
2. 4. setiap sampel ulang
Contoh Uji Permutasi dengan R Studio

Syntax R:

> #uji permutasi satu variabel

> Yvar <- c(8,9,10,13,12,14,18,12,8,9,1,3,2,3,4)

> #generate 1000 samples

> permutes <-list()

> for (i in 1:1000) permutes[[i]] <- sample(Yvar,replace=FALSE)

> View(permutes)
Terima
Kasih !!!