MATERI

PENGENDALIAN
MUTU STATISTIK

PERTEMUAN-5
POLITEKNIK STATISTIKA STIS
Coverage and Nonresponse Error
J  Coverage Error
J  Measures of Coverage Bias
J  Reducing Coverage Bias
J  Unit Nonresponse Error
J  Calculating Response Rates
J  Reducing Nonresponse Bias
KASUS DATA HILANG, terkadang disebut ERROR NON-
OBSERVASI, ditemukan hampir di semua upaya
pengumpulan data yang besar dan bisa menjadi sangat
bermasalah dalam pelaksanaan survei. Error non-observasi
bisa terjadi melalui dua cara yang berbeda, yaitu:

²  Kegagalan memasukkan semua unit populasi target ke

dalam sampling frame (misal: daftar tidak lengkap, peta
usang, dll.), yang akan mengakibatkan frame mengalami
error cakupan (COVERAGE ERROR).
²  Kegagalan untuk mendapatkan pengukuran pada
beberapa unit sampel survei, yang mengakibatkan
NONRESPONSE ERROR.
Masalah cakupan dasar. Hanya wilayah tak diarsir dari kotak yang
tercover oleh sampling frame. Daerah yang diarsir itu terlewatkan
sebagai sampel. Bagian kanan dari kotak adalah komponen yang
membentuk bias karena noncoverage error.
›  Simbol ini menggambarkan beberapa situasi
yang berbeda terkait dengan tingkat
korespondensi antara target dan kerangka
populasi.
›  Kasus yang ideal, tentu saja, adalah ketika
ada korespondensi satu-ke-satu antara
kerangka dan unit populasi target (yaitu,
setiap unit target disertakan satu kali dan
satu-satunya sekali pada frame, dan frame
tidak mengandung unit yang tidak berada di
frame populasi target).
›  Kasus itu sesuai dengan daerah yang tidak
diarsir pada gambar.
Undercoverage atau noncoverage
Merupakan masalah utama pada cakupan (coverage),
dimana frame tidak lengkap, karena berbagai macam
kelalaian, sehingga beberapa unit populasi target hilang dari
frame (tidak tercakup dalam frame).

›  Akibatnya, unit yang terlewat (populasi target yang tidak

tercakup dalam frame) memiliki peluang nol untuk terpilih
sebagai sampel.
›  Biasanya, tingkat noncoverage bervariasi dari satu wilayah ke
wilayah lain dan antar kelompok populasi.
›  Konsep yang juga terkait dengan Undercoverage atau
noncoverage adalah jumlah yang tidak terhitung dalam
sensus, yang merupakan kegagalan dalam menghitung
semua anggota populasi.
Contoh kasus Undercoverage atau noncoverage

Misakan Frame populasi didefinisikan sebagai semua nomor

telepon yang mungkin. Sedangkan Populasi target didefinisikan
sebagai semua rumah tangga. Dengan pendefinisian ini akan
berpotensi terjadi error noncoverage, karena:
v  Di Amerika Serikat, sekitar 6% rumah tangga tidak mempunyai
telepon, sehingga sekitar 6% rumah tangga akan terlewat pada
saat survei, jika survey dilakukan hanya melalui telepon.
v  Di Swedia hanya 1% rumah tangga yang tidak mempunyai
telepon , tapi di beberapa negara lain, bisa mencapai 50% atau
lebih.
v  Saat tingkat noncoverage naik, Frame nomor telepon harus
dikombinasikan dengan frame lain yang berisi rumah tangga
tanpa telepon.
v  Di negara berkembang tingkat nontelephone begitu besar
sehingga survei telepon tidak layak dilakukan, karena berpotensi
menimbulkan bias coverage.
Coverage Error
Overcoverage
Terjadi ketika ada beberapa unit yang bukan merupakan
populasi target tercakup di dalam frame. (yaitu, unit yang
tidak memenuhi syarat atau di luar cakupan survei).
›  Unit tersebut harus diidentifikasi sebelum dilakukan
pengambilan sampel dan dihapus dari frame. Namun, hal
ini mungkin tidak dapat dilakukan tanpa terlebih dahulu
menghubungi unit untuk menentukan kelayakan sebagai
sampel survei. Dalam kasus ini, unit yang tidak memenuhi
syarat diidentifikasi selama pengumpulan data
berlangsung dan dihapus tanpa efek bias pada data
survei.
›  Dalam Kasus terburuk, beberapa unit yang tidak
memenuhi syarat bisa saja tercakup saat survey
berlangsung, dan akibatnya estimasi berdasarkan hasil
survei bisa menjadi bias.
Coverage Error
Duplikasi
Terjadi bila beberapa unit yang sama tercakup dalam frame (unit
terduplikat pada frame). Kasus ini kadang disebut juga overcoverage.
Solusi yang jelas untuk masalah ini adalah:
mengidentifikasi unit yang terduplikat dalam frame dan menghapusnya
sebelum pengambilan sampel dilakukan.

›  Jikaitu layak, dimungkinkan untuk mengumpulkan

informasi selama pengumpulan data untuk menentukan
berapa kali unit dalam sampel tercantum pada frame.
Misalnya, dalam survei telepon RDD, pewawancara dapat
mengumpulkan informasi sejumlah nomor telepon yang
dapat mencapai rumah tangga dan digunakan untuk
komunikasi suara. Informasi ini bisa digunakan dalam
tahap estimasi, yaitu untuk menyesuaikan seleksi
probabilitas yang digunakan untuk menghitung bobot
sampel dan untuk mengoreksi estimasi overcoverage.
 Coverage Error
Satu unit frame berkorespondensi dengan beberapa unit
populasi sasaran.

›  Contohnya adalah ketika frame terdiri dari alamat untuk unit

perumahan dan populasi sasaran terdiri dari individu. Untuk setiap
unit frame, satu alamat terdiri dari satu orang atau lebih.

›  Untuk menentukan individu (ART) mana di unit perumahan yang

dijadikan sampel, perlu untuk mencantumkan ART ini dengan benar
tanpa duplikasi atau kelalaian. Tapi proses ini bisa sangat
bermasalah, karena masalah privasi beberapa ART atau definisi
tentang siapa di rumah tangga yang memenuhi syarat untuk disurvei:
misalnya, apakah orang-orang yang tinggal di rumah tangga atau
yang sedang tidak berada di rumah tangga itu pada waktu
Wawancara benar-benar tinggal di unit perumahan tersebut atau
mungkin memiliki tempat tinggal mereka sendiri.
v Frame Noncoverage atau undercoverage
mengakibatkan probabilitas terpilihnya beberapa
unit populasi bernilai nol ,
v Frame Overcoverage atau duplikasi
mengakibatkan probabilitas terpilihnya unit
populasi menjadi lebih besar daripada yang
seharusnya.
v Jika tidak ditangani dengan benar, kedua
masalah ini akan menyebabkan bias dalam
estimasi survei.
›  Seringkali, frame harus dikembangkan dengan
membangunnya dari berbagai sumber informasi
tentang anggota populasi target.
›  Sejumlah frame yang tidak lengkap dapat
digabungkan, tapi tidak diduplikasi untuk
membuat suatu frame tunggal yang bisa
dijadikan titik awal yang baik untuk menciptakan
Frame yang lengkap.
›  Namun kadang tetap saja tidak memungkinkan
untuk mendaftarkan semua anggota populasi ke
dalam frame, dan populasi yang kurang dari
cakupan harus diterima.
›  Dalam beberapa kasus, populasi target dapat didefinisikan
ulang untuk mengecualikan beberapa unit yang dikecualikan
dari frame dengan sengaja atau tidak sengaja.
›  Dengan pendefinisian ulang ini, masalah noncoverage frame
pada dasarnya ditentukan dengan menyatakan unit yang
dikecualikan ini sebagai unit yang tidak memenuhi syarat
untuk disurvei. Namun, praktik ini dapat menyebabkan
masalah bagi peneliti survei dalam hal relevansi hasil survei
untuk pengambilan kesimpulan dan kemampuannya untuk
mencapai tujuan utama survei.
›  Jika populasi target didefinisikan ulang dengan tujuan supaya
lebih sesuai dengan sampling frame, sangat penting untuk
diperhatikan bahwa populasi target baru harus dijelaskan
secara eksplisit dan jelas, untuk menghindari salah tafsir dan
pengambilan kesimpulan yang keliru dalam menggunakan
hasil survei.
›  Pada akhirnya, hanya pengguna hasil survey yang dapat
menilai apakah prosedur ini (pendefinisian ulang populasi
target) sesuai dengan kebutuhannya.
Area Frame Map
Teknik yang banyak
digunakan, terutama dalam
survei pertanian dan
penggunaan lahan, adalah
dengan menggunakan peta
sebagai frame. Peta dapat
mencakup seluruh negara
atau bagian dari suatu
negara, tergantung pada
tujuan survei. Primary
Sampling Unit (PSU)
dapat didefinisikan
sebagai suatu area
dengan batas yang jelas.
Peta Desa
Dalam berbagai survei,
Badan Pusat Statistik
(BPS) menggunakan Blok
Sensus (BS) sebagai PSU.
BS adalah bagian dari
suatu wilayah desa/
kelurahan yang
merupakan daerah kerja
dari seorang
Pencacah. BS harus
mempunyai batas-batas
yang jelas/mudah
dikenali, baik batas alam
maupun buatan.
›  Jika tingkat noncoverage mendekati nol (yaitu,
jika tcmendekati 1), bias akan menjadi kecil,
tidak peduli seberapa besar perbedaannya
antara populasi tercakup dan tidak tercakup.
›  Dengan meningkatnya tingkat noncoverage,
ukuran bias yang dihasilkan juga meningkat,
tapi seberapa cepat kenaikannya tergantung
pada perbedaan antara populasi tercakup
dan tidak tercakup.
›  Jika rata-rata unit yang tercakup dalam frame
sangat dekat dengan rata-rata dari unit yang
tidak tercakup oleh frame, tidak akan banyak
bias akibatnya noncoverage.
Anggap bahwa cakupan bias berhubungan dengan survei random-
digit-dial (RDD) rumah tangga (lihat Bab 1). Survei RDD hanya
mencakup rumah tangga yang memiliki telepon. Di Amerika
Serikat, hal tersebut merujuk pada 94% dari keseluruhan rumah
tangga. Maka, 1-tc (yaitu: proporsi rumah tangga yang tidak
menggunakan telepon) adalah 0,06. Misalkan sebuah survei
dilakukan dengan tujuan mengesetimasi pendapatan rata-rata dari
populasi rumah tangga. Dengan data yang diperoleh dari Massey
dan Botman (1998), diestimasi pada rumah tangga yang memiliki
telepon yaitu Ȳc, adalah $18.700. Untuk rumah tangga yang tidak
memiliki telepon, nilai Ȳnc adalah $11.500. Dengan rumus (3.1)
untuk Ȳp, rata-rata untuk keseluruhan rumah tangga adalah 0,94 x
$18.700 + 0.06 x $11.500, yaitu $18.268.
Bias atau bias relatif:
Negatif: mengindikasikan estimasi yang cenderung underestimate
v  dari parameter populasi.
Positif: mengindikasikan estimasi yang cenderung overestimate dari
v  parameter populasi.

Apakah bias relatif sebesar 5% merupakan masalah di dalam survei?

Jawabannya bergantung pada tujuan survei dan bagaimana data akan
digunakan.

²  Apabila dengan bias relatif sebesar 5% secara drastis mengubah

keputusan atau kesimpulan yang dibuat oleh analis dari data tersebut,
maka bias relatif tersebut merupakan bias yang penting.
²  Namun demikian, bias relatif sebesar 5% juga dapat dipertimbangkan
sebagai bias yang tidak penting jika analis lebih tertarik pada bias
sebesar 10%.
•  Bias cakupan adalah fungsi tingkat
noncoverage dan perbedaan karakteristik yang
dipelajari antara populasi yang tercakup dan yang
tidak tercakup.
•  FRAME adalah bagian yang sangat penting dari
proses survei. Jika frame tidak memadai,
mungkin akan terjadi error cakupan yang besar,
dan mungkin mahal atau bahkan tidak mungkin
untuk mengurangi atau mengkompensasi error
cakupan tersebut.
Reducing Coverage Error
BEBERAPA METODE UNTUK MENCEGAH ATAU
MENGURANGI COVERAGE BIAS:

o  Menghapus duplikat dan erroneous inclusions

dari Frame.
o  Menggunakanlebihdarisatuframe.
o  Memeriksa catatan eksternal untuk melihat
apakah ada anggota populasi target yang hilang
pada frame.
Reducing Coverage Error
TIDAK TERCAKUP DUPLIKASI
•  Misalkan wilayah dalam
lingkaran adalah populasi
target. Tersedia Frame A dan
B, dimana frame A dan B
bukan frame yg ideal,
sehingga dilakukan
penggabungan frame.
•  Walaupun penggabungan
Frame sudah dilakukan,
TIDAK TERCAKUP namun kadang error cakupan
(under coverage) tidak dapat
dihindari (area dalam
lingkaran yang tidak diarsir).
•  Hati-hati dengan duplikasi
(wilayah dalam lingkaran
dengan arsiran yang lebih
gelap) dan overcoverage
(wilayah diluar lingkaran)yang
bisa terjadi akibat
penggabungan frame.
Reducing Coverage Error
•  Informasi tambahan, yang sering diperoleh dari
sampling frame, merupakan faktor penting untuk
dipertimbangkan pada saat memutuskan metode
estimasi dan fitur desain lainnya.

•  Informasi tambahan mencakup data tentang unit

populasi yang dapat digunakan untuk memperbaiki
estimasi parameter populasi, misalnya dengan estimasi
rasio (Bab 9).

•  Sebenarnya, untuk penggunaan praktis, frame harus

memuat informasi lebih banyak daripada hanya
sekedar daftar unit populasi.
Unit Nonresponse Error
›  Non respon terjadi ketika kita tidak dapat
melakukan pengumpulan data pada unit yang
dipilih untuk sampel.
›  Bila seluruh wawancara atau kuesioner hilang
atau tidak diperoleh untuk unit sampel, kami
merujuk ke unit nonresponse.
›  Namun, walaupun kuesioner selesai diperoleh
untuk satu unit, tidak semua item pada
kuesioner mungkin telah selesai yang harus
diselesaikan, sejenis missingness yang disebut
item non response.
Unit Nonresponse Error
ü  Unitunit
nonresponse terjadi karena:
•  sampel tidak dapat dihubungi (non-kontak). ¬ unit
sampel menolak untuk berpartisipasi dalam survei saat
dihubungi (penolakan).

ü  Perbedaan antara nonkontak dan penolakan tidak selalu

jelas. (misal: survey melalui email dan telpon).

ü  Perbedaan dari keduanya penting karena kedua kelompok

diperlakukan secara berbeda dalam proses estimasi.
Unit Nonresponse Error
Dua strategi utama untuk menangani item nonresponse.

Item non-respons dapat ditangani secara preventif melalui

²  penggunaan kata-kata dan penempatan pertanyaan
dalam kuesioner.

²  imputasi (mengganti nilai yang hilang), biasanya

digunakan untuk menyesuaikan nonresponse item yang
tersisa.
Unit Nonresponse Error
Unit Nonresponse Error
Unit Nonresponse Error
•  Bias Nonrespons adalah fungsi dari nonrespon rate dan
perbedaan karakteristik pada penelitian antara responden dan
nonresponden.

•  Konsep non-response rate dipahami dan disepakati secara

universal. Namun, tidak ada definisi response rate yang
diterima secara universal, terutama karena eligibilitas setiap
unit dalam sampel tidak dapat selalu ditentukan karena tidak
merespon. Hal ini menunjukkan bahwa perlu kehati-hatian saat
membandingkan respon rate antara survei.
Calculating Response Rates

(5)
(3A) =
(2)x(3)
(3B) = (3) − (3A)

)
Calculating Response Rates

Units in Scope (4) : populasi target

Respondents (6)
•  namun
Refusal conversion (11): unit yang pada awalnya menolak
pada akhirnya berubah menjadi responden.
•  Other respondents (12)
Nonrespondents (7)
•  Refusals (13): unit yang menolak sampai akhir survey.
•  Noncontacts (14): unit yang tidak pernah bisa dihubungi.
•  tapi
Other nonrespondents (15): terdiri dari unit yang dihubungi
tidak bisa berpartisipasi karena sakit, tidak dapat ditemui
selama masa wawancara, hambatan atau kendala bahasa,
dan sebagainya.
Calculating Response Rates
Units Out of Scope (5): bukan populasi target
ü  Nonexistent Units (8): unit yang pernah ada dalam frame tapi
pada saat survey sudah tidak ada. (contoh: unit perumahan yang
telah dibongkar, atau dalam survei RDD adalah nomor telepon yang
sudah tidak aktif lagi).

ü  Units Temporarily Out of Scope (9): unit yang pada satu titik
berada dalam cakupan namun pada saat survey tidak sesuai
lagi dengan definisinya. Misal di sektor pertanian, pada saat
kerangka sampel dibangun memenuhi definisi pertanian, tapi karena
penjualan menurun, tidak lagi memenuhi definisi dari pertanian
tersebut. Pada beberapa waktu ke depan, unit ini dapat memenuhi
kembali definisi pertanian.

ü  Units Permanently Out of Scope(10): unit yang berada diluar

cakupan dan tidak ada prospek untuk berada didalam cakupan.
Misalnya dapat berupa pertanian yang telah terjual habis asetnya
dan tidak pernah berniat untuk menjadi bagian dari pertanian lagi.
Reducing Nonresponse Bias

•  Bias nonrespon muncul setiap kali ada nonrespon

dan Ȳ dan Ȳ berbeda.
R NR

•  Tujuan pengurangan bias nonrespon harus

bertujuan untuk mengurangi t (Ȳ - Ȳ ),
bukan hanya t . NR R NR
NR

•  Jika kita mengetahui sesuatu tentang Ȳ

R
-Ȳ
NR
,

biasanya tidak berarti berbicara tentang tingkat

respon yang tidak dapat diterima. Namun, tingkat
nonrespon merupakan indikator yang berguna
untuk mengindikasi potensi bias nonrespon.
Reducing Nonresponse Bias

1. Penyebab dan Efek Nonrespon

2. Teori Partisipasi Survey
3. Menggunakan Metode Kombinasi
4. Menjaga Privasi dan Kerahasiaan
5. Pilihan Mode Pengumpulan Data dan Respon rate
6. Beban Responden
7. Use of Advance Letters
8. Pewawancara dan Respon rate
9. Menghubungi kembali unit sampel yang menolak
10. Item Nonrespon
11. Adjusting for Nonresponse
Satu ukuran jarang cukup untuk mendapatkan tingkat
respons yang wajar. Kumpulan atau rangkaian metode harus
ada, di mana setiap metode seharusnya menangani satu
atau beberapa faktor yang berkontribusi terhadap
nonresponse.

A single measure is rarely sufficient to obtain

reasonable response rates. A collection or
battery of methods should be in place,
where each method is supposed to address
one or several factors contributing to
nonresponse.
Teori Partisipasi Survey
Teori dasar partisipasi survei
dikembangkan oleh Cialdini
(1990) dan diuraikan oleh
Groves dan Couper (1998).
Teori ini mengintegrasikan
pengaruh sosial demografi
dan faktor desain survei
dengan efek yang kurang
terlihat dari komponen
psikologis pada interaksi
antara pewawancara dan
responden. Faktor- faktor
yang berpengaruh
diantaranya termasuk tingkat
sosial dari pewawancara dan
unit sampel, atribut desain
survei, karakteristik dari orang
yang menjadi sampel, atribut
pewawancara, dan interaksi
antara responden dengan
pewawancara.
Table 5.2 Six Psychological Factors and Examples of Their
Application
Table 5.2 Six Psychological Factors and Examples of Their
Application
 The causes of item nonresponse can often be traced to
problems with questions or questionnaires. The reasons
that not all items have been answered include:
@  The respondent deliberately chooses not to respond to a question
because it is difficult to answer or the question is sensitive.
@  The questionnaire is complicated, and if the mode is self-
administered, the respondent might miss skip instructions or certain
questions, or the respondent might simply exit the response process
because it is boring, frustrating, or time consuming.
@  The questionnaire contains open-ended questions, which increases
the risk for item nonresponse.
@  The respondent or the interviewer makes a technical error so that
the answer to a specific question should be deleted.
@  The questionnaire is too long.
Despite all efforts to minimize nonresponse,
less than 100% of the sample will typically
respond to a survey, and usually, it is
considerably less. After data collection is
completed and all the data are in, there
are still methods to be employed for
reducing the effect of nonresponse on the
estimates. These methods are referred to
as postsurvey adjustments for
nonresponse. A number of statistical
methods are available for performing
Adjusting for Nonresponse: weighting and imputation.
TERIMA KASIH

MATERI DISKUSI MINGGU DEPAN

J  Components of Measurement Error
J  Errors Arising from the Questionnaire Design
J  Understanding the Response Process