Kesalahan Pengukuran

Kesalahan pengukuran telah dipelajari secara ekstensif dan dilaporkan dalam materi
metode survei, mungkin lebih dari sumber kesalahan nonsampling lainnya. Untuk banyak survei,
kesalahan pengukuran juga merupakan sumber yang paling merusak dari error. Komponen kunci
dari kesalahan pengukuran adalah responden, pewawancara, dan kuesioner survei. Responden
mungkin dengan sengaja atau tidak sengaja memberikan informasi yang salah. Pewawancara dapat
menyebabkan kesalahan dalam beberapa cara. Mereka mungkin memalsukan data, tidak tepat
dalam menanyakan jawaban, mencatat jawaban secara tidak benar, atau gagal memenuhi prosedur
survei. Kuesioner bisa menjadi sumber kesalahan utama jika memang dirancang dengan buruk.
Pertanyaan ambigu, petunjuk membingungkan, dan mudah disalahpahami Istilah adalah contoh
masalah kuesioner yang dapat menyebabkannya kesalahan pengukuran.

Kami juga mempertimbangkan kesalahan yang timbul dari sistem informasi yang mungkin
responden gambarkan untuk merumuskan respon mereka. Misalnya, seorang operator peternakan
atau pemilik bisnis dapat berkonsultasi dengan catatan yang mungkin salah, dan dengan demikian
menyebabkan kesalahan dalam data yang dilaporkan. Hal ini juga diketahui bahwa pola
administrasi dapat memiliki efek pada kesalahan pengukuran. Misalnya informasi dikumpulkan
melalui wawancara telepon, dalam beberapa kasus, kurang akurat dari pada informasi yang sama
dikumpulkan dengan wawancara tatap muka. Pada akhirnya, aturan atau lingkungan di mana
survei dilakukan juga dapat berkontribusi dalam kesalahan pengukuran. Misalnya untuk
mengumpulkan data tentang topik sensitif tersebut seperti penggunaan narkoba, perilaku seksual,
kesuburan, dan sebagainya, wawancara secara privat (empat mata) seringkali lebih kondusif untuk
mendapatkan respon yang akurat daripada saat anggota keluarga lainnya hadir. Dalam survei
tempat usaha, topik seperti penggunaan lahan, kerugian dan keuntungan, pengolahan limbah
lingkungan, dan alokasi sumber daya juga bisa sensitif. Dalam kasus ini, jaminan kerahasiaan
dapat mengurangi kesalahan pengukuran karena kesalahan penulisan yang disengaja.

Sumber kesalahan nonsampling ini dapat memiliki efek yang luar biasa pada
keakuratan estimasi survei. Sebagai ilustrasi, perhatikan contoh sebelumnya sebuah survei untuk
memperkirakan pendapatan di sebuah komunitas dimana yang tidak diketahui, pendapatan rata-
rata yang tepat adalah $ 35.181. Dengan sampel 400 orang, kita bisa mengharapkan error dalam
estimasi kita disebabkan error sampling sekitar $ 500. (Lihat bab 9 untuk rincian tentang
bagaimana prediksi error sampling ini dibuat.) Artinya, perkiraan dari survei bisa serendah $
34.681 dan setinggi $ 35.681. Namun, sebagai konsekuensi dari kesalahan nonsampling dari
semua sumbernya dijelaskan di atas, tingkat kesalahan dalam estimasi survei bisa menjadi sangat
tinggi. Misalnya, tidak masuk akal untuk mengharapkan kesalahan menjadi $ 1000 - dua kali
ukuran kesalahan untuk sampling saja! Akibatnya, estimasi survei bisa serendah $ 34.181 dan
setinggi $ 36.181 ketika parameter sebenarnya nilai adalah $ 35.181 (lihat Gambar 2.3).

Gambar 2.3 Rentang perkiraan yang dihasilkan oleh survei sampel dengan sampling error,
variabel error, dan sistematik error. Ditampilkan kisaran perkiraan kemungkinan pendapatan rata-
rata untuk sebuah sampel berukuran 400. Rentangnya jauh lebih kecil dengan sampling error saja,
dan saat nonsampling yang sistematis kesalahan diperkenalkan, kisaran perkiraan mungkin tidak
mencakup nilai sebenarnya.

Kesalahan yang lebih merusak dalam estimasi bisa terjadi bila kesalahan responden yang
melebihkan pendapatannya tidak menyeimbangkan kesalahan responden mengurangi pendapatan
mereka; Artinya, jika kesalahan pelaporan cenderung berada dalam satu arah, yang cenderung bias
dalam estimasi. Misalnya, di kasus pendapatan, kesalahan buruk mungkin merupakan kesalahan
yang dominan karena responden, Secara umum, mungkin memiliki kecenderungan lebih besar
untuk mencatat pendapatan mereka lebih kecil daripada melaporkan pendapatan yang lebih besar.
Situasi seperti ini menyebabkan bias yang buruk dalam estimasi, yang berarti kita mengharapkan
estimasi hasil survei akan selalu demikian lebih rendah dari nilai parameter populasi sebenarnya
dengan beberapa jumlah yang tidak diketahui. Dalam kasus ini, rentang untuk perkiraan
pendapatan mungkin lebih mirip $ 33.681 sampai $ 34.681 ketika nilai sebenarnya adalah $
35.181. Konsep biasing atau kesalahan sistematis dan kesalahan nonbiasing atau variabel dibahas
lebih lanjut di bagian selanjutnya.

Sumber-Sumber Kesalahan Pengukuran

Sistem informasi
Setting
Cara pengumpulan data
Responden
Wawancara
Instrumen

Identifikasi penyebabnya

Kemudian cara mengontrolnya dari masing masing sumber

Environtment dan sistem informasi lebih diperdalam

Kaitannya dengan measurement proces

What is Measurement Error?

Measurement Error (also called Observational Error) is the difference between a measured quantity and
its true value. It includes random error (naturally occurring errors that are to be expected with any
experiment) and systematic error (caused by a mis-calibrated instrument that affects all measurements).

For example, let’s say you were measuring the weights of 100 marathon athletes. The scale you use is
one pound off: this is a systematic error that will result in all athletes body weight calculations to be off
by a pound. On the other hand, let’s say your scale was accurate. Some athletes might be more
dehydrated than others. Some might have wetter (and therefore heavier) clothing or a 2 oz. candy bar in
a pocket. These are random errors and are to be expected. In fact, all collected samples will have
random errors — they are, for the most part, unavoidable.

Measurement errors can quickly grow in size when used in formulas. For example, if you’re using a small
error in a velocity measurement to calculate kinetic energy, your errors can easily quadruple. To account
for this, you should use a formula for error propagation whenever you use uncertain measures in an
experiment to calculate something else.

Different Measures of Error

Different measures of error include:

1. Absolute Error: the amount of error in your measurement. For example, if you step on a scale
and it says 150 pounds but you know your true weight is 145 pounds, then the scale has an
absolute error of 150 lbs – 145 lbs = 5 lbs.
2. Greatest Possible Error: defined as one half of the measuring unit. For example, if you use a
ruler that measures in whole yards (i.e. without any fractions), then the greatest possible error
is one half yard.
3. Instrument Error: error caused by an inaccurate instrument (like a scale that is off or a poorly
worded questionnaire).
4. Margin of Error: an amount above and below your measurement. For example, you might say
that the average baby weighs 8 pounds with a margin of error of 2 pounds (± 2 lbs).
5. Measurement Location Error: caused by an instrument being placed somewhere it shouldn’t,
like a thermometer left out in the full sun.
6. Operator Error: human factors that cause error, liked reading a scale incorrectly.
7. Percent Error: another way of expressing measurement error. Defined as: percent-error
8. Relative Error: the ratio of the absolute error to the accepted measurement. As a formula,
that’s: measurement error

Ways to Reduce Measurement Error

1. Double check all measurements for accuracy. For example, double-enter all inputs on two
worksheets and compare them.
2. Double check your formulas are correct.
3. Make sure observers and measurement takers are well trained.
4. Make the measurement with the instrument that has the highest precision.
5. Take the measurements under controlled conditions.
6. Pilot test your measuring instruments. For example, put together a focus group and ask how
easy or difficult the questions were to understand.
7. Use multiple measures for the same construct. For example, if you are testing for depression,
use two different questionnaires.

Statistical Procedures to Assess Measurement Error

The following methods assess “absolute reliability”:

1. Standard error of measurement (SEM): estimates how repeated measurements taken on the
same instrument are estimated around the true score.
 2. Coefficient of variation (CV): a measure of the variability of a distribution of repeated scores or
measurements. Smaller values indicate a smaller variation and therefore values closer to the
true score.
3. Limits of agreement (LOA): gives an estimate of the interval where a proportion of the
differences lie between measurements.

https://www.statisticshowto.datasciencecentral.com/measurement-error/
BAB 4

Proses Pengukuran dan Penerapannya

dalam Merancang Kuesioner

Pada bab ini maupun bab 5, dan 6 nanti kita mempertimbangkan berbagai komponen kesalahan
nonsampling yang merupakan sumber kesalahan yang paling kompleks dalam survei. Di bagian
ini kita akan mempertimbangkan interaksi dari responden dan pewawancara (jika ada) dengan
menggunakan kuesioner. Langkah awal dari proses ini adalah memperkenalkan kerangka kerja
(framework). Kerangka kerja ini akan digunakan untuk mempelajari berbagai macam komponen
dari proses pengukuran, dimana kuesioner merupakan bagian yang utama. Fokus dari bab ini
adalah bagaimana proses yang dapat digunakan responden untuk memahami pertanyaan-
pertanyaan yang tertera dalam kuesioner, mendapatkan, dan menyimpulkan segala informasi
relevan yang dibutuhkan untuk menjawab pertanyaan tersebut. Hal ini dilakukan dengan
mempertimbangkan bagaimana cara penyampaian jawaban/tanggapan tersebut sesuai dengan
pilihan yang disajikan dalam kategori tanya jawab, dan proses terakhir adalah mengkomunikasikan
jawaban/tanggapan tersebut . Seperti yang dapat diketahui bahwa kemungkinan terdapat banyak
kesulitan dalam mengarahkan responden dalam menyawab pertanyaan yang terdapat dalam
kuesioner.

4.1 Komponen-Komponen dari Ukuran Error

Seperti yang ada di Gambar 4.1, proses pengukuran terdiri dari 6 komponen primer. Setiap
komponen ini berkontribusi terhadap kesalahan pengukuran secara keseluruhan dalam sebuah
survei. Keenam komponen tersebut adalah pewawancara, responden, metode pengumpulan data,
kuesioner, sistem informasi, dan kondisi pada saat wawancara. Metode pengumpulan data yang
mengacu pada perantara yang digunakan saat melakukan wawancara; misalnya telepon , tatap
muka atau dengan membiarkan responden untuk mengisi sendiri kuesioner tanpa adanya
pewawancara. Sistem informasi mengacu pada badan informasi yang dapat digunakan responden
dalam mengartikan (formulating) jawaban mereka. Contoh dari sistem informasi yang dimaksud
bisa berupa catatan fisik, informasi dari anggota rumah tangga lain, atau bahkan ingatan
seseorang. Komponen yang terakhir adalah setting. Setting merupakan lingkungan dimana
wawancara dilakukan. Contoh : Rumah, kelas, di luar ruangan, rumah sakit, dan sebagainya

Komponen utama dari setiap proses pengukuran (measurement process) adalah instrumen
yang akan digunakan dalam mengumpulkan informasi. Instrumen ini dapat berupa alat mekanis
yang digunakan untuk mengumpulan ukuran beberapa tipe fisik (contoh : alat untuk mengukur
tekanan darah) atau dapat juga berupa kertas, form, atau kuesioner yang digunakan dalam
mengumpulkan data dari seseorang maupun catatan yang berisi informasi. Dalam survei, proses
pengukuran ini biasanya melibatkan subjek, responden, atau orang lain yang menyediakan
informasi untuk dikumpulkan dalam proses dan pengumpul data, pewawancara, atau orang yang
menerapkan instrumen dan mencatat pengukuran atau tanggapan.

Biasanya, interaksi antara pewawancara dengan responden dipengaruhi oleh metode

pengumpulan data. Misalnya, wawancara dapat dilakukan melalui telepon atau tatap muka
langsung. Pewawancara juga dapat menggunakan kuesioner kertas dan pensil (PAPI) atau
kuesioner yang terkomputerisasi (CAI). Untuk metode self-administration, responden melengkapi
kuesioner tanpa bantuan pewawancara. Selain metode tersebut, sering juga dilakukan metode
campuran (Mixed-mode). Metode ini digunakan ketika terdapat pertanyaan-pertanyaan sensitif,
sehingga kita dapat mengunakan metode self-administration dalam mengumpulkan jawaban
terhadap pertanyaan sensitif dan mendapatkan informasi lain dari wawancara yang dikumpulkan
oleh pewawancara. Ketika terdapat kasus nonrespon, kita dapat mengatasinya dengan survei
menggunakan email. Pewawancara dapat memberikan hak kepada responden dalam memilih
metode pengumpulan data yang menurut mereka terbaik. Hal ini dilakukan untuk meningkatkan
partisipasi responden.

Pada survey pengamatan langsung (direct-observation), data tidak diberikan oleh

responden melainkan dikumpulkan secara langsung oleh pewawancara atau pengamat. Sebagai
contoh misalnya pada saat survei pertanian, dinas pertanian (pengamat) akan memperkirakan hasil
panen yang diharapkan hanya dengan picingan mata saja. Hal ini dilakukan dengan beberapa
pengukuran fisik langsung di lapangan. Dalam survey ini responden tidak terlibat dalam
pemerolehan informasi. Selain itu beberapa survei juga mungkin mengharuskan pewawancara
melakukan inspeksi visual terhadap responden, tempat tinggal responden atau lingkungan sekitar,
perilaku anggota keluarga selama wawancara, dan sebagainya. Dalam pengumpulan data lainnya,
pengumpul data dapat memperoleh informasi yang dibutuhkan secara langsung dari catatan
perusahaan atau institusi dengan menuliskan informasi tersebut ke dalam bentuk kertas atau
komputer.

Sistem informasi mengacu pada berbagai macam sumber informasi yang dapat digunakan
sebagai bahan referensi dalam menyelesaikan kuesioner. Misalnya, seorang responden dapat
menanggapi tanpa bahan referensi atau dapat memanfaatkan informasi dari orang lain, database
perusahaan, atau catatan rumah tangga seperti catatan di kalender, struk pembayaran, tanda terima,
dan sebagainya. Dan komponen yang terakhir adalah setting, komponen ini mengacu pada
lingkungan dimana survey dilakukan, baik itu kantor atau rumah yang berisik, di halaman dengan
responden sedang duduk di traktor, ambang pintu rumah, kafetaria sekolah, atau di tempat
manapun wawancara dapat dilakukan.

Panah antara komponen kesalahan pada Gambar 4.1 menunjukkan bahwa komponen saling
terkait dan berinteraksi satu sama lain selama proses pengukuran. Oleh karena itu, error yang
terdapat pada setiap komponen dapat dipengaruhi dan diubah oleh komponen lain. Sebagai contoh,
interaksi antara pewwancara dan responden dipengaruhi oleh metode

wawancara, setting, dan rancangan kuesioner. Dalam wawancara telepon, interaksi antara
responden dan pewawancara mungkin lebih singkat dan kurangnya kontak sosial yang terjadi
dibandingkan dengan wawancara tatap muka langsung yang cenderung memiliki interaksi sosial
lebih panjang. Kemampuan dan keinginan responden dalam menanggapi setiap pertanyaan dengan
akurat juga dipengaruhi oleh setting. Responden kemungkinan menanggapi pertanyaan secara
lebih akurat dan kontemplatif ketika mereka diwawancarai di ruangan yang tenang dibandingkan
di ruangan yang berisik dan tidak nyaman seperti lorong apartemen.

Sistem pencatatan (record system) yang dapat diakses oleh responden dapat memberikan
pengaruh yang luar biasa terhadap ketepatan jawaban dari responden itu sendiri. Catatan
perusahaan atau rumah tangga kadang tidak akurat, ketinggalan jaman, tidak lengkap, atau sulit
untuk diakses karena kondisi waancara, metode wawancara, waktu saat wawancara, dan
sebagainya. Sebagai contoh, wawancara pada survei perusahaan dapat dilakukan di sebuah ruang
kerja karyawan dimana catatan yang dibutuhkan untuk wawancara tidak dapat diakses. Selain itu
ruang di tempat kerja mungkin terlalu sempit bagi karyawan untuk menyimpan materi dan file
yang dia butuhkan untuk menanggapi pertanyaan secara akurat. Dalam survei rumah tangga,
pewawancara mungkin harus melakukan wawancara yang agak panjang di depan pintu karena
responden tidak mau mengundang pewawancara di dalam rumah.

Akibat dari keterkaitan yang kompleks di antara setiap komponen kesalahan (error)
pengukuran ini, pengaruh pada respons dari sumber kesalahan tertentu tidak dapat diprediksi
karena interaksi sumber kesalahan dengan sumber kesalahan lainnya dapat mengubah
pengaruhnya terhadap proses respons. Sebagai contoh, dalam sebuah literatur, ada beberapa
contoh di mana metode wawancara tertentu memiliki efek yang sangat berbeda terhadap respons
survei. Hal ini tergantung pada populasi yang disurvei, karakteristik pewawancara, dan
sebagainya. Ini menunjukkan bahwa pembahasan kita tentang dampak pada respons sumber
kesalahan pengukuran tertentu harus mempertimbangkan interaksinya dengan komponen
kesalahan lainnya yang ditunjukkan pada Gambar 4.1. Jadi bila sesuai, kita dapat
mempertimbangkan bagaimana kualitas data suatu komponen dapat berubah akibat dari perubahan
komponen lain.
 Seperti yang diterangkan sebelumnya, fokus utama di dalam bab 4 ini adalah tiga
komponen penting dalam proses pengukuran. Ketiga komponen tersebut adalah responden,
kuesioner atau instrumen, dan sumber informasi. Bagian yang menarik dalam penelitian ini adalah
proses yang biasanya digunakan responden untuk dalam menanggapi sebuah pertanyaan. Pada bab
5 dikhususkan untuk mempelajari kesalahan pewawancara. Sedangkan di Bab 6 kita
mempertimbangkan kesalahan yang timbul dari metode dan kondisi dalam pengumpulan data.
Memahami komponen proses ini akan memberikan wawasan berharga mengenai desain survei
yang memfasilitasi dan meningkatkan proses pengukuran.

4.2 KESALAHAN YANG TIMBUL DARI DESAIN KUESIONER

Akar Penelitian Kuesioner

Peneliti terdahulu telah lama mengetahui kata-kata yang dapat digunakan dalam suatu pertanyaan
untuk mempengaruhi jawaban yang diberikan orang, terutama untuk pertanyaan opini. Contoh
terkenal yang sering dikutip diberikan oleh Rugg (1941). Ketika ditanya, "Apakah menurut Anda
Amerika Serikat seharusnya melarang pidato publik melawan demokrasi ?," 54% responden
menjawab "ya, mereka harus dilarang”; dan ketika ditanya "Apakah menurut Anda Amerika
Serikat harus mengizinkan pidato menentang demokrasi ?, 75% mengatakan" iya, ". Hal ini
menunjukkan bahwa hanya 25% yang tidak mengizinkan pidato publik semacam itu. Hasil ini
menunjukkan bahwa dengan perubahan sederhana dari kata-kata pertanyaan (penggantian
“melarang” menjadi “membiarkan”) hasilnya menjadi berbeda. Pada saat survei diulang oleh
organisasi survei yang berbeda dengan menggunakan kata-kata pertanyaan yang berbeda, menjadi
jelas bahwa efek kata kunci juga berlaku tidak hanya untuk pertanyaan opini tetapi juga pertanyaan
perilaku (lihat, misalnya, Sudman et al., 1974).

Metode eksperimental yang sering digunakan untuk menguji perbedaan tanggapan antara
dua kata alternatif dari pertanyaan yang sama adalah eksperimen pemisah-pemungutan suara
(split-ballot experiment). Dalam bentuk yang paling sederhana, metode ini melibatkan pemisahan
sampel menjadi dua bagian, masing-masing bagian menerima satu pertanyaan; Namun, metode
yang sama dapat diterapkan pada lebih dari dua pemisahan sampel. Karena pembagian sampel
dilakukan secara acak, setiap subsampel harus menghasilkan perkiraan yang sama. Oleh karena
itu, selama satu-satunya perbedaan metode yang diterapkan pada setiap sampel hanyalah
kuesioner, setiap perbedaan dalam estimasi dapat dikaitkan terutama dengan perbedaan kuesioner.

Dua pionir dalam pemahaman tentang efek respons pertanyaan dalam survei adalah
Seymour Sudman dan Norman Bradburn. Pada awal 1970-an, para ahli ini melakukan meta
analisis terhadap 900 surat suara dan studi kesalahan pengukuran lainnya dalam literatur survei
(Sudman et al., 1974). Meta analisis adalah pendekatan statistik untuk menggabungkan hasil
kuantitatif dari sejumlah studi individual pada pertanyaan penelitian tertentu yang didefinisikan
dengan baik. Tujuannya adalah untuk memberikan jawaban atas masalah penelitian dan ditangani
oleh semua studi (baik yang dipublikasi maupun yang tidak) yang dapat ditemukan mengenai
masalah ini. Analisis Sudman dan Bradburn mempertimbangkan sebagian besar komponen
kesalahan pengukuran pada Gambar 4.1 namun difokuskan pada variabel desain kuesioner seperti
panjang kuesioner, penggunaan kata-kata sulit, terbuka (misalnya, pertanyaan yang mendapat
tanggapan verbal dari responden) atau tertutup ( yaitu pertanyaan dimana responden harus
memilih), posisi pertanyaan dalam kuesioner, arti penting pertanyaan kepada responden, dan
penggunaan perangkat untuk membantu mengingat kembali informasi responden. Penelitian
mereka memberikan gambaran yang komprehensif dan terpadu tentang bagaimana berbagai fitur
desain kuesioner mempengaruhi respons survei.

Perkembangan yang menarik dalam bebrapa dekade terakhir adalah teori yang mengatakan
psikolog kognitif dan peneliti survei telah memberikan kontribusi terhadap penelitian lainnya.
Teori kognitif telah menghasilkan pemahaman yang lebih lengkap tentang tugas seorang
responden survei (lihat Bab 8 untuk deskripsi metode kognitif) dan bagaimana aspek kuesioner,
terutama konteks di mana pertanyaan diajukan, mempengaruhi respons survei.

Tujuan dari Perancangan Kuesioner

Terdapat tiga tujuan penting dalam melakukan desainer kuesioner. Pertama, seperti yang dibahas
di Bab 2, setiap pertanyaan yang harus dijawab oleh survei tersebut harus menyiratkan sejumlah
konsep atau variabel yang akan diukur dalam populasi. Kuesioner menerjemahkan variabel-
variabel ini ke dalam pertanyaan survei yang memungkinkan pewawancara atau responden
memberikan informasi tentang variabel tersebut. Oleh karena itu salah satu tujuan dari desain
kuesioner adalah untuk menulis pertanyaan yang akan menyampaikan makna persis seperti yang
dimaksudkan dalam penelitian. Kedua, kuesioner harus memberikan cara yang lebih baik untuk
memperoleh informasi dari. Selain itu kuesioner juga harus berisi pertanyaan dirancang dengan
baik untuk menghasilkan tanggapan yang paling akurat. Dengan kata lain, kuesioner harus
dirancang untuk meminimalkan kesalahan sistematis dan kesalahan variabel serta mengurangi
kendala survei lainnya. Selain itu, waktu yang dibutuhkan untuk melengkapi kuesioner dan aspek
lain dari beban responden harus diminimalkan sesuai dengan tujuan analisis survei. Hal ini berarti
bahwa kuesioner harus dirancang untuk memberikan sarana yang paling efisien untuk
menyediakan informasi yang dibutuhkan. Mengurangi beban pada responden sangat penting
karena biasanya akan meningkatkan partisipasi responden dan mengurangi kemungkinan
kesalahan sebagai tanggapan karena kelelahan dan kurangnya perhatian terhadap responden. Yang
terakhir adalah kuesioner harus dirancang agar biaya pengumpulan data tetap berada dalam
anggaran. Untuk sebuah survei yang kompleks dengan banyak pertanyaan sulit, mencapai tujuan
ini seringkali akan membutuhkan banyak keterampilan dan pengalaman. Contoh berikut
mengilustrasikan beberapa komplikasi yang bisa timbul dalam desain kuesioner.

Contoh 4.2.1 Pertimbangkan studi guru sekolah bertujuan, antara lain, memperkirakan jumlah jam
yang siswa menerima instruksi tentang berbagai topik kesehatan dan latihan fisik. Data ini
diperlukan pada tiga tingkatan pendidikan anak usia: SD sch ool (sesuai dengan enam tahun
pertama pendidikan), sekolah menengah (corres genangan untuk nilai 7 dan 8), dan SMA (kelas 9
sampai 12). Untuk setiap l Evel, survei harus mengumpulkan informasi tentang jumlah jam
“paparan” topik kesehatan tertentu bahwa siswa menerima yang menyelesaikan al saja 12 tahun
typic pendidikan.

Sebagai contoh, salah satu pertanyaan penelitian dalam studi bertanya tentang sejauh mana
saat ini pendidikan yang menekankan system latihan fisik di sekolah bagi siswa. Peneliti survei
dapat menentukan konsep sederhana sebagai: “Dengan frekuensi apa siswa di setiap level kelas
terlibat dalam latihan kelompok sekolah yang disponsori, dan berapa rata-rata durasi dari latihan
di sekolah?” Tugas desainer kuesioner adalah untuk menerjemahkan pertanyaan penelitian ini
menjadi serangkaian pertanyaan survei yang tepat untuk setiap tingkat pendidikan sehingga guru
dapat memahami konsep dan karena itu dapat menanggapi mereka secara akurat.

Merancang kuesioner yang bekerja dengan baik di semua tingkat kelas, desainer kuesioner
harus memiliki beberapa pengetahuan tentang cara, fungsi sekolah yang mana sehingga pertanyaan
mencerminkan atau mengakomodasi banyak variabel skenario bahwa pewawancara akan
mewawancarai guru pada setiap tingkat. Hal ini mungkin mengharuskan beberapa kuesioner untuk
dikembangkan. Selain itu, sejumlah isu lain muncul memerlukan pengetahuan yang cukup dari
populasi dan niat peneliti. Beberapa contohnya adalah:

 Dengan asumsi bahwa survei berlangsung di musim semi, pada periode waktu apa
pertanyaan merujuk (yaitu, apa periode referensi)? Haruskah pertanyaan mengacu pada
semester musimi sebelumnya, semester musim semi saat ini (termasuk bagian dari
semester yang belum terjadi pada saat wawancara), atau keduanya? Atau haruskah
pertanyaan mengacu pada tahun ajaran sebelumnya?
 Harus serinci apa perkiraan paparan waktu untuk topik tertentu? Sebagai contoh, ketika
mencoba menentukan jumlah jam guru mengajarkan sebuah topik, itu cukup untuk
menawarkan pilihan “0 atau tidak,” “1 sampai 10 jam,” atau “lebih dari 10 jam,” atau
dibutuhkan yang lebih rinci?
 Bantuan memori apa yang bisa membantu? Misalnya, apakah guru mengikuti rencana
pelajaran atau silabus yang akan membantu dalam menentukan respon untuk pertanyaan
ini? Jika demikian, apakah ini diikuti secara akurat, atau dapatkah mereka menyimpang
jauh dari itu? Apakah ini bervariasi di tingkat sekolah dasar, menengah pertama, dan
menengah atas?
 Untuk menilai pertanyaan tentang latihan fisik, apa yang peneliti anggap sebagai “latihan,”
dan pengertian ini mungkin disalah pahami oleh beberapa guru? Sebagai contoh, di tingkat
menengah atas, murid dapat mengambil kursus seperti pendidik fisik, sedangkan di tingkat
sekolah dasar, mungkin tidak ada program pendidikan formal pada pendidikan jasmani.
Terdapat potensi dari guru di dua tingkat ini untuk mempunyai persepsi yang sangat
berbeda dari latihan fisik, dan tak satu pun dari ini mungkin konsisten dengan maksud yang
dimaksudkan oleh peneliti.
 Seperti yang bisa dilihat dari daftar isu ini, perkembangan pertanyaan yang dipahami dengan
jelas dan mudah dijawab memerlukan kolaborasi antara methodologists survei dan survei peneliti
atau ahli subjek. Ahli materi pelajaran mungkin yang terbaik dalam menyediakan pengetahuan
yang diperlukan dari sistem sekolah dan praktek mengajar, sementara kekuatan survei metodologi
adalah mungkin dalam mengembangkan pertanyaan survei yang berusaha untuk mengurangi
kesalahan pengukuran sejauh mungkin dalam batasan pengumpulan data.

Kolaborasi antara metodologi survei dan subjek peneliti biasanya akan menghasilkan
kuesioner yang memiliki kesalahan spesifikasi dan kesalahan pengukuran yang lebih sedikit dari
pengembangan tanpa kolaborasi ini. Namun, seringkali kuesioner yang di dirancang bahkan di
bawah kondisi ideal masih akan berisi kelemahan penting dalam desain dan akan mendapat
manfaat dari revisi lebih lanjut dan perbaikan. Untuk contoh, beberapa pertanyaan mungkin masih
membingungkan responden karena situasi yang tidak diantisipasi dalam desain, pertanyaan
pemesanan mungkin janggal atau tidak wajar, atau kategori respon mungkin terlalu membatasi.
Panjang kuisioner secara substansial dapat melebihi panjang yang diijinkan oleh anggaran,
menuntut bahwa beberapa pertanyaan dihilangkan. Hal ini tidak biasa untuk kuisioner yang
dirancang oleh para ahli materi dan metode masih menimbulkan masalah serius untuk
pengumpulan data.
Masalah ini bisa dikenali dengan melakukan pretest dan evaluasi kuesioner lainnya sebelum
survei. Salah satu metode yang sering digunakan termasuk melakukan wawancara dengan
sejumlah kecil responden yang mewakili populasi target untuk disurvei(misalnya, guru sekolah
dalam Contoh 4.2.1). Wawancara ini dapat dilakukan dengan cara yang sama seperti survei yang
sebenarnya, atau teknik wawancara kognitif yang dirancang khusus dapat digunakan untuk lebih
mengidentifikasi masalah yang timbul selama proses wawancara. Menggunakan metode ini,
pewawancara kognitif mungkin menyelidiki pemahaman responden pada konsep menggunakan
pertanyaan-pertanyaan seperti: “Bagaimana Anda akhirnya mengeluarkan jawaban ini?”, “Apa
istilah‘/’ bagi anda?” atau “Katakan proses yang digunakan untuk mengingat angka itu?” Teknik
wawancara kognitif dan metode pretesting lainnya serta beberapa metode non-wawancara untuk
mengidentifikasi masalah kuisioner dibahas secara rinci dalam Bab 8 dan 10.
Dalam 15 tahun terakhir ini, perancang survei telah menerapkan teori kognitif untuk tugas
menulis pertanyaan dan merancang kuesioner. Satu teori yang telah digunakan secara luas dalam
evaluasi kuesioner adalah yang disebut teori kognitif dari proses respon survei. Pada bagian
berikutnya, kita akan memeriksa teori ini dan menunjukkan bagaimana hal itu dapat digunakan
untuk mengidentifikasi dan memperbaiki masalah dalam desain kuesioner. Seperti yang akan kita
lihat di Bab 8, teori kognitif dari proses respon adalah dasar untuk jumlah metode evaluasi
kuesioner.

Encoding dan pembentukan

record

Pemahaman

Pencarian informasi (baik

dengan memanggil kembali
atau mencari pada record)

Keputusan

Komunikasi

Gambar 4.2 Lima tahap proses respon

4.3 MEMAHAMI PROSES RESPON

Pada bagian ini kita mempertimbangkan model dari proses respon yang awalnya diusulkan oleh
Kahn dan Cannell (1957) yang telah digunakan secara luas dalam rancangan dan pretest kuesioner.
[Lihat Tour Angeau et al. . (2000) untuk penjelasan lebih lengkap dari proses] Dalam model ini,
responden berjalan berurutan melalui lima tingkatan kognitif yang berbeda karena ia menanggapi
pertanyaan survei tunggal: (1) pembentukan encoding atau record, (2) memahami pertanyaan, (3)
menarik kembali atau membuat keputusan, (4) membentuk respon untuk pertanyaan, dan (5)
mengedit dan berkomunikasi dengan respon. Tahap-tahap ini ditunjukkan sebagai diagram alir
pada Gambar 4.2. Walaupun model respon ini mencerminkan paradigma yang idealis untuk proses
respon, itu tetap cukup berguna untuk memikirkan tentang desain pertanyaan dan untuk
mengidentifikasi potensi masalah dengan model kuisioner.Modell ini dikembangkan terutama
untuk survei individual ; namun, ekstensi dari model ini digunakan secara eksklusif di survey
bisnis yang dapat ditemukan di Edwards dan Cantor (1991), dan Sudman et al. (2000). Selanjutnya
adalah deskripsi singkat dari model yang dijelaskan di Biemer dan Fecso (1995) yang berlaku
untuk survei rumah tangga dan lembaga.
Dalam merumuskan respons terhadap pertanyaan survei, responden harus terlebih dahulu
memiliki pengetahuan, keyakinan, atau sikap yang dibutuhkan untuk memberikan respon yang
valid. Jika informasi yang diminta akan berasal dari record fisik seperti database perusahaan,
catatan atau data entri harus ada pada saat wawancara agar informasi dapat diambil (encoding /
pembentukan record). Kedua, harus ada pembagian arti antara peneliti, pewawancara, dan
responden sehubungan dengan masing-masing dari kata-kata dalam pertanyaan serta pertanyaan
secara keseluruhan (pemahaman). Kemudian, untuk menanggapi pertanyaan mengenai peristiwa
atau perilaku yang terjadi di masa lalu, responden akan mencoba untuk mengambil informasi yang
diperlukan dari memori. Jika informasi yang diminta adalah beberapa ciri kinerja perusahaan
sebelumnya, responden mungkin mencoba untuk mengambil informasi dari file perusahaan. Tentu
saja, beberapa pertanyaan, seperti sikap, keyakinan, dan pertanyaan pendapat, hanya
membutuhkan bahwa responden membuat keputusan selama wawancara tanpa perlu mengingat
informasi. Akan tetapi, bahkan dalam situasi ini, responden mungkin mencoba untuk membuat
keputusan yang sudah ada sebelumnya.
Begitu informasi telah diambil atau penghitungan telah dihitung, responden harus
memutuskan bagaimana berkomunikasi ke pewawancara. Untuk melakukannya, ia mungkin perlu
untuk memformat respon sehingga sesuai dengan kategori jawaban dari responden yang harus
memilih. Akhirnya, responden mengkomunikasikan respon kepada pewawancara (atau mencatat
respon pada formulir jika mode adalah kuisioner self-administered), dengan risiko dan manfaat
account merespon secara akurat dan jujur. Pada tahap ini, responden dapat memutuskan untuk
mengubah atau merevisi respon mereka dan menanggapi dengan cara yang mereka tahu yang tidak
sepenuhnya akurat, karena pengaruh keinginan sosial, ketakut pengungkapan, atau persetujuan
(yaitu, kecenderungan untuk setuju dengan pernyataan menggunakan format setuju atau tidak
setuju). Konsep ini dibahas lebih rinci di bawah.
Manfaat penting dari model ini adalah menguraikan proses respon menjadi tugas-tugas
kecil yang memungkinkan untuk diperlakukan secara terpisah dalam desain dan evaluasi survei.
Salah satu kritik terhadap model adalah bahwa hal itu terlalu sederhana untuk menangkap
kompleksitas menyelesaikan kuesioner survei. Misalnya, dalam prakteknya, responden dapat
menanggapi pertanyaan tanpa mencoba memahami istilah atau untuk mengingat informasi yang
benar. Hal ini bisa terjadi karena responden yang lelah, tidak tertarik, atau hanya main-main.
Hubungan pendek dari proses respon kadang-kadang disebut sebagai perilaku memuaskan
(Krosnick, 1991). Ketika kuesioner panjang dan monoton atau ketika responden tidak termotivasi
untuk memberikan tanggapan yang baik, responden mungkin mulai puas atau menjawab tanpa
berusaha untuk menanggapi dengan akurat (yaitu, tanpa mengoptimalkan). Namun, seperti yang
akan kita lihat, model sederhana ini, seperti model-model sederhana lainnya kita bahas dalam buku
ini, masih berguna dalam menyediakan beberapa wawasan penting tentang desain kuisioner dalam
banyak situasi yang beragam. Berikutnya, kita mempertimbangkan bagaimana respon model dapat
digunakan sebagai bantuan dalam pengendalian dan evaluasi kesalahan pengukuran dalam survei.

Encoding dan Pembentukan Record

Informasi encoding adalah proses informasi yang dipelajari dan disimpan dalam memori. Untuk
sebuah event atau pengalaman untuk diingat atau diambil dalam proses pengukuran, catatan itu
harus diciptakan. Sebagai contoh, responden untuk menjawab secara akurat pertanyaan tentang
perilaku anggota rumah tangga dalam survei, perilaku pertama harus diamati dan dilakukan untuk
memori sehingga dapat mengingat selama wawancara. Demikian pula, jika transaksi bisnis atau
item data numerik yang akan diambil dari database pembentukan selama wawancara, informasi
pertama harus disimpan dalam database pembentukan ini.
Dalam encoding dan pembentukan record, pengetahuan diperoleh, diproses, dan baik disimpan
dalam memori atau catatan fisik harus dibuat.
Tahap pengkodean atau pembuatan rekaman proses respon adalah satu-satunya tahap
proses yang terjadi sebelum inisiasi dari proses pengukuran, mungkin dengan berbulan-bulan atau
bahkan bertahun-tahun sebelumnya. Namun, itu dianggap sebagai bagian penting dari proses
karena responden tidak bisa diharapkan untuk mengambil fakta – fakta, peristiwa, dan data lain
jika data ini tidak pernah dikodekan dalam memori atau disimpan sebagai bagian fisik.
Kegagalan untuk mengkodekan informasi adalah penyebab kesalahan yang penting dalam
survei. Perhatikan, misalnya, survei yang memungkinkan proksi pondents untuk memberikan
informasi yang diminta oleh kuesioner. Seorang proxy responden adalah seseorang yang
memberikan respon terhadap pertanyaan yang ada direferensi kepada orang lain. Sebagai contoh,
sebuah survei dari orang yang sangat tua memungkinkan pengasuh anggota sampel untuk
menanggapi pertanyaan ketika anggota sampel tidak dapat merespon untuk diri mereka sendiri.
Respon proxy diperbolehkan dalam pekerjaan survei terutama untuk meningkatkan tingkat respons
survei, karena orang yang merupakan subyek dari pertanyaan yang tidak selalu dapat diakses,
tersedia, bersedia, atau mampu berpartisipasi untuk diri mereka sendiri. Jika satu-satunya orang
yang diperbolehkan untuk menanggapi pertanyaan-pertanyaan ini adalah subyek sendiri (disebut
sebagai self-response) jumlah data yang hilang dalam survei karena non respon bisa untuk
memberikan perkiraan yang valid. Selain itu, respon proxy dapat lebih akurat daripada respon diri
dalam beberapa situasi. Sebagai contoh, pertanyaan tentang obat yang diambil oleh pasien lanjut
usia di rumah sakit dapat diberikan lebih akurat oleh perawat pasien bukan oleh pasien. Namun,
ada juga banyak situasi di mana respon proxy yang mungkin kurang akurat daripada respon sendiri.
Namun, respons proxy mungkin lebih disukai bila satu-satunya alternatif adalah nonresponse .
Sebagai contoh, dalam sebuah survei kesehatan, pertanyaan "Berapa kali di 30 hari Anda
harus kunjungi dokter?” harus ditanyakan kepada setiap anggota keluarga. Jika pertanyaan ini
dijawab oleh diri respon (yaitu, dijawab oleh obyek dari pertanyaan), tahap pengkodean dari
proses respon tidak mungkin terjadi masalah karena informasi ini seharusnya sudah dikodekan ke
dalam ingatan selama kunjungan dokter. Tentu saja, recall error masih bisa menjadi masalah jika
orang telah banyak berkunjung ke dokter dan tidak dapat mengingat semuanya dengan
jelas. Namun, kesalahan pengkodean bisa menjadi masalah jika pertanyaannya dijawab oleh
seorang responden wali yang mungkin tidak tahu tentang rujukan kunjungan seseorang ke dokter,
karena informasi itu tidak pernah dikodekan. Pada kasus demikian, mungkin hasil terbaiknya
adalah responden wali yang mengaku tidak mengetahui informasi ini. Sayangnya, responden
wali cukup sering mencoba menebak atau memberikan tanggapan terlepas dari apakah mereka
sudah mengkodekan informasi yang dibutuhkan. Kesalahan jenis ini disebut sebagai encoding
errors (kesalahan pengkodean).
 Pelaporan wali dalam U.S. Current Population Survey menyediakan sebuah ilustrasi
kesalahan pengkodean. Current Population Survey (CPS) adalah sebuah survei sampel rumah
tangga yang dilakukan setiap bulan oleh Biro Sensus Amerika Serikat untuk memberikan
perkiraan ketenagakerjaan, pengangguran, dan karakteristik lainnya dari populasi angkatan kerja
AS secara umum. Untuk survei ini, dalam sebuah penelitian tentang pelaporan wali, Roman (1981)
menemukan bahwa tingkat pengangguran jauh lebih tinggi untuk pelaporan sendiri daripada untuk
pelaporan wali. Penjelasan yang masuk akal untuk ini adalah bahwa banyak responden wali yang
mungkin tidak tahu apakah orang yang tanpa pekerjaan tersebut mencari pekerjaan di minggu
sebelumnya. Orang yang mencari pekerjaan diklasifikasikan sebagai penganggur oleh peraturan
CPS, sedangkan orang yang tidak mencari pekerjaan diklasifikasikan sebagai bukan angkatan
kerja. Dengan demikian, kesalahan pengkodean sebagian dapat menjelaskan mengapa terdapat
proporsi yang lebih tinggi dari responden sendiri yang menganggur dibanding responden wali.
Moore (1988) memberikan ulasan bagus tentang literatur tentang pelaporan wali. Seperti
yang ditunjukkan Moore, hampir semua studi wali menderita suatu keterbatasan yang penting
disebut sebagai selection bias (bias seleksi). Artinya, saat membandingkan tanggapan pelapor wali
dengan pelapor sendiri, banyak penelitian secara sederhana hanya mengklasifikasikan silang data
menurut jenis pelapor dan membandingkan rata-rata atau proporsinya untuk kedua
kelompok. Namun, orang yang memberi laporan sendiri mungkin memiliki karakteristik yang
sangat berbeda dibanding orang yang mendapatkan laporan wali. Pelapor sendiri mungkin lebih
mudah diakses, tersedia, dan kooperatif dibanding orang
yang laporannya disediakan oleh wali, sehingga karakteristik sebenarnya dari dua kelompok
berbeda. Dengan demikian, kesalahan pengukuran yang berhubungan dengan jenis laporan itu
dikaitkan atau dibingungkan dengan perbedaan kelompok yang sebenarnya. Untuk alasan ini,
banyak literatur yang membandingkan keakuratan pelaporan wali dengan pelaporan sendiri tidak
meyakinkan.
Kesalahan pengodean juga bisa menjadi masalah bagi laporan sendiri. Sebuah penelitian
dilakukan oleh U.S. National Centers for Disease Control (CDC) menyediakan sebuah ilustrasi
kesalahan pengkodean yang baik dalam survei imunisasi masa kanak-kanak. U.S. National
Immunization Study (NIS) mengumpulkan informasi dari orang tua mengenai imunisasi yang
diterima anak mereka pada usia 2 tahun. Karena anak-anak seusia ini seharusnya sudah menerima
setidaknya 14 dosis lima vaksin yang berbeda, bahkan orang tua paling teliti memiliki
kesulitan dalam melaporkan vaksinasi anak mereka secara akurat. Untuk mengetahui mengapa,
serangkaian penelitian dilakukan dengan menggunakan model respon kognitif pada Gambar 4.2
sebagai panduan. Awalnya, dihipotesiskan bahwa kesalahan recall adalah penyebab utama
kesalahan pelaporan karena telah diamati di NIS bahwa laporan orang tua tidak dibantu oleh
catatan suntikan atau alat bantu memori lainnya cenderung untuk mengecilkan jumlah imunisasi
yang diterima anak-anak. Namun, hipotesis lain adalah bahwa masalahnya adalah pengkodean
(misalnya, laporan orang tua mungkin salah karena mereka hanya tahu sangat sedikit tentang
vaksinasi pada saat vaksinasi diberikan).
Kedua hipotesis tersebut diuji dalam penelitian terpisah. Untuk menguji hipotesis
kesalahan pengkodean, studi tentang anak usia 7 dan yang lebih muda dilakukan pada klinik anak-
anak. Orang tua yang mengunjungi klinik bersama anak mereka diminta untuk melakukan sebuah
wawancara singkat tentang kunjungan medis anak-anak mereka saat mereka pergi ke
klinik. Anehnya, bahkan sesaat setelah vaksinasi dilakukan, kebanyakan orang tua memiliki
sedikit pengetahuan tentang vaksinasi mana yang anak mereka telah menerima pada hari itu.
Kesalahan yang paling umum adalah kegagalan mengetahui bahwa suntikan telah diberikan
(misalnya, laporan negatif palsu) daripada melaporkan suntikan yang belum diberikan (yaitu
laporan positif palsu). Tingkat laporan negatif palsu hampir 50%, sedangkan angka laporan positif
palsu hanya 18%. Studi menyimpulkan bahwa kesalahan pelaporan orang tua adalah kesalahan
pengkodean dan bahwa penggunaan petunjuk recall dan alat bantu mengingat untuk meningkatkan
akurasi pelaporan karenanya tidak efektif (lihat Lee et al, 1999).
Jenis lain dari kesalahan pengkodean terjadi saat responden hanya memiliki informasi tidak
lengkap, terbelokkan, atau informasi yang tidak akurat mengenai topik pertanyaan. Misalnya,
survei terhadap operator peternakan meminta petani untuk memperkirakan nilai dari sebidang
tanah tertentu yang mereka miliki yang digunakan untuk bertani. Beberapa petani yang tidak
berniat menjual tanah mereka bahkan tidak akan mengerti untuk menebak berapa nilai dari lahan
mereka. Namun, beberapa responden bisa memutuskan untuk memasok perkiraan meskipun
mereka tidak memiliki informasi untuk dijadikan dasar sebuah perkiraan. Mereka mungkin pernah
mendengar bahwa tanah di sekitarnya dijual dengan jumlah tertentu, katakanlah $ 10.000 per
hektar, dan akan mengira bahwa tanah mereka juga memiliki harga yang sama. Namun, informasi
yang mereka miliki mungkin tidak akurat atau tidak
menunjukkan nilai sebenarnya dari tanah mereka. Ini adalah contoh bagaimana respon responden
dapat terdistorsi oleh informasi yang tidak akurat atau tidak lengkap pada topik pertanyaan survei.
Untuk survei lembaga, kesalahan yang dihasilkan dari tahap formasi rekaman dari proses
respon dapat terjadi ketika catatan sebuah lembaga hilang, tidak lengkap, atau tidak sesuai dengan
persyaratan survei. Tidak mengherankan bahwa informasi yang diminta pada formulir survei
serupa namun tetap sangat berbeda dengan data yang tersimpan dalam database lembaga.
Ketidakcocokan antara kuesioner dan sumber informasi menyebabkan kesalahan saat responden
hanya memberikan informasinya langsung dari database lembaga daripada memformat ulang agar
lebih cocok dengan permintaan survei.
Contoh dari jenis kesalahan ini terjadi untuk U.S. Current Employment Survey (CES) yang
dilakukan oleh U.S. Bureau of Labor Statistics (BLS). Dalam evaluasi kualitas data
CES, Ponikowski dan Meily (1989) menemukan bahwa 59% bisnis tidak mematuhi definisi
pengangguran. Masalah utamanya adalah banyaknya perusahaan yang menyertakan karyawan cuti
tanpa bayaran, meski pada kuesioner survei diminta bahwa karyawan tersebut tidak dimasukkan
dalam daftar gaji/upah. Saat bertanya mengapa kesalahan ini terjadi, sekitar 40% responden yang
melakukan kesalahan mengatakan penyebabnya adalah ketidak terbandingan persyaratan survei
dengan sistem akuntansi mereka. Lembaga tersebut tidak merekonstruksi data daftar gaji mereka
untuk memenuhi persyaratan survei, melainkan memberi angka yang lebih tersedia di database
perusahaan.
Jadi, dalam merancang kuesioner yang menanyakan tentang karakteristik individu dan
perilaku, keputusan utama adalah apakah mengizinkan tanggapan wali. Strategi ini harus
ditimbang terhadap risiko mendapatkan informasi yang tidak akurat untuk beberapa item, di satu
sisi, dan data yang hilang, di sisi lain. Untuk beberapa survei mungkin lebih baik untuk
mendapatkan data yang tidak akurat daripada tidak ada data sama sekali. Namun, ada situasi di
mana aturan respons wali tidak boleh digunakan atau digunakan hanya sebagai upaya terakhir
untuk menghindari unit nonrespon. Misalnya, tanggapan wali tidak akan dapat diterima untuk
opini atau pertanyaan sikap. Jika tanggapan wali diperbolehkan, aturan keputusan harus ditentukan
untuk identifikasi informan yang tepat dalam berbagai situasi yang akan ditemui pewawancara.
Misalnya, untuk survei rumah tangga, informan ideal (yaitu orang yang memberikan
informasi untuk survei) biasanya adalah orang dalam rumah tangga yang paling tahu tentang orang
yang menjadi objek dari pertanyaan (disebut sebagai orang referensi). Ini biasanya pasangannya
atau orang tua atau pengasuh lainnya untuk anak-anak dalam survei. Namun, sering kali informan
yang ideal akan bervariasi tergantung pada topik pertanyaan dan hubungan antara anggota rumah
tangga. Mungkin tidak praktis untuk mencoba mewawancarai wali ideal untuk setiap pertanyaan
dan orang dalam survei. Jika hanya satu orang yang diwawancarai di setiap rumah tangga, strategi
terbaik mungkin untuk mengidentifikasi informan yang terbaik secara keseluruhan untuk item
utama di survei.

Demikian pula, untuk survei lembaga, keakuratan informasi yang diberikan oleh
perusahaan mungkin sangat bergantung pada orang yang menyediakannya. Jika informasi yang
diminta adalah biaya operasional perusahaan dan pengeluaran lainnya, responden ideal yang
mungkin adalah kepala keuangan perusahaan. Namun, tingkat penolakan untuk survei bisa sangat
tinggi jika ini adalah satu satunya responden yang bisa diterima Untuk meningkatkan tingkat
kerjasama, aturan responden harus cukup fleksibel untuk memungkinkan karyawan lain di
perusahaan memberikan informasi ini, sesuai batasan yang ditentukan. Ini mungkin sulit dikontrol,
terutama untuk kuesioner mandiri dan survei yang meminta informasi tentang berbagai topik,
termasuk akuntansi, personalia, manajemen, dan produksi. Mendapatkan data tentang berbagai
topik mungkin memerlukan wawancara atau berkolaborasi tidak hanya dengan satu, tapi
beberapa orang di perusahaan.

Pemahaman (Memahami Pertanyaan)

Tahap kedua dari proses respon adalah pemahaman, atau pengertian pertanyaan. Pada tahap ini,
responden membaca atau mendengar pernyataan dari pertanyaan dan berupaya untuk memahami
informasi apa yang diminta. Dengan demikian, tujuan penting untuk mengembangkan pertanyaan
yang bagus adalah dengan menjelaskannya kepada responden dengan tepat informasi apa yang
dibutuhkan dengan kata-kata yang mudah dimengerti responden. Tahap ini sangat penting agar
responden bisa menjawab pertanyaan secara akurat. Beberapa jenis kesalahan bisa dikenalkan di
proses respon pada tahap ini.

Untuk memahami atau mengerti pertanyaan, responden mempertimbangkan pertanyaan

dan berupaya untuk memahami informasi apa yang diminta.
 Pertama, kata-kata pertanyaan mungkin rumit atau mungkin melibatkan istilah
asing. Misalnya, "Pada tahun berapa anda diterima sebagai mahasiswa di universitas ini?"
mungkin tidak dimengerti oleh beberapa siswa; “Tahun berapa anda pertama mendaftar di
universitas ini? "lebih mudah dipahami. Di luar arti harfiah dari pertanyaan itu, interpretasi
pertanyaan yang peneliti maksudkan juga harus disampaikan secara akurat kepada
responden. Sebagai contoh, pertanyaan "Apakah Anda memiliki mobil?" tidak memiliki kata asing
atau rumit, namun responden mungkin masih belum mengerti informasi apa yang diminta. Apa
yang dimaksud dengan kepemilikan mobil? Misalkan seseorang membeli sebuah mobil tapi masih
melakukan pembayaran di atasnya. Mungkin mobil disewakan
untuk jangka waktu tiga tahun dan bukan dibeli. Bagaimana dengan mobil yang dimiliki bersama
suami dan istri? Atau mobil yang dikendarai secara eksklusif oleh anak laki-laki atau anak
perempuan, tapi kepemilikan tidak pernah ditransfer secara hukum kepadanya. Apakah situasi-
situasi ini memenuhi syarat sebagai “kepemilikan?”. Tanpa beberapa klarifikasi,
responden mungkin menggunakan interpretasi apa pun yang muncul dalam pikiran sehingga
tercipta kesalahan variabel atau tanggapan yang tidak dapat dipercaya.
Masalah lain yang mungkin timbul pada tahap ini adalah pengenalan efek
konteks. Sebuah efek konteks terjadi ketika penafsiran pertanyaan dipengaruhi dengan informasi
lain yang muncul pada kuesioner, seperti pertanyaan sebelumnya dalam kuesioner, bagian judul
sebelum pertanyaan, instruksi yang diajukan untuk menjawab pertanyaan, dan seterusnya. Karena
berpotensi untuk terjadi efek konteks, bahkan posisi pertanyaan dalam kuesioner dapat
memengaruhi makna atribut responden untuk pertanyaan. Misalnya, pertanyaan "Seberapa
puaskah Anda dengan asuransi kesehatan Anda?" dapat memperoleh tanggapan yang sangat
berbeda ketika didahului dengan pertanyaan "Seberapa puaskah Anda dengan dokter Anda?"
daripada jika tidak didahului pertanyaan tersebut.
Cukup sering dalam desain kuesioner, konteksnya tersirat dengan pertanyaan sebelumnya
atau informasi dalam kuesioner bisa cukup efektif untuk mempermudah pemahaman pertanyaan.
Saat pertanyaan-pertanyaan yang berhubungan dengan satu topik dikelompokkan bersama dalam
satu bagian kuesioner dan konteks bagian tersebut diperjelas kepada responden, pemahaman
pertanyaan meningkat.Misalnya, dalam survei pertanian, seluruh bagian kuesioner bertanya
tentang karakteristik seluruh operasi peternakan, sedangkan bagian lainnya dari
kuesioner berkaitan hanya dengan segmen spesifik lahan yang diidentifikasi dalam
ladang. Dengan demikian, tidak perlu mendahului setiap pertanyaan dalam kuesioner dengan
sebuah instruksi untuk menunjukkan pertanyaan mana yang berhubungan dengan keseluruhan
peternakan operasi dan pertanyaan mana yang berhubungan dengan segmen lahan tertentu. Karena
pengelompokkan pertanyaan dan konteks bagian, responden mengerti bahwa beberapa bagian
dikhususkan untuk bagian dari pertanian sementara yang lain dikhususkan untuk seluruh
operasi. Pertanyaan yang muncul di setiap bagian jelas ditentukan oleh konteks mereka.
Namun, seringkali, konteks sebuah pertanyaan dapat menyebabkan salah tafsir pertanyaan
yang berujung pada kesalahan respon. Kesalahan respon semacam itu juga disebut
sebagai efek konteks. Efek konteks dapat terjadi jika responden salah memahami bahwa semua
pertanyaan di bagian kuesioner berkaitan dengan hal yang sama padahal mereka tidak. Sebagai
contoh, jika di seluruh bagian peternakan pada kuesioner di atas, salah satu pertanyaan hanya
berkaitan dengan sebagian dari pertanian, seperti lahan atau segmen lahan di dalam pertanian,
responden mungkin tidak memperhatikan perubahan dalam konteks dan mungkin memberikan
tanggapan untuk keseluruhan tanah pertanian.
Efek konteks seperti ini dapat dihindari jika perubahan dalam konteks bisa dibuat lebih
jelas dengan penggunaan pernyataan transisi, judul bagian, huruf tebal, dan sebagainya. Namun,
efek konteks tidak bisa dikendalikan dalam semua kasus karena responden mungkin dipengaruhi
oleh pertanyaan sebelumnya dan upaya untuk mencegah pengaruh semacam itu tidak efektif.
Untuk survei populasi umum, penggunaan istilah teknis atau kata-kata yang maknanya
hanya dipahami oleh sebagian kecil populasi juga bisa menyebabkan kesalahan pemahaman dalam
survei. Misalnya, sebuah pertanyaan dari U.S. National Health Interview Survey (NHIS) bertanya:
"Selama 12 bulan terakhir, apakah ada yang menderita gastritis? Radang usus besar? Radang
usus? Divertikulitis?". Disini strateginya pasti jika responden tidak tahu istilahnya, atau dia tidak
pernah mengalami kondisi tersebut. Namun, sering kali istilah teknis bisa diganti dengan istilah
yang umum. Misalnya, daripada "otitis media" menggunakan "infeksi telinga."
Kesalahan pemahaman mungkin juga muncul dalam terjemahan pertanyaan dari satu
bahasa ke bahasa lain: misalnya terjemahan bahasa Inggris-ke-Prancis. Jika terjemahan bersifat
literal dan mengabaikan nuansa budaya dan semantik penutur bahasa Prancis dalam populasi,
terjemahannya, meski secara teknis akurat, dapat menyebabkan kesalahan pemahaman. Jadi, perlu
merombak kata pertanyaan dalam bahasa baru untuk menyampaikan makna yang tepat bukan
mencoba untuk mempertahankan terjemahan kata demi kata yang ketat dari pertanyaan itu.
Akhirnya, alternatif respons itu sendiri bisa mengarah pada pemahaman
masalah. Seringkali, responden menggunakan pilihan respons sebagai bantuan dalam menafsirkan
pertanyaan. Misalnya, untuk pertanyaan "Apakah Anda memiliki mobil?"130 implikasi untuk
pilihan respons desain kuesioner seperti "Memiliki langsung," "Pembelian," "Penyewaan," dan
seterusnya, membantu menjelaskan apa yang dimaksud dengan kepemilikan mobil. Masalah lain
terjadi ketika sebuah pertanyaan dinyatakan dengan jelas namun alternatif responsnya
menggunakan terminologi yang rumit atau ambigu atau mungkin tidak sesuai dengan pertanyaan
tersebut. Kategori jawaban yang tumpang tindih atau tidak saling eksklusif juga menimbulkan
masalah, namun responden seharusnya memilih satu kategori. Contoh berikut menggambarkan
beberapa permasalahan yang bisa timbul dalam tahap pemahaman pada proses wawancara.
Contoh 4.3.1 Setelah Sensus Ekonomi A.S. tahun 1977, Biro Sensus A.S. melakukan evaluasi
terhadap kualitas data untuk Sensus Pabrikan dan menemukan beberapa bukti kesalahan
pemahaman dalam survei tersebut. Dalam satu temuan, biro tersebut menemukan bahwa terdapat
kesalahan dalam pencantuman pada jumlah total gaji tahunan yang diberikan, dengan angka yang
mencapai $ 3,7 miliar, sekitar 2% dari jumlah sensus untuk gaji tahunan. Sekitar sepertiga dari
kesalahan ini disebabkan oleh pengecualian gaji pegawai pada cuti tahunan atau liburan. Ini
mungkin merupakan kesalahan dalam pembuatan rekam data dalam pendirian perusahaan karena
beberapa database pendirian perusahaan mungkin tidak mencatat gaji tahunan dengan
dimasukkannya pembayaran liburan. Namun, setelah penyelidikan lebih lanjut dan wawancara
ulang responden, biro tersebut menemukan bahwa masalah sebenarnya adalah responden survei
tidak mengerti bahwa pembayaran liburan harus disertakan. Mereka dapat dengan mudah
memasukkannya jika pertanyaan tersebut mengindikasikan dengan jelas bahwa pembayaran
liburan harus disertakan.

Contoh ini menggambarkan masalah yang cukup umum dalam survei perusahaan. Dalam
pelaporan data akuntansi dan keuangan, responden sering tidak mengerti informasi (personel,
pengeluaran, gaji, dll) yang seharusnya termasuk untuk item.

Contoh 4.3.2 Contoh ini diambil dari penelitian yang dilakukan oleh Groves et al. (1991).
Responden ditanya dua pertanyaan, yang sebagai berikut:
1. Bisakah Anda mengatakan bahwa kesehatan Anda pada umumnya sangat baik, bagus, biasa
saja, atau buruk?

2. Saat Anda menjawab pertanyaan sebelumnya tentang kesehatan Anda, apa yang Anda pikirkan?

a. Kesehatan Anda dibandingkan dengan orang lain seusia Anda?

b. Kesehatan Anda sekarang dibandingkan dengan kesehatan Anda di usia sebelumnya?

c. Kesehatan Anda dalam beberapa tahun terakhir dibandingkan dengan yang baru-baru
ini?

Tabel 4.1 menunjukkan persentase dari responden yang menunjukkan setiap interpretasi
pertanyaan. Hasilnya menunjukkan perbedaan yang cukup besar dalam cara responden
menafsirkan pertanyaan tentang keseluruhan kesehatan mereka, dan karena itu perbedaan dalam
tanggapan mereka terhadap pertanyaan (yaitu, kesalahan variabel). Namun, penelitian ini juga
menemukan beberapa bukti kesalahan atau bias sistematis dalam menanggapi pertanyaan ini
karena cara laki-laki dan perempuan dapat menafsirkan pertanyaan ini secara berbeda. Sebagai
contoh, dalam menanggapi pertanyaan 1, 43% pria mengatakan bahwa kesehatan mereka "sangat
baik" dibandingkan dengan hanya 28% wanita. Namun, ketika perbandingan gender dibatasi pada
responden yang menggunakan interpretasi yang sama (yaitu, a, b, atau c), perbedaannya jauh lebih
kecil dan bahkan hilang untuk interpretasi b. Analisis ini menunjukkan bahwa secara keseluruhan,
laki-laki dan perempuan memiliki interpretasi yang berbeda terhadap pertanyaan ini, dan
akibatnya, perbandingan antara laki-laki dan perempuan dapat menjadi bias.

Pencarian Informasi
Ketika responden telah memahami pertanyaan yang diberikan, kini responden siap untuk
mengambil informasi apapun yang diperlukan untuk menanggapi pertanyaan tersebut. Pada tahap
pencarian informasi, informasi yang dibutuhkan untuk menghasilkan tanggapan terhadap
pertanyaan tersebut, diambil oleh responden. Proses ini mungkin termasuk mengingat-ingat
kembali informasi yang tersimpan dalam ingatan jangka panjang pada tahap pengkodean;
pengambilan data dari sumber eksternal seperti database komputer atau dari arsip rumah tangga
atau pribadi; atau konsultasi dengan orang lain dalam rumah tangga atau perusahaan yang memiliki
informasi yang dibutuhkan. Beberapa pertanyaan seperti pendapat atau pertanyaan sikap dan
karakteristik demografi pribadi dasar, tidak memerlukan pengambilan data faktual (kejadian,
tanggal, informasi otobiografi). Namun, informasi masih bisa diambil dari memori dalam bentuk
perasaan, sudut pandang, posisi pada isu, dan sebagainya. Selain itu, tahap ini mencakup proses
merefleksikan masalah yang diangkat oleh pertanyaan agar bisa sampai pada sikap, kepercayaan,
atau pendapat.

Pencarian inormasi mengacu pada informasi yang diperoleh dari baik ingatan maupun
sumber-sumber eksternal, seperti anggota keluarga atau rekan kerja, database perusahaan,
atau arsip rumah tangga.

Seperti yang ditunjukkan pada Gambar 4.2, tahap proses respons ini dapat melibatkan pilihan
sumber data bila informasi yang diminta tersedia dari dua sumber atau lebih. Misalnya, pertanyaan
tersebut mungkin bertanya tentang total pendapatan seseorang yang diterima pada tahun pajak
sebelumnya. Informasi ini mungkin tersedia dari pengembalian pajak penghasilan tahun
sebelumnya dan memori individu. Jika responden termotivasi untuk memberikan respon terbaik,
dia dapat mengakses pengembalian pajak penghasilan tahun sebelumnya dan bukannya
mengandalkan memori. Demikian pula, dalam survei perusahaan, pertanyaan tersebut mungkin
menanyakan tentang jumlah karyawan yang bekerja di organisasi responden. Responden mungkin
mengetahui jumlahnya secara kira-kira dan memberikan jumlah tersebut, atau mungkin
memutuskan untuk berkonsultasi dengan catatan personalia perusahaan dan memberikan jumlah
yang lebih akurat. Dalam setiap kasus, sumber yang akhirnya dikonsultasikan akan bergantung
pada beban yang terlibat dalam memberikan informasi yang lebih akurat, tingkat akurasi yang
diminta atau tersirat dari pertanyaan, penilaian responden tentang seberapa besar akurasi
diperlukan berdasarkan pertanyaan lain dalam kuesioner, dan sebagainya.

Kesalahan seperti kelalaian atau kesalahan mengingat dapat terjadi selama proses pengambilan
informasi dari ingatan responden. Dua penyebab yang cukup umum dari kegagalan mengingat
informasi adalah terlupa dan telescoping. Terlupa mungkin terjadi pada pertanyaan yang
memerlukan ingatan jangka panjang. Secara umum, peristiwa yang terjadi di masa lalu jauh lebih
mungkin dilupakan daripada peristiwa yang terjadi di masa lalu yang lebih baru. Pengecualian
untuk ini adalah kejadian yang sangat menonjol, seperti kematian orang yang dicintai atau
kelahiran anak.

Dalam kesalahan telescoping, suatu kejadian diingat namun tanggal kejadiannya tidak akurat.
Kesalahan forward telescoping terjadi saat suatu kejadian dikenang saat terjadimya dekat ke
tanggal wawancara. Dalam backward telescoping, kejadian dikenang sebagai kejagian yang terjadi
jauh dari tanggal wawancara. Yang dimaksud dengan telescoping error eksternal pada pelaporan
kejadian secara keliru, yaitu kejadian terjadi di luar periode pengamatan dan dicatat sebagai
kejadian yang terjadi dalam periode pengamatan. Misalnya, seorang responden dapat melaporkan
bahwa dia pergi ke dokter dalam periode pengamatan dua minggu padahal sebenarnya kunjungan
tersebut sebelum periode pengamatan. Dalam kasus ini, responden ‘meneleskop’ kejadian dalam
beberapa waktu ke deoan sehingga terhitung keliru, seolah-olah terjadi selama periode
pengamatan. Telescoping error internal terjadi saat ada kesalahan dalam pewaktuan terjadinya
suatu kejadian karena ‘peneleskopan’ maju atau mundur. Misalnya, perjalanan ke luar kota yang
terjadi selama periode pengamatan satu bulan dilaporkan terjadi lebih lama yang lalu daripada
yang sebenarnya terjadi (teleskop waktu mundur) (lihat Gambar .3).

Kesalahan karena lupa biasanya akan menyebabkan laporan kejadian menjadi tidak lengkap dan
diklasifikasikan sebagai kesalahan sistematis. Terlupa biasanya terjadi ketika kejadian sering
terjadi selama periode pengamatan dan responden diminta untuk menghitung jumlah kejadian.
Konsekuensi kesalahan karena lupa adalah laporan jumlah kejadian menjadi tidak lengkap.
Misalnya, anggaplah responden diminta untuk menghitung jumlah perjalanan yang mereka
tempuh dengan menggunakan mobil dalam sebulan yang lalu. Jika seorang responden melakukan
banyak perjalanan selama periode pengamatan mencoba menghitungnya satu per satu,
kemungkinan dia akan tidak melaporkan jumlah sebenarnya karena lupa. Efek dari terlupa ini
mungkin lebih kecil untuk responden yang hanya melakukan beberapa perjalanan daripada
responden yang melakukan banyak perjalanan. Dengan demikian, efek dari terlupa adalah bahwa
perkiraan jumlah rata-rata perjalanan per bulan yang responden anggap bias negatif.

Gambar 4.3 Teleskop eksternal dan internal. Peristiwa A terjadi di luar periode pengamatan
namun dilaporkan dalam periode pengamatan. Ini adalah contoh teleskop eksternal ke depan.
Demikian pula, event B adalah ilustrasi dari forward internal telescoping. Backward internal
telescoping terjadi ketika kejadian yang terjadi mendekati tanggal wawancara, namun saat periode
pengamatan dilaporkan terjadi lebih jauh di masa lalu namun masih dalam periode pengamatan.

Kesalahan teleskopis eksternal mungkin juga menghasilkan bias. Namun, arah bias external
telescoping cenderung dalam arah yang berlawanan dengan bias kesalahan yang disebabkan oleh
terlupa karena jumlah kejadian yang dilaporkan sekarang akan cenderung lebih besar dari kejadian
sebenarnya. Akibatnya, estimasi jumlah kejadian yang terjadi mungkin menjadi terlalu tinggi
akibat external telescoping. External telescoping merupakan masalah khusus untuk peristiwa yang
sangat menonjol, emosional, atau jarang yang mungkin meninggalkan kesan tersendiri bagi
responden, seperti menjadi korban kejahatan kekerasan atau menyaksikan kecelakaan mobil yang
parah. Responden mungkin mengingat kejadian ini seperti yang terjadi lebih baru dari yang
sebenarnya terjadi. Khusus untuk kejadian langka, responden mungkin juga melaporkan sebuah
peristiwa yang sebenarnya terjadi di luar periode pengamatan, namun diceritakan seakan-akan
peristiwa tersebut terjadi selama periode pengamatan karena mereka menganggap peristiwa
tersebut perlu didokumentasikan, dan mencoba untuk “menceritakan cerita mereka” kepada
pewawancara.
Alternatif untuk menghitung jumlah kejadian dalam periode pengamatan adalah dengan
memperkirakan jumlahnya. Misalnya, daripada meminta responden untuk menghitung jumlah
perjalanan yang ditempuh dengan menggunakan mobil dalam 30 hari terakhir, sebagai gantinya
dapat menanyakan jumlah perjalanan selama seminggu terakhir, atau selama minggu biasa, dan
jumlah tersebut dikalikan dengan 4 untuk estimasi bulanan. Memang, responden mungkin
menggunakan jenis perkiraan ini daripada menghitung bila ada banyak kejadian yang harus
dihitung karena secara kognitif lebih mudah daripada mencoba mengingat setiap kejadian.
Memang, jika jumlah perjalanan yang ditempuh relatif besar, responden mungkin menggunakan
perkiraan sebagai cara untuk mendapatkan jawaban yang lebih akurat.

Penghitungan peristiwa atau kejadian sering mengakibatkan kesalahan sistematis baik karena
terlupa maupun telescoping, mengestimasi jumlah kejadian sering menghasilkan kesalahan
variabel karena perkiraannya mungkin lebih tinggi daripada aktual untuk beberapa responden dan
lebih rendah dari yang sebenarnya untuk yang lain. Dengan demikian, dengan estimasi, ada
kecenderungan responden yang memperkecil jumlah kejadian dalam periode pengamatan untuk
mengimbangi perkiraan kelebihan estimasi responden lainnya. Di antara sampel responden, rata-
rata atau total taksirannya mungkin sedikit atau sama sekali tidak bias. Namun, taksiran jumlah
yang diperoleh dari responden akan cenderung lebih bervariasi daripada jumlah aktual akibat
kesalahan dalam proses estimasi, karena kesalahan variabel biasanya tidak lebih merusak daripada
bias terhadap perkiraan rata-rata, total, dan proporsi (lihat Bab 2), estimasi mungkin lebih disukai
daripada menghitung ketika bias penghitungan diperkirakan sangat besar.

Kesalahan estimasi dalam mengekstrapolasi hasil estimasi untuk interval waktu singkat ke yang
lebih lama mungkin cukup parah jika frekuensi kejadian tidak terlalu seragam pada interval waktu
yang lebih kecil. Misalnya, memperkirakan jumlah rokok yang dihisap setiap bulan dalam suatu
populasi dengan melakukan ekstrapolasi tingkat harian atau mingguan mungkin cukup akurat.
Namun, memperkirakan frekuensi tahunan suatu jenis makanan tertentu yang dikonsumsi dalam
sebuah populasi dengan melihat dari makanan yang dimakan pada bulan sebelumnya, dapat cukup
bervariasi jika konsumsi dari beberapa jenis makanan cenderung musiman. Demikian juga periode
mengingat yang lebih lama dari bulanan mungkin diperlukan untuk kejadian yang terjadi lebih
jarang daripada bulanan. Misalnya, melakukan ekstrapolasi jumlah perjalanan di sebuah maskapai
penerbangan komersial selama bulan tertentu untuk memperkirakan jumlah perjalanan tahunan
akan menghasilkan perkiraan yang memiliki kesalahan variabel yang cukup besar.

Responden mungkin juga dengan mudah memutuskan untuk menebak atau memberikan perkiraan
kasar jumlah kejadian daripada menghitung atau memperkirakan. Jenis perilaku ini adalah bentuk
lain dari kepuasan. Jawaban responden mungkin mendekati akurat, namun dengan usaha yang
lebih kognitif, tanggapan mereka bisa memberikan tanggapan yang lebih akurat. Seperti yang telah
disebutkan sebelumnya, kepuasan terjadi ketika responden tidak termotivasi untuk memberikan
tanggapan yang akurat atau terlalu terbebani oleh permintaan survei. Seperti memperkirakan,
menebak dapat menyebabkan peningkatan jumlah kesalahan variabel dalam estimasi. Namun,
variasi ini cenderung jauh lebih besar disebabkan oleh tebakan daripada perkiraan.

Akhirnya, masalah lain dalam tahap pencarian informasi yang cukup umum, terutama dalam survei
perusahaan, adalah penggunaan catatan yang telah lama atau tidak akurat. Misalnya, survei
meminta responden untuk memasukkan jumlah karyawan saat ini dalam daftar gaji perusahaan,
dan responden dapat memberikan informasi beberapa bulan yang lalu. Akibatnya, yang dilaporkan
oleh responden adalah jumlah yang salah. Berikut ini, terdapat beberapa contoh kesalahan yang
sebenarnya dalam proses pencarian informasi.

Contoh 4.3.3 Contoh pertama adalah dari Sensus Perdagangan Eceran, yang merupakan sebuah
sensus yang dilakukan oleh Biro Sensus A.S. dari semua perusahaan eceran di Amerika Serikat.
Pada sensus 1977, Biro Sensus mengadakan penelitian wawancara ulang untuk mengevaluasi
kualitas hasil sensus. Dalam penelitian ini, staf profesional dari Biro Sensus meninjau kembali
sampel perusahaan untuk mendapatkan informasi dari mereka yang akan membantu mengevaluasi
kesalahan sensus. Misalnya, jika memungkinkan, para pewawancara bertanya kepada responden
untuk memeriksa file perusahaannya untuk mendapatkan "nilai buku" untuk item pertanyaan yang
memerlukan pengambilan informasi dari catatan. Salah satu temuan dari penelitian ini adalah
sebagian besar kesalahan pengukuran dalam jumlah karyawan yang dilaporkan. Analisis lebih

lanjut menunjukkan bahwa sekitar 75% kesalahan dalam laporan tersebut disebabkan oleh
responden yang hanya memperkirakan atau menebak jumlah karyawan, dan tidak melihat catatan
mereka untuk mendapatkan jumlah yang tepat.

a Desain NCVS sedemikian rupa sehingga setiap bulannya, tujuh sampel yang dipilih secara independen (ditunjukkan
pada kolom pertama) diwawancarai. Setiap sampel sebelumnya telah diwawancarai beberapa kali. Misalnya, pada
bulan biasa yang dilambangkan dengan M dalam tabel, subsample 1 diwawancarai untuk wawancara jarak jauh
(wawancara pertama), subsample 2 diwawancarai untuk wawancara keduanya, subsample 3 diwawancarai untuk
wawancara ketiganya, dan seterusnya. Setiap sampel diwawancarai sebanyak tujuh kali, termasuk wawancara batas
waktu enam bulan. Misalnya, subsampel 2 diperkenalkan untuk wawancara jarak jauh enam bulan sebelum bulan M.
Pada bulan M wawancara untuk kedua kalinya, enam bulan setelah bulan M diwawancarai untuk yang ketiga kalinya,
dan seterusnya. Perhatikan bahwa subsample 7 diwawancarai untuk terakhir kalinya dalam bulan M. Pola ini diulang
setiap bulan sepanjang tahun. Pada setiap wawancara, pertanyaan mengenai kejahatan dan viktimisasi yang terjadi
selama enam bulan sebelumnya diajukan.

Mungkin beban pengecekan catatan perusahaan untuk mendapatkan angka yang akurat lebih dari
yang diperkirakan responden anggap. Akibatnya, mereka berusaha untuk memuaskan:
menyediakan sosok yang "close enough".

Example 4.3.4 Contoh kedua dari kesalahan pengambilan diberikan oleh sebuah studi
evaluasi yang dilakukan untuk Survei Korban Kejahatan Nasional A.S. (NCVS). NCVS adalah
survei periodik yang dilakukan oleh Biro Sensus A.S. untuk Biro Statistik Peradilan A.S.. Desain
survei adalah survei panel putaran bulanan dimana responden diwawancarai pada interval enam
bulan. Artinya, setiap bulan sampel rumah tangga baru ditambahkan ke survei dan diwawancarai
untuk pertama kalinya. Selain itu, rumah tangga yang diwawancarai enam bulan sebelumnya juga
diwawancarai. Begitu rumah tangga telah diwawancarai tujuh kali pada interval enam bulan,
rumah tangga tersebut "pensiun" dari survei, yang berarti tidak lagi diwawancarai. Representasi
tabel dari desain ini ditunjukkan pada Tabel 4.2.

Pada setiap wawancara, responden diminta untuk mengingat kejadian yang berkaitan
dengan kegiatan kriminal yang mereka saksikan atau alami (sebagai korban), seperti penyerangan,
pencurian pribadi, pencurian, pencurian mobil, dan sebagainya, yang telah terjadi selama periode
enam bulan sebelumnya.

Data tersebut menjadi dasar laporan korban kejahatan yang diterbitkan oleh Biro Statistik
Serikat A.S.. Karena periode recall yang panjang, lupa, telescoping, dan kesalahan memori lainnya
bisa menjadi masalah, mendistorsi laporan tentang korban penindasan kejahatan dan memberikan
kesalahan sistematis dan bervariasi terhadap perkiraan tingkat korban. Di daerah dengan tingkat
kejahatan tinggi, di mana frekuensi pencurian, perampokan, dan jenis kejahatan lainnya tinggi,
mengingat kapan kejahatan terjadi mungkin cukup sulit. Kemudian juga, beberapa kejahatan,
seperti pencurian kecil-kecilan dan serangan ringan, mungkin sulit untuk diingat meskipun jarang
terjadi.

Untuk menghilangkan sebagian besar teleskop eksternal dalam survei, NCVS

menggunakan wawancara pertama dalam urutan tujuh wawancara sebagai wawancara melintang.
Artinya, wawancara pertama digunakan untuk menetapkan awal periode recall untuk wawancara
kedua. Pada wawancara pertama, responden ditanya tentang viktimisasi yang terjadi dalam enam
bulan terakhir. Namun, karena teleskop eksternal, pengorbanan yang terjadi tujuh bulan atau lebih
sebelumnya juga bisa dilaporkan.

Karena perkiraan korban berdasarkan wawancara NCVS pertama diketahui bias jauh ke
atas, Biro Sensus memutuskan beberapa tahun yang lalu bahwa data korban berdasarkan
wawancara pertama tidak dapat digunakan untuk memperkirakan tingkat korban. Sebaliknya,
viktimisasi yang dilaporkan dalam wawancara pertama dapat digunakan untuk menghilangkan
teleskop pada wawancara kedua, misalnya dengan menyesuaikan viktimisasi antara dua
wawancara, menghilangkan kejahatan pada kasus kedua yang dilaporkan sebelumnya. Demikian
pula, wawancara kedua bisa menjadi wawancara berjangka untuk yang ketiga, yang ketiga untuk
yang keempat, dan seterusnya, untuk semua enam wawancara yang tersisa. Yang kedua melalui
wawancara ketujuh disebut sebagai wawancara data, dengan menekankan bahwa tidak seperti
wawancara yang meluas, data dari wawancara ini digunakan untuk memperkirakan tingkat korban
kejahatan nasional. Jadi wawancara kedua sebenarnya adalah wawancara data pertama,
wawancara ketiga adalah wawancara data kedua, dan seterusnya.

Meskipun dapat mengurangi teleskopik, wawancara tanpa batas tidak membahas potensi
untuk melupakan laporan korban. Salah satu cara untuk melupakannya dapat dikurangi adalah
memperpendek periode referensi dengan melakukan wawancara NCVS pada interval yang lebih
sering. Pada awal tahun 1980an, Biro Sensus melakukan penelitian untuk mengevaluasi dampak
pada kualitas data menggunakan periode mengingat tiga bulan daripada enam bulan di NCVS.
Untuk penelitian ini, mereka menggunakan desain sampel terpisah dimana sebagian kecil sampel
NCVS diwawancarai pada interval tiga bulan dan fraksi sampel yang tersisa diwawancarai pada
interval enam bulan yang biasa. Dengan demikian, dengan total kejahatan yang dilaporkan dalam
dua wawancara mengingat tiga bulan berturut-turut, sebuah perkiraan dapat dibuat yang secara
langsung dapat dibandingkan dengan jumlah kejahatan yang dilaporkan dalam periode ingat enam
bulan yang lalu. Misalnya, jumlah total kejahatan yang tercatat untuk Januari-Maret dan April-
Juni untuk desain recall threemonth harus sama dengan jumlah yang tercatat untuk Januari sampai
Juni untuk desain recall enam bulan.

Table 4.3 Perbandingan Pemberitahuan Tiga dan Enam Bulan untuk NCVS (per 100 Orang 12+
Tahun)

*
Perbedaan yang signifikan secara statistik pada tingkat signifikansi 5%.

Tingkat korban untuk kedua desain tersebut dibandingkan pada Tabel 4.3. Entri dengan
tanda bintang menunjukkan bahwa perbedaan tersebut signifikan secara statistik: artinya, besarnya
perbedaan lebih besar daripada yang seharusnya diperkirakan terjadi secara kebetulan. Tabel
tersebut menunjukkan dengan jelas bahwa recall tiga bulan selalu memberikan pelaporan yang
lebih tinggi, biasanya secara signifikan lebih tinggi melaporkannya, daripada periode recall enam
bulan. Jika satu-satunya kesalahan dalam perkiraan tersebut telah melupakan, fakta bahwa periode
ingat tiga bulan menghasilkan perkiraan yang lebih tinggi menunjukkan bahwa kesalahan recall
tiga bulan kurang dikenai kesalahan dan oleh karena itu kurang bias. Namun, mungkin masih ada
sejumlah kecil kesalahan teleskop eksternal yang ada dalam data meskipun desain wawancara
melengkung. Jadi, perkiraan recall enam dan tiga bulan mungkin bias positif, karena kesalahan
telescoping. Namun, sepertinya tidak ada alasan masuk akal mengapa desain penarikan tiga bulan
harus memiliki bias teleskopis lebih besar daripada desain enam bulan. Oleh karena itu, kami
menyimpulkan dari hasil ini bahwa perkiraan recall tiga bulan umumnya lebih besar dan kurang
bias daripada perkiraan berdasarkan recall enam bulan.

Meskipun penarikan tiga bulan kurang dikenali mengingat bias untuk perkiraan korban
kejahatan, untuk rancangan biaya tetap, perkiraan berdasarkan recall enam bulan mungkin masih
lebih akurat bila seluruh kesalahan kuadrat rata-rata dipertimbangkan. Karena desain tiga bulan
memerlukan wawancara yang lebih sering dengan responden, ukuran sampel untuk desain tiga
bulan harus lebih kecil untuk mempertahankan biaya survei yang sama seperti desain enam bulan.
Dengan demikian, walaupun bias pengukuran berkurang, varians sampling untuk desain tiga bulan
mungkin sebanyak dua kali lipat dari desain enam bulan itu. Oleh karena itu, total mean squared
error, yang merupakan jumlah dari bias kuadrat ditambah varians sebenarnya bisa lebih besar
dengan menggunakan recall tiga bulan.

Selain biaya, ada pertimbangan lain dalam keputusan untuk beralih ke periode recall tiga
bulan. Misalnya, bagaimana reaksi komunitas pengguna jika kesalahan standar tingkat korban
meningkat secara dramatis, bahkan jika kesalahan kuadrat rata-rata dikurangi untuk perkiraan?
Karena bias dalam tingkat pengorbanan tidak dilaporkan (bias recall tidak dapat diperkirakan tanpa
evaluasi khusus seperti yang dijelaskan sebelumnya),
Figure 4.4 Efek Seam. Persentase yang mengubah status pekerjaan antara bulan yang berdekatan adalah
antara 4 dan 5% dari populasi kecuali untuk bulan 4 dan 5, di mana persentase ini melonjak menjadi 10,2%.
Alasannya adalah efek seam. Bulan 1-4 status pekerjaan diperoleh dalam satu wawancara, sedangkan bulan
5-8 status diperoleh dalam wawancara berikutnya empat bulan kemudian. Dengan demikian, bulan 4 dan 5
dikumpulkan pada dua titik berbeda dalam waktu kira-kira empat bulan terpisah.

Pengurangan bias mungkin tidak diketahui dan tidak dihargai oleh pengguna data.
Memang, bagi pengguna data, kualitas data mungkin justru memburuk dengan meningkatnya
kesalahan standar perkiraan. Pertimbangan ini telah membawa Biro Sensus untuk
mempertahankan desain recall enam bulan di NCVS, terlepas dari keuntungan dari recall tiga
bulan untuk mengurangi bias recall.

Masalah lain yang sering dihadapi dengan survei panel adalah efek seam, fenomena dimana
banyak perubahan bulan ke bulan diamati antara bulan yang berdekatan dalam periode referensi
yang sama dari pada bulan-bulan yang berdekatan yang mengangkangi dua periode referensi yang
berbeda. Gambar 4.4 mengilustrasikan efek ini yang diukur dalam Survey of Income and Program
Participation (SIPP) yang dilakukan di Amerika Serikat. Penjelasan yang paling jelas untuk efek
ini adalah recall error. Responden lebih cenderung mengingat status pekerjaan mereka di bulan
sebelum wawancara daripada di bulan empat bulan sebelum wawancara. Dalam hal ini, perubahan
antara seam (yaitu, bulan 4 dan 5 pada gambar) salah dan perubahan sebenarnya mungkin antara
4 dan 5% seperti pada bulan nonseam lainnya.

Namun, penjelasan lain adalah bahwa perubahan antara bulan dalam periode referensi
sangat rendah. Artinya, responden mungkin mengatakan bahwa tidak ada perubahan status
pekerjaan mereka selama keseluruhan periode referensi empat bulan sebagai bentuk pemenuhan.
Misalnya, mereka mungkin ingin menghindari pertanyaan tambahan tentang perubahan tersebut.
Penjelasan yang paling mungkin untuk efek jahitannya adalah bahwa hal itu disebabkan oleh
kombinasi faktor yang bertindak baik untuk mengurangi perubahan dalam referensi-referensi dan
untuk meningkatkan perubahan antara periode referensi.

Memformat Respon

Setelah tahap pencarian informasi, tahap selanjutnya dari proses respon disebut sebagai format
penilaian dan tanggapan. Pada tahap proses respons inilah informasi yang diperoleh pada tahap
sebelumnya dievaluasi dan sebuah respon dirumuskan sesuai format yang diminta dalam
pertanyaan. Seringkali, pertanyaan survei ditutup-berakhir, artinya pertanyaan mengharuskan
responden memilih jawaban dari daftar alternatif respons. Karena jawaban yang tepat sudah
diberikan kepada responden, pertanyaan tertutup seringkali menghemat waktu dalam wawancara
dan mengurangi beban responden.
Pertanyaan terbuka meminta jawaban responden untuk frase dengan kata-kata dan
pewawancara mereka sendiri untuk mencatat jawabannya. Pertanyaan tertutup juga dapat
digunakan saat dikhawatirkan bahwa responden dengan keterampilan verbal rendah tidak akan
memberikan tanggapan yang berguna terhadap pertanyaan terbuka. Namun, kapan bentuk
pertanyaan yang dipersyaratkan jelas, seperti dalam kasus pertanyaan "Berapa kali Anda pernah
ke dokter pada tahun lalu?", Pertanyaan terbuka biasanya lebih disukai.
Sebagai contoh, Sudman dkk. (1996) merekomendasikan penggunaan format pertanyaan
terbuka untuk mendapatkan frekuensi perilaku. Hal ini karena, seperti yang akan terlihat pada
Contoh 4.3.5, responden terkadang menggunakan berbagai alternatif respons numerik sebagai
kerangka acuan dalam memperkirakan frekuensi perilaku mereka sendiri, yang dapat
mengakibatkan bias sistematik. Karena tanggapannya numerik, tidak ada kesulitan khusus dalam
pengkodean tanggapan seperti itu oleh komputer, jika diinginkan. Namun, seperti yang dicatat
dalam diskusi sebelumnya mengenai strategi penarikan dan estimasi yang berbeda, pertanyaan
format terbuka mungkin masih bias oleh sumber kesalahan lainnya dalam proses respons.
Kompromi antara pertanyaan terbuka dan tertutup adalah menggunakan kategori jawaban
"lainnya" pada pertanyaan tertutup untuk memungkinkan responden memberi jawaban secara
sukarela saat alternatif respons tidak memadai. Pendekatan ini direkomendasikan untuk pertanyaan
yang tidak jelas kategori tanggapan apa yang harus diberikan untuk mencakup semua
kemungkinan tanggapan. Selain itu, dapat digunakan sebagai kategori catch-all untuk mencakup
sejumlah tanggapan yang tidak diketahui yang mungkin diberikan oleh minoritas responden yang
relatif kecil yang tidak dapat memilih dari antara alternatif respons yang diberikan.
Jadi, untuk pertanyaan tertutup, tahap pemformatan respons adalah tempat responden
memformat informasi yang diakses pada tahap sebelumnya sesuai dengan pilihan respons yang
diberikan. Untuk pertanyaan terbuka, responden akan mencoba menentukan bagaimana membuat
tanggapan yang menjawab pertanyaan tersebut. Misalnya, pertanyaannya mungkin bertanya:
"Apakah layanan dukungan komputer perusahaan Anda terpusat atau terdesentralisasi?" Tahap
pemformatan respons melibatkan proses untuk menentukan mana dari kedua pilihan respons ini
yang paling sesuai dengan layanan dukungan komputer perusahaan. Jika pertanyaannya terbuka,
seperti "Berapa usiamu?" Atau "Berapa penghasilan Anda ?," responden harus memutuskan
seberapa akurat melaporkan informasi itu; Misalnya, apakah untuk memberikan angka yang cukup
tepat atau sosok kasar atau bulat. proses menentukan desain kuesioner mana dari kedua pilihan
respons ini yang paling sesuai dengan layanan dukungan komputer perusahaan. Jika
pertanyaannya terbuka, seperti "Berapa usiamu?" Atau "Berapa penghasilan Anda ?," responden
harus memutuskan seberapa akurat melaporkan informasi itu; misalnya, apakah memberikan
angka yang cukup tepat atau jumlah kasar atau bulat.

Saat pembentukan jawaban, informasi dievaluasi dan sebuah jawaban dirumuskan sesuai
format yang diminta dalam pertanyaan.

Sejumlah kesalahan dapat terjadi pada tahap proses respon ini. Untuk pertanyaan tertutup,
satu kesalahan umum terjadi ketika kategori jawaban tidak menggambarkan secara memadai apa
yang ingin disampaikan oleh responden atas jawabannya. Misalnya, anggap dalam contoh
sebelumnya hanya ada dua kategori jawaban: layanan tersentralisasi dan layanan terdesentralisasi.
Namun, untuk perusahaan yang merespons, beberapa layanan dukungan komputer, seperti
dukungan Internet dan e-mail, tersentralisasi, sedangkan layanan lainnya, seperti dukungan PC dan
dukungan perangkat lunak teknis, didesentralisasikan. Jawaban yang benar dalam kasus ini adalah
semacam kombinasi dukungan komputer tersentralisasi dan terdesentralisasi. Jadi, karena tidak
ada kategori jawaban yang sesuai, tanggapan responden tidak dapat menggambarkan kenyataan
secara akurat, tidak peduli bagaimana dia menjawabnya.
Selain terlalu dibatasi, kategori jawaban terkadang terkesan mengarahkan suatu jawaban
atau interpretasi pertanyaan yang berbeda. Misalnya, pertanyaan "Seberapa sering perusahaan
Anda terlibat dalam perencanaan strategis?" dapat diambil interpretasi yang berbeda jika kategori
jawabannya "Tidak Pernah," "Setiap tahun," "Sekali setiap dua sampai tiga tahun," dan "Setiap
empat tahun atau kurang, "daripada jika kategori jawabannya adalah" Tidak pernah, "" Setiap
bulan, "" Beberapa kali dalam setahun, "" Sekali dalam setahun atau tahunan, "dan" Kurang dari
setahun sekali. "Dalam kasus sebelumnya, responden dapat menafsirkan perencanaan strategis
berarti perencanaan seluruh perusahaan yang melibatkan banyak pertemuan departemen dalam
sesi perencanaan yang besar. Dalam kasus terakhir, kategori respon dapat menyampaikan bahwa
perencanaan strategis yang diminati adalah perencanaan skala kecil, yang melibatkan lebih sedikit
orang dalam pertemuan bersama dan oleh karena itu, lebih sering. Contoh lain dari jenis masalah
ini dijelaskan kemudian.
Masalah ketiga yang muncul dalam tahap pembentukan jawaban ketika responden terburu-
buru dan tertekan sehingga memberi jawaban cepat yang tidak dipikirkan dengan baik—disebut
respon top-of-the-head. Walaupun kesalahan ini dapat terjadi dalam cara apapun, namun
cenderung lebih sering terjadi dalam survei telepon daripada dalam survei email atau tatap muka.
Dalam survei telepon, responden mungkin merasa tidak nyaman saat ada jeda yang panjang dalam
percakapan, dan mungkin karena alasan itu, mereka merasa mendapat tekanan untuk menjawab
dengan cepat. Dalam survei tatap muka, komunikasi visual memberikan informasi tentang apa
yang terjadi selama jeda yang panjang, sehingga ada sedikit tekanan pada responden untuk mengisi
keheningan. Bagaimanapun, bukti penelitian menunjukkan bahwa secara umum, survei telepon
lebih cenderung menghasilkan respons top-of-the-head daripada cara wawancara lainnya. Selain
itu, tanggapan terhadap pertanyaan terbuka cenderung lebih pendek melalui telepon daripada
dengan seseorang. Ini mungkin merupakan indikasi bahwa responden juga cenderung kurang
berbicara dalam wawancara telepon daripada wawancara tatap muka.
Responden dapat puas dalam memilih kategori jawaban dari daftar kategori, terutama jika
kategori tidak berurutan atau nominal. Misalnya, dalam survei yang diisi sendiri oleh guru sekolah
dasar, para guru diberi daftar 10 alat bantu pembelajaran yang mungkin mereka gunakan di kelas.
Mereka diminta untuk memilih bantuan yang paling mereka anggap berguna dalam mengajar
anak-anak sekolah dasar. Walaupun alat bantu yang terdaftar tidak dalam urutan tertentu, yang di
bagian atas daftar dipilih hampir dua kali lebih sering dibandingkan yang ada di bagian bawah
daftar. Hal ini dapat mengarahkan responden untuk puas karena mereka berhenti membaca daftar
setelah mereka menemukan respons yang dapat diterima daripada membaca keseluruhan daftar
dan memilih jawaban terbaik.
Kepuasan bisa menjadi masalah serius untuk pertanyaan terbuka juga. Misalnya,
pertanyaan "Jenis kegiatan apa yang biasanya Anda lakukan dalam pekerjaan Anda?" dapat
menghadirkan tantangan bagi seorang responden. Seseorang yang pekerjaannya melibatkan
banyak aktivitas akan sulit mengingatnya, memilah-milahnya untuk menentukan mana yang
tipikal, dan menyampaikan daftar tersebut dalam jawabannya. Ada risiko bahwa informasi yang
diberikan tidak memadai untuk tujuan penelitian.
Contoh 4.3.5 Pilihan jawaban terkadang memberi tahu responden tentang persepsi peneliti
tentang populasi atau jawaban tipikal yang diharapkan untuk sebuah pertanyaan. Informasi ini
kemudian dapat digunakan oleh responden untuk merumuskan sebuah jawaban. Dalam beberapa
kasus, responden dapat memilih untuk memperbaiki jawabannya agar sesuai dengan asumsi
peneliti tentang dunia nyata seperti yang terungkap melalui pilihan jawaban.
Sebagai contoh, penelitian yang menggunakan pilihan jawaban untuk menilai frekuensi
perilaku tertentu telah menetapkan bahwa responden dapat menganggap bahwa pilihan jawaban
mencerminkan distribusi perilaku dalam populasi. Secara khusus, nilai pada rentang menengah
mencerminkan perilaku yang tipikal, sementara pilihan pada skala ekstrem mencerminkan perilaku
langka atau "abnormal". Asumsi ini mempengaruhi jawaban dengan berbagai cara. Dalam
beberapa kasus, responden dapat menggunakan berbagai pilihan jawaban sebagai kerangka acuan
dalam memperkirakan frekuensi perilaku mereka sendiri. Jika mereka melihat perilaku mereka
sebagai tipikal, mereka dapat memilih titik di dekat pilihan menengah tanpa mencoba menilai
frekuensi perilaku mereka secara lebih akurat.
 Sebagai ilustrasi, Tabel 4.4 memberikan hasil studi tentang penayangan TV oleh Schwarz
dkk. (1985). Dalam studi ini, setengah sampel responden disajikan pilihan frekuensi rendah di
sebelah kiri tabel dan setengah lainnya disajikan pilihan frekuensi tinggi di sebelah kanan. Seperti
yang ditunjukkan pada tabel, 16,2% responden yang disajikan pilihan frekuensi rendah
melaporkan penayangan harian 21⁄2 jam atau lebih, sementara 37,5% melakukannya saat
diberikan jawaban frekuensi tinggi. Artinya, pertanyaan dengan pilihan frekuensi tinggi
menghasilkan perkiraan yang lebih dari dua kali perkiraan yang diperoleh dengan pertanyaan yang
sama dengan menggunakan pilihan frekuensi rendah. Ada beberapa kemungkinan penjelasan
untuk ini.
Tabel 4.4 Jawaban terhadap Pertanyaan Penayangan TV untuk Dua Set Pilihan Jawaban

Pilihan Frekuensi Rendah Pilihan Frekuensi Tinggi

Persentase Persentase
Pilihan Jawaban Laporan Pilihan Jawaban Laporan
Sampai 1⁄2 jam 7.4 Sampai 21⁄2 jam 62.5
1⁄ sampai 1 jam 17.7 21⁄2 sampai 3 jam 23.4
2

1 sampai 11⁄2 jam 26.5 3 sampai 31⁄2 jam 7.8

11⁄2 sampai 2 jam 14.7 31⁄2 sampai 4 jam 4.7
2 sampai 21⁄2 jam 16.2 4 sampai 41⁄2 jam 0

Sumber: Data dari Schwarz dkk. (1985). Dicetak ulang dengan izin dari Universitas Chicago Press.
Salah satu penjelasannya adalah bahwa alih-alih mencoba mengingat seberapa sering
mereka melihat TV, banyak responden memperkirakan frekuensi ini menggunakan informasi
tentang frekuensi tayangan TV "tipikal" yang disajikan dalam pilihan jawaban. Untuk pilihan
frekuensi rendah, mereka berasumsi bahwa orang biasa menonton antara 1 dan 2 jam (yaitu,
pertengahan dari skala frekuensi rendah). Untuk pilihan frekuensi tinggi, mereka berasumsi bahwa
orang biasa menonton antara 3 dan 4 jam per hari. Bagaimanapun, jawaban tersebut mencerminkan
persepsi mereka tentang bagaimana penayangan TV dibandingkan dengan rata-rata orang.
Penjelasan lain untuk efeknya adalah adanya bias keinginan sosial. Dalam penelitian ini,
sampel terdiri dari mahasiswa yang dapat mengasosiasikan menonton TV yang berlebihan sebagai
karakteristik orang-orang yang tidak populer yang menyebabkan kehidupan sosial yang
membosankan. Jadi, secara sosial tidak diinginkan untuk menonton TV secara berlebihan. Untuk
menghindari munculnya gaya hidup yang tidak diinginkan secara sosial, responden dapat memilih
kategori jawaban dalam skala menengah, dengan asumsi frekuensi ini konsisten dengan perilaku
tipikal dan karenanya lebih dapat diterima secara sosial pada populasi.
Penjelasan ketiga adalah responden bingung dengan pertanyaan. Jika pertanyaannya
bertanya, "Rata-rata, kira-kira berapa jam per hari Anda menonton televisi ?," responden mungkin
menafsirkan istilah "menonton televisi" secara berbeda tergantung pada pilihan jawaban yang
diberikan. Ketika pilihan frekuensi tinggi disajikan, responden berasumsi bahwa yang peneliti
maksud adalah berada di ruangan yang sama dengan TV saat sedang menyala, terlepas dari
seberapa perhatian mereka menonton TV. Bila pilihan frekuensi rendah disajikan, responden dapat
menafsirkan istilah tersebut "menonton televisi" berarti menonton TV yang aktif dan penuh
perhatian.
Terlepas dari penjelasan mana yang benar, jelas dari contoh ini bahwa pilihan jawaban
yang diberikan untuk sebuah pertanyaan dapat memiliki efek mendalam pada tanggapan terhadap
pertanyaan tersebut melalui informasi yang mereka sampaikan tentang perilaku tipikal.
Pengeditan dan Komunikasi
Akhirnya, tahap terakhir dari proses jawaban adalah editing dan komunikasi. Pada tahap
sebelumnya, responden memahami maksud dari pertanyaan tersebut, mengambil informasi yang
dibutuhkan untuk menanggapi pertanyaan tersebut, dan menentukan kategori tanggapan, nilai,
atau jawaban yang paling tepat menggambarkan tanggapannya terhadap pertanyaan tersebut.
Sekarang pada tahap akhir ini, responden memutuskan apakah akan mengedit jawabannya, yaitu
apakah memberikan jawaban yang paling akurat atau yang telah diubah demi keinginan sosial atau
takut akan masalah keterbukaan, dan kemudian menyampaikan jawaban ini terhadap pewawancara
atau memilih kategori jawaban yang tepat. Beberapa jenis kesalahan dapat terjadi pada tahap ini -
kesalahan keinginan sosial, kesalahan takut akan pengungkapan, dan persetujuan - yang dibahas
di bawah ini.

Pada tahap akhir, pengeditan dan komunikasi, jawaban tersebut disampaikan kepada
peneliti, baik karena dirumuskan atau setelah dilakukan pengeditan oleh responden.

Seperti dijelaskan di atas, kesalahan keinginan sosial terjadi ketika seorang responden menentukan
bahwa jawabannya mungkin tidak dapat diterima secara sosial dan mengubahnya menjadi dapat
diterima secara sosial. Misalnya, responden yang minum alkohol dalam jumlah berlebihan
mungkin dengan sengaja mengurangi konsumsi mereka kepada pewawancara untuk menghindari
kemungkinan ketidaksetujuan pewawancara dari jumlah sebenarnya. Akibatnya, terjadi kesalahan
sistematis dalam data, dan konsumsi alkohol dalam populasi ditaksir terlalu rendah. Bias ini, yang
disebut sebagai bias keinginan sosial, sering terjadi dalam pengumpulan data sensitif seperti
perilaku seksual yang tidak dapat diterima secara sosial, penggunaan narkoba, pajak yang kurang
bayar, dan aktivitas ilegal lainnya dimana responden mungkin terlalu malu untuk mengungkapkan
perilaku mereka yang sebenarnya kepada pewawancara.
Karena pewawancara adalah katalis utama untuk kesalahan keinginan sosial, kesalahan ini
biasanya jauh lebih besar dalam survei wawancara daripada survei yang diisi sendiri. Oleh karena
itu, pengumpulan data yang diisi sendiri biasanya lebih disukai daripada cara pengisian
pewawancara sebagai metode pengumpulan data sensitif yang lebih akurat dalam survei.
Selanjutnya, ada beberapa bukti dalam literatur bahwa survei telepon sedikit lebih baik dalam
mengumpulkan data yang sesuai dalam bias keinginan sosial daripada wawancara tatap muka,
meskipun hal ini tidak selalu terjadi, seperti yang akan kita lihat di Bab 6.
Kesalahan ketakutan akan pengungkapan terjadi saat responden takut akan konsekuensi
menyediakan laporan survei yang akurat dan dengan demikian mengedit jawaban mereka.
Misalnya, seorang responden pendirian bisnis mungkin khawatir bahwa pesaing perusahaan dapat
memperoleh akses ke informasi kepemilikan yang diminta dalam survei tersebut. Seorang pencari
nafkah berpenghasilan tinggi yang menipu formulir pajak penghasilannya mungkin takut
mengatakan yang sebenarnya dalam survei tersebut karena akan menimbulkan masalah dengan
otoritas pajak. Dengan demikian, kesalahan ketakutan akan pengungkapan tidak harus dipengaruhi
oleh ada tidaknya pewawancara. Sebaliknya, hal ini disebabkan oleh kekhawatiran bahwa
informasi yang diberikan mungkin tidak dijaga anonim dan rahasia.
Seperti kesalahan keinginan sosial, kesalahan ketakutan akan pengungkapan biasanya
menyebabkan kesalahan sistematis dalam data dan dengan demikian bias dalam estimasi. Salah
satu cara untuk menghindari bias ketakutan terhadap pengungkapan adalah meyakinkan responden
bahwa jawaban mereka akan dijaga tetap anonim dan rahasia, jika memang ini masalahnya, dan
jika mungkin, melakukan tindakan pencegahan ekstra dalam survei untuk memastikan bahwa
jawaban survei tidak dapat dikaitkan dengan identitas responden. Namun, dalam beberapa kasus,
tindakan ini tidak memadai. Sebagai contoh, petani mungkin ragu untuk melaporkan pekerja
lapangan musiman yang tidak memiliki dokumentasi imigrasi yang sesuai dalam survei tenaga
kerja pertanian. Meskipun mereka mungkin memiliki kepercayaan terhadap jaminan kerahasiaan
laporan individual mereka, mereka mungkin masih takut secara kolektif, hasil survei akan
menunjukkan peningkatan penggunaan pekerja tak berdokumen oleh petani yang dapat
menyebabkan peningkatan tindakan oleh pihak berwenang untuk mencegah praktik ini. Dengan
demikian, mereka mungkin takut bahwa pengungkapan jujur tentang pekerja ini pada akhirnya
akan menyebabkan kenaikan harga yang mereka bayarkan untuk tenaga kerja pertanian.
Perilaku anjuran merupakan masalah potensial yang dapat terjadi selama tahap editing dan
komunikasi jawaban. Kesalahan ini terjadi ketika responden melaporkan karena mereka percaya
perancang atau pewawancara survei menginginkan yang demikian daripada melaporkan secara
akurat. Sebagai contoh, survei kepuasan konsumen cenderung memberikan opini penilaian
responden yang lebih positif terhadap produk dan layanan daripada kenyataan sebenarnya.
Responden sangat menyadari bahwa tanggapan yang menunjukkan kepuasan diinginkan dan oleh
karena itu cenderung untuk menyetujui ke arah tersebut. Untuk menghindari bias jenis ini,
perancang survei harus berusaha untuk merancang kuesioner survei kepuasan pelanggan yang
netral dalam kata-kata dan nada dan seimbang dengan memperhatikan pernyataan positif dan
negatif. Selanjutnya, karena responden dapat dipengaruhi oleh keberpihakan pewawancara atau
sponsor survei, survei kepuasan sering menggunakan pengisian sendiri dan sponsor survei yang
dipandang netral dan tidak memihak.
Contoh 4.3.6 Contoh survei yang dirancang untuk meminimalkan risiko bias keinginan
sosial dan ketakutan terhadap pengungkapan adalah Survei Rumah Tangga Nasional untuk
Penyalahgunaan Narkoba (NHSDA). NHSDA adalah survei rumah tangga yang dirancang untuk
mengukur aktivitas penggunaan obat terlarang dari populasi saat ini dan sebelumnya. Populasi
target mencakup semua orang yang tinggal di rumah tangga yang berusia 12 tahun ke atas. Data
narkoba dan demografi dikumpulkan dari masing-masing responden selama tahap wawancara
menggunakan kombinasi dari instrumen pewawancara dan instrumen pengisian sendiri. Rata-rata,
wawancara membutuhkan waktu sekitar satu jam untuk menyelesaikannya. Wawancara dimulai
dengan serangkaian pertanyaan diajukan oleh pewawancara yang dirancang untuk mengumpulkan
data tentang penggunaan rokok dan bentuk tembakau pada masa kini dan masa lalu. Pertanyaan
awal ini memungkinkan responden untuk terbiasa dengan format pertanyaan NHSDA.
 Sisa kuesioner dibagi menjadi beberapa bagian bersesuaian dengan masing-masing obat
yang diminati: alkohol, penggunaan obat penenang nonmedis, obat penenang, stimulan dan
analgesik non-medis, ganja, inhalansia, kokain, crack, halusinogen, dan heroin. Untuk setiap
bagian, pewawancara memberi lembar jawaban pada responden dan meminta mereka untuk
mencatat jawaban mereka. Bergantung pada kompleksitas lembar jawaban, pewawancara akan
membaca pertanyaan tersebut kepada responden atau, jika lebih disukai, responden dapat
membaca sendiri. Setelah menyelesaikan lembar jawaban, responden diminta untuk menempatkan
lembar jawaban dalam amplop tanpa membiarkan pewawancara melihat jawabannya. Motivasi
untuk melakukan wawancara dengan cara ini adalah memastikan responden mengerti pertanyaan
dan tidak keliru melompati bagian utama kuesioner,dan yang lebih penting, menjamin kerahasiaan
jawaban.
Sebagian besar lembar jawaban dirancang sedemikian rupa sehingga bahkan responden
yang tidak pernah menggunakan narkoba tertentu masih dapat menjawab setiap pertanyaan tentang
narkoba tersebut. Karena baik pengguna dan bukan pengguna narkoba diminta untuk menjawab
sejumlah pertanyaan yang sama, pewawancara cenderung menebak bahwa responden adalah
pengguna atau bukan berdasarkan waktu yang dibutuhkan responden untuk menyelesaikan lembar
jawaban. Ini adalah fitur lain dari survei yang dirancang untuk melindungi privasi responden.
Selain itu, beberapa responden melalui pertanayan langsung yang terindikasi tidak pernah
menggunakan narkoba kemudian akan menjawab pertanyaan tidak langsung dengan cara seolah-
olah pengguna narkoba. Redundan dalam kuesioner memberikan informasi tambahan penggunaan
narkoba bisa digunakan untuk mengimbangi underreporting pertanyaan langsung.
Contoh 4.3.7 Tabel 4.5 mengilustrasikan risiko takut akan pengungkapan atau bias
keinginan sosial pada berbagai topik yang mungkin disertakan di survei. Bradburn dkk. (1979)
melakukan suatu penelitian untuk mengidentifikasi topik yang responden rasa sensitif dan
mungkin terlalu personal sebagai topik survei, termasuk narkoba, konsumsi alkohol, pendapatan,
aktivitas seksual, perjudian, minum, dan olahraga. Mereka menawakan responden untuk menilai
topik dengan skala empat poin sesuai dengan seberapa tidak nyamannya mereka membuat
"kebanyakan orang": sangat tidak nyaman, agak tidak nyaman, sedikit tidak nyaman, atau sama
sekali tidak nyaman. Tabel 4.5 memberikan daftar item yang ditampilkan kepada responden,
bersama dengan persentase responden yang mengatakan bahwa mereka akan merasa "sangat tidak
nyaman" membahas topik di sebuah survei. Seperti yang terlihat dari tabel, perilaku seksual dan
narkoba berada di daftar peringkat paling bawah, bisa dimengerti karena yang pertama sering
memalukan atau, pada beberapa

Tabel 4.5 Persentase Yang Merasa Tidak Nyaman Mendiskusikan Beragam Topik di suatu
Survey

kasus, secara sosial tidak dapat diterima, dan yang terakhir adalah ilegal. Kegiatan olah raga dan
rekreasi sepertinya topik yang benar-benar diminati pembaca.
Contoh 4.3.8 Kami menyimpulkan bab ini dengan sebuah contoh teknik untuk menangkal bias
keinginan sosial dan takut keterbukaan, yang disebut dalam literatur sebagai randomized response
technique. Salah satu varian dari metode ini mengajukan dua pertanyaan kepada responden,
seperti: "Apakah Anda lahir di bulan Januari?" Dan "Apakah Anda melaporkan semua penghasilan
Anda dalam proses perpajakan tahun lalu?" Perhatikan bahwa satu pertanyaan tidak sensitif dan
yang lain berpotensi sensitif. Responden diminta untuk menjawab dengan "mereka sama" jika
jawaban atas kedua pertanyaan itu sama (yaitu, kedua tanggapan yang benar adalah "ya" atau
keduanya "tidak"). Jika tidak, responden diminta untuk menjawab dengan "mereka berbeda." Jika
peluang kelahiran pada bulan Januari dapat ditentukan untuk populasi (dapat sebagian besar dari
data sensus atau catatan populasi lainnya), tingkat kecurangan pajak dapat diperkirakan
menggunakan pendekatan estimasi statistik yang inovatif. Dengan cara ini, responden dapat
menghindari mengungkapkan jawaban mereka yang sebenarnya terhadap pertanyaan langsung
mengenai kecurangan pajak.
Metode randomized response yang pertama kali diterbitkan oleh Warner (1965), pada awalnya
dianggap sebagai terobosan dalam survei pengumpulan data sensitif. Danermark dan Swensson
(1987) menyajikan contoh keberhasilan penerapan variasi metode ini untuk memperkirakan
pengguna narkoba di sekolah, dan terdapat puluhan aplikasi lain yang dibahas dalam literatur,
namun metode tersebut belum sampai pada tingkat penggunaan praktik dalam kerja survei yang
diantisipasi pada akhir 1960an. Misalnya, responden tidak selalu mengerti bahwa jawaban mereka
memang dilindungi. Selanjutnya, perangkat pengacakan terkadang digunakan ( miniatur roda
rolet, bungkus kartu, dll.) belum dianggap serius sebagai bagian dari penelitian survei oleh
beberapa anggota sampel dalam berbagai aplikasi. Juga, untuk menjalankan metode respons acak
untuk beberapa pertanyaan survei dapat mengganggu dan tidak praktis.

Untuk penanganan lengkap masalah desain kuesioner dan metode-metode yang menerapkan
banyak prinsip dijelaskan dalam bab ini, kami merekomendasikan Converse dan Presser (1986),
Sudman dan Bradburn (1982), Bradburn dkk. (1979), Dillman (2000), Schwarz dan Sudman
(1996), dan Tanur (1992). Selain itu, untuk buku yang membahas secara komprehensif kesalahan
pengukuran dalam survei, kami merekomendasikan Biemer dkk. (1991), Groves (1989), Groves
et al. (1988), Lyberg dkk. (1997), Rossi dkk. (1983), dan Turner dan Martin (1984).