Using paradata to predict best times of contact, conditioning on household and interviewer

influences

Tujuan : Makalah ini bertujuan untuk membangun dan meningkatkan model kecenderungan respon
berdasarkan paradata untuk memprediksi kemungkinan kontak pada setiap panggilan,
pengkondisian pada karakteristik rumah tangga dan pewawancara

Key Research Question:

1) Kapan waktu terbaik dalam sehari dan hari dalam seminggu untuk menjalin kontak?
2) Kapan waktu terbaik untuk menjalin kontak dengan jenis rumah tangga tertentu, khususnya
rumah tangga yang umumnya lebih sulit dihubungi?
3) Sejauh mana membangun kontak dan keberhasilan waktu panggilan bergantung pada
karakteristik pewawancara?

 Sampai saat ini, analisis paradata dan perilaku menelepon pewawancara, khususnya untuk
survei tatap muka, masih terbatas. Sebagian besar penelitian ini berfokus pada rata-rata waktu
terbaik dalam sehari dan hari dalam seminggu untuk menjalin kontak, tanpa mengontrol
karakteristik rumah tangga dan informasi panggilan sebelumnya (mis.dkk. (1980)).
 Kami menggunakan analisis riwayat peristiwa waktu diskrit bertingkat (Steeledkk., 2004) untuk
memodelkan kecenderungan kontak, memungkinkan efek rumah tangga, pewawancara, dan
area dalam model klasifikasi silang. Model mengkondisikan informasi yang tersedia untuk setiap
rumah tangga, seperti dari data administratif dan panggilan sebelumnya, dan menyertakan data
rekaman panggilan sebagai kovariat waktu yang bervariasi

 Hasil :
Tabel 1 menunjukkan probabilitas kontak pada panggilan pertama berdasarkan waktu dan
hari dalam seminggu. Sejauh ini waktu paling populer untuk menelepon adalah sore hari
kerja, diikuti malam hari kerja dan pagi hari kerja, dengan penurunan yang jelas dalam
frekuensi panggilan dari awal hingga akhir minggu untuk semua waktu dalam sehari.
Beberapa panggilan dilakukan pada akhir pekan, khususnya pada hari Minggu, karena
praktik kerja pewawancara. Menelepon pada malam hari kerja menghasilkan probabilitas
kontak tertinggi, dengan probabilitas yang sangat tinggi menjelang awal minggu dan
menurun setelahnya. Panggilan akhir pekan juga menghasilkan kemungkinan respons yang
lebih tinggi, dengan Minggu malam menunjukkan pola yang serupa dengan malam hari kerja
awal (Senin–Rabu). Waktu paling produktif berikutnya untuk menelepon adalah sore hari
kerja. Pagi hari kerja umumnya merupakan waktu terburuk untuk menjalin kontak. Selama
seminggu, sore hari lebih baik daripada pagi hari tetapi sebaliknya di akhir pekan. Temuan
indikatif ini sebagian besar mendukung kesimpulan penelitian sebelumnya, bahwa malam
 hari dan akhir pekan adalah waktu yang optimal untuk menelepon (Minggu dkk., 1980;
Swires-Hennessy dan Drake, 1992; Purdondkk., 1999; Groves dan Couper, 1998)

 Karakteristik rumah tangga sensus

Tingkat kontak untuk pagi hari kerja (Senin-Rabu) atau sore hari (Senin-Jumat) lebih
tinggi untuk rumah tangga tanpa orang dewasa yang bekerja daripada rumah tangga dengan
setidaknya satu penduduk yang bekerja (Tabel 3), seperti yang diharapkan. Efek sebaliknya
ditemukan untuk malam hari. Untuk rumah tangga dengan orang dewasa dalam pekerjaan,
kemungkinan kontak untuk malam hari kerja dan akhir pekan lebih tinggi daripada rumah
tangga pengangguran. Ada kemungkinan kontak yang lebih rendah untuk rumah tangga
dengan orang dewasa yang bekerja pada pagi hari di akhir pekan dibandingkan dengan
rumah tangga yang menganggur, tetapi pada sore hari di akhir pekan kinerjanya sangat
mirip. (Indikator apakah ada orang dewasa yang bekerja juga tersedia dari kuesioner
observasi pewawancara. Sekali lagi karena kualitas data data sensus yang lebih tinggi, kami
memasukkan ukuran sensus dalam model akhir.
Pewawancara memiliki kesempatan yang baik untuk menemukan seseorang di
rumah selama seminggu jika ada setidaknya satu pensiunan di rumah tangga. Kami melihat
probabilitas kontak yang sangat tinggi pada siang hari di bagian awal minggu untuk rumah
tangga pensiunan. Malam hari kerja juga merupakan waktu yang baik untuk menjalin kontak
dengan para pensiunan. Dibandingkan dengan jenis rumah tangga lainnya, tingkat kontak
rumah tangga dengan pensiunan relatif rendah pada akhir pekan, terutama pagi hari. Ini
mungkin sebagian dijelaskan oleh orang tua yang lebih cenderung memiliki komitmen
keagamaan pada hari Minggu misalnya. Untuk rumah tangga tanpa pensiunan malam hari
kerja dan pagi akhir pekan adalah waktu terbaik untuk menelepon

 Temuan kami dapat diringkas sebagai berikut.

a) Hasil mendukung temuan sebelumnya bahwa malam hari kerja dan waktu akhir
pekan, rata-rata, adalah waktu terbaik untuk menelepon. Selanjutnya, kami
menemukan bahwa waktu terbaik untuk menelepon tergantung pada karakteristik
rumah tangga, terutama penanda pola di rumah. Perbedaan waktu panggilan yang
optimal telah ditemukan, misalnya berdasarkan jenis akomodasi dan keberadaan
anakanak, pensiunan atau orang yang menganggur.
b) Ada bukti substansial bahwa pengamatan pewawancara tentang rumah tangga dan
lingkungan sekitar berguna untuk memprediksi waktu kontak terbaik. Variabel
 observasi pewawancara adalah prediksi kontak sebelum dan sesudah mengontrol
informasi tambahan tentang rumah tangga (dari sensus dalam penelitian ini).
c) Kami menemukan variabel tingkat area merupakan prediksi kontak sebelum
mengontrol variabel rumah tangga dan panggilan lainnya tetapi tidak signifikan
dalam model akhir. Oleh karena itu, dengan tidak adanya informasi tambahan,
karakteristik area berguna untuk memprediksi kontak.
d) Kami telah menemukan efek signifikan dari karakteristik pewawancara pada kontak.
Penting dalam menjelaskan perbedaan pewawancara adalah tingkat gaji, kualifikasi
dan usia. Pengalaman pewawancara tidak dianggap penting setelah mengendalikan
faktor-faktor ini. Ada bukti bahwa beberapa pewawancara mungkin lebih efektif
dalam menjalin kontak pada waktu-waktu tertentu, yang mungkin menunjukkan
penilaian yang lebih baik tentang kapan sebaiknya menelepon. Ada sedikit dukungan
empiris untuk hipotesis bahwa beberapa pewawancara lebih berhasil menjalin
kontak dengan rumah tangga yang lebih sulit, seperti rumah tangga tunggal.
e) Sangat menarik untuk mengetahui apakah strategi pewawancara tertentu
membantu dalam menjalin kontak. Model kami menunjukkan beberapa efek
signifikan dari strategi tersebut; misalnya kemungkinan kontak lebih tinggi pada
panggilan berikutnya jika pewawancara meninggalkan kartu atau pesan. Hasil kami
juga menunjukkan bahwa strategi pewawancara yang diukur pada tingkat panggilan
atau rumah tangga memiliki kekuatan prediksi yang lebih besar daripada
pengukuran di tingkat pewawancara. Kami juga menemukan beberapa indikasi
bahwa mengubah waktu panggilan dapat menyebabkan tingkat kontak yang lebih
tinggi, khususnya saat beralih ke panggilan malam dan akhir pekan.

Hasilnya memiliki implikasi luas untuk praktik survei. Mereka dapat menginformasikan
desain perilaku menelepon yang efisien dan efektif dan tindak lanjut serta desain survei responsif
untuk meningkatkan tingkat respons dan berpotensi mengurangi bias non-respons. Jenis model yang
disajikan dapat digunakan untuk memprediksi kemungkinan kontak pada panggilan berikutnya,
mengkondisikan informasi yang diketahui oleh organisasi survei atau pewawancara pada setiap titik
waktu—bahkan tanpa adanya informasi seperti di sini dari sensus. Selanjutnya, kemungkinan kontak
untuk berbagai jenis rumah tangga dapat diturunkan dari pengkondisian karakteristik rumah tangga
yang mungkin diketahui oleh organisasi survei sebelum atau selama pengumpulan data. Karena
keterbatasan waktu dan sumber daya staf, tidak semua panggilan dapat dilakukan di malam hari dan
pada akhir pekan dan organisasi survei perlu membuat keputusan yang tepat tentang rumah tangga
mana yang harus dihubungi pada siang hari. Dengan mengidentifikasi jenis rumah tangga yang
memiliki peluang tinggi untuk dihubungi pada siang hari, lembaga survei dapat mengalokasikan staf
dan sumber daya waktu secara lebih efisien. Fokusnya adalah pada survei tatap muka tetapi
beberapa temuan mungkin berlaku juga untuk survei telepon.
Studi ini menyoroti manfaat dari informasi sebelumnya tentang unit sampel untuk
meningkatkan prediksi kontak, dan lembaga survei harus memanfaatkan kemungkinan hubungan
data untuk meningkatkan informasi yang tersedia tentang setiap rumah tangga atau daerah.
Informasi tambahan tersebut dapat berasal dari kerangka sampling, register atau data administratif,
serta gelombang sebelumnya dalam kasus studi longitudinal—tersedia sebelum pengumpulan data.
Informasi juga dapat berasal dari pengamatan pewawancara yang diperoleh selama pengumpulan
data.