Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.

com

Metode Psikologis © 2012 Asosiasi Psikologi Amerika

2012, Jil. 17, No. 3, 437– 455 1082-989X/12/$12.00 DOI: 10.1037/a0028085

Mengidentifikasi Respon Ceroboh dalam Data Survei

Adam W. Meade dan S. Bartholomew Craig

Universitas Negeri Carolina Utara

Ketika data dikumpulkan melalui survei Internet anonim, khususnya dalam kondisi partisipasi wajib (seperti dengan
sampel siswa), kualitas data dapat menjadi perhatian. Namun, ada sedikit panduan dalam literatur yang diterbitkan
mengenai teknik untuk mendeteksi respons yang ceroboh. Sebelumnya beberapa pendekatan potensial telah
disarankan untuk mengidentifikasi responden yang ceroboh melalui indeks yang dihitung dari data, namun hampir
tidak ada pekerjaan sebelumnya yang meneliti hubungan di antara indikator ini atau jenis pola data yang diidentifikasi
oleh masing-masing. Dalam 2 studi, kami memeriksa beberapa metode untuk mengidentifikasi respons yang ceroboh,
termasuk (a) item khusus yang dirancang untuk mendeteksi respons yang ceroboh, (b) indeks konsistensi respons yang
dibentuk dari respons terhadap item survei yang khas, (c) analisis outlier multivariat, (d) respons waktu, dan (e)
ketekunan yang dilaporkan sendiri. Hasil menunjukkan bahwa ada dua pola berbeda dari respons ceroboh (acak dan
non-acak) dan bahwa indeks yang berbeda diperlukan untuk mengidentifikasi pola respons yang berbeda ini. Kami
juga menemukan bahwa sekitar 10% -12% mahasiswa yang menyelesaikan survei panjang untuk kredit kursus
diidentifikasi sebagai responden yang ceroboh. Dalam Studi 2, kami mensimulasikan data dengan pola respons acak
yang diketahui untuk menentukan kemanjuran beberapa indikator respons ceroboh. Kami menemukan bahwa sifat
data sangat mempengaruhi kemanjuran indeks untuk mengidentifikasi tanggapan yang ceroboh. Rekomendasi
termasuk menggunakan respons yang teridentifikasi daripada yang anonim, memasukkan item respons yang
diinstruksikan sebelum pengumpulan data, serta menghitung indeks konsistensi dan analisis outlier multivariat untuk
memastikan data berkualitas tinggi.

Kata kunci: respons ceroboh, respons acak, penyaringan data, pembersihan data, pemodelan campuran

Dalam semua jenis penelitian berdasarkan tanggapan survei, tanggapan
yang lalai atau ceroboh menjadi perhatian. Sementara secara historis tingkat
dasar menanggapi ceroboh atau lalai telah diasumsikan rendah (Johnson,
2005), ada alasan untuk percaya bahwa menanggapi ceroboh mungkin
menjadi perhatian dalam penelitian survei berbasis Internet kontemporer,
terutama dengan sampel siswa. Meskipun ada banyak keuntungan
pengumpulan data berbasis Internet, kurangnya kontrol lingkungan dapat
menyebabkan penurunan kualitas data (Buchanan, 2000; Johnson, 2005). Oleh
karena itu, penting bagi peneliti untuk dapat menyaring data tersebut untuk
tanggapan yang ceroboh, sebagian acak, atau tidak memperhatikan. Data
tersebut dapat menyebabkan variabilitas dalam kelompok palsu dan
keandalan yang lebih rendah (Clark, Gironda, & Young, 2003), yang, pada
gilirannya, akan melemahkan korelasi dan berpotensi membuat kesalahan
Tipe II dalam pengujian hipotesis. Sampel siswa yang menyumbangkan data
melalui formulir berbasis web di bawah kondisi yang tidak diawasi mungkin
sangat rentan terhadap tingkat yang substansial dari respons yang tidak
memperhatikan atau sebagian acak.
Studi yang dijelaskan di sini membuat beberapa kontribusi signifikan
terhadap literatur. Pertama, kami memberikan penyelidikan pertama
dari serangkaian metode komprehensif untuk menyaring respons yang
ceroboh dan memberikan pemahaman tentang cara mereka
berhubungan satu sama lain dan respons data yang diamati. Kedua,
kami memeriksa struktur kelas laten dari responden sarjana yang khas
Artikel ini diterbitkan Online Pertama 16 April 2012.
Adam W. Meade dan S. Bartholomew Craig, Departemen Psikologi,
Universitas Negeri Carolina Utara.
Korespondensi mengenai artikel ini harus ditujukan kepada Adam W.
Meade, Departemen Psikologi, North Carolina State University, Campus
Box 7650, Raleigh, NC 27695-7650. Email: awmeade@ncsu.edu
sampel menggunakan analisis profil laten dan pemodelan
campuran faktor, mengungkapkan pola data yang umum di antara
responden yang ceroboh. Ketiga, kami memberikan perkiraan
prevalensi respons ceroboh dalam sampel penelitian survei sarjana.
Keempat, kami memeriksa peran set instruksi (anonim vs.
diidentifikasi) serta kemanjuran waktu respons dan indikator
laporan diri dari respons yang ceroboh.
Apa Itu Respons yang Ceroboh, dan Mengapa?
Itu Penting?
Ada beberapa aspek untuk "kualitas" data. Dalam studi ini, kami fokus
pada data mentah, yang disediakan langsung oleh responden, yang tidak
secara akurat mencerminkan tingkat konstruk yang sebenarnya diukur
oleh responden. Meskipun ada beberapa alasan mengapa responden
dapat memberikan tanggapan yang tidak akurat terhadap pertanyaan
survei, Nichols, Greene, dan Schmolck (1989) menggambarkan dua jenis
tanggapan bermasalah. Yang pertama mereka sebutpemalsuan
responsif konten, yang memiliki dua ciri: (a) tanggapan dipengaruhi oleh
konten item tetapi (b) tidak sepenuhnya akurat. Pemalsuan responsif
konten dapat digambarkan lebih lanjut menjadi pemalsuan yang
disengaja (misalnya, berpura-pura, perhatian umum pada instrumen
klinis seperti Minnesota Multiphasic Personality Inventory [MMPI-2];
Berry, Baer, & Harris, 1991; Rogers, Sewell, Martin, & Vitacco, 2003) dan
respons yang diinginkan secara sosial dari varietas yang disengaja dan
tidak disengaja (Paulhus, 1984).
Fokus utama dari studi saat ini adalah pada Nichols et al. (1989)
kategori kedua dari bias respon: konten nonresponsivitas, yang
didefinisikan sebagai merespons tanpa memperhatikan konten item. Ini
akan mencakup tanggapan yang telah dideskripsikan secara beragam
sebagai tanggapan acak (Beach, 1989; Berry et al., 1992), ceroboh

437
438 MEADE DAN CRAIG
merespons (Curran, Kotrba, & Denison, 2010), dan ketidakabsahan
protokol (Johnson, 2005). Ada beberapa pola data yang dapat dihasilkan
dari situasi seperti itu. Misalnya, beberapa orang mungkin secara acak
memilih dari semua opsi respons pada skala. Orang lain mungkin
menggunakan pola non-acak, seperti memberikan banyak item
berurutan respons "4," atau mengulangi pola "1, 2,
3, 4, 5. . ..” Kami lebih suka istilahleha atau ceroboh
tanggapan, bukan acak respon, karena data yang dihasilkan
mungkin tidak acak.
Kekhawatiran dengan responden seperti itu bukanlah hal baru.
Tindakan klinis seperti MMPI-2 telah lama mengandung skala khusus
yang dimaksudkan untuk mendeteksi respons yang menipu dengan
sengaja (misalnya, skala MMPI-2 Lie; Berry et al., 1992; Berry, Wetter, et
al., 1991) dan kurangnya konsistensi pada item yang cenderung dijawab
oleh responden yang penuh perhatian dengan cara yang sama
(misalnya, skala Inkonsistensi Respons Variabel MMPI-2 [VRIN] dan
Inkonsistensi Respons Benar [TRIN]). Skala serupa telah dikembangkan
untuk ukuran kepribadian, seperti NEO Personality Inventory (NEO-PI;
Kurtz & Parrish, 2001; Schinka, Kinder, & Kremer, 1997).
Ada beberapa alasan untuk khawatir tentang respons yang lalai atau
ceroboh. Pertama dan mungkin yang paling intuitif, kumpulan data
"bersih" sangat diinginkan dan penyaringan data untuk menghapus
kasus dengan tanggapan yang tidak sesuai biasanya direkomendasikan
sebagai bagian dari proses analitik data (misalnya, Tabachnick & Fidell,
2007). Sayangnya, rekomendasi umum biasanya hanya memerlukan
metode penyaringan data sepintas, seperti analisis outlier univariat, yang
efektivitasnya didasarkan pada asumsi bahwa respons yang ceroboh
atau lalai jarang terjadi atau sangat besar. Selain itu, analisis outlier
univariat tipikal tidak dapat mendeteksi respons ceroboh dalam kasus di
mana responden memilih opsi respons umum seperti opsi respons
tengah.
Alasan kedua untuk khawatir dengan respons yang ceroboh adalah
bahwa mereka dapat memiliki implikasi psikometrik yang serius. Hal ini
terutama benar ketika survei diberikan untuk tujuan pengembangan
skala, karena pengembangan item sebagian besar didasarkan pada
interkorelasi item (Hinkin, 1998). Tanggapan acak merupakan varians
kesalahan, yang melemahkan korelasi, mengurangi perkiraan keandalan
konsistensi internal, dan berpotensi menghasilkan hasil analisis faktor
yang salah. Tanggapan lalai nonrandom mungkin memiliki efek tak
terduga pada korelasi antara item. Dalam salah satu dari sedikit studi
tentang topik ini, Johnson (2005) menggambarkan bagaimana struktur
faktor berbeda untuk subsampel yang diidentifikasi sebagai responden
yang memiliki tujuan dan ceroboh. Selain itu, respons yang ceroboh pada
item yang dikodekan terbalik dapat berkontribusi pada adanya apa yang
disebut faktor "metode", di mana item dengan kata-kata positif untuk
skala tertentu memuat ke satu faktor, sementara item dengan kata-kata
negatif untuk skala yang sama memuat ke faktor lain (Woods, 2006).
Woods (2006) menemukan bahwa model konfirmasi faktor tunggal tidak
cocok dalam kasus seperti itu, ketika hanya 10% -20% responden
ceroboh dengan item kode terbalik (lihat juga Huang, Curran, Keeney,
Poposki, & DeShon, 2012).
Tarif dasar
Relatif sedikit penelitian yang meneliti prevalensi respons lalai, dan di
antara yang memiliki, perkiraan prevalensi sangat bervariasi. Banyak dari
perbedaan dalam perkiraan ini dapat dikaitkan dengan metode yang
digunakan untuk menilai respons yang ceroboh. Misalnya, Johnson
(2005) mengutip tarif dasar 3,5% untuk respons yang ceroboh;
namun studi Johnson menampilkan responden International
Personality Item Pool (IPIP; Goldberg, 1999) yang secara sukarela
mencari dan menyelesaikan pengukuran di Internet. Responden
seperti itu cenderung jauh lebih termotivasi daripada sampel
universitas pada umumnya. Selain itu, kriteria indeks konsistensi
statistik yang agak ketat harus dipenuhi sebelum tanggapan dinilai
sebagai lalai. Demikian pula, Ehlers, Greene-Shortridge, Weekley,
dan Zajack (2009) memperkirakan respons acak sekitar 5% dalam
sampel pelamar kerja mereka, yang kemungkinan termotivasi untuk
merespons dengan rajin. Curran dkk. (2010) meneliti tiga indikator
respons acak terhadap kuesioner kepuasan kerja dan menemukan
prevalensi sekitar 5%, 20%, atau 50% di antara sampel besar
responden karyawan, tergantung pada kriteria di mana para peneliti
mendefinisikan respons lalai. Varians dalam hasil mereka menyoroti
pentingnya indeks yang dipilih sebagai indikator respons yang
ceroboh. Kurtz dan Parish (2001) menemukan prevalensi respon
acak menjadi 10,6% dengan mahasiswa menyelesaikan Revisi NEO-
PI (NEO-PI-R; Costa & McCrae, 2008) untuk kredit kursus. Namun,
hasil mereka membuat mereka mempertanyakan kemanjuran
indeks yang mereka gunakan untuk mengklasifikasikan orang
sebagai lalai.
Satu kesamaan di semua studi ini adalah bahwa mereka menggunakan indeks konsistensi yang
dihitung dengan membandingkan tanggapan dari item di lokasi yang berbeda dalam survei.
Sementara indikator tersebut berguna untuk mengidentifikasi responden yang merespon dengan
sembarangan dengan cara yang sangat luas, kami berpendapat bahwa sangat sedikit orang yang
akan merespon dalam pola acak langsung di seluruh survei. Kami percaya bahwa kemungkinan besar
responden hanya akan merespon sebentar-sebentar tanpa perhatian. Pekerjaan sebelumnya
mendukung gagasan ini. Misalnya, Berry et al. (1992) menemukan bahwa di tiga studi, 50%-60%
responden mahasiswa mengaku melalui laporan diri untuk menjawab secara acak pada satu atau
lebih item MMPI-2. Demikian pula, Baer, Ballenger, Berry, dan Wetter (1997) menemukan bahwa 73%
responden MMPI-2 yang dilaporkan sendiri menanggapi dengan ceroboh satu atau lebih item. Berry
dkk. (1992) menemukan bahwa bahkan di antara responden yang menyelesaikan MMPI-2 sebagai
bagian dari lamaran pekerjaan, 52% melaporkan diri menanggapi dengan tidak memperhatikan
setidaknya satu item. Namun, dalam ketiga studi tersebut, proporsi keseluruhan item yang responden
mengakui respon ceroboh kecil. Singkatnya, tampak bahwa relatif sedikit responden yang
memberikan tanggapan yang benar-benar acak di sepanjang survei. Namun, tampaknya respon
ceroboh sesekali untuk sejumlah item mungkin cukup umum. proporsi keseluruhan item yang
responden mengaku respon ceroboh kecil. Singkatnya, tampak bahwa relatif sedikit responden yang
memberikan tanggapan yang benar-benar acak di sepanjang survei. Namun, tampaknya respon
ceroboh sesekali untuk sejumlah item mungkin cukup umum. proporsi keseluruhan item yang
responden mengaku respon ceroboh kecil. Singkatnya, tampak bahwa relatif sedikit responden yang
memberikan tanggapan yang benar-benar acak di sepanjang survei. Namun, tampaknya respon
ceroboh sesekali untuk sejumlah item mungkin cukup umum.
Faktor-Faktor yang Mempengaruhi Respons Ceroboh
Minat Responden
Jelas bahwa keterlibatan responden dalam proses respon sangat penting
(Schwarz, 1999; Tourangeau, Rips, & Rasinski, 2000). Ketika responden
memiliki minat yang tulus dalam survei, misalnya tes seleksi pekerjaan atau
survei umpan balik, tanggapan yang tidak hati-hati cenderung tidak terjadi
(walaupun jenis bias lain, seperti presentasi diri, dapat terjadi). Ini terutama
benar ketika partisipasi survei bersifat opsional dan orang yang tidak tertarik
dapat memilih untuk tidak ikut. Dalam penelitian saat ini, kami fokus pada
mungkin sumber data yang paling umum dalam penelitian psikologis,
mahasiswa (Gordon, Slade, & Schmitt, 1986). Penelitian survei secara rutin
menggunakan sampel seperti itu, terutama untuk tugas-tugas seperti
pengujian sampel besar baru
 RESPON CEPAT
Pengukuran. Di sebagian besar universitas di Amerika Serikat,
siswa biasanya setuju untuk berpartisipasi dalam studi
penelitian dengan imbalan kredit yang memenuhi beberapa
jenis kewajiban kursus. Sementara dewan peninjau institusional
mengamanatkan bahwa alternatif, seperti menulis makalah
dengan panjang yang sesuai, tersedia, banyak siswa
menganggap alternatif tersebut menjadi lebih memberatkan
dan dengan demikian menjadi anggota kelompok peserta.
Perbedaan individu di antara anggota populasi semacam itu
cukup besar, dan banyak peserta secara aktif tertarik dan
terlibat dalam proses penelitian. Namun, yang lain mungkin
menjadi peserta yang enggan atau mungkin membenci proses
tersebut (Schultz, 1969). Sementara insentif motivasi kadang-
kadang dapat digunakan,
Selain itu, sementara beberapa studi berbasis lab bisa sangat
menarik secara kognitif, partisipasi survei cenderung pasif, karena
ada interaksi minimal antara peneliti dan peserta. Tampaknya agak
tidak mungkin bahwa akan ada minat intrinsik yang kuat dalam
menyelesaikan survei untuk sebagian besar mahasiswa karena
umpan balik jarang diberikan kepada peserta.
Panjang Survei
Survei yang lebih lama membutuhkan upaya yang lebih
berkelanjutan dari responden dan sebagian besar tes
kepribadian modern memiliki ukuran yang panjang. Misalnya,
NEO-PI-R (Costa & McCrae, 2008) berisi 240 item tipe Likert,
Formulir Restrukturisasi MMPI-2 (MMPI-2-RF; Ben-Porath &
Tellegen, 2008) berisi 338 item benar/salah , 16PF (versi ke-5;
Cattell, Cattell, & Cattell, 1993) berisi 185 item pilihan ganda,
dan California Personality Inventory (Gough & Bradley, 1996)
berisi 434 pertanyaan benar-salah. Tampaknya masuk akal
untuk mengharapkan perhatian responden berkurang selama
survei yang panjang tersebut. Memang, responden lebih
cenderung untuk melaporkan diri menanggapi secara acak
menuju pertengahan atau akhir pengukuran survei yang
panjang (Baer et al., 1997; Berry et al., 1992).
Kontak sosial
Sebagai interaksi sosial, norma sosial mengatur partisipasi dalam
penelitian. Dillman, Smyth, Christian, dan Dillman (2009) model desain
survei yang sangat populer (awalnya dikembangkan untuk survei surat)
menekankan komunikasi yang dirancang khusus untuk meningkatkan
interaksi sosial antara peneliti dan responden. Dalam pengaturan
universitas, penelitian survei jarang memiliki keunggulan dari beberapa
komunikasi dan metode lain yang dianjurkan oleh Dillman et al.
Penelitian survei kertas-dan-pensil di lingkungan universitas biasanya
berlangsung dalam pengaturan yang diawasi yang melibatkan
komunikasi langsung antara peneliti (atau asisten) dan responden
melalui interaksi tatap muka. Survei berbasis internet bukanlah hal baru
tetapi mewakili perubahan tingkat kontak sosial dari survei kertas dan
pensil sebelumnya di lingkungan universitas. Johnson (2005)
berpendapat bahwa jarak fisik dan kurangnya personalisasi yang
diperkenalkan oleh administrasi online dapat mengakibatkan kurang
akuntabilitas dan dengan demikian lebih banyak pola respons yang tidak
diinginkan. Kami percaya efek ini dapat diperburuk oleh anonimitas
selama proses respons. Anonimitas online telah terbukti mengurangi
akuntabilitas pribadi yang mengarah ke potensi yang lebih besar untuk
439
perilaku negatif, seperti memposting komentar negatif dalam
kelompok diskusi (Douglas & McGarty, 2001; Lee, 2006).
Gangguan Lingkungan
Mungkin kerugian terbesar dari survei Internet adalah
kurangnya pengaturan yang terkontrol. Survei online hanya
memerlukan akses Internet—lingkungan sama sekali tidak
terkendali. Bahkan responden yang termotivasi dan teliti
mungkin menghadapi gangguan atau menempatkan diri
mereka di lingkungan yang rentan terhadap gangguan
(televisi, dll.). Survei terbaru (Carrier, Cheever, Rosen,
Benitez, & Chang, 2009; Montgomery, 2007) mendukung
akun pers populer (Wallis, 2006) menunjukkan bahwa
generasi muda lebih cenderung mencoba melakukan
banyak tugas daripada generasi sebelumnya. Meskipun ada
sedikit penelitian khusus survei,
Ringkasan
Studi survei berbasis internet yang menggunakan mahasiswa sarjana mungkin
melihat minat responden intrinsik yang rendah, tindakan yang lama, hampir tidak
ada pertukaran sosial, dan kontrol yang sangat sedikit terhadap lingkungan. Dalam
hal kondisi yang mungkin kondusif untuk mengumpulkan data berkualitas tinggi,
situasinya sangat buruk (Buchanan, 2000).
Metode untuk Mengidentifikasi Responden yang Ceroboh
Metode penyaringan untuk respons yang ceroboh dapat dibagi menjadi
dua jenis. Jenis pertama membutuhkan item atau timbangan khusus untuk
dimasukkan ke dalam survei sebelum diberikan. Salah satu versi dari item-item
ini adalah item-item yang secara diam-diam mencoba mengindeks kepedulian
responden sebagai tanggapan, atau menandai item-item yang tidak hati-hati
membaca batang item. Contohnya termasuk keinginan sosial (misalnya,
Paulhus, 2002) dan skala kebohongan (misalnya, MMPI-2 Skala kebohongan),
item yang tidak masuk akal atau "palsu" (misalnya, Beach, 1989), skala khusus
yang dirancang untuk menilai respons yang konsisten (misalnya, MMPI -2
skala VRIN dan TRIN), dan item respons yang diinstruksikan (misalnya, "Untuk
memantau kualitas, harap balas dengan dua untuk item ini"). Versi kedua
mencakup ukuran laporan diri dari kualitas respons yang ditempatkan di akhir
survei.
Jenis penyaringan luas kedua dapat digambarkan sebagai post hoc
karena metode ini tidak memerlukan item khusus tetapi melibatkan
analisis khusus setelah pengumpulan data selesai. Ada beberapa indeks
yang dapat dihitung post hoc untuk mengidentifikasi respon ceroboh.
Tipe umum pertama dapat dianggap sebagai indeks yang mengindeks
konsistensi respons.Indeks konsistensi biasanya cocok item yang sangat
mirip baik berdasarkan fungsi yang dirancang mereka (yaitu, yang
membangun item itu ditulis untuk mengukur) atau berdasarkan korelasi
empiris antara item. Kurangnya tanggapan yang konsisten kemudian
ditunjukkan oleh beberapa jenis penyimpangan di antara tanggapan
terhadap item yang serupa atau korelasi dalam-orang di seluruh
pasangan item. Beberapa indeks tersebut tersedia dan diarahkan untuk
mengidentifikasi responden yang tidak merespon secara konsisten di
item serupa. Variasi dari masing-masing pendekatan ini diperiksa dalam
studi saat ini dan dirinci di bagian metode.
440 MEADE DAN CRAIG
Varian dari pendekatan konsistensi, yang kami sebut indeks pola
respons, dimaksudkan untuk mengidentifikasi orang yang merespons
terlalu konsisten untuk item mengukur konstruksi secara teoritis
berbeda. Indeks ini biasanya dihitung dengan memeriksa jumlah item
berturut-turut yang responden telah menunjukkan pilihan respon yang
sama. Menganggap item dipesan secara sewenang-wenang,
pemanfaatan berlebihan dari satu opsi respons dapat dianggap sebagai
indeks respons yang ceroboh.
Kelas umum kedua dari indeks adalah indeks outlier. Ketika
analisis outlier univariat mungkin memiliki beberapa kegunaan untuk
mengidentifikasi kasus ekstrim, pendekatan multivariat seperti jarak
Mahalanobis jauh lebih tepat, karena mereka mempertimbangkan pola
tanggapan di serangkaian item. Dengan demikian, serangkaian respons
untuk item skala tertentu mungkin tampak sangat tidak mungkin melalui
ukuran jarak, meskipun setiap respons item individual mungkin tidak.
Pendekatan tambahan adalah untuk memeriksa waktu respon studi.
Biasanya pendekatan ini menempatkan hubungan nonlinier antara
waktu respons dan kualitas respons sedemikian rupa sehingga respons
yang sangat cepat dianggap ceroboh, namun begitu beberapa ambang
diidentifikasi, waktu respons di atas ambang batas mungkin atau
mungkin tidak dianggap ceroboh tergantung pada indikator lain.
Strategi lain adalah mencoba untuk mencegah tanggapan lalai di tempat
pertama melalui set instruksi. Penelitian survei cenderung memberikan
anonimitas bagi responden dengan premis bahwa anonimitas akan memberi
responden kebebasan untuk jujur ketika ditanya pertanyaan dengan opsi
respons yang berpotensi diinginkan secara sosial. Namun ironisnya, instruksi
tersebut juga dapat mengakibatkan kurang akuntabilitas bagi responden.
Dengan demikian, mungkin saja memaksa responden untuk menanggapi
dengan cara yang teridentifikasi akan menyebabkan lebih sedikit tanggapan
yang ceroboh. Jadi, kami bertanya:
Pertanyaan Penelitian 1: Apakah manipulasi anonimitas survei
memengaruhi prevalensi respons yang ceroboh?
Memahami bagaimana setiap metode untuk mengidentifikasi responden yang
ceroboh mengindeks berbagai pola respons dan bagaimana indeks ini berhubungan
satu sama lain merupakan dasar dari penelitian ini. Investigasi semacam itu sangat
penting sebelum membuat rekomendasi apa pun mengenai cara terbaik
mengidentifikasi responden tersebut. Jadi, kami bertanya:
Pertanyaan Penelitian 2: Apa korelasi di antara, dan
struktur faktor, indeks respons ceroboh?
Menggunakan dua pendekatan untuk memeriksa sifat laten dari
kecenderungan respons, kami bertanya:
Pertanyaan Penelitian 3: Apakah ada perbedaan tipe (kelas laten) dari
responden yang ceroboh, dan jika ya, pola data apa yang mendasari
perbedaan tipe responden yang ceroboh ini?
Perhatian utama di antara para peneliti adalah prevalensi respons
yang ceroboh di antara data. Jadi, kami bertanya:
Pertanyaan Penelitian 4: Bagian mana dari sampel yang dapat dikatakan tidak
merespon dengan sembarangan?
Beberapa metode penyaringan data yang kami diskusikan bersifat padat
karya dan tidak praktis untuk beberapa tujuan. Untuk alasan ini, kami
memberikan perhatian khusus pada dua ukuran kualitas data yang dapat
diterapkan dengan mudah:
Pertanyaan Penelitian 5: Apakah ukuran kualitas data yang dilaporkan sendiri
cukup untuk penyaringan data?
Pertanyaan Penelitian 6: Apakah waktu penyelesaian survei dapat digunakan
sebagai indikator kualitas data?
Akhirnya, untuk merekomendasikan indeks spesifik yang dapat digunakan untuk
mengidentifikasi respons yang ceroboh, kami bertanya:
Pertanyaan Penelitian 7: Dari berbagai jenis tindakan
respons ceroboh, mana yang paling sensitif terhadap
respons ceroboh?
Pertanyaan-pertanyaan ini dijawab dengan menggunakan sampel
sarjana yang besar dalam Studi 1. Sebuah studi lanjutan juga dilakukan
di mana data simulasi dengan sifat yang mirip dengan yang ada di Studi
1 dibuat. Sebagian sampel yang disimulasikan kemudian diganti dengan
data acak total atau data acak sebagian, dan indikator dievaluasi
sehubungan dengan kemanjurannya untuk mengidentifikasi data acak.
Belajar 1
metode
Peserta. Partisipan sebanyak 438 responden yang diambil dari
kumpulan peserta yang sebagian besar terdiri dari siswa yang terdaftar
dalam kursus psikologi pengantar di sebuah universitas besar di Amerika
Serikat bagian tenggara. Meskipun siswa tidak diharuskan untuk
berpartisipasi dalam studi khusus ini, mereka diminta untuk
menghabiskan sekitar 3 jam selama semester untuk berpartisipasi dalam
studi pilihan mereka, yang dipilih dari daftar online proyek penelitian
saat ini. Universitas ini adalah sekolah negeri yang didukung dengan
sekitar 24,000 mahasiswa sarjana dengan rata-rata SAT Verbal - Skor
kuantitatif mahasiswa baru yang masuk antara 1,175 dan 1,200.
Informasi demografis tidak dikumpulkan untuk penelitian ini, tetapi
secara keseluruhan kelompok peserta cenderung sekitar 60%
perempuan dan didominasi Kaukasia. Dalam penelitian ini, kami hanya
menggunakan tanggapan untuk peserta yang menyelesaikan seluruh
penelitian (88% dari sampel),n - 386.
Desain dan masalah survei. Item survei tersebar di
12 halaman web, masing-masing ditandai dengan jelas dengan nomor
halaman dan jumlah halaman (misalnya, halaman 3 dari 12). Halaman 1-10,
dengan pengecualian halaman 7, berisi 50 item per halaman yang ditampilkan
dalam bentuk tabel dengan konten item di kolom pertama dan kotak drop-
down opsi respons di kolom kedua. Halaman 11 berisi 31 item tambahan, dan
halaman 12 berisi item yang menanyakan responden tentang pengalaman
belajar (dijelaskan di bawah). Item pada halaman 1–11 menggunakan skala
respons tipe Likert 1–7. Halaman 7 termasuk deskripsi singkat dari
serangkaian e-mail yang dimaksudkan untuk digunakan sebagai ukuran
kualitas data penarikan, yang kemudian ditinggalkan karena rendahnya
tingkat dasar penarikan yang akurat.
Prosedur. Peserta yang mendaftar untuk penelitian ini adalah
mengirim tautan melalui email ke situs web tempat rutin JavaScript secara
acak menetapkannya ke salah satu dari tiga kondisi survei.
Kondisi anonim. Kondisi pertama dimaksudkan untuk
mewakili kondisi penelitian survei yang khas di mana responden
tetap anonim (n - 147).
Kondisi yang teridentifikasi. Pada kondisi kedua responden
diinstruksikan “Tanggapan Anda akan sepenuhnya dirahasiakan,
 RESPON CEPAT 441

namun, pada setiap halaman survei, Anda akan diminta untuk memasukkan
nama Anda sehingga nanti kami dapat menggabungkan tanggapan Anda di
halaman web yang berbeda.” Setiap halaman menyertakan instruksi berikut di
bagian bawah bersama dengan bidang teks kosong "Silakan masukkan nama
Anda sehingga kami dapat menggabungkan tanggapan Anda di seluruh
halaman web." Ada 120 peserta dalam kondisi ini.
Kondisi peringatan keras. Kondisi ketiga diidentifikasi kembali
responden seperti yang dijelaskan di atas tetapi juga memberikan peringatan
keras: “Tanggapan Anda yang jujur dan bijaksana penting bagi kami dan
untuk penelitian ini. Ingatlah bahwa kejujuran dan tanggapan Anda yang
bijaksana tunduk pada kebijakan integritas akademik [universitas].” Di bagian
bawah setiap halaman terdapat kolom teks bagi responden untuk mengetik
namanya di samping pernyataan: “Saya memverifikasi bahwa saya telah
dengan hati-hati dan jujur menjawab semua pertanyaan di halaman ini sesuai
dengan kebijakan kehormatan [universitas].” Ada 119 peserta dalam kondisi
ini.
Pengukuran
Kepribadian. Mengingat bahwa beberapa penulis berpendapat bahwa perawatan-
kurang respon adalah peristiwa frekuensi yang relatif rendah (Johnson,
2005), dan lain-lain telah menemukan bahwa tanggapan tersebut
cenderung terjadi kemudian dalam survei yang panjang (Berry et al.,
1992), kami berusaha untuk mengelola survei yang panjang tapi realistis.
dalam survei saat ini digunakan dengan skala ini. Skala kedua
adalah skala keinginan sosial IPIP (Goldberg, 1999). Indeks
ketiga dan keempat adalah subskala self-deception (SD) dan
manajemen kesan (IM) dari versi terbaru dari skala Inventaris
Seimbang dari skala Respons yang Diinginkan (BIDR; Paulhus,
1984, 2002).
Barang palsu. Jenis lain dari metode penyaringan data adalah
penggunaan item dengan jawaban yang benar dan jelas (misalnya, "Saya
lahir pada tanggal 30 Februari"; Beach, 1989). Jika responden memilih
jawaban yang salah, diasumsikan bahwa dia tidak memperhatikan isi
item. Keuntungan dari item palsu tersebut adalah jika responden
memilih jawaban yang salah, ada sedikit keraguan bahwa dia merespons
dengan ceroboh atau tidak jujur; dengan demikian, ada sedikit
kemungkinan positif palsu. Namun, negatif palsu jauh lebih mungkin
terjadi, terutama jika semua item tersebut dikodekan dalam arah yang
sama sehingga penggunaan "setuju" yang konsisten menghasilkan
respons yang benar secara seragam. Selanjutnya, item tersebut harus
ditulis sehingga ada jawaban yang benar dan tidak ambigu. Grice (1975)
dan Schwarz (1999) membahas norma-norma percakapan yang
menentukan bagaimana responden dan peneliti berinteraksi melalui
survei. Intinya, peserta tidak mengharapkan item "trik" pada survei
semacam itu dan dapat menyetujui item palsu jika item tersebut memiliki
kata-kata yang ambigu. Penelitian saat ini berisi 10 item palsu,

Ukuran utama kami adalah 300 item International Personality Item Pool dikembangkan untuk penelitian ini, dengan satu di masing-masing dari

(IPIP; Goldberg, 1999), ukuran model kepribadian lima faktor yang 10 halaman pertama dalam posisi acak antara 30 dan 45 (dari 50) item

tersedia secara bebas. Selain itu, ukuran psikopati 26 item (Levenson,
Kiehl, & Fitzpatrick, 1995) dan ukuran narsisme 40 item (Raskin & Terry,
1988) dimasukkan. Tidak ada pertanyaan penelitian yang terkait dengan
konstruksi ini, tetapi mereka dimasukkan untuk menjadi tipikal skala
yang biasa ditemukan pada survei panjang.
Keinginan sosial. Mungkin jenis skala penyaringan data khusus
yang paling umum adalah skala keinginan sosial atau "kebajikan
yang tidak mungkin". Skala keinginan sosial biasanya menyajikan
responden dengan item yang dukungannya akan dianggap berbudi
luhur tetapi tidak mungkin banyak item akan benar untuk setiap
(lihat Tabel 1 untuk daftar item palsu dan tingkat dukungan).
Keterlibatan studi yang dilaporkan sendiri. Tujuh belas item adalah
ditulis oleh penulis saat ini untuk menilai keterlibatan peserta
yang dilaporkan sendiri (SR) dengan penelitian dan dimasukkan
pada halaman web akhir. Lampiran menyajikan hasil analisis
awal yang mengarah pada pembentukan dua subskala
keterlibatan: SR Diligence (sembilan item, - - .83) dan SR Interest
(enam item, - - .81).
Indikator item tunggal yang dilaporkan sendiri (SRSI). Kami juga di-
memasukkan serangkaian ukuran item tunggal pada akhir survei yang dimaksudkan

individu. Studi saat ini mencakup empat ukuran keinginan sosial.
Yang pertama adalah skala keinginan sosial Marlowe-Crowne 33
item (Crowne & Marlowe, 1960). Meskipun skala Marlowe-Crowne
asli terdiri dari item benar/salah dikotomis, format respons 7 poin
yang sama digunakan untuk item lainnya
untuk memungkinkan responden menunjukkan seberapa besar upaya dan perhatian
yang mereka curahkan untuk penelitian. Sebelum item ini, kami menyertakan set
instruksi berikut: “Terakhir, sangat penting untuk penelitian kami bahwa kami hanya
menyertakan tanggapan dari orang-orang yang mencurahkan perhatian penuh
mereka untuk penelitian ini. Jika tidak, bertahun-tahun usaha (the

Tabel 1
Tingkat Respons Item Palsu

Barang str. D1 D2 Sl.D3 Baik A maupun D4 sl. A5 A6 str. A7 % Ditandai berdasarkan item

1. Saya menggunakan komputer saat ini. (R) 2 4 4 3 3 55 315 4

2. Saya telah mengunjungi setiap negara di dunia. 299 59 10 7 4 4 0 7
3. Saya terdaftar dalam kursus Psikologi saat ini. (R) 2 6 5 7 3 53 310 7
4. Saya tidak pernah berbicara dengan siapa pun yang mendengarkan.A 116 123 36 90 9 10 2 38A
5. Saya tidur kurang dari satu jam per malam. 286 60 13 15 7 3 2 10
6. Saya tidak mengerti sepatah kata pun dalam bahasa Inggris. 301 48 7 12 5 11 2 10
7. Saya tidak pernah menyikat gigi. 322 33 6 12 8 4 1 8
8. Saya dibayar dua mingguan oleh leprechaun. 269 38 13 43 8 4 11 20
9. Semua temanku adalah alien. 270 47 15 28 8 7 11 18
10. Semua teman saya mengatakan saya akan membuat pudel yang hebat. 215 66 21 62 8 11 3 27

Catatan. D - tidak setuju; A - setuju; str. - dengan kuat; sl. - agak; R - Item yang ditandai jika (kode terbalik) sangat tidak setuju atau tidak setuju tidak dipilih (kecuali data yang
hilang).
A Item 4 dijatuhkan sebagai Item Palsu berdasarkan respons yang sering.
442 MEADE DAN CRAIG
peneliti dan waktu peserta lain) bisa terbuang sia-sia.Anda akan
menerima kredit untuk penelitian ini tidak peduli apa pun, tolong beri
tahu kami seberapa banyak upaya yang Anda lakukan untuk penelitian
ini.Upaya SRSI dinilai sebagai respons terhadap item "Saya melakukan
____ upaya untuk penelitian ini" dengan opsi respons 1 - "hampir tidak", 2
- "sangat sedikit", 3 - "beberapa", 4 - "cukup sedikit", dan 5 - "banyak."
Selanjutnya, kami menyertakan teks “Juga, seringkali ada beberapa
gangguan yang hadir selama belajar (orang lain, TV, musik, dll.). Tolong
tunjukkan seberapa besar perhatian Anda terhadap penelitian ini. Sekali lagi,
Anda akan menerima kredit apa pun yang terjadi. Kami menghargai kejujuran
Anda!”Perhatian SRSI kemudian dinilai sebagai respons terhadap item "Saya
memberikan perhatian ____ penelitian ini" dengan opsi 1 - "hampir tidak", 2 -
"sangat sedikit dari saya", 3 - "beberapa dari saya", 4 - "sebagian besar dari
saya, ” dan 5 - “penuh saya.”
Terakhir, kami bertanya, “Menurut pendapat jujur Anda, haruskah kami
menggunakan data Anda dalam analisis kami dalam penelitian ini?” dengan jawaban
1 - "ya" atau 0 - "tidak". Item ini disebut sebagaiSRSI UseMe.
Indeks Kecerobohan Merespon
Waktu merespon. Kami memeriksa waktu penyelesaian untuk masing-masing
12 halaman web yang membentuk survei. Meskipun sistem tidak dirancang
sedemikian rupa sehingga peserta dapat menyimpan informasi mereka dan
melanjutkan studi di kemudian hari, beberapa tampaknya telah menandai
halaman dan kembali ke studi nanti. Orang lain mungkin hanya mengambil
istirahat dari penelitian. Akibatnya, untuk beberapa orang, waktu yang
dihabiskan pada halaman tertentu termasuk durasi yang sangat lama
(misalnya, ribuan menit). Statistik deskriptif mengungkapkan bahwa antara
95% dan 98% orang menghabiskan kurang dari 15 menit pada setiap halaman
survei. Selain itu, tampaknya 15 menit adalah waktu yang lebih dari cukup bagi
peserta yang rajin untuk menanggapi 50 item. Akibatnya, nilai waktu yang
berlalu lebih dari 15 menit ditetapkan sebagai hilang untuk 95 orang. Data
yang hilang ini ditangani secara berbeda untuk analisis yang berbeda seperti
yang dijelaskan nanti.
Sistem administrasi survei tidak dapat mencegah beberapa entri dari
responden yang sama. Akibatnya, untuk 120 responden, ada beberapa
tanggapan untuk orang yang sama untuk halaman atau halaman tertentu. Ini
adalah masalah yang menyebar dengan survei berbasis Internet dan
merupakan salah satu yang ada sedikit panduan yang diterbitkan (Johnson,
2005). Delapan puluh empat dari kasus ini benar-benar identik; namun, 36
responden mengubah tanggapan mereka di antara pengiriman. Untuk orang-
orang ini, kami mempertahankan rangkaian tanggapan pertama, karena ini
dianggap paling mungkin setara dengan tanggapan dari individu yang hanya
menyelesaikan setiap halaman satu kali. Karena penghitungan waktu yang
telah berlalu untuk menyelesaikan studi dapat menyesatkan bagi orang-orang
dengan pengiriman beberapa halaman, kami tidak menghitung waktu respons
untuk 120 orang ini dan memperlakukan data tersebut sebagai hilang.
Perhatikan bahwa 120 orang ini dan 95 orang dengan waktu respons yang
lama tidak saling eksklusif. Tabel 2 memberikan ringkasan indikator yang kami
periksa.
Analisis outlier. Bukti terbaru menunjukkan bahwa jarak
Mahalanobis dapat efektif dalam mengidentifikasi respons yang kurang
perhatian (Ehlers et al., 2009). Mengingat ukuran besar matriks data
tingkat item mentah, menggunakan semua item survei secara
bersamaan akan membutuhkan komputasi yang intensif. Sebaliknya,
lima ukuran jarak Mahalanobis dihitung untuk setiap responden, satu
untuk masing-masing dari lima faktor kepribadian yang luas (60 item per
faktor). Korelasi di antara lima ukuran jarak Mahalanobis ada di
Meja 2
Ringkasan Metode Penyaringan Data
Indeks Keterangan
Jumlah menit Total waktu untuk menyelesaikan survei
Jumlah Palsu Jumlah sembilan item palsu yang dicetak secara dikotomis
dengan jawaban benar/salah yang jelas Korelasi
antonim psiko dalam-orang di seluruh pasangan item dengan
korelasi negatif yang kuat
sinonim psiko Korelasi dalam-orang di seluruh pasangan item dengan
korelasi positif yang kuat
Kontra Ganjil Genap. Korelasi dalam-orang di seluruh subskala yang terbentuk
dengan pembagian skala unidimensional genap ganjil,
dengan formula split-half Spearman-Brown yang diterapkan
Rata-rata LongString Rata-rata 10 nilai LongString. LongString adalah
jumlah maksimum tanggapan berurutan yang
identik pada halaman web
Max LongString Maksimal 10 nilai LongString Jarak
Mahalanobis D multivarian antara responden
vektor respons dan vektor sampel berarti item tunggal
SRSI Gunakan Saya yang dilaporkan sendiri secara dikotomis ya/tidak
tanggapan tentang apakah responden merasa
datanya harus digunakan untuk analisis
Ketekunan SR Rata-rata skala ketekunan yang dilaporkan sendiri, satu item yang
Perhatian SRSI dilaporkan sendiri, perhatian untuk belajar, yang dilaporkan sendiri,
Upaya SRSI upaya yang dikeluarkan untuk belajar
Catatan. Psiko - psikometrik; Kontra. - konsistensi; SR - laporan diri; SI - item
tunggal.
kelebihan 0,78 . 05) dan dirata-ratakan ke satu Mahalanobis
(Pnilai jarak.
Barang palsu. Seperti yang dijelaskan sebelumnya, masing-masing dari 10 halaman pertama
survei berisi item yang tidak mungkin benar (atau salah, tergantung
itemnya). Jika peserta menunjukkan respon baik 6 (setuju) atau 7 (sangat
setuju) untuk item yang benar, item palsu dianggap benar (diberi skor
nol). Tanggapan lain dinilai sebagai salah (yaitu, diberi "1"). Secara
keseluruhan, ada 10 variabel item palsu yang diberi skor serta indikator
kualitas respons keseluruhan yang dihitung sebagai jumlah dari variabel
bendera item palsu. Namun, analisis awal menunjukkan bahwa item
palsu yang terdapat pada halaman empat survei tidak ditafsirkan secara
harfiah sebagaimana dimaksud (lihat Tabel 1), sehingga dikeluarkan dari
pertimbangan lebih lanjut dan variabel jumlah memiliki kemungkinan
berkisar dari 0 hingga 9. Ini tampaknya menjadi efek konteks (Schwarz,
1999) di mana, ketika tertanam di antara item kepribadian, "tidak pernah
mendengarkan" ditafsirkan jauh lebih kiasan daripada yang kita
perkirakan.
Indeks konsistensi. Indeks konsistensi dapat dibentuk dengan
memeriksa perbedaan antara tanggapan terhadap item yang sangat
mirip dalam konten. Sebaliknya, ukuran jarak item dianggap antonim
dapat dihitung juga. Goldberg (2000, dikutip dalam Johnson, 2005)
menyarankan metode yang disebut Psikometri Antonim, di mana
korelasi antara semua item survei dihitung post hoc dan 30 pasangan
item dengan korelasi negatif terbesar diidentifikasi. NSAntonim
Psikometri indeks kemudian dihitung sebagai korelasi dalam-orang di 30
pasang item ini. Kami menggunakan indeks serupa dalam penelitian ini.
Namun, daripada menggunakan 30 pasangan item, kami berusaha untuk
memastikan pasangan item benar-benar berlawanan dalam arti dan
hanya mempertahankan pasangan item dengan korelasi negatif yang
lebih kuat dari –0,60. Akibatnya, indeks ini hanya mencakup lima
pasangan item.
 RESPON CEPAT 443

Kami juga mengembangkan indeks serupa yang kami sebut Sinonim
Psikometri indeks, yang dibentuk dengan cara yang sama seperti ukuran
Psikometri Antonim, kecuali pasangan item dengan korelasi positif
terbesar digunakan. Seperti sebelumnya, korelasi dalam-orang dihitung
di seluruh pasangan item yang melebihi ambang batas -0,60 ini. Ada 27
pasangan seperti itu.
Sebuah indeks tambahan yang direkomendasikan oleh Jackson (1976,
sebagaimana dikutip dalam Johnson, 2005) diperiksa yang kami sebut
sebagai: Konsistensi Genap-Ganjil ukuran. Dengan pendekatan ini, skala
unidimensional dibagi menggunakan pembagian genap-ganjil
berdasarkan urutan kemunculan item. Subskala genap dan juga skor
subskala ganjil kemudian dihitung sebagai respons rata-rata di seluruh
item subskala. Korelasi dalam-orang kemudian dihitung berdasarkan dua
set skor subskala untuk setiap skala. Kami membentuk subskala dari
opsi respons individu (misalnya, jumlah maksimum respons
berurutan 1, 2, dll.), Kami hanya menghitung jumlah maksimum
item dengan respons berurutan, terlepas dari nilai respons itu.
Program Visual Basic for Applications singkat di Microsoft Excel
digunakan untuk menghitung indeks ini untuk setiap halaman
survei. Selain itu, ukuran keseluruhan (Rata-rata LongString)
dihitung sebagai rata-rata variabel LongString, rata-rata di sembilan
halaman web yang mencakup 50 item. Indeks keseluruhan kedua (
Max LongString) dihitung sebagai variabel Long-String maksimum
yang ditemukan di laman web mana pun.
Hasil
Pertanyaan Penelitian (RQ) 1: Petunjuk. RQ 1 yang bersangkutan

semua 30 aspek IPIP (Goldberg, 1990) serta skala Psikopati (Levenson et
al., 1995) dan skala Narsisme (Raskin & Terry, 1988), karena analisis kami
menyarankan semua relatif tinggi (0,75 ) nilai koefisien alpha. Jackson
juga merekomendasikan agar ukuran itu dikoreksi dengan
menggunakan rumus ramalan setengah pecahan Spearman-Brown.
Perhatikan bahwa pola respons yang sangat tidak konsisten dapat
menyebabkan korelasi intraindividual yang negatif. Ketika ini terjadi,
rumus nubuatan Spearman Brown dapat mengarah pada perkiraan
korelasi yang melebihi negatif 1,0. Untuk nilai seperti itu, nilai -1,0
ditetapkan. Indeks ini adalah versi yang lebih rumit dari hanya
memeriksa varians dalam-orang pada satu set item unidimensional.
Pola respons. Pola respons di mana responden
konsisten merespon dengan jawaban yang sama (misalnya, "5") dapat
diidentifikasi melalui pendekatan yang direkomendasikan oleh Johnson (2005).
Indeks ini, disebutTali Panjang dihitung sebagai jumlah maksimum item
berurutan pada satu halaman yang dijawab oleh responden dengan opsi
jawaban yang sama. Misalnya, jika responden menunjukkan “2—tidak setuju”
untuk 12 item berturut-turut tetapi sebaliknya memvariasikan tanggapannya,
12 akan menjadi nilai LongString untuk responden tersebut. Sementara
Johnson menghitung indeks ini untuk masing-masing
apakah set instruksi dapat mempengaruhi kualitas data. Ada perbedaan
kecil tapi signifikan untuk beberapa variabel kami di seluruh kondisi set
instruksi. Misalnya, analisis varians satu arah (ANOVAs) menunjukkan
bahwa ada efek utama yang signifikan dari set instruksi pada jumlah
item palsu yang didukung secara keliru dan perhatian yang dilaporkan
sendiri diberikan pada penelitian (lihat Tabel
3). Tes Tukey post hoc menunjukkan perbedaan yang signifikan antara
kondisi anonim dan teridentifikasi (tanpa peringatan) untuk jumlah item
palsu dan variabel perhatian yang dilaporkan sendiri dengan kondisi
yang diidentifikasi memiliki lebih sedikit item palsu yang ditandai dan
perhatian yang dilaporkan sendiri lebih besar. Tidak ada perbedaan
antar kondisi untuk indikator kualitas data lainnya (lihat Tabel 3).
RQ 2: Membangun validitas indeks. RQ 2 menyangkut
korelasi antara berbagai metode untuk menilai kualitas respon. Jika
indikator yang berbeda sangat berkorelasi, maka layak bagi peneliti
untuk memilih salah satu metode penyaringan data yang kurang
intensif secara komputasi. Untuk analisis ini, peserta di ketiga
kondisi digabungkan. Tabel 4 menyajikan korelasi yang
dikumpulkan dalam-kondisi (diidentifikasi, anonim, dll.) di antara
ukuran-ukuran tersebut.

Tabel 3
Hasil Analisis Varians Satu Arah dan Uji Tukey Post Hoc Berpasangan Berdasarkan Kondisi Penelitian

Indikator F P Anonim Teridentifikasi Peringatan Dikumpulkan SD

Tidak. Item palsu 5.24 . 006 1.50ab 0.93A 0,79B 1.91

perhatian SRSI 3.46 . 033 4.04A 4.29A 4.17 0,77
sikap SR 2.94 . 054 4.04 4.06 3.75 1.12
ketekunan SR 0,28 . 76 5,45 5.46 5.53 0,99
upaya SRSI 0,70 . 50 3.95 4.01 4.06 0,79
Sinonim Psikometri 1.34 . 26 0,69 0,74 0.73 0,23
Antonim Psikometri 0,96 . 38 0,69 0,76 0,71 0.36
Konsistensi Genap-Ganjil 1.23 . 29 0,69 0.72 0,74 0,28
Rata-rata LongString 0,66 . 52 4.15 4.02 3.64 3.67
Max LongString 0,79 . 46 7.10 6.18 6.18 7.01
Rata-rata Mahalanobis D 2.46 . 09 61.05 55.01 56.44 23.45
Mahkota-Marlow 0.12 . 89 4.01 4.03 4.04 0,56
BIDR-SD 0.39 . 68 4.18 4.15 4.21 0,58
BIDR-IM 1.08 . 34 3.88 3.75 3.79 0,69
IPIP SD 0,75 . 47 4.39 4.31 4.40 0,64
Total Waktu Belajar 0.32 . 72 49.65 50.72 51.73 15.93

Catatan. SR - laporan diri; SI - item tunggal; BIDR - Inventarisasi Seimbang dari skala Respons yang Diinginkan (Paulhus, 1984, 2002); IM - manajemen kesan; IPIP -
Kumpulan Barang Kepribadian Internasional (Goldberg, 1999).df - 2, 383 untuk semua analisis selain Total Waktu Studi, di mana df - 2, 228. Superskrip
menunjukkan perbandingan berpasangan pasca-hoc Tukey yang signifikan.
444 MEADE DAN CRAIG

Tabel 4
Korelasi Dalam Kondisi yang Dikumpulkan Di Antara Variabel Studi

Variabel 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

1. Jumlah Menit 1.00

2. Jumlah Palsu 0,22 1.00
3. Psiko Antonim 0.13 0.37 1.00
4. Sinonim Psiko 0,22 0,65 0,44 1.00
5. Konsistensi Genap Ganjil 0.27 0,62 0.35 0,76 1.00
6. Rata-Rata LongString 0.12 0.33 0,03 0.24 0.27 1.00
7. Panjang String Maks 0.16 0.37 0,06 0,30 0.27 0.83 1.00
8. Mahalanobis D 0,23 0.39 0,22 0,57 0,57 0,10 0,22 1.00
9. SR SI Gunakan Saya 0.19 0,47 0.24 0,41 0.39 0,25 0,25 0.32 1.00
10. Ketekunan SR 0,22 0,43 0,29 0,51 0,43 0.16 0.18 0.24 0,43 1.00
11. Sikap SR 0,01 0,04 0,09 0.18 0.18 0,02 0,05 0,08 0,08 0.39 1.00
12. SR SI Perhatian 0,10 0.37 0,20 0,42 0.38 0.16 0.17 0,29 0,41 0,55 0,30 1.00
13. Upaya SR SI 0.31 0.38 0,25 0,43 0,42 0.16 0.17 0.27 0,44 0.63 0,28 0,62 1.00
14. Crowne-Marlow 0,08 0,05 0,04 0.11 0.13 0,05 0,05 0,20 0,03 0,15 0,23 0,05 0.11 1.00
15. BIDR Sendiri Des. 0,07 0,10 0,04 0.17 0,20 0,01 0,01 0,25 0,01 0.11 0.12 0,07 0,09 0,45 1,00 0,02 0,16
16. BIDR IM 0,09 0,06 0,03 0.11 0.11 0,02 0,01 0.18 0,03 0.14 0.16 0,71 0,34 1,00 0,07 0,21 0,65
17. Keinginan Sosial IPIP 0,08 0,08 0,09 0,20 0,18 0,04 0,05 0,19 0,03 0,22 0,15 0,36 0,81

Catatan. Psiko - psikometrik; SR - laporan diri; SI - item tunggal; BIDR - Inventarisasi Seimbang dari skala Respons yang Diinginkan (Paulhus, 1984,
2002); IM - manajemen kesan; IPIP - Kumpulan Barang Kepribadian Internasional (Goldberg, 1999).n - 385. Korelasi |.13| signifikan padaP . 01 tingkat.
Standar deviasi di seluruh sampel diperhitungkan kecil dan tidak dilaporkan untuk kejelasan.

Sementara Tabel 4 kaya dengan informasi, ada tiga temuan
penting utama. Pertama, ukuran objektif kualitas data hanya
berkorelasi sedikit hingga sedang di seluruh jenis indeks. Ini tidak
mengherankan, mengingat indeks konsistensi menilai jenis respons
ceroboh yang sangat berbeda (respons acak) daripada indikator
Long-String. Dengan demikian, satu indikator kualitas data tidak
mungkin cukup untuk penyaringan data penuh.
Kedua, indikator kualitas data yang dilaporkan sendiri menunjukkan
korelasi moderat satu sama lain, yang menunjukkan bahwa responden
memandang minat studi berbeda dari ketekunan. Selain itu, variabel UseMe
tidak berkorelasi lebih tinggi dari 0,5 dengan ukuran lain yang dilaporkan
sendiri, yang menunjukkan kurangnya konsistensi di seluruh responden
sehubungan dengan mengapa mereka mungkin percaya bahwa data mereka
cocok untuk dimasukkan dalam penelitian. Mungkin lebih penting, indeks yang
dilaporkan sendiri berkorelasi pada tingkat rendah atau sedang dengan indeks
lain dari tanggapan ceroboh, menunjukkan bahwa laporan diri saja tidak
cukup untuk mengidentifikasi tanggapan ceroboh.
Ketiga, respons yang ceroboh jelas merupakan fenomena yang berbeda
dari respons yang diinginkan secara sosial. Dalam beberapa hal, justru
sebaliknya. Menanggapi dengan cara yang diinginkan secara sosial
memerlukan pemrosesan mental yang disengaja dari suatu item dan
kesesuaian respons. Berdasarkan temuan kami, penyaringan keinginan sosial
tidak akan berguna untuk menghilangkan responden yang ceroboh.
PUS. Data waktu respons untuk 155 orang yang re-
sponsor membutuhkan waktu lebih lama dari 15 menit pada halaman tertentu
atau memiliki beberapa pengiriman yang diperhitungkan menggunakan
prosedur Imputasi Ganda di SAS 9. Lima set data yang diperhitungkan dibuat
dengan imputasi berdasarkan semua 30 skala kepribadian tingkat faset.
Imputasi terjadi pada tingkat halaman individual dan total waktu penyelesaian
studi dihitung sebagai jumlah waktu respons halaman individual untuk
keduanya selesai (n - 231) dan data yang diperhitungkan (n -155).
Analisis faktor eksplorasi dari Total Menit, Jumlah Item Palsu,
Antonim Psikometrik, Sinonim Psikometrik, Konsistensi Genap,
Rata-rata. LongString, Max LongString, Mahalano-
bis D, SRSI Use Me, SRSI Attention, SRSI Effort, dan SR Diligence
dilakukan pada lima set data imputasi replikasi. Untuk setiap kumpulan
data yang diperhitungkan, matriks kovarians yang dikumpulkan dalam
kondisi (diidentifikasi, anonim, dll.) dianalisis untuk menghilangkan
pengaruh potensial perbedaan rata-rata di seluruh kondisi. Pemfaktoran
sumbu utama dengan korelasi ganda kuadrat, perkiraan komunalitas
sebelumnya ditentukan seperti rotasi miring promaks di SAS 9.
Sementara nilai eigen ketiga agak kecil (dan kurang dari 1,0) di setiap
kumpulan data yang diperhitungkan, kelimanya menunjukkan tiga faktor
yang dapat ditafsirkan dengan jelas yang mendasari indeks dan jeda
yang jelas di plot scree terkait. Nilai eigen pertama rata-rata adalah 4,43
(kumpulan data imputasiSD - 0,01), nilai eigen kedua 1,37 (SD
0,01), nilai eigen ketiga 0,79 (SD 0,01), dan keempat
nilai eigen 0,23 (SD - 0,02). Rata-rata matriks pola faktor yang
diputar dari pembebanan dan korelasi faktor disajikan pada
Tabel 5.
Meneliti beban faktor, ketiga faktor tersebut dapat
diinterpretasikan dengan jelas. Yang pertama berisi indeks
konsistensi (Anonim Psikometrik, Sinonim Psikometrik, Konsistensi
Genap-Ganjil) serta indeks outlier multivariat Mahalanobis D dan
jumlah item palsu yang dicetak. Faktor kedua jelas merupakan
empat indeks laporan diri, dengan pengecualian variabel UseMe
yang dilaporkan sendiri. Faktor ketiga adalah dua indeks LongString.
Waktu respons gagal dimuat ke dalam suatu faktor, berpotensi
karena hubungan nonlinier yang dihipotesiskan antara waktu dan
kualitas respons.
RQ 3 dan 4: Kelas laten. RQ 3 menanyakan apakah ada perbedaan
tipe (kelas laten) dari responden yang ceroboh. Kami mendekati
pertanyaan ini dengan dua cara. Pertama, kami menjalankan analisis
profil laten menggunakan indikator respons ceroboh kami. Kedua, kami
menggunakan pemodelan campuran faktor dengan kovariat untuk
menetapkan keanggotaan kelas laten. Hal tersebut dirinci berikut ini.
Analisis profil laten (LPA). Kami melakukan LPA pada indikator
non-laporan mandiri dari kualitas respons (Total Menit, Jumlah Item
Palsu, Antonim Psikometrik, Sinkronisasi Psikometrik,
 RESPON CEPAT 445

nama, Konsistensi Ganjil Genap, Rata-rata. LongString, Max Long-String, Tabel 6

dan Mahalanobis D) menggunakan Mplus 5. Data yang hilang untuk Analisis Profil Laten Rata-rata Variabel yang Diamati
Total Menit ditangani melalui kemungkinan maksimum informasi
lengkap per Mplus 5 default. Kami menyesuaikan model dengan satu Variabel Kelas 1 Kelas 2 Kelas 3
hingga lima kelas; namun, model dengan lebih dari tiga kelas laten
Ukuran kelas 342 (89%) 35 (9%) 9 (2%)
menghasilkan kesalahan estimasi yang terkait dengan matriks definit Cara
nonpositif. Pemeriksaan output dari model tersebut mengungkapkan Jumlah Menit 54.81 29,75 33.27
segmentasi lebih lanjut dari kelas yang sangat kecil tanpa efek pada Jumlah Palsu 0,58 4.99 5.67
antonim psiko 0,77 0.19 0.68
kelas yang lebih besar. Dengan demikian, model dengan kurang dari tiga
sinonim psiko 0,78 0.19 0,30
kelas laten lebih disukai untuk interpretasi pelit (lih. Clark et al., 2009) Kontra Ganjil Genap. 0,79 0,06 0,23
serta untuk alasan statistik. Rata-Rata LongString 3.40 4.48 23.14
Seperti yang disarankan oleh Nylund, Asparouhov, dan Muthén (2007) Panjang String Maks 5.21 8.74 48.00
Mahalanobis D 53.09 100.20 69,84
kami terutama mengandalkan kriteria informasi Bayesian (BIC) untuk
menilai jumlah kelas yang paling tepat, meskipun semua indeks model fit
Catatan. Psiko - psikometrik; Kontra. - konsistensi.
(misalnya, kriteria informasi Akaike [AIC], -2 kemungkinan log [LL], BIC
Disesuaikan) menunjukkan bahwa model tiga kelas lebih cocok daripada
model dua kelas, yang, pada gilirannya, lebih cocok daripada model satu dari total sampel) merespons dengan cara yang tidak konsisten dengan
kelas. Nilai BIC untuk model kelas satu, dua, dan tiga adalah 12.964.3; menggunakan banyak opsi respons yang berbeda, dan sebagian kecil (2% dari
11.699,8; dan 10798,2, masing-masing. Kemungkinan log, AIC, dan BIC total sampel) merespons dengan opsi respons yang sama untuk banyak item
yang Disesuaikan menunjukkan peningkatan yang sangat mirip dengan berurutan.
jumlah kelas yang lebih besar. Ukuran kelas adalah 342 (89%) untuk Model campuran faktor. Selanjutnya kami berusaha mengidentifikasi kecerobohan

Kelas 1, 35 (9%) untuk Kelas 2, dan 9 (2%) untuk Kelas
3, sedangkan entropi untuk model adalah 0,997, menunjukkan tingkat
determinasi yang tinggi dalam klasifikasi.
Rata-rata variabel yang terkait dengan setiap kelas disajikan pada
Tabel 6. Seperti dapat dilihat, Kelas 2 dan 3 merespons jauh lebih
cepat dan memiliki lebih banyak item palsu yang ditandai daripada
Kelas 1. Kelas 2 merespons jauh lebih tidak konsisten daripada Kelas
1, karena dinilai dengan ukuran Psikometri Anonim dan Sinonim
dan Konsistensi Genap. Mereka juga memiliki nilai Mahalanobis D
multivariat outlier yang lebih besar daripada Kelas 1. Ciri khas dari
Kelas 3 yang kecil adalah nilai LongString yang sangat besar. Indeks
konsistensi untuk kelas ini berada di antara Kelas 1 dan 2, yang
diharapkan responden memberikan nilai yang sama untuk sejumlah
besar item.
Secara keseluruhan, tampak bahwa sekitar 11% dari sampel menanggapi
dengan cara yang ceroboh dengan mayoritas dari mereka (9%
Tabel 5
Pemuatan Faktor yang Diputar dan Korelasi Faktor
merespons melalui model campuran faktor. Pemodelan campuran faktor
menggabungkan kelas laten dengan analisis faktor konfirmatori,
memungkinkan spesifikasi struktur faktor untuk variabel indikator;
dengan demikian, keanggotaan kelas laten dapat disimpulkan langsung
dari kecenderungan respon pada indikator serta variabel laten berarti
(lihat Lubke & Muthén, 2005). Dengan banyak data yang dapat dipilih,
kami memilih data tingkat faset-skor dari ukuran Kesesuaian IPIP.1 Faktor
keramahan tunggal kemudian diregresikan ke variabel keanggotaan
kelas kategoris laten. Dengan model campuran faktor, kovariat dapat
ditentukan yang juga dapat memengaruhi keanggotaan kelas. Karena
kami ingin memastikan bahwa kelas laten kami mewakili kecenderungan
respons yang ceroboh, daripada perbedaan rata-rata dalam kesesuaian,
kami menentukan Jumlah Item Palsu, Antonim Psikometrik, Sinonim
Psikometrik, Konsistensi Genap-Ganjil, Avg LongString, Max LongString,
dan indeks Mahalanobis D sebagai kovariat laten. Kami tidak
memasukkan variabel UseMe, karena model tidak dapat mencapai
konvergensi dengan kovariat dikotomis. Kami juga menghilangkan
indikator Total Menit berdasarkan data yang hilang dan korelasi yang
menunjukkan hubungan kecil dengan variabel lain (lihat Tabel 4).
Gambar 1 menggambarkan model campuran faktor.

Variabel Faktor 1 Faktor 2 Faktor 3

Kami berhipotesis bahwa beberapa responden memberikan
Faktor 1 — tanggapan ceroboh dan karena itu diharapkan hubungan antara faktor
Faktor 2 . 54 (.00) — laten dan tanggapan yang diamati menjadi sangat kecil untuk tanggapan
Faktor 3 . 32 (.00) . 03 (.00) — tersebut. Untuk alasan ini, kami mengizinkan kelas laten kami memiliki
Jumlah Menit . 23 (.04) . 09 (.04) . 06 (.04) pemuatan faktor yang berbeda dan varians indikator yang unik.
Jumlah Palsu -.65 (.00) . 04 (.00) . 16 (.01)
Penyadapan indikator dan varians faktor dibatasi untuk kesetaraan di
antonim psiko . 47(.00) . 06 (.00) . 13 (.00)
sinonim psiko . 85(.00) . 04 (.00) . 02 (.00) seluruh kelompok (yang pertama untuk mencapai identifikasi model
Kontra Ganjil Genap. . 83(.01) . 01 (.01) . 01 (.00) yang tepat dan 1,0 untuk parameter terakhir).
Rata-Rata LongString . 07 (.00) . 00 (.01) . 90(.00)
Panjang String Maks . 03 (.00) . 06 (.00) . 88(.00)
Mahalanobis D -.71 (.00) . 10 (.00) . 05 (.00) 1 Uji matriks kovarians di tiga kondisi studi set instruksi untuk variabel-
SR SI Gunakan Saya . 28 (.00) . 31 (.00) . 13 (.01) variabel ini menunjukkan tidak ada perbedaan: indeks kesesuaian komparatif -
SR SI Perhatian . 11 (.00) . 71(.00) . 00 (.00)
0,978, indeks Tucker-Lewis - – 0,978, 2(30) - 42.09, P - .07. Untuk alasan ini, kami
Upaya SR SI . 09 (.00) . 51(.01) . 13 (.00)
menggabungkan data di tiga kondisi untuk analisis ini untuk memaksimalkan
Ketekunan SR . 06 (.01) . 68(.00) . 03 (.00)
ukuran sampel. Kami juga menyelidiki skala kepribadian lainnya, dan kami
Catatan. Psiko - psikometrik; Kontra. - konsistensi; SR - laporan diri; SI - item mencatat bahwa kami mengalami kesulitan mereproduksi kelas laten yang
tunggal. Nilai rata-rata di lima set data diperhitungkan dengan standar deviasi mewakili respons yang ceroboh dengan beberapa faktor kepribadian.
dalam tanda kurung. Tebal menunjukkan pemuatan. 40.
446 MEADE DAN CRAIG

Respon ceroboh
indikator
Terpendam
Jumlah Item Palsu,
Kelas
Antonim Psikometrik, Altruisme
Sinonim psikometrik,
Konsistensi Genap Ganjil,
Rata-rata LongString,
Kerja sama
string panjang maks,
Mahalanobis D Moralitas

Setuju- Simpati
kemampuan

Memercayai

Gambar 1. Model campuran faktor.

Kami menyelidiki tiga model kelas laten seperti yang ditemukan dengan membuat perbandingan seperti itu bermasalah. Kami mencoba untuk
LPA kami. Namun, ketiga kelas yang dihasilkan tidak sesuai dengan yang menjalankan model campuran yang terpisah, menggunakan indeks respon
ditemukan di LPA; dengan demikian, kami menggunakan solusi dua kelas, ceroboh tunggal di masing-masing (seperti yang disarankan oleh B. Muthén,
yang menghasilkan kelas yang sangat mirip dengan yang diidentifikasi komunikasi pribadi, 16 September 2011). Namun, keanggotaan kelas sedikit
sebelumnya di LPA. Mengingat bahwa skor tingkat faset digunakan dalam berubah ketika kami menggunakan indeks yang berbeda sebagai kovariat
analisis ini, ada kemungkinan bahwa beberapa responden yang menunjukkan karena ini mempengaruhi penentuan kelas laten (lihat Lubke & Muthén, 2005).
opsi respons yang sama untuk beberapa item berturut-turut menghasilkan Pada akhirnya, kami mengekspor keanggotaan kelas laten kemungkinan
skor faset yang sama sekali tidak berbeda dari responden yang teliti. Ada 45 maksimum berdasarkan probabilitas (yang biasanya pada atau mendekati 1,0
responden di Kelas 1 (penanggap ceroboh) dan 336 di Kelas 2; entropi adalah atau 0, mengingat entropi 0,984), menggabungkan data kelas dengan data asli
0,984. Seperti yang diharapkan, pemuatan faktor untuk responden yang kami, dan memeriksa perbedaan dalam indikator respons ceroboh di dua
ceroboh di Kelas 1 jauh lebih rendah daripada Kelas 2 (lihat Tabel 7). Kelas 1 kelas laten menggunakan regresi logistik, dengan keanggotaan kelas sebagai
juga memiliki nilai rata-rata faktor yang jauh lebih rendah daripada Kelas 2 (D - variabel dependen dikotomis.
5.58), meskipun perbedaan dalam rata-rata faktor harus dinilai dengan sangat Mengingat korelasi di antara prediktor, setiap indeks digunakan
hati-hati ketika pembebanan faktor kelompok berbeda secara drastis. sebagai prediktor dalam model terpisah. Hasil analisis ini diberikan pada
Tabel 8. Seperti dapat dilihat, dengan beberapa kriteria, indeks Sinonim
Karena beberapa indeks respons yang ceroboh sangat Psikometrik melakukan pekerjaan terbaik dalam memprediksi
berkorelasi, multikolinearitas di antara koefisien regresi laten keanggotaan kelas, terutama dalam memprediksi keanggotaan di kelas
respon ceroboh (Kelas 1). Selain itu, model fit lebih baik untuk indeks ini.
Indeks konsistensi Genap-Ganjil dan Jumlah item Bogus juga bekerja
Tabel 7 dengan baik. Mengingat hanya ada dua kelas, tidak mengherankan jika
Hasil Standar Model Campuran Faktor indeks LongString tidak berkinerja baik. Namun, kami percaya bahwa
metode ini akan bekerja dengan baik untuk menyaring responden yang
Kelas 1 (n - 45): Kelas 2
relatif sedikit yang menggunakan opsi respons yang sama pada banyak
Variabel Responden ceroboh (n - 336)
item berurutan.
Arti laten 5.58 0,0 RQ5: Laporan diri. Beberapa indeks yang diperiksa sulit untuk
Pemuatan faktor (keunikan) dihitung atau memerlukan prosedur khusus. Salah satu alternatif yang
Altruisme . 55 (.69) . 83 (.32)
mudah adalah dengan meminta responden untuk menunjukkan apakah
Kerja sama . 12 (.99) . 65 (.58)
Moralitas . 29 (.91) . 54 (.71) data mereka harus digunakan. Variabel UseMe SRSI memberikan
Simpati . 18 (.97) . 60 (.64) penilaian dikotomis langsung. Secara keseluruhan, 90% responden
Memercayai . 11 (.99) . 61 (.63) menyatakan bahwa data mereka harus digunakan. Memeriksa Tabel 5
menunjukkan bahwa indeks laporan diri hanya berkorelasi moderat satu
Regresi keanggotaan kelas laten pada indikator laten
sama lain. Selain itu, UseMe SRSI berkorelasi tinggi dengan jumlah item
B (P) Rasio peluang
palsu yang terlewatkan seperti halnya dengan variabel laporan diri
Jumlah Produk Palsu 2.43 (.01) 11.34 lainnya. Dengan demikian, ada kemungkinan bahwa responden akan
Antonim Psikometrik 8.95 (.03) 7.666.30
terbuka untuk tidak menggunakan data mereka berdasarkan perilaku
Sinonim Psikometri 29.23 (.01) 0,01
Konsistensi Genap-Ganjil 22,99 (.01) 0,01 mereka tetapi mungkin tidak mau mengakui untuk melakukan sedikit
Rata-rata Tali Panjang 0.31 (.31) 1.36 usaha ketika ditanya secara langsung.
Max LongString 0,25 (.05) 0,78 Tabel 8 menunjukkan bahwa indeks laporan diri adalah utilitas
Mahalanobis D 0.17 (.01) 0,85 campuran dalam memprediksi keanggotaan kelas laten, yang diturunkan
dari model campuran faktor. Dari indeks laporan diri, SRSI UseMe dan
Catatan. Varians faktor dibatasi hingga 1,0 di setiap kelas. Penyadapan
indikator juga dibatasi dan sebagai berikut untuk faktor (5,45, skala SR Diligence tampak lebih berguna daripada item SRSI Attention
4,57, 5,09, 4,49, 4,52). Odds ratio 0,01 positif. and Effort. Sedangkan indikator SRSI UseMe memiliki
 RESPON CEPAT 447

Tabel 8
Hasil Model Regresi Logistik Faktor Prediksi Model Campuran Keanggotaan Kelas Laten

Keseluruhan % Kelas 1% benar

Variabel 2 LL Cox & Snell Nagelkerke benar (Kepekaan) B SE Wald Rasio peluang

Jumlah Palsu 130.55 . 32 . 62 94.8 64.4 0,96 0.12 63.41 2.62

antonim psiko 232,82 . 11 . 21 88.2 15.6 2.39 0.37 41.47 0,09
sinonim psiko 84,75 . 40 . 77 95.0 73.3 13.11 1.77 54,65 0,01
Kontra Ganjil Genap. 105,25 . 36 . 70 94.2 64.4 10.11 1.39 52.87 0,01
Rata-Rata LongString 261,54 . 04 . 08 88.9 4.4 0,26 0,08 10,04 1.29
Panjang String Maks 263,57 . 03 . 07 87.7 4.4 0,07 0,02 12.64 1.07
Mahalanobis D 203,81 . 17 . 34 90.6 31.3 0,06 0,01 53.03 1.06
Jumlah Menit 163,04 . 13 . 27 92.0 25.0 0,09 0,02 31.35 0,91
SRSI UseMe 228.41 . 11 . 21 88.8 43.2 2.64 0.39 45.24 0,07
Ketekunan SR 185.15 . 21 . 40 91.5 36.4 1.63 0,22 55.44 0,20
Perhatian SRSI 203.32 . 17 . 32 89,4 15.9 1.83 0.27 44.13 0.16
Upaya SRSI 202,24 . 17 . 33 89.6 20.5 1.81 0.27 45.57 0.16

Catatan. Psiko - psikometrik; Kontra. - konsistensi; SR - laporan diri; SI - item tunggal. Kelas 1 adalah kelas yang ceroboh menanggapi (n - 45). Kelas 2n - 336. Wald - (
B/SE)2.

kecocokan model yang lebih buruk dan pseudo-R . yang lebih rendah2 nilai
(berpotensi karena sifatnya yang dikotomis), itu menghasilkan persentase
benar Kelas 1 yang lebih tinggi (sensitivitas). Skala Ketekunan SR, di sisi lain,
menghasilkan pseudo-R . yang lebih tinggi2 nilai dan persentase keseluruhan
benar. Salah satu fitur positif dari indeks SRSI UseMe, bagaimanapun, adalah
bahwa ia memiliki batas alami untuk memasukkan respons di antara
kumpulan respons yang valid, sedangkan beberapa batas akan diperlukan
untuk membuat keputusan seperti itu dengan SR Diligence dan indeks lainnya.
RQ6: Waktu respons. RQ 6 menanyakan apakah waktu respons dapat
digunakan dengan cara yang berarti. Jumlah menit memang menjelaskan
varians yang signifikan dalam keanggotaan kelas, meskipun tidak termasuk
dalam model campuran yang digunakan untuk mendefinisikan kelas laten.
Meskipun ini menunjukkan beberapa penggunaan waktu respons yang
menjanjikan, secara pragmatis, beberapa jenis nilai batas perlu ditetapkan
untuk menyaring orang yang merespons terlalu cepat. Sayangnya tidak ada
titik istirahat yang jelas dalam distribusi, karena perbedaan individu dalam
skala kepribadian 5 Besar, tunduk pada batasan bahwa mereka memuat
setidaknya 0,45 ke faktor umum. Setelah kami memiliki 20 item per skala,
kami menghitung skor skala sebagai jumlah dari 20 item ini dan
menentukan korelasi di antara skala (lihat Tabel 9). Selanjutnya, untuk
masing-masing dari 5 faktor Besar, kami memperkirakan parameter item
di bawah model respons bertingkat teori respons item (Samejima, 1969)
menggunakan program Multilog 7.03 (Thissen, 1991). Namun, karena
beberapa item memiliki sangat sedikit orang yang menggunakan opsi
ekstrem untuk skala 7 poin kami, kami mengecilkan ini menjadi lima
respons dengan menggabungkan opsi respons satu hingga tiga sebelum
estimasi untuk menghindari kesalahan estimasi dan parameter dengan
kesalahan standar yang sangat besar (lih. Stark, Chernyshenko, Drasgow,
& Williams, 2006).2 Akibatnya, untuk setiap item, satu A parameter dan
empat Bparameter (B1 ke B4) diperkirakan. Agar dapat menghasilkan data
dengan tujuh opsi respons, kami membuat dua tambahanB parameter.3
Parameter ini selanjutnya diperlakukan sebagai parameter populasi dari

waktu respons sangat besar. Menurut pendapat kami, outlier yang jelas di data simulasi kami.
ujung bawah distribusi waktu respons kemungkinan dapat dikategorikan Untuk mensimulasikan data respons yang bertujuan, kami mulai dengan

sebagai responden yang ceroboh, meskipun ada metode yang lebih baik untuk mensimulasikan skor theta (M - 0, SD - 1) untuk masing-masing dari lima skala
membuat karakterisasi tersebut. kepribadian kita. Kami menggunakan dekomposisi Cholesky dari korelasi yang
diamati di antara lima faktor (lihat Tabel 9) untuk mendapatkan bobot

Belajar 2
metode
RQ 7 tergolong sensitivitas indeks respon ceroboh. Sementara Studi 1 kami
memberikan informasi yang sangat berguna, kesimpulan yang lebih pasti
dapat ditarik dengan data simulasi di mana setiap kasus diketahui mengikuti
model respons yang sesuai atau "ceroboh." Studi 2 melibatkan data yang
disimulasikan seperti itu. Ada banyak keputusan yang diperlukan untuk dapat
menghasilkan data. Kami mensimulasikan data untuk 100 item, mirip dengan
apa yang dapat diberikan dalam ukuran kepribadian umum, seperti IPIP, di
mana ada lima faktor dengan 20 item per faktor. Untuk meningkatkan validitas
eksternal, kami mendasarkan data populasi kami pada respons sampel kami
yang dijelaskan sebelumnya. Kami mulai dengan memilih 351 tanggapan yang
dua atau lebih sedikit item palsu ditandai dalam analisis kami sebelumnya.
Kami kemudian secara acak memilih 20 item dari masing-masing
sedemikian rupa sehingga lima skor theta kami berkorelasi dengan cara yang
sama seperti skor skala yang diamati dari Studi 1. Theta ini kemudian
digunakan untuk menghasilkan data di bawah model respons bertingkat
menggunakan parameter item populasi.
2 Pengecualian untuk proses ini adalah skala neurotisisme, di mana
kemiringan dalam data mentah adalah positif dan runtuh di seluruh Opsi
Respons 5-7.
3 Parameter b1 tujuh respons-opsi dibuat dengan mengambil estimasi
parameter b1 dan mengurangkan 2.0 darinya. Kami juga mengurangi
1.0 dari estimasi parameter b1 untuk membuat parameter b2 baru untuk tujuh opsi
respons kami. Kami menambahkan 1,0 dan 2,0 untuk parameter b estimasi terbesar
untuk membuat dua parameter b terbesar untuk item neurotisisme. Proses ini
mengarah pada pemanfaatan opsi respons ekstrem dalam proporsi kasar terhadap
data yang diamati yang disaksikan dalam sampel data kami, namun menghindari
kesalahan estimasi yang terkait dengan data yang tidak mencukupi.
448 MEADE DAN CRAIG
Tabel 9
Korelasi Antara Skala Kepribadian
Variabel 1 2 3 4
1. Keramahan 1.00
2. Kesadaran . 37 1.00
3. Ekstraversi . 42 . 21 1.00
4. Neurotisme . 31 . 27 . 46 1.00
5. Keterbukaan . 15 . 04 . 09 . 03
Untuk mensimulasikan data, program yang ditulis untuk tujuan
tersebut dalam Visual Basic for Application Microsoft Excel
digunakan. Untuk setiap item, skor theta yang relevan, bersama
dengan parameter item populasi, digunakan untuk menghitung
probabilitas respons untuk masing-masing dari tujuh opsi respons.
Interval kumulatif kemudian dibentuk di kisaran 0 hingga 1,0, di
mana tujuh rentang sesuai dengan tujuh opsi respons. Interval yang
sesuai dengan opsi respons satu mencakup rentang dari nol hingga
nilai probabilitas opsi respons satu (p1). Interval yang sesuai dengan
opsi respons dua berpita rentang dari p1 atas1 - P2), dll., dengan
rentang opsi respons tujuh pita (1 p7) menjadi 1,0. Nomor acak
dengan seragam
distribusi kemudian disimulasikan dan opsi respons dengan rentang
yang sesuai yang berisi nomor acak kemudian ditentukan sebagai
respons untuk item tersebut. Proses ini diulang untuk masing-
masing dari 20 item per masing-masing dari lima konstruksi laten.
Variabel dimanipulasi. Kami mensimulasikan 16 kondisi data,
masing-masing berisi 100 sampel ulangan dan 1.000 responden
simulasi. Kami memvariasikan tiga variabel: tingkat kecerobohan
data (penuh atau sebagian), jenis kecerobohan (acak seragam, acak
terdistribusi normal), dan persentase responden kecerobohan
dalam replikasi sampel (5%, 10%, 15% , atau 20%). Desain kami
adalah 2 2 4, dengan total 1.600 ulangan
sampel. Untuk mensimulasikan data yang ceroboh, kami menggunakan
model respons acak menggunakan distribusi seragam atau distribusi
normal. Untuk bagian sampel yang tanggapannya sepenuhnya acak,
semua 100 item dihasilkan dengan mensimulasikan bilangan bulat acak
antara 1 dan 7 dari distribusi yang relevan (seragam atau normal).
Sementara sedikit panduan tersedia dalam literatur mengenai sifat
respons acak, kami berusaha untuk mensimulasikan respons yang
benar-benar acak (distribusi seragam) serta respons acak untuk orang-
orang yang mungkin menempel terutama pada titik tengah skala karena
kekhawatiran diidentifikasi melalui analisis outlier.
Kami membuat data sebagian acak sebagai pola sebagian acak hadir
dalam data kami serta orang lain (misalnya, Baer et al., 1997; Berry et al.,
1992). Untuk membuat sebagian data acak, untuk setiap kasus yang
relevan, pertama-tama kami mensimulasikan data respons yang
bertujuan seperti yang dijelaskan sebelumnya, tetapi kemudian secara
acak memilih sekitar 25% dari 100 item yang kami ganti respons yang
disengaja dengan bilangan bulat acak antara 1 dan 7. Kami tidak
mensimulasikan data yang ceroboh dimana responden memilih respon
yang sama untuk banyak item berurutan; jelas dari Studi 1 bahwa indeks
LongString paling mampu mendeteksi pola respons seperti itu.
Indeks diperiksa. Kami memeriksa kinerja beberapa
indeks konsistensi. Kami tidak memeriksa kinerja dua indeks
LongString, indeks yang dilaporkan sendiri, atau waktu
respons. Perhitungan indeks konsistensi bisa agak intensif,
terutama jika variabel yang berbeda digunakan untuk membentuk
indeks di 1.600 sampel. Oleh karena itu, kami tidak menguji korelasi
empiris antara item dalam setiap sampel untuk memilih item mana
5 yang akan digunakan dalam ukuran Sinonim dan Antonim
Psikometrik. Sebaliknya, kami menggunakan semua pasangan item
dari 100 item dengan korelasi di atas . 60 dalam data sampel kami
dari mana parameter item diturunkan. Dengan ukuran sampel yang direplikasi
1.000, seharusnya ada kesalahan pengambilan sampel yang relatif kecil dan
1.00
dengan demikian tidak ada tingkat variabilitas yang tinggi di seluruh sampel
sehubungan dengan item mana yang sangat berkorelasi. Ada enam pasangan
seperti itu yang digunakan dalam Antonim Psikometrik dan sembilan tersedia
untuk Sinonim Psikometrik. Untuk indeks Konsistensi Genap-Ganjil, kami
membuat subskala 10 item untuk masing-masing dari lima ukuran kepribadian
20 item menggunakan metode yang dijelaskan sebelumnya. Ukuran jarak
Mahalanobis dihitung untuk masing-masing dari lima subskala dan dirata-
ratakan ke dalam satu indeks.
Setelah data dibuat, untuk setiap replikasi, kami kembali
memeriksa estimasi koefisien regresi logistik, model fit, Cox dan
Snell dan Nagelkerke pseudo-R2 koefisien, dan persentase klasifikasi
yang benar terkait dengan regresi sifat dikotomis sebenarnya dari
data (0 - tujuan, 1 - ceroboh) pada masing-masing indeks diperiksa
dalam model berjalan terpisah. Dalam setiap analisis regresi,
variabel kriteria adalah variabel dikotomis yang mewakili apakah
peserta ujian yang disimulasikan mewakili responden yang valid
atau responden yang ceroboh. Ukuran sampel untuk setiap regresi
adalah 1.000 (jumlah peserta ujian yang disimulasikan per ulangan),
dan analisis ini dilakukan di masing-masing dari 100 ulangan untuk
setiap kondisi. Hasil dari masing-masing 100 analisis regresi
replikasi dirata-ratakan dan dilaporkan pada tingkat kondisi.
Hasil
Data acak acak yang seragam. Hasil simulasi kami-
hubungan yang melibatkan data acak acak yang seragam dapat ditemukan
pada Tabel 10. Dalam menafsirkan hasil, kami mengandalkan terutama pada
Cox dan Snell serta Nagelkerke pseudo-R2 serta nilai sensitivitas dan
spesifisitas. Sementara statistik Wald menunjukkan apakah indeks dapat
secara signifikan memprediksi kecerobohan simulasi, pseudo-R2 dan analisis
klasifikasi lebih langsung menilai kemanjuran relatif dari indeks, karena
mereka kurang bergantung pada kekuatan. Nilai sensitivitas menunjukkan
persentase responden ceroboh yang benar diklasifikasikan sebagai ceroboh
(yaitu, benar positif). Nilai spesifisitas menunjukkan persentase responden
yang sengaja disimulasikan dikategorikan dengan benar seperti itu (yaitu,
negatif benar).
Seperti yang diharapkan, kemanjuran metode lebih tinggi ketika model
respons acak total, daripada sebagian, digunakan untuk mensimulasikan data.
Persentase yang lebih besar dari responden yang ceroboh juga menghasilkan
kinerja yang agak lebih baik untuk setiap indeks. Secara keseluruhan, ukuran
Mahalanobis D berkinerja terbaik dengan data yang disimulasikan
sehubungan dengan varians yang dijelaskan dan klasifikasi yang benar.
Analisis regresi logistik kami menemukan kesalahan dengan Mahalanobis
D, di mana tidak ada estimasi kemungkinan maksimum dari parameter
kemiringan yang tersedia, karena Mahalanobis D mampu mengkategorikan
secara hampir sempurna setiap responden yang disimulasikan dalam setiap
replikasi sebagai ceroboh atau disengaja. Kami percaya bahwa indeks ini
berkinerja baik karena sifat data yang disimulasikan tidak seimbang. Ketika
data cukup miring, respons ceroboh dari ujung distribusi respons yang diamati
yang jarang digunakan cenderung menghasilkan
 RESPON CEPAT 449

Tabel 10
Hasil Regresi Logistik untuk Simulasi Data Kecerobohan Total dan Sebagian Di Bawah Distribusi Acak Seragam

% Cox &
Acak Variabel 2 LL Snell Nagelkerke B SE Wald Kepekaan Kekhususan

Benar-benar ceroboh

5 sinonim psiko 279,86 (2.23) . 12 (.02) . 35 (.05) 4,06 (0,46) 0,42 (0,04) 93,38 (6,85) 15.33 (7.12) 99,02 (0,31)
antonim psiko 318,86 (15,42) . 08 (.01) . 24 (.04) 2,99 (0,32) 0,35 (0,02) 74,49 (9,97) 6.98 (4.64) 99,58 (0,22)
Kontra Ganjil Genap. 116,64 (25,9) . 25 (.02) . 75 (.06) 13.15 (3.21) 1,75 (0,47) 57.59 (7.87) 73,58 (6,34) 99,66 (0,12)
A A A A
Mahalanobis D . 33 (.00) 1.00 (.00) 99,90 (0,44) 100.00 (0.00)
10 sinonim psiko 426,00 (24,84) . 20 (.02) . 42 (.04) 4.31 (0.36) 0,35 (0,03) 15.26 (5.99) 33.12 (5.87) 97,50 (0,29)
antonim psiko 505,99 (23,63) . 14 (.02) . 29 (.04) 2,99 (0,29) 0,27 (0,01) 12,32 (12,06) 19,26 (6,36) 98,38 (0,33)
Kontra Ganjil Genap. 176,77 (37,23) . 38 (.02) . 79 (.05) 14,59 (3,26) 1,60 (0,40) 85.02 (9.09) 78,87 (5,16) 99,36 (0,2)
A A A A
Mahalanobis D . 48 (.00) 1.00 (.00) 99,91 (0,29) 100.00 (0.00)
15 sinonim psiko 536,79 (27,81) . 27 (.02) . 47 (.04) 4,41 (0,32) 0,32 (0,02) 19,57 (5,82) 44,66 (5,54) 95,96 (0,41)
antonim psiko 634,77 (25,54) . 19 (.02) . 34 (.04) 3.11 (0.24) 0,25 (0,01) 159,77 (11,36) 31,89 (4,78) 96,74 (0,45)
Kontra Ganjil Genap. 218,79 (36,42) . 47 (.02) . 82 (.03) 15,57 (2,94) 1,57 (0,34) 99,33 (8,31) 82.20 (3.27) 99,21 (0,22)
A A A A
Mahalanobis D . 57 (.00) 1.00 (.00) 99,95 (0,18) 100.00 (0.00)
20 sinonim psiko 617,92 (32,52) . 32 (.02) . 50 (.03) 4,53 (0,34) 0,30 (0,02) 221,85 (5.5) 53,72 (4,08) 94,33 (0,47)
antonim psiko 741.72 (26.18) . 23 (.02) . 36 (.03) 3.14 (0.23) 0,23 (0,01) 186,85 (1,48) 40.26 (4.21) 94,82 (0,48)
Kontra Ganjil Genap. 258.04 (35.32) . 53 (.02) . 83 (.03) 15,72 (2,58) 1,48 (0,28) 114,49 (11,48) 83,81 (2,48) 98,90 (0,26)
A A A A
Mahalanobis D . 63 (.00) 1.00 (.00) 99,96 (0,14) 100.00 (0.01)

Sebagian ceroboh

5 sinonim psiko 375,97 (12,42) . 03 (.01) . 08 (.04) 1,96 (0,42) 0,37 (0,02) 29.12 (12.51) 0,14 (0,58) 99,97 (0,07)
antonim psiko 382,68 (11,76) . 02 (.01) . 06 (.03) 1,48 (0,46) 0,34 (0,02) 21.36 (12.09) 0.00 (0.00) 99,99 (0,04)
Kontra Ganjil Genap. 378,33 (15,64) . 02 (.02) . 07 (.05) 6.60 (2.78) 1,41 (0,26) 22,76 (13,34) 2.56 (3.10) 99,78 (0,14)
Mahalanobis D 97,40 (28,8) . 26 (.02) . 79 (.06) 0,65 (0,12) 0,09 (0,03) 58,99 (12,93) 75.29 (8.18) 99,49 (0,19)
10 sinonim psiko 601,06 (19,3) . 05 (.02) . 11 (.04) 2.10 (0.36) 0,29 (0,01) 53,76 (17,25) 1.55 (2.27) 99,57 (0,40)
antonim psiko 617,80 (18,63) . 04 (.02) . 07 (.04) 1,51 (0,40) 0,26 (0,01) 37,35 (18,03) 0,54 (1,16) 99,89 (0,19)
Kontra Ganjil Genap. 608,27 (24,18) . 04 (.02) . 09 (.05) 7.49 (2.51) 1.24 (0.17) 37,67 (17,82) 5.28 (4.33) 99,42 (0,26)
Mahalanobis D 147.23 (37.65) . 40 (.02) . 83 (.05) 0,70 (0,11) 0,08 (0,02) 88,50 (16,49) 81,72 (5,67) 99,01 (0,29)
15 sinonim psiko 772.20 (25.4) . 07 (.02) . 13 (.04) 2.19 (0.38) 0,26 (0,01) 72,85 (21,08) 5,40 (4,02) 98,56 (0,67)
antonim psiko 794.23 (24.27) . 05 (.02) . 09 (.04) 1,58 (0,36) 0,22 (0,01) 53,20 (21,93) 3,32 (3,84) 99,37 (0,58)
Kontra Ganjil Genap. 780,23 (29,86) . 07 (.03) . 12 (.05) 8.60 (2.42) 1,21 (0,14) 50,61 (19,49) 8.87 (5.23) 98,94 (0,37)
Mahalanobis D 178,82 (39,08) . 49 (.02) . 85 (.04) 0,73 (0,09) 0,07 (0,02) 107,59 (18,05) 85,41 (3,98) 98,59 (0,34)
20 sinonim psiko 912,25 (22,08) . 09 (.02) . 14 (.03) 2.18 (0.27) 0,24 (0,01) 84,57 (17,8) 10.20 (4.69) 96,92 (0,79)
antonim psiko 940.55 (20.81) . 06 (.02) . 09 (.03) 1,54 (0,25) 0,20 (0,01) 60,06 (18,38) 6,63 (4,53) 98,48 (0,82)
Kontra Ganjil Genap. 922.75 (26.15) . 08 (.02) . 12 (.04) 8.91 (2.0) 1.17 (.13) 58,33 (15,71) 11,45 (4,44) 98,26 (0,45)
Mahalanobis D 213.53 (38.83) . 55 (.02) . 86 (.03) 0,76 (0,09) 0,07 (0,01) 127,85 (19,11) 87,02 (2,80) 98,03 (0,04)

Catatan. Psiko - psikometrik; Kontra. - konsistensi. Angka yang disajikan adalah rata-rata parameter model di 100 kondisi replikasi (SDs dalam tanda kurung). Wal - (
B/SE)2. SDs dari B koefisien untuk Konsistensi Ganjil Genap jauh lebih besar dari rata-rata yang diperkirakan SE; oleh karena itu, tes Wald untuk Konsistensi Ganjil
Genap harus diperlakukan dengan hati-hati.
A Statistik tidak tersedia karena "pemisahan lengkap titik data" di mana beberapa nilai Mahalanobis D dapat ditemukan yang secara akurat mengkategorikan

hampir semua responden simulasi sebagai ceroboh atau sengaja.

dampak yang lebih besar pada statistik outlier multivariat daripada
dalam kondisi di mana pemanfaatan yang lebih besar dari semua skala
respons diamati. Namun, pekerjaan simulasi lebih lanjut diperlukan
untuk mengkonfirmasi penjelasan ini. Di antara tiga indeks konsistensi,
indeks Konsistensi Genap-Ganjil tampil lebih baik daripada ukuran
Psikometri Sinonim dan Antonim. Temuan ini agak kontras dengan hasil
Studi 1 kami. Ada beberapa perbedaan antara data simulasi dan data
yang diamati. Perbedaan terbesar adalah jumlah item yang cukup
berkorelasi (.60) untuk digunakan dalam pendekatan sinonim. Dalam
Studi 1, ada 27 pasangan seperti itu, sedangkan hanya ada sembilan
pasangan dalam simulasi kami. Namun, hal yang sama berlaku untuk
langkah-langkah Konsistensi Genap, yang sebelumnya didasarkan pada
32 pasangan subskala dan di sini hanya didasarkan pada lima. Namun,
dalam membandingkan kinerja, kami percaya bahwa keandalan paling
baik menjelaskan perbedaan ini. Pendekatan Psikometri Sinonim dan
Antonim menggunakan korelasi di sembilan dan enam pasangan item,
masing-masing. Dengan demikian, blok penyusun indeks ini adalah item
tunggal. Sebaliknya,
blok bangunan dari ukuran Konsistensi Genap-Ganjil adalah lima pasangan
subskala 10 item, yang lebih dapat diandalkan daripada pasangan item
tunggal. Seperti data yang diamati, kami menemukan kinerja yang lebih buruk
untuk indeks Psikometri Antonim kami daripada indeks lainnya.
Data acak acak terdistribusi normal. Hasil untuk
data ceroboh yang disimulasikan melalui distribusi normal bervariasi
secara substansial tergantung pada apakah semua item tunduk pada
respons ceroboh atau apakah hanya sebagian saja. Ketika semua item
tunduk pada respons yang ceroboh (kondisi kecerobohan total), ukuran
Mahalanobis D sangat tidak memadai untuk mendeteksi respons acak di
bawah distribusi normal (lihat Tabel 11). Pseudo-R2 nilai yang sangat
rendah, dan sensitivitas sering mendekati nol. Ini sangat kontras dengan
kondisi respons ceroboh kami yang terdistribusi secara merata, di mana
Mahalanobis D bekerja dengan baik. Dengan terdistribusi normal, data
yang benar-benar ceroboh disimulasikan di sini, ukuran Konsistensi
Genap-Ganjil mengungguli yang lain dengan margin yang baik
sehubungan dengan kecocokan model; pseudo-R2; dan yang paling
penting, kepekaan.
450 MEADE DAN CRAIG

Tabel 11
Hasil Regresi Logistik untuk Simulasi Data Kecerobohan Total dan Sebagian Dalam Distribusi Acak Normal

% Cox &
Acak Variabel 2 LL Snell Nagelkerke B SE Wald Kepekaan Kekhususan

Benar-benar ceroboh

5 sinonim psiko 282.45 (18.11) . 11 (.02) . 33 (.05) 3,93 (0,43) 0,42 (0,03) 89,52 (6,56) 13,04 (5,94) 99,14 (0,29)
antonim psiko 312,41 (19,57) . 08 (.02) . 24 (.05) 2.97 (0.40) 0,35 (0,02) 71,81 (11,38) 6.01 (5.80) 99,63 (0,23)
Kontra Ganjil Genap. 107,2 (25,92) . 25 (.02) . 77 (.06) 14.35 (3.12) 1,94 (0,48) 55,89 (8,92) 75,42 (5,96) 99,68 (0,11)
Mahalanobis D 343,67 (11,75) . 05 (.01) . 16 (.03) 0,25 (0,03) 0,04 (0,00) 47,07 (7,89) 0,38 (0,93) 99,86 (0,13)
10 sinonim psiko 435,58 (20,53) . 19 (.02) . 40 (.03) 4.14 (0.30) 0,34 (0,02) 145,94 (5,88) 3.24 (5.37) 97,59 (0,35)
antonim psiko 498,81 (23,33) . 14 (.02) . 28 (.04) 2,97 (0,27) 0,27 (0,01) 118,37 (11,83) 18.49 (5.77) 98,38 (0,42)
Kontra Ganjil Genap. 177,14 (53,98) . 38 (.04) . 79 (.09) 14,47 (3,20) 1,60 (0,38) 81,55 (12,03) 78,67 (8,55) 99,42 (0,20)
Mahalanobis D 625,97 (7,55) . 02 (.01) . 05 (.02) 0,13 (0,02) 0,03 (0,00) 23.58 (7.03) 0.00 (0.00) 99,99 (0,04)
15 sinonim psiko 545,33 (27,84) . 26 (.02) . 45 (.04) 4.28 (0.33) 0,31 (0,02) 187,56 (6,29) 42,41 (4,79) 95,89 (0,43)
antonim psiko 637,25 (25,9) . 18 (.02) . 32 (.04) 2,99 (0,25) 0,24 (0,01) 153,88 (11,90) 29,68 (4,96) 96,78 (0,45)
Kontra Ganjil Genap. 206.11 (36.55) . 47 (.02) . 83 (.03) 16.48 (3.14) 1,67 (0,34) 97,95 (9,23) 83.22 (3.31) 99,25 (0,19)
Mahalanobis D 841,44 (2.9) . 00 (0) . 01 (.01) 0,04 (0,02) 0,02 (0,00) 3,99 (2,90) 0.00 (0.00) 100.00 (0.00)
20 sinonim psiko 623,59 (31,98) . 31 (.02) . 5 (.03) 4,47 (0,32) 0,30 (0,02) 22.15 (5.75) 53,18 (4,51) 94,28 (0,49)
antonim psiko 737,74 (32,97) . 22 (.03) . 36 (.04) 3,09 (0,27) 0,23 (0,01) 183,33 (14,12) 39,09 (4,73) 95,01 (0,47)
Kontra Ganjil Genap. 246,33 (34,49) . 53 (.02) . 84 (.03) 17.14 (2.75) 1,63 (0,31) 112,03 (9,71) 84,53 (2,45) 98,96 (0,26)
Mahalanobis D 997,85 (2,84) . 00 (0) . 00 (0) 0,03 (0,02) 0,02 (0,00) 2.89 (2.75) 0.00 (0.00) 100.00 (0.00)

Sebagian ceroboh

5 sinonim psiko 380,69 (7,77) . 02 (.01) . 05 (.02) 1,58 (0,37) 0,39 (0,02) 18.07 (8.48) 0,02 (0,20) 100.00 (0.01)
antonim psiko 384,44 (7,26) . 01 (.01) . 04 (.02) 1,19 (0,31) 0,35 (0,02) 12.90 (7.32) 0.00 (0.00) 100.00 (0.00)
Kontra Ganjil Genap. 386,29 (7,78) . 01 (.01) . 03 (.02) 4.92 (2.25) 1,51 (0,33) 11,44 (7,76) 0,64 (1,33) 99,87 (0,09)
Mahalanobis D 257,34 (17,3) . 13 (.02) . 40 (.05) 0,39 (0,04) 0,04 (0,00) 85,89 (4,16) 22,90 (6,75) 99,3 (0,21)
10 sinonim psiko 618,14 (10,49) . 03 (.01) . 07 (.02) 1,68 (0,27) 0,29 (0,01) 33,71 (1,56) 0,16 (0,47) 99,92 (0,13)
antonim psiko 627,19 (8,66) . 02 (.01) . 05 (.02) 1,23 (0,23) 0,26 (0,01) 23,68 (8,99) 0,01 (0,10) 100.00 (0.02)
Kontra Ganjil Genap. 628,94 (10,45) . 02 (.01) . 04 (.02) 5,84 (2.00) 1,32 (0,19) 19,97 (9,47) 1,51 (1,46) 99,71 (0,16)
Mahalanobis D 406,94 (22,69) . 22 (.02) . 45 (.04) 0,41 (0,03) 0,04 (0,00) 134,77 (4,32) 35,95 (5,49) 98,03 (0,35)
15 sinonim psiko 800,84 (12,94) . 04 (.01) . 08 (.02) 1,71 (0,26) 0,26 (0,01) 45.01 (12.28) 1.31 (1.37) 99,46 (0,41)
antonim psiko 813,19 (12,37) . 03 (.01) . 05 (.02) 1,24 (0,24) 0,22 (0,01) 32.50 (12.11) 0,52 (1,26) 99,88 (0,22)
Kontra Ganjil Genap. 814,89 (15,04) . 03 (.01) . 05 (.03) 6.32 (2.02) 1,25 (0,14) 26,49 (12,85) 2.85 (2.27) 99,41 (0,03)
Mahalanobis D 527,85 (27,15) . 27 (.02) . 48 (.03) 0,42 (0,03) 0,03 (0,00) 169,40 (4,36) 44,46 (4,62) 96,62 (0,41)
20 sinonim psiko 944,99 (17,17) . 05 (.02) . 09 (.03) 1,74 (0,28) 0,24 (0,01) 54,39 (15,34) 3,80 (2,79) 98,31 (0,81)
antonim psiko 962,14 (10,98) . 04 (.01) . 06 (.02) 1.23 (0.18) 0,20 (0,01) 37,91 (1,53) 1,86 (1,88) 99,44 (0,49)
Kontra Ganjil Genap. 965,41 (13,31) . 03 (.01) . 05 (.02) 6.35 (1.58) 1,18 (0,11) 29,49 (1,36) 3.92 (2.32) 99,07 (0,35)
Mahalanobis D 637.17 (28.71) . 30 (.02) . 48 (.03) 0,41 (0,03) 0,03 (0,00) 193,88 (5,30) 49.46 (3.58) 94,84 (0,46)

Catatan. Psiko - psikometrik; Kontra. - konsistensi. Angka yang disajikan adalah rata-rata parameter model di 100 kondisi replikasi (SDs dalam tanda kurung). Wal - (
B/SE)2. SDs dari B koefisien untuk Konsistensi Ganjil Genap jauh lebih besar dari rata-rata yang diperkirakan SE; oleh karena itu, tes Wald untuk Konsistensi Ganjil
Genap harus diperlakukan dengan hati-hati.

Hasil untuk sebagian acak terdistribusi secara normal
tanggapan ceroboh lebih mirip dengan distribusi seragam, di
mana ukuran Mahalanobis D lagi adalah indikator unggul dari
respon ceroboh. Menariknya, indeks Konsistensi Genap-Ganjil
tampil sama untuk distribusi acak seragam dan normal dari
data ceroboh, meskipun sangat dipengaruhi oleh meluasnya
kecerobohan di seluruh item di masing-masing (menjadi sangat
tidak efektif ketika data hanya sebagian ceroboh). Ukuran
Mahalanobis D bekerja dengan baik di sebagian besar kondisi,
meskipun kinerjanya sangat buruk ketika sejumlah besar
responden simulasi merespons secara sembarangan di bawah
distribusi normal.
Pseudo-R2. Kami juga melakukan analisis regresi logistik
menggunakan variabel dikotomis kecerobohan/tujuan populasi sejati sebagai
kriteria dan semua indeks konsistensi kami serta interaksinya sebagai
prediktor. Tujuan kami adalah untuk menentukan jumlah varians maksimum
yang dapat diperhitungkan secara hipotetis untuk menggunakan indeks ini.
Tabel 12 menunjukkan bahwa hampir semua respons ceroboh dapat dideteksi
dalam kondisi yang disimulasikan dengan
terdistribusi seragam, data acak acak total, sedangkan persentase
yang sangat tinggi dapat diidentifikasi di bawah data acak acak
parsial terdistribusi merata dan data acak acak total terdistribusi
normal. Hasil lebih sederhana (Nagelkerke. 5) untuk nor-
mally didistribusikan sebagian acak kondisi data ceroboh.
Dekomposisi varian. Selain itu, kami ingin mencegah-
menambang efek dari masing-masing variabel penelitian kami yang
dimanipulasi pada kemanjuran setiap indeks untuk mendeteksi responden
yang ceroboh. Sebelumnya, kami melakukan analisis regresi logistik untuk
masing-masing dari 100 sampel replikasi kami menggunakan hanya satu dari
empat indeks sebagai prediktor. Kami memanen nilai sensitivitas (positif
benar) yang diperoleh dari analisis ini dari 100 ulangan untuk setiap kondisi
penelitian dan menggunakannya sebagai variabel dependen dalam ANOVA
faktorial untuk menentukan sejauh mana sensitivitas setiap indeks
dipengaruhi oleh variabel penelitian kami. Variabel penelitian kami yang
dimanipulasi semuanya diperlakukan sebagai kategoris dan termasuk jenis
distribusi pembangkit (distribusi seragam atau normal), tingkat kecerobohan
(benar-benar ceroboh atau parsial), dan tingkat dasar responden yang
ceroboh (5%, 10%, 15%, atau 20). %).
 RESPON CEPAT 451

Tabel 12
Rata-rata Pseudo-R2 Nilai untuk Data Simulasi

Distribusi seragam Distribusi normal

Benar-benar acak Sebagian acak Benar-benar acak Sebagian acak

% Acak Cox & Snell Nagelkerke Cox & Snell Nagelkerke Cox & Snell Nagelkerke Cox & Snell Nagelkerke

5 . 33 1.00 . 27 . 83 . 28 . 85 . 15 . 44
10 . 48 1.00 . 41 . 85 . 42 . 87 . 23 . 48
15 . 57 1.00 . 50 . 87 . 52 . 91 . 29 . 50
20 . 63 1.00 . 55 . 87 . 58 . 92 . 32 . 51

Catatan. Rata-rata di 100 ulangan.

dihitung 2 nilai dilaporkan pada Tabel 13. Seperti dapat dilihat, jenis
distribusi pembangkit memiliki efek yang sangat besar pada indeks
Mahalanobis D, namun sangat kecil pengaruhnya pada indeks lainnya.
Sebaliknya, Mahalanobis D terpengaruh pada tingkat yang jauh lebih
rendah daripada indikator lainnya oleh tingkat (sepenuhnya vs. sebagian)
dari kecerobohan yang ada serta oleh tingkat dasar dari respons yang
ceroboh. Namun, ada interaksi besar, seperti yang dibahas sebelumnya,
sehingga Mahalanobis D berkinerja buruk ketika data sebagian ceroboh
dan terdistribusi normal.
Barang palsu. Analisis formal untuk palsu atau re- yang diinstruksikan
item sponsor tidak diperlukan, karena probabilitas yang mendasarinya
dapat dihitung untuk menggambarkan kemanjuran item. Dengan asumsi
bahwa ada satu jawaban yang benar untuk item tersebut, responden
yang ceroboh menggunakan distribusi seragam dari jawaban ceroboh
akan memiliki probabilitas jawaban yang benar dari 1/J, di mana J adalah
jumlah pilihan jawaban. Ini akan paling baik dicapai melalui item respons
yang diinstruksikan (misalnya, "tolong tanggapi dengan "tidak setuju"
untuk item ini). Jadi, peluang untuk ditandai oleh item tersebut adalah (J
1)/J. Jika lebih dari satu item yang digunakan, probabilitas
ditandai oleh salah satu item adalah 1 (1/J)k, di mana k adalah
jumlah item respons yang diinstruksikan. Untuk dua item respons yang
diinstruksikan dan lima opsi respons, probabilitas disaring saat menggunakan
respons acak adalah 0,96, sedangkan probabilitasnya adalah 0,98 untuk tujuh
opsi respons. Dengan tiga item seperti itu, probabilitasnya sangat mendekati
1,0 untuk lima atau lebih opsi respons. Dengan demikian, jenis item ini harus
menjadi indikator yang kuat bagi responden untuk tidak repot-repot membaca
batang item. Jika responden mengikuti distribusi normal acak dengan respons
ceroboh mereka, item respons yang diinstruksikan yang membutuhkan
respons ekstrem akan lebih efektif. Ketika digabungkan dengan indikator
respons ceroboh yang kami periksa secara empiris, hampir semua respons
ceroboh
harus dapat dideteksi ketika keduanya digunakan secara
bersamaan.
Diskusi Umum
Studi ini memberikan investigasi komprehensif tentang indikator kecenderungan
respons ceroboh yang ada dalam data survei. Dengan demikian, penelitian ini
menjawab beberapa pertanyaan yang tidak dibahas oleh literatur yang ada. Pertama,
kami menemukan efek yang signifikan tetapi kecil dari penggunaan set instruksi
untuk mempengaruhi kualitas data. Tampaknya ada keuntungan kecil dalam
menggunakan survei yang teridentifikasi sehingga lebih sedikit item palsu yang
disahkan dalam kondisi seperti itu dan responden yang melaporkan sendiri lebih
memperhatikan. Peringatan keras tentang pelanggaran kode kehormatan mendekati
signifikansi sehubungan dengan penurunan sikap responden yang dilaporkan sendiri
terhadap penelitian dan peringatan keras tidak memberikan manfaat nyata
dibandingkan menggunakan tanggapan yang diidentifikasi tanpa peringatan.
Kedua, kami menemukan bahwa variabel indikator yang berbeda
menandai individu yang berbeda, seperti yang terlihat dalam korelasi di
antara semua indikator kualitas (lihat Tabel 4 dan 5). Secara logika hal ini
dapat dimengerti. Misalnya, seseorang yang merespons item secara acak
tidak akan diidentifikasi oleh variabel LongString tetapi mungkin ditandai
oleh indikator kualitas lainnya. Sebaliknya, seseorang yang merespons
dengan banyak 4s berturut-turut mungkin tidak memberikan jawaban
yang mencurigakan, seperti yang ditunjukkan oleh ukuran konsistensi
internal atau analisis outlier, tetapi dapat diidentifikasi oleh variabel
LongString. Analisis faktor kami terhadap indikator menemukan bahwa
tiga indeks konsistensi (Antonim Psikometrik, Sinonim Psikometrik, dan
ukuran Konsistensi Genap-Ganjil) dimuat ke dalam faktor yang sama
dengan indeks outlier Mahalanobis D dan jumlah item palsu yang
didukung. Meskipun secara konseptual berbeda,

Tabel 13
2 untuk Efek Variabel yang Dimanipulasi pada Indeks Sensitivitas Regresi Logistik

Psikometrik Psikometrik Bahkan aneh

Variabel yang dimanipulasi sinonim antonim konsistensi Mahalanobis D

Membangkitkan Distribusi (normal vs seragam) . 00 . 00 . 00 . 83

Sebagian vs. Model Ceroboh Total (Sepanjang) . 67 . 56 . 98 . 02
Tingkat Dasar Responden Ceroboh . 18 . 22 . 01 . 01
Distribusi Cakupan . 00 . 00 . 00 . 12
Distribusi Tarif dasar . 00 . 00 . 00 . 00
Tingkat Dasar Tingkat . 09 . 14 . 00 . 01
Luas Distribusi Tarif dasar . 00 . 00 . 00 . 00
452 MEADE DAN CRAIG
item tampaknya menangkap jenis respons ceroboh yang sama yang ada
dalam data kami seperti halnya indeks konsistensi. Ukuran laporan diri dan
indeks LongString tampak berbeda secara fundamental. Pendekatan
penyaringan data yang paling efektif akan memanfaatkan beberapa indikator
kualitas data secara bersamaan.
Hasil simulasi kami menemukan bahwa Mahalanobis D dapat menjadi
indikator kuat dari respons ceroboh, tetapi kemanjurannya sangat
bergantung pada sifat keseluruhan sampel. Seperti halnya analisis
outlier, apa yang dianggap sebagai outlier tergantung pada distribusi
tanggapan dalam sampel. Kami menemukan bahwa ketika respons
ceroboh mengikuti distribusi acak yang seragam, Mahalanobis D
berkinerja baik; itu sama dilakukan dengan baik ketika tanggapan
ceroboh mengikuti distribusi normal hanya untuk beberapa data
ceroboh. Namun, kinerjanya sangat buruk ketika data kecerobohan
responden yang ceroboh mengikuti distribusi normal untuk semua item.
Sebaliknya, ukuran Konsistensi Genap-Ganjil relatif stabil dalam
kinerjanya di seluruh kondisi distribusi seragam atau normal dari
tanggapan yang benar-benar acak. Namun, ukuran Genap-Ganjil
dilakukan dengan buruk hanya ketika tanggapan ceroboh sesekali
diberikan. Mengingat Genap-Ganjil menggunakan subskala, respons
ceroboh yang kadang-kadang memiliki dampak yang relatif kecil pada
subskala ini.
Analisis model campuran LPA dan faktor kami menunjukkan bahwa sekitar
10% -12% dari sampel sarjana kami termasuk dalam kelas laten yang dapat
dianggap ceroboh dalam tanggapan mereka, jumlah yang hampir identik
dengan yang ditemukan oleh Kurtz dan Parish (2001). Meneliti ukuran laporan
diri dan waktu respons menunjukkan bahwa penggunaannya untuk
menyaring data lebih baik daripada tidak melakukan apa-apa. Selain itu,
sementara beberapa orang menyelesaikan survei dengan sangat cepat
sehingga respons yang ceroboh pasti ada, sebagian besar orang yang
diidentifikasi sebagai merespons dengan ceroboh dengan metode lain
memiliki waktu respons sedemikian rupa sehingga respons mereka tidak akan
dihapus. Orang tersebut mungkin terganggu, terlibat dalam percakapan, dll
selama proses respon. Secara keseluruhan, waktu respons dan ukuran laporan
diri tidak cukup untuk penyaringan data yang menyeluruh.
Rekomendasi
Hasil kami memberikan sejumlah rekomendasi praktis. Pertama, kami
mendorong penggunaan tanggapan yang teridentifikasi tetapi bukan kata-
kata kasar dalam set instruksi yang digunakan di sini. Sementara anonimitas
mungkin memberikan laporan yang lebih akurat tentang perilaku sensitif
(misalnya, menyontek; Ong & Weiss, 2000), beberapa penelitian telah
menemukan perbedaan antara kondisi anonim dan rahasia menjadi minimal
(Moore & Ames, 2002) dan tidak berpengaruh pada tingkat respons. (Campbell
& Waters, 1990).
Kedua, kami sangat mendukung item palsu—atau, lebih disukai, item
respons yang diinstruksikan (misalnya, "Tanggapi dengan 'sangat setuju'
untuk item ini")—untuk pengukuran survei yang lebih lama. Item
tersebut mudah dibuat, memiliki keuntungan menyediakan metrik yang
jelas untuk penilaian sebagai benar atau salah, dan tidak rentan
terhadap interpretasi figuratif seperti item palsu yang kami buat. Kami
menyarankan untuk memasukkan sekitar satu item tersebut di setiap 50
-100 item hingga maksimal tiga. Responden dapat menjadi terganggu
pada item tersebut jika sejumlah besar muncul.
Rekomendasi kami selanjutnya bergantung pada ketatnya penyaringan
data yang diperlukan. Kami percaya bahwa setiap studi penelitian survei
berbasis Internet akan mendapat manfaat dari menggabungkan setidaknya
satu metode deteksi respons yang ceroboh. Untuk contoh di mana
korelasi yang kuat menarik dan pembersihan data yang sangat ketat tidak
diperlukan, kami menyarankan untuk memasukkan ukuran laporan diri yang
sederhana (yaitu, "Menurut pendapat jujur Anda, haruskah kami
menggunakan data Anda?"), Digabungkan dengan pandangan sepintas pada
waktu respons untuk outlier . Hasil kami menunjukkan bahwa metode ini akan
secara efektif menyaring beberapa responden yang ceroboh, meskipun
penelitian lebih lanjut diperlukan untuk menentukan efek dari responden yang
ceroboh yang tersisa pada properti data. Saat menggunakan data survei yang
dikumpulkan secara online dari sampel mahasiswa sarjana, kami yakin proses
ini harus dilakukan seminimal mungkin. Jika hanya metode post hoc yang
tersedia, maka pemeriksaan waktu respon dan perhitungan ukuran
Konsistensi Genap-Ganjil disarankan sebagai minimum.
Untuk kasus di mana pembersihan data yang lebih ketat diperlukan, kami menyarankan untuk memasukkan
item respons yang diinstruksikan dan menghitung tiga indeks post hoc. Di antara indeks konsistensi, kami
merekomendasikan untuk menghitung indeks Konsistensi Genap-Ganjil, karena indeks ini memiliki kualitas yang
sedikit lebih baik daripada indeks Sinonim Psikometrik atau Antonim. Namun, harus diperhatikan bahwa skala
yang digunakan untuk menghitung indeks adalah unidimensional, dan beberapa skala harus tersedia untuk
menghitung indeks tersebut. Kami juga merekomendasikan indeks Maximum LongString, yang berguna untuk
mengidentifikasi orang-orang yang menanggapi item berbeda dengan satu opsi respons, meskipun kami
menemukan sangat sedikit responden yang menggunakan strategi ini. Kami menemukan perbedaan yang sangat
kecil dalam kinerja indeks LongString Maksimum dan Rata-rata. Perhatikan bahwa indeks ini berfungsi paling baik
ketika item diurutkan secara acak dan, dengan demikian, respons serupa di seluruh item berurutan tidak
diharapkan. Kami juga percaya bahwa ukuran Mahalanobis D sangat berguna. Sayangnya, masing-masing dari
tiga indeks ini memerlukan pemeriksaan distribusi frekuensi mereka untuk mengidentifikasi nilai cutoff yang
sesuai untuk respons yang ceroboh, meskipun nilai probabilitas dapat dihitung untuk ukuran jarak Mahalanobis.
Oleh karena itu, dalam praktiknya, beberapa penilaian tanpa banyak landasan empiris akan diperlukan untuk
penerapan indeks-indeks ini. masing-masing dari ketiga indeks ini memerlukan pemeriksaan distribusi
frekuensinya untuk mengidentifikasi nilai batas yang sesuai untuk respons yang ceroboh, meskipun nilai
probabilitas dapat dihitung untuk ukuran jarak Mahalanobis. Oleh karena itu, dalam praktiknya, beberapa
penilaian tanpa banyak landasan empiris akan diperlukan untuk penerapan indeks-indeks ini. masing-masing dari
ketiga indeks ini memerlukan pemeriksaan distribusi frekuensinya untuk mengidentifikasi nilai batas yang sesuai
untuk respons yang ceroboh, meskipun nilai probabilitas dapat dihitung untuk ukuran jarak Mahalanobis. Oleh
karena itu, dalam praktiknya, beberapa penilaian tanpa banyak landasan empiris akan diperlukan untuk
penerapan indeks-indeks ini.
Untuk contoh di mana beberapa item diberikan, perhitungan indeks
konsistensi yang diperiksa dalam penelitian ini mungkin tidak mungkin
dilakukan. Dalam kasus seperti itu, kami merekomendasikan untuk mengambil
skala yang sangat konsisten secara internal dan memeriksa varians dalam-
orang dalam tanggapan di seluruh item skala. Jika item skala berkorelasi tinggi
satu sama lain untuk sampel secara keseluruhan, namun seorang individu
menunjukkan varians yang berlebihan di seluruh tanggapannya terhadap item
skala tersebut, orang tersebut kemungkinan akan merespons secara tidak
konsisten dan dapat dihilangkan dari sampel.
Keterbatasan
Seperti halnya penelitian apa pun, yang satu ini terbatas dalam ruang lingkup.
Meskipun kami memiliki banyak alasan untuk percaya bahwa populasi responden
kami adalah tipikal di sebagian besar universitas riset besar, kami tidak dapat
memastikan bahwa ini adalah kasusnya. Jika prevalensi respons ceroboh bervariasi
menurut lokasi atau waktu, maka hasil kami mungkin tidak digeneralisasi untuk
penelitian masa depan. Selain itu, sementara kami telah memasukkan serangkaian
indeks yang jauh lebih komprehensif daripada studi sebelumnya tentang topik ini,
ada sejumlah pendekatan yang hampir tidak terbatas yang dapat dieksplorasi. Kami
mendorong peneliti masa depan untuk terus membandingkan pendekatan lain
dengan yang diperiksa di sini. Misalnya, pendekatan alternatif, seperti menawarkan
umpan balik deskriptif kepada responden, dapat memberikan insentif untuk
tanggapan yang lebih terarah.
 RESPON CEPAT
Keterbatasan lain adalah kurangnya penggabungan item respon yang
diinstruksikan secara eksplisit. Selama analisis data, kami menemukan bahwa
salah satu item palsu kami ternyata ditafsirkan jauh lebih kiasan daripada yang
kami maksudkan. Juga, kami memiliki beberapa kekhawatiran bahwa jika
tidak, responden yang berhati-hati mungkin mendukung item palsu karena
mereka menganggapnya lucu (misalnya, "Saya dibayar dua mingguan oleh
leprechauns"). Selain itu, kami dipaksa untuk memilih tingkat
ketidaksepakatan di mana item tersebut dianggap “benar”. Item respons yang
diinstruksikan secara eksplisit tidak akan menunjukkan kelemahan ini.
Masalah lainnya adalah bahwa ukuran laporan diri didasarkan pada
asumsi bahwa responden menanggapinya dengan penuh perhatian.
Dalam penelitian kami, halaman survei terakhir kami diformat sangat
berbeda dari halaman sebelumnya termasuk item kepribadian. Selain itu,
instruksi disajikan dengan beberapa aspek penyorotan untuk
mengingatkan responden bahwa penelitian sudah dekat dan bahwa
tanggapan yang jujur diperlukan. Namun, kami tidak dapat memastikan
bahwa responden memperhatikan fitur ini. Peneliti berharap untuk
menggunakan ukuran tersebut harus jelas menggambarkan mereka dari
item studi lain, mungkin termasuk mereka bersama dengan pertanyaan
demografis di akhir penelitian.
Kesimpulan
Ada banyak manfaat dari metodologi survei online. Pengalaman
anekdot kami sendiri adalah bahwa survei berbasis Internet jauh
lebih populer di kalangan peserta potensial daripada studi serupa
yang membutuhkan partisipasi laboratorium. Untuk alasan ini dan
lainnya, pengumpulan data berbasis internet akan terus menjadi
paradigma pengumpulan data yang dominan dalam penelitian
survei. Namun, sangat penting bahwa data survei Internet disaring
dengan benar untuk tanggapan yang ceroboh untuk menjaga
integritas kesimpulan penelitian.
Referensi
Baer, RA, Ballenger, J., Berry, DTR, & Wetter, MW (1997).
Deteksi respon acak pada MMPI-A. Jurnal Penilaian Kepribadian,
68, 139 -151. doi:10.1207/s15327752jpa6801_11 Beach, DA (1989).
Mengidentifikasi responden acak.Jurnal Psy-
chology: Interdisipliner dan Terapan, 123, 101-103. Ben-Porath,
YS, & Tellegen, A. (2008).Multifase Minnesota
Personality Inventory–2 Restructured Form: Manual untuk administrasi,
penilaian, dan interpretasi. Minneapolis, MN: Pers Universitas Minnesota.
Berry, DT, Baer, RA, & Harris, MJ (1991). Deteksi berpura-pura
pada MMPI: Sebuah meta-analisis. Ulasan Psikologi Klinis, 11, 585–
598. doi:10.1016/0272-7358(91)90005-F
Berry, DTR, Basah, MW, Baer, RA, Larsen, L., Clark, C., &
Monroe, K. (1992). Indeks respons acak MMPI-2: Validasi
menggunakan metodologi laporan mandiri.Penilaian Psikologis, 4, 340
–345. doi:10.1037/1040-3590.4.3.340
Berry, DTR, Basah, MW, Baer, RA, Widiger, TA, Sumpter, JC,
Reynolds, SK, & Hallam, RA (1991). Deteksi respons acak pada
skala MMPI-2: Utilitas F, F belakang, dan VRIN.Penilaian
Psikologis: Jurnal Konsultasi dan Psikologi Klinis, 3,418 – 423.
doi:10.1037/1040-3590.3.3.418
Buchanan, T. (2000). Potensi Internet untuk penelitian kepribadian. Di dalam
MH Birnbaum (Ed.), Eksperimen psikologis di Internet (hlm. 121–
140). San Diego, CA: Pers Akademik.
Campbell, MJ, & Waters, KAMI (1990). Apakah anonimitas meningkat?
tingkat respon dalam survei kuesioner pos tentang subyek sensitif? A
453
percobaan acak. Jurnal Epidemiologi dan Kesehatan Masyarakat, 44,
75–76. doi: 10.1136/jech.44.1.75
Pembawa, LM, Cheever, NA, Rosen, LD, Benitez, S., & Chang, J.
(2009). Multitasking lintas generasi: Pilihan multitasking dan peringkat
kesulitan dalam tiga generasi orang Amerika.Komputer dalam Perilaku
Manusia, 25, 483– 489. doi:10.1016/j.chb.2008.10.012
Cattell, RB, Cattell, AK, & Cattell, HEP (Eds.). (1993).16PF
Daftar pertanyaan (edisi ke-5.). Champaign, IL: Lembaga Pengujian Kepribadian
dan Kemampuan.
Clark, ME, Gironda, RJ, & Young, RW (2003). Deteksi punggung
respon acak: Efektivitas MMPI-2 dan indeks validitas inventaris
penilaian kepribadian. Penilaian Psikologis, 15, 223–234.
doi:10.1037/1040-3590.15.2.223
Clark, SL, Muthén, B., Kaprio, J., D'Onofrio, BM, Viken, R., Rose,
RJ, & Smalley, SL (2009). Model dan strategi untuk analisis campuran
faktor: Dua contoh mengenai struktur yang mendasari gangguan
psikologis. Naskah diserahkan untuk diterbitkan. Diperoleh dari http://
www.statmodel.com/papers.shtml
Costa, PT, Jr., & McCrae, RR (2008). Kepribadian NEO yang Direvisi
Persediaan (NEO-PI-R). Dalam DH Saklofske (Ed.),Buku pegangan SAGE
tentang teori dan penilaian kepribadian. Jil. 2: Pengukuran dan pengujian
kepribadian(hal. 179 –198). Thousand Oaks, CA: Sage.
Crowne, DP, & Marlowe, D. (1960). Skala baru keinginan sosial
terlepas dari psikopatologi. Jurnal Psikologi Konsultasi, 24,349 –
354. doi:10.1037/jam0047358
Curran, PG, Kotrba, L., & Denison, D. (2010). Ceroboh menanggapi dalam
survei: Menerapkan teknik tradisional ke pengaturan organisasi. Makalah
dipresentasikan pada konferensi tahunan ke-25 Society for Industrial/
Organizational Psychology, Atlanta, GA.
Dillman, DA, Smyth, JD, Kristen, LM, & Dillman, DA (2009).
Survei internet, surat, dan mode campuran: Metode desain yang disesuaikan(edisi
ke-3). Hoboken, NJ: Wiley.
Douglas, KM, & McGarty, C. (2001). Identifikasi dan self-
presentasi: Komunikasi yang dimediasi komputer dan interaksi
antarkelompok. Jurnal Psikologi Sosial Inggris, 40, 399 – 416.
doi:10.1348/ 014466601164894
Ehlers, C., Greene-Shortridge, TM, Weekley, JA, & Zajack, MD
(2009). Eksplorasi metode statistik dalam mendeteksi respon acak.
Makalah dipresentasikan pada pertemuan tahunan Society for
Industrial/Organizational Psychology, Atlanta, GA.
Goldberg, LR (1999). Bandwidth luas, domain publik, kepribadian
inventaris mengukur aspek tingkat bawah dari beberapa model lima
faktor. Dalam I. Mervielde, I. Deary, FD Fruyt, & F. Ostendorf (Eds.),
Psikologi kepribadian di Eropa (hlm. 7–28). Tilburg, Belanda: Tilburg
University Press.
Gordon, ME, Slade, LA, & Schmitt, N. (1986). Ilmu dari
sophomore ditinjau kembali: Dari dugaan ke empirisme. Review
Akademi Manajemen, 11, 191–207. Gough, HG, & Bradley, P. (1996). C
alifornia Inventarisasi Psikologis:
panduan administrator (edisi ke-3). Palo Alto, CA: Konsultasi Psikolog
Press.
Grice, HP (1975). Logika dan percakapan. Di P. Cole & JL Morgan
(Ed.), Sintaks dan semantik. Jil. 3: Tindak tutur(hlm. 41–58). New
York, NY: Pers Akademik.
Hinkin, TR (1998). Sebuah tutorial singkat tentang pengembangan langkah-langkah untuk
digunakan dalam kuesioner survei. Metode Penelitian Organisasi, 1,
104 -121. doi:10.1177/109442819800100106
Huang, JL, Curran, PG, Keeney, J. Poposki, EM, & DeShon, RP
(2012). Mendeteksi dan menghalangi upaya yang tidak memadai untuk
menanggapi survei.Jurnal Bisnis dan Psikologi, 27, 99 –114.
Johnson, JA (2005). Memastikan validitas masing-masing protokol
dari inventaris kepribadian berbasis web. Jurnal Penelitian
Kepribadian, 39, 103–129. doi:10.1016/j.jrp.2004.09.009
Kurtz, JE, & Parrish, CL (2001). Konsistensi respons semantik dan
454
validitas protokol dalam penilaian kepribadian terstruktur: Kasus
NEO-PI-R. Jurnal Penilaian Kepribadian, 76, 315–332. doi:
10.1207/S15327752JPA7602_12
Lee, H. (2006). Privasi, publisitas, dan akuntabilitas presentasi diri
dalam kelompok diskusi online. Penyelidikan Sosiologis, 76, 1-22. doi:
10.1111/j.1475-682X.2006.00142.x
Levenson, MR, Kiehl, KA, & Fitzpatrick, CM (1995). Menilai
atribut psikopat dalam populasi yang tidak dilembagakan. Jurnal
Psikologi Kepribadian dan Sosial, 68, 151–158. doi:10.1037/0022-
3514.68.1.151
Lubke, GH, & Muthén, B. (2005). Menyelidiki heterogenitas populasi
dengan model campuran faktor. Metode Psikologis, 10, 21–39. doi:
10.1037/1082-989X.10.1.21
Montgomery, KC (2007). Generasi digital: Politik, perdagangan, dan
masa kecil di era internet. Cambridge, MA: MIT Press. Moore, RS,
& Ames, GM (2002). Kerahasiaan survei vs. anonim-
ity: Penggunaan zat yang dilaporkan sendiri oleh pria muda. Jurnal Pendidikan
Alkohol dan Narkoba, 47, 32– 41.
Nichols, DS, Greene, RL, & Schmolck, P. (1989). Kriteria untuk
menilai pola yang tidak konsisten dari pengesahan item pada
MMPI: Rasional, pengembangan, dan uji empiris. Jurnal Psikologi
Klinis, 45, 239 –250. doi:10.1002/1097-4679(198903)45: 2 239::AID-
JCLP2270450210 3.0.CO;2-1
Nylund, KL, Asparouhov, T., & Muthén, BO (2007). Memutuskan
jumlah kelas dalam analisis kelas laten dan pemodelan campuran pertumbuhan:
Sebuah studi simulasi Monte Carlo. Pemodelan Persamaan Struktural, 14,535–569.
Ong, AD, & Weiss, DJ (2000). Dampak anonimitas tanggapan
terhadap pertanyaan sensitif. Jurnal Psikologi Sosial Terapan, 30, 1691–
1708. doi: 10.1111/j.1559-1816.2000.tb02462.x
Paulhus, DL (1984). Model dua komponen dari rekondisi yang diinginkan secara sosial
penimbangan. Jurnal Psikologi Kepribadian dan Sosial, 46, 598 – 609.
doi:10.1037/0022-3514.46.3.598
Paulhus, DL (2002). Respons yang diinginkan secara sosial: Evolusi a
membangun. Dalam HI Braun, DN Jackson, DE Wiley, HI Braun,
DN Jackson, & DE Wiley (Eds.),Peran konstruksi dalam pengukuran
psikologis dan pendidikan (hal. 49 – 69). Mahwah, NJ: Erlbaum.
Raskin, R., & Terry, H. (1988). Analisis komponen utama dari
MEADE DAN CRAIG
inventaris kepribadian narsistik dan bukti lebih lanjut dari validitas
konstruknya. Jurnal Psikologi Kepribadian dan Sosial, 54, 890 –902.
doi:10.1037/0022-3514.54.5.890
Rogers, R., Sewell, KW, Martin, MA, & Vitacco, MJ (2003).
Deteksi gangguan mental pura-pura: Sebuah meta-analisis dari
MMPI-2 dan berpura-pura. Penilaian, 10, 160 -177.
doi:10.1177/1073191103010002007
Samejima, F. (1969). Estimasi kemampuan laten menggunakan pola respon
dari skor bergradasi. Monograf Psikometrika, 34(Suppl.), 100 –114.
Schinka, JA, Kinder, BN, & Kremer, T. (1997). Skala validitas penelitian
untuk NEO-PI-R: Pengembangan dan validasi awal. Jurnal Penilaian
Kepribadian, 68, 127-138. doi:10.1207/s15327752jpa6801_10 Schultz,
DP (1969). Subjek manusia dalam penelitian psikologi.
Buletin Psikologis, 72, 214 –228. doi:10.1037/jam0027880
Schwarz, N. (1999). Laporan diri: Bagaimana pertanyaan membentuk jawaban.
Psikolog Amerika, 54, 93–105. doi:10.1037/0003-066X.54.2.93 Spelke, E.,
Hirst, W., & Neisser, U. (1976). Keterampilan perhatian yang terbagi.
Kognisi, 4, 215–230. doi:10.1016/0010-0277(76)90018-4
Stark, S., Chernyshenko, OS, Drasgow, F., & Williams, BA (2006).
Meneliti asumsi tentang respons item dalam penilaian kepribadian:
Haruskah metode poin ideal dipertimbangkan untuk pengembangan
skala dan penilaian? Jurnal Psikologi Terapan, 91, 25–39. doi:10.1037/
0021-9010.91.1.25
Tabachnick, BG, & Fidell, LS (2007). Menggunakan statistik multivariat (tanggal 5
ed.). Boston, MA: Pearson/Alyn & Bacon. Thissen, D. (1991).Panduan
pengguna MULTILOG: Beberapa item kategoris
analisis dan penilaian tes menggunakan teori respon item. Chicago, IL:
Perangkat Lunak Ilmiah Internasional.
Tourangeau, R., Rips, LJ, & Rasinski, K. (2000). Psikologi dari
tanggapan survei. Cambridge, Inggris: Cambridge University Press.
Wallis, C. (2006). genM: Generasi multitasking.Majalah WAKTU.
Diperoleh dari http://www.time.com/time/magazine/article/
0.9171.1174696,00.html
Woods, CM (2006). Ceroboh menanggapi item dengan kata-kata terbalik: Im-
aplikasi untuk analisis faktor konfirmatori. Jurnal Psikopatologi
dan Penilaian Perilaku, 28, 186 -191. doi: 10.1007/s10862-005-
9004-7
 RESPON CEPAT 455

Lampiran

Analisis Percontohan

Untuk penelitian ini, kami membuat dua skala keterlibatan studi
partisipan. Untuk memperbaiki skala ini, kami menghapus responden
yang ditandai oleh item palsu mana pun. Hasil 196 responden dianggap
"bersih" dan cocok untuk pengembangan skala.
Tujuh belas item ditulis untuk menilai ketekunan dan keterlibatan
peserta yang dilaporkan sendiri dengan penelitian. Analisis faktor
eksplorasi dengan ekstraksi faktor utama dan rotasi promaks
menghasilkan dua faktor yang jelas (tiga nilai eigen pertama - 4,18, 2,42,
1.05), dengan faktor ketiga yang tidak dapat ditafsirkan terutama terdiri
dari item lintas pemuatan (lihat Tabel A1). Menyelidiki pemuatan faktor,
menggunakan 0,45 sebagai kriteria retensi, menyarankan satu faktor
yang terdiri dari sembilan item yang kami beri labelKetekunan (- - .83)
dan faktor kedua yang mengandung enam item yang lebih bersifat sikap
berlabel Minat (- - .81). Korelasi antara faktor laten adalah -.19. Dua item
gagal dimuat ke salah satu faktor pada level 0,45 atau lebih tinggi.

Tabel A1
Analisis Faktor Eksplorasi Item Keterlibatan Peserta

Barang Ketekunan Minat

1. Saya membaca setiap item survei dengan cermat. . 71 . 01

2. Saya bisa lebih memperhatikan item daripada yang saya lakukan. . 71 . 16
3. Saya mungkin harus lebih berhati-hati selama survei ini. . 71 . 08
4. Saya bekerja dengan kemampuan terbaik saya dalam penelitian ini. . 71 . 12
5. Saya mengerahkan upaya terbaik saya dalam menanggapi survei ini. . 65 . 05
6. Saya tidak memberikan survei ini waktu yang layak. . 59 . 04
7. Saya tidak jujur dalam beberapa hal. . 55 . 05
8. Saya terlibat aktif dalam penelitian ini. . 48 . 19
9. Saya bergegas melalui survei ini. . 45 . 15
10. Saya senang berpartisipasi dalam penelitian ini. . 02 . 82
11. Penelitian ini merupakan penggunaan waktu saya dengan baik. . 16 . 71
12. Saya merasa bosan selama belajar. . 04 . 65
13. Survei ini terlalu panjang. . 06 . 59
14. Pekerjaan yang saya lakukan untuk penelitian ini penting bagi saya. . 09 . 57
15. Saya peduli dengan kinerja saya dalam penelitian ini. . 29 . 50
16. Saya akan tertarik untuk membaca tentang hasil penelitian ini. . 18 . 38
17. Saya sedang terburu-buru sekarang. . 20 . 29

Catatan. Butir 16 dan 17 tidak dipertahankan. Tebal menunjukkan pemuatan . 4.

Diterima 3 Juni 2011

Revisi diterima 11 Februari 2012
Diterima 23 Februari 2012 -