Curran PG (2016) Preprint - En.id

Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.
com
Running head: MENDETEKSI KECERDASAN 1
Metode untuk Mendeteksi Respons yang Tidak Valid dalam Data Survei
Paul G. Curran
Universitas Kenyon
Versi Pracetak Akhir
Jurnal Psikologi Sosial Eksperimental
Edisi Khusus: “Metode Ketat dan Dapat Direplikasi dalam Psikologi Sosial”
CATATAN: Ini adalah versi pra-cetak dari artikel ini, dan versi cetak terakhir dapat ditemukan di sini di
http://dx.doi.org/10.1016/j.jesp.2015.07.006 .
Catatan Penulis: Penulis ingin mengucapkan terima kasih kepada Katherine S. Corker, Brent M. Donnellan,
Fred L. Oswald, dan John F. Binning atas komentar dan saran yang berharga pada draf awal makalah ini.
Selain itu, penulis ingin mengucapkan terima kasih kepada editor edisi khusus ini, Edward Lemay dan Chuck
Stangor, serta dua pengulas anonim, atas umpan balik dan saran mereka yang berharga.
MENDETEKSI KECERDASAN 2
Abstrak
Pengumpulan data laporan diri, terutama melalui pengukuran online, ada di mana-mana di keduanya
psikologi eksperimental dan non-eksperimental. Data yang tidak valid dapat hadir dalam data tersebut
koleksi karena beberapa alasan. Salah satu alasannya adalah upaya yang ceroboh atau tidak cukup (C/IE)
menanggapi. Dekade terakhir telah melihat peningkatan dalam penelitian tentang teknik untuk mendeteksi dan menghapus ini
data sebelum analisis normal (Huang, Curran, Keeney, Poposki, & DeShon, 2012; Johnson, 2005;
Meade & Craig, 2012). Penggunaan yang ketat dari teknik ini adalah alat yang berharga untuk menghilangkan
kesalahan yang dapat memengaruhi hasil survei (Huang, Liu, & Bowling, 2015). Penelitian ini memiliki
mencakup sejumlah sub-bidang psikologi, dan makalah ini bertujuan untuk mengintegrasikan berbagai
perspektif ke dalam tinjauan dan penilaian teknik saat ini, pengenalan baru
teknik, dan generasi rekomendasi untuk penggunaan praktis. Kekhawatiran tentang C/IE
menanggapi adalah faktor setiap kali data laporan diri dikumpulkan, dan semua peneliti tersebut harus
berpengalaman tentang metode untuk mendeteksi pola respons ini.

Data psikologis laporan diri adalah sumber informasi yang ada di mana-mana di banyak bidang
penelitian psikologi. Laporan diri ini digunakan dalam eksperimen dan non-eksperimental
penelitian psikologis untuk mengukur berbagai konstruksi psikologis. Data daring
pengumpulan telah membuat proses ini lebih mudah diakses dan tersebar luas dalam beberapa tahun terakhir, tetapi ada
juga banyak sumber di mana kesalahan dapat memasuki proses ini. Salah satu jenis kesalahan ini berasal dari
responden yang memberikan data yang tidak valid untuk pertanyaan survei. Untungnya, ini adalah kesalahan yang bisa terjadi
dihapus dari proses pengumpulan data survei agar lebih stabil dan konsisten
hasil (Huang, Liu, & Bowling, 2015; Maniaci & Rogge, 2014).
Ada sejumlah alasan mengapa peserta penelitian dapat memberikan tanggapan yang:
dalam beberapa hal tidak valid; yaitu, data yang tidak mewakili nilai 'benar' yang sebenarnya. Johnson (2005)
mengidentifikasi tiga kelas utama dari data yang tidak valid ini: (1) ketidakmampuan linguistik atau
kesalahpahaman, (2) salah tafsir, dan (3) respon ceroboh atau lalai. Linguistik
inkompetensi berhubungan dengan konstruksi item dan proses dimana survei ditujukan
(dengan benar atau tidak tepat) pada populasi yang diinginkan. Kekeliruan berkaitan dengan masalah
curang, atau berpura-pura (Griffith & Peterson, 2006), perilaku yang kemungkinan besar berisiko tinggi
survei atau tes.
Respons yang ceroboh atau lalai berurusan dengan masalah yang berpotensi berdampak pada siapa pun
yang melakukan penelitian dengan peserta dalam pengaturan berisiko rendah hingga menengah (misalnya kumpulan subjek
peserta, pekerja MTurk, kurang dari sampel tempat kerja yang termotivasi penuh). Sayangnya, beberapa
peserta tidak akan melakukan upaya yang diperlukan untuk merespons secara akurat atau penuh perhatian terhadap semua
pertanyaan yang diajukan kepada mereka. Dimasukkannya tanggapan ini ke dalam satu set data yang akurat
dapat memiliki sejumlah efek tak terduga dan tidak diinginkan pada hubungan yang sedang diperiksa (Huang et
al., 2015).
Masalah ini terkait tetapi berbeda dari masalah lain yang ditemukan dalam data, seperti:
kekurangan. Akibatnya, penanggap C/IE kehilangan data yang sebenarnya tidak hilang. C/IE
responden telah memberikan respons ketika mereka mungkin membiarkan respons itu kosong. Ketika
beberapa metode untuk mengatasi kehilangan mungkin berguna setelah orang-orang ini disingkirkan,
ini di luar cakupan makalah ini, karena individu-individu ini harus dideteksi terlebih dahulu.
Untungnya, banyak metode telah dibuat untuk mendeteksi dan menghapus ketidakabsahan ini
responden dari kumpulan data. Meskipun ada sejumlah ulasan tentang beberapa di antaranya
metode (misalnya, Desimone, Harms, & Desimone, 2015; Johnson, 2005), makalah ini bertujuan untuk
meringkas, menghubungkan, dan memperluas alat metodologis modern ini, serta untuk menjelaskan
cara-cara yang dapat ditindaklanjuti untuk mengimplementasikannya. Ini akan dicapai dengan meringkas jenis ini terlebih dahulu
data dan konsep umum deteksi sebelum menguraikan teknik khusus secara rinci. Mengikuti
ini, rekomendasi untuk penggunaan dan masalah umum akan disorot dengan tujuan untuk membantu
meningkatkan pemahaman tentang metode ini. Akan direkomendasikan bahwa sejumlah ini
metode digunakan secara seri dengan tujuan masing-masing untuk mengurangi data yang tidak valid menjadi yang terbaik
terdeteksi oleh teknik tertentu, dan bahwa proses ini transparan dan dapat direplikasi dalam
kasus yang diberikan.
Seperti Apa Tampilan Data yang Ceroboh atau Lalai?
Salah satu cara yang paling jitu untuk memeriksa dampak yang dirasakan dari tanggapan-tanggapan ini adalah dengan:
melihat bahasa yang digunakan untuk menggambarkan mereka. Selama bertahun-tahun, individu yang memamerkan ini
metode tanggapan disebut responden acak (misalnya, Pantai, 1989). Hal ini dipengaruhi oleh
gagasan bahwa tanggapan dari individu-individu ini dihasilkan oleh beberapa orang yang benar-benar acak
proses, seperti melempar koin atau melempar dadu. Dari sudut pandang validitas skala ini berarti bahwa
kesalahan acak dimasukkan ke dalam data. Ini sebagian benar, tetapi bukan cerita lengkapnya.
Penelitian yang lebih baru telah menunjukkan bahwa bahkan para pengambil survei yang diinstruksikan untuk menyelesaikan a
survei secepat mungkin tanpa berpikir masih akan menghasilkan beberapa pola non-acak dalam
data mereka. Pola-pola ini, di permukaan, dapat meniru respons yang bijaksana, tanpa
komitmen waktu dan pikiran (Huang, Curran, Keeney, Poposki, & DeShon, 2012). Ini
data dapat mengambil banyak pola, dan masing-masing pola ini dapat memiliki dampak yang sangat berbeda pada
hasil survei seperti sarana, penyimpangan, dan keandalan (Curran & Kotrba, 2012). Menangkal-
secara intuitif, karakteristik data yang valid dalam situasi ini bisa sama pentingnya dengan
karakteristik data yang tidak valid. Huang dkk. (2015), misalnya, telah menunjukkan bahwa
lokasi skala berarti dalam data yang valid akan menyebabkan pengenalan data yang ceroboh untuk menghasilkan
efek diferensial dalam hasil studi.
Kesalahan sedang diproduksi oleh responden ini, hanya saja tidak harus melalui sepenuhnya acak
proses. Motif yang berbeda dapat menyebabkan strategi dan pola respons yang berbeda, atau sama
motif dapat menghasilkan pola yang berbeda dari individu yang berbeda. Motif-motif tersebut memiliki
potensi untuk menggeser kesalahan ini dari kesalahan yang benar-benar acak ke sesuatu yang lebih berpola. NS
bahasa yang digunakan untuk menggambarkan individu-individu ini juga telah bergeser dari waktu ke waktu dari konsep a
responden 'acak' untuk a ceroboh (Meade & Craig, 2012) atau usaha yang tidak memadai (Huang et
al., 2012) responden (penanggap C/IE). Klasifikasi ini mencerminkan fakta bahwa beberapa upaya mungkin
masih diberikan, tidak cukup untuk tanggapan 'benar' yang bijaksana. Ini mencerminkan yang mendasari
membangun masalah validitas yang diwakili oleh individu-individu ini: kurangnya perhatian dan kecerobohan
harus memoderasi hubungan antara sifat dan keadaan aktual individu dan laporan diri
manifestasi dari konstruksi yang sama seperti yang diukur.
Perkiraan praktis penanggap C/IE dalam studi tipikal berkisar dari sekitar 1%
(Gough & Bradley, 1996) hingga sekitar 30% (Burns, Christiansen, Morris, Periard, &
Coaster, 2014), dengan beberapa konsensus di antara studi penelitian yang menunjukkan bahwa modal rate adalah
suatu tempat dekat 8-12% (Curran, Kotrba, & Denison, 2010; DeRight & Jorgensen, 2015; Maniaci
& Roge, 2014; Meade & Craig, 2012). Pencantuman bahkan sebagian kecil dari tanggapan ini dalam
kumpulan data berdampak pada kegunaan data tersebut (Curran & Kotrba, 2012; Huang et al., 2015; Maniaci
& Roge, 2014; Woods, 2006), dan jelas bahwa upaya harus dilakukan untuk mencegah hal tersebut
data atau menghapusnya setelah pengumpulan.
Respon dan Replikasi C/IE
Jika ada satu konsensus yang dapat disetujui oleh semua peneliti C/IE adalah bahwa jenis-jenis
responden ada. Ini mungkin tampak sepele, tetapi penerimaan sederhana bahwa perilaku ini tidak
fenomena yang dibayangkan menimbulkan lebih dari pertanyaan sederhana di atas mengenai tingkat tipikal
individu-individu ini. Ini menimbulkan pertanyaan tentang seberapa banyak perilaku ini bervariasi di seluruh studi.
Ada sedikit pekerjaan yang secara konkret menetapkan kisaran nilai-nilai ini. Hauser
dan Schwarz (dalam pers) memeriksa tingkat kegagalan pada pemeriksaan manipulasi instruksional, atau IMCs,
di sejumlah sampel yang berbeda dari Klein, et al (2014). Pemeriksaan ini mengungkapkan kisaran
tingkat kegagalan, berdasarkan sampel, mulai dari kurang dari 10% hingga hampir 50%. Tingkat varians seperti itu
sangat membingungkan bila digabungkan dengan hasil Huang et al. (2015): bahwa
penyertaan responden C/IE dapat meningkatkan dan melemahkan efek statistik, dan bahwa dampak ini
terkait dengan proporsi responden C/IE dalam sampel. Dengan kata-kata mereka sendiri: “kehadiran
dari 10% (dan bahkan 5%) … bisa menyebabkan hubungan palsu di antara yang tidak berkorelasi
tindakan” (Huang et al., 2015, hal. 9).
Jika diabaikan, penanggap C/IE ini merupakan ancaman besar bagi replikasi di sejumlah:
cara. Pertama dan terpenting, studi yang secara tidak sengaja menarik sebagian besar responden ini
memiliki potensi yang lebih besar untuk positif palsu atau negatif palsu. Ini dapat menyebabkan temuan yang benar menjadi
disembunyikan oleh respons C/IE ini, dan menyebabkan studi yang berhasil merana dalam file
laci. Ini juga dapat menyebabkan hasil palsu dipublikasikan yang hanya merupakan produk dari yang tinggi
tingkat responden C/IE dalam sampel itu, dan bukan efek mendasar yang sebenarnya.
Dalam kasus terbaik mengikuti contoh pertama, peneliti lain kemudian dapat mencoba hal yang sama
belajar dan sukses, hanya menyebabkan potensi duplikasi usaha. Pada contoh kedua,
kasus terbaik lebih sulit didapat. Hasil palsu seperti itu dapat dipertanyakan melalui
replikasi, tetapi tanpa pemahaman yang jelas tentang penanggap C/IE sebagai mekanismenya
perbedaan hasil yang bertentangan ini mungkin membutuhkan banyak waktu dan upaya untuk menguraikannya. Di luar
ini, replikasi itu sendiri mungkin terganggu oleh masalah yang sama, baik membenarkan atau menyangkal
efek karena proporsi responden C/IE dalam sampel mereka.
Ini mungkin tampak seperti proklamasi yang serius, dan memang demikian. Responden C/IE adalah sumber potensial
kebisingan yang tidak bias, kesalahan yang dapat menggeser hasil ke segala arah. Jika tingkat responden C/IE adalah
cukup konstan ini akan menjadi berita yang cukup buruk, tetapi prospek bahwa tarif dapat bervariasi sebanyak
mereka tampaknya memang mengerikan. Huang dkk. (2014) dilayani dengan baik untuk mengidentifikasi tanggapan ini sebagai
'membingungkan berbahaya dalam data survei.'
Mendeteksi Responden yang Ceroboh/Tidak Memadai (C/IE)
Ada banyak potensi penyebab data tidak valid dalam penelitian umum. Data tidak valid pada tinggi-
tes dan survei pasak, karena sifat berharga dari tindakan ini (misalnya, penilaian klinis
dan seleksi personel), telah dipelajari secara mendalam selama beberapa dekade (misalnya, Berry, Baer, &
Haris, 1991; Jagal, Dahlstrom, Graham, Tellegen, & Kaemmer, 1989; Birkeland, Manson,
Kisamore, Brannick, & Smith, 2006; Dunnette, McCartney, Carlson, & Kirchner, 1962; Orpen,
1971). Peneliti yang mempelajari pemalsuan dan kecurangan mendapatkan keuntungan bahwa perilaku ini hanya
dimanifestasikan dengan cara yang sangat spesifik. Individu tidak menipu atau memalsukan untuk menghasilkan yang tidak diinginkan
hasil; mereka menipu atau memalsukan untuk menghasilkan hasil yang diinginkan (pekerjaan, diagnosis klinis tertentu).
Meskipun mungkin ada manifestasi berbeda dari perilaku ini yang berpotensi mencerminkan spektrum
motivasi (misalnya, individu yang berbeda dapat memalsukan penyakit atau kesehatan palsu pada klinis yang sama)
persediaan), memalsukan masih merupakan manipulasi respons yang mudah terhadap beberapa tujuan.
Respons C/IE tidak memiliki tujuan yang direferensikan dengan jelas yang dapat dibedakan dalam
hasil tanggapan survei. Tujuan tanggapan C/IE bukanlah tujuan yang dicapai oleh
penerapan usaha, melainkan melalui minimalisasi usaha. Ini membedakannya dari yang lain
konsep serupa tetapi berbeda seperti keinginan sosial atau manajemen kesan, di mana upaya
sedang diterapkan untuk mengubah tanggapan terhadap beberapa tujuan. Karena tujuan akhir pemfokusan ini tidak ada (atau
tujuannya hanya untuk menghemat tenaga atau waktu), pola respons C/IE dapat mengambil beberapa bentuk.
Peserta dapat memanifestasikan respons C/IE dengan memilih beberapa opsi respons tunggal untuk setiap
pertanyaan. Mereka juga dapat memilih satu opsi sebagian besar waktu, tetapi kadang-kadang bervariasi itu
respon terhadap satu pilihan yang lebih tinggi atau lebih rendah pada skala. Ada juga kemungkinan bahwa seorang peserta dapat
cukup berikan sesuatu yang dekat dengan data acak. Semua ini mewakili motivasi inti yang serupa
(atau kurangnya motivasi), tetapi dimanifestasikan dalam cara yang sangat berbeda. Oleh karena itu sulit untuk
menghasilkan satu metode tunggal yang menangkap semua kasus, dan ini membuat deteksi C/IE secara inheren
kompleks.
Penelitian tentang pendeteksian data yang tidak valid dari penanggap C/IE malah menghasilkan
sejumlah metode potensial, masing-masing ditujukan untuk mengidentifikasi dan berpotensi menghilangkan
pola respons C/IE yang mungkin tampak valid untuk metode lain. Misalnya, beberapa metode
menilai konsistensi respons sebagai karakteristik negatif (misalnya, analisis string panjang), sedangkan
metode lain menggunakannya sebagai indikator positif (misalnya, konsistensi ganjil-genap). Ketidaksepakatan
antara teknik ini sederhana mencerminkan fakta bahwa mereka menilai berbeda
indikator respon C/IE. Metode-metode ini akan dibahas secara rinci di bagian berikut.
Hubungan negatif yang diketahui antara metrik yang berbeda (Meade & Craig, 2012)
berarti bahwa penerapan teknik yang berbeda memiliki potensi untuk menghilangkan set tertentu dari
Responden C/IE sambil mempertahankan orang lain yang sama-sama tidak valid. Misalnya, cukup menggunakan
metode yang menguji konsistensi respons sebagai karakteristik positif dan mengabaikan a
metode yang melihat konsistensi respons yang berlebihan sebagai karakteristik negatif cenderung
hapus orang-orang yang memberikan respons tidak valid yang sangat bervariasi sambil mempertahankan yang
secara fungsional invarian (misalnya, semua tanggapan 'Sangat Setuju'). Penggunaan salah satu dari ini
teknik tidak boleh diterapkan dalam ruang hampa dari teknik lain. Bahkan, sebagian
penerapan atau pemahaman metode ini memiliki kemungkinan untuk melemahkan efek yang ada atau
bahkan membuat efek palsu. Meskipun ini adalah skenario terburuk, ada baiknya membangun yang kuat
praktik penyaringan data bahkan untuk situasi di mana penghapusan kasus tersebut tidak
mengubah hasil studi. Jika data yang dihapus benar-benar tidak valid, maka ini mengakibatkan
kesalahan, penghalang untuk replikasi di masa depan, masih layak dihilangkan (Huang et al., 2015).
Bagian berikut akan merinci sejumlah metode yang ada dan baru untuk pembuatannya
statistik dalam-orang yang dapat digunakan dalam penghapusan berbagai jenis tidak valid
menanggapi. Ini akan mengikuti beberapa klasifikasi, dari waktu respons yang sederhana dan lama
pola respons yang sama terhadap perhitungan konsistensi internal respons individu dan
pengenalan item khusus dan instruksi dalam timbangan sebagai jebakan potensial untuk C/IE ini
responden.
Kecepatan respons: Waktu respons
Waktu respons, waktu yang dibutuhkan seseorang untuk merespons satu set item, mungkin
alat yang paling banyak digunakan untuk menghilangkan penanggap C/IE. Ini adalah yang paling mungkin untuk digunakan
secara intuitif bahkan oleh mereka yang tidak memiliki pengetahuan tentang literatur C/IE. Intuitif ini
penggunaan waktu respons dapat diturunkan secara independen dengan perpanjangan praktis dari satu sederhana
asumsi: ada waktu minimum yang diperlukan untuk menyelesaikan survei secara sah.
Waktu respons normal atau rata-rata jelas akan berbeda untuk survei yang berbeda.
Waktu respons cenderung berkorelasi dengan jumlah item, tetapi beberapa item membutuhkan waktu lebih lama untuk
lengkap dari yang lain. Oleh karena itu, sulit untuk membuat aturan konkret untuk waktu respons yang
berbeda dari analisis outlier normal kecuali status peserta sebagai penanggap C/IE adalah
sudah diketahui (tidak mungkin), atau dimanipulasi secara eksperimental (misalnya, Huang et al., 2012).
Untuk kreditnya, waktu respons tampaknya menjadi salah satu metrik tersulit dari C/IE
menanggapi orang bodoh dengan cara yang konsisten dengan perilaku C/IE karena satu fakta sederhana: a
dugaan motif utama yang mendasari responden C/IE adalah menyelesaikan penilaian secepat
mungkin. Ketika peserta diinstruksikan untuk menanggapi seolah-olah mereka tidak peduli dengan survei tetapi
juga tidak ingin diidentifikasi sebagai responden C/IE (seperti dalam Huang et al., 2012), para peserta tersebut
mampu menghasilkan pola respons yang sangat mirip dengan respons normal, saat masih
memiliki waktu respons yang jauh lebih konsisten dengan peserta yang diinstruksikan untuk hanya merespons seolah-olah
mereka tidak peduli sama sekali. Cara terbaik untuk mengelabui waktu respons adalah dengan mengulur waktu pada titik-titik tertentu dalam penelitian;
jika ini terjadi sebagai strategi yang valid, sulit untuk memahami mengapa peserta tidak melakukannya begitu saja
menyelesaikan mengulur-ulur ini dengan valid menanggapi pertanyaan.
Dalam banyak aspek, waktu respons cukup sederhana. Pada saat yang sama, ada alasan yang masuk akal
tingkat variasi normal dalam diri orang mengenai seberapa cepat individu dapat merespons
survei. Tidak mengherankan bagi siapa saja yang telah melakukan penelitian survei adalah gagasan bahwa waktu itu
membutuhkan satu individu untuk merespons dengan serius mungkin berbeda secara drastis dari waktu yang dibutuhkan
lain. Tidak begitu jelas fakta bahwa variasi juga ada dalam waktu yang dibutuhkan
individu untuk merespon dengan ceroboh atau dengan usaha yang tidak memadai.
Metode deteksi C/IE lainnya telah mendapat manfaat dari simulasi pola respons, tetapi
waktu respons sangat sulit untuk disimulasikan karena sejumlah asumsi yang mendasarinya
mengenai waktu yang dibutuhkan seseorang untuk menyelesaikan survei. Yang mengatakan, efek umum dan
Kesulitan menggunakan metode ini dapat ditunjukkan dengan latihan sampling sederhana. NS
pembaca dapat dengan mudah mereplikasi latihan ini dengan berbagai parameter yang dimodifikasi, tetapi untuk
tujuan makalah ini kami akan mempertimbangkan survei yang membutuhkan waktu 10 menit (600 detik) untuk
menyelesaikan, rata-rata, untuk responden yang normal dan bijaksana. Kita dapat, sebagai skenario kasus terbaik,
bayangkan bahwa standar deviasi responden ini relatif kecil. Untuk tujuan ini,
kita dapat menggunakan standar deviasi 100 detik, atau sedikit lebih dari satu setengah menit.
Untuk mensimulasikan penanggap C/IE, kami juga dapat memperkenalkan 10% individu yang memiliki
menjawab lebih cepat, rata-rata, dari responden normal kami. Kita dapat mencoba ini di sejumlah
ukuran efek yang berbeda menggunakan Cohen's D, dan dalam setiap kasus tambahkan 10 sampel dari acak ini
distribusi normal ke distribusi keseluruhan. Gambar 1 menunjukkan inklusi ini pada tiga
tingkat yang berbeda: D = 1 (rata-rata 500 detik untuk responden C/IE), D = 2 (rata-rata 400 detik
untuk responden C/IE), dan D = 3 (rata-rata 300 detik untuk responden C/IE). Karena kami adalah
mensimulasikan data ini, kita dapat memeriksa keduanya bagaimana hal ini akan tampak bagi seorang peneliti dalam praktiknya (kiri
kolom gambar 1), tetapi juga bagaimana tumpang tindih diferensial yang sebenarnya ini terjadi secara diferensial
mewarnai data normal lebih gelap dan membiarkan data C/IE lebih terang (kolom kanan gambar 1).
Kolom kanan gambar 1 menunjukkan betapa sulitnya menghapus semua C/IE ini
individu bahkan dalam kasus yang cukup ekstrim; D = 3 mewakili kasus di mana responden C/IE berada, pada
rata-rata, menyelesaikan tanggapan mereka dalam setengah waktu peserta normal (300 detik vs 600
detik). Kesulitan tersebut berasal dari fakta bahwa penghapusan responden C/IE dalam kasus ini
melibatkan pemisahan dua normal yang tumpang tindih (atau, untuk lebih memperumit masalah, dua)
berpotensi non-normal atau tidak diketahui) distribusi dari satu sama lain. Proses ini menuntut
pertimbangan bijaksana dari pertukaran yang dapat diterima antara kesalahan Tipe I dan Tipe II (Curran,
Kotrba, & Denison, 2010).
Namun, ini seharusnya tidak menjadi penghalang untuk mengumpulkan waktu respons. Jika peneliti bisa
mengumpulkan waktu respons (misalnya, melalui pengumpulan online atau terkomputerisasi), seharusnya
dikumpulkan. Bahkan jika tidak digunakan, itu datang dengan biaya minimal. Selanjutnya, setelah seorang peneliti gagal untuk
mengumpulkan waktu respons tidak mungkin lagi untuk kembali dan mendapatkannya secara surut.
Huang dkk. (2012) telah menyarankan skor potong untuk waktu respons pada 2 detik item,
yang secara anekdot tampaknya mendapatkan daya tarik informal di lapangan. Meskipun ini mungkin
skor potongan yang agak konservatif, dan meninggalkan beberapa responden yang ceroboh dalam sampel, itu akan menjadi
sikap makalah ini bahwa peneliti melakukan kesalahan dengan cara ini pada semua teknik. Pada waktu bersamaan,
peneliti harus mempertimbangkan kemungkinan bahwa responden yang bijaksana mungkin dapat memberikan
tanggapan yang begitu cepat pada instrumen survei khusus mereka. Bahkan skor potong yang ditetapkan seperti
ini harus diterapkan dengan hati-hati dan penuh perhatian.
Akhirnya, meskipun masalah ini terlalu kompleks untuk dibahas secara memadai di sini, hal itu harus diperhatikan
bahwa analisis waktu respons dalam deteksi C/IE saat ini merupakan analisis satu arah. Responden adalah
hanya diperiksa untuk kecepatan respon yang terlalu cepat. Ekor lain dari distribusi ini, respons
waktu yang terlalu lambat, juga berpotensi bermanfaat untuk diperiksa. Namun, lebih banyak faktor
dapat berkontribusi pada waktu respons yang terlalu lambat, dan hingga saat ini belum ada penelitian yang meneliti hal ini
situasi. Mungkin ada keuntungan tambahan dari memeriksa responden 'terlalu lambat' ini tidak layak
kesulitan tambahan untuk melakukannya.
Invariabilitas: Analisis Long-String
Mungkin teknik paling intuitif berikutnya untuk digunakan dalam mendeteksi penanggap C/IE adalah
analisis rangkaian tanggapan, yang dikenal dalam literatur sebagai 'analisis rangkaian panjang' atau 'tanggapan'
indeks pola '(Huang et al., 2012; Meade & Craig, 2012). Teknik ini tampaknya memiliki
secara resmi dimulai dengan penggunaan teknik pinjaman Johnson (2005) untuk kemudian dijelaskan dalam
karya Costa dan McCrae (2008). Teknik ini melibatkan pemeriksaan string terpanjang dari
tanggapan yang sama dari setiap peserta. Ini dapat dihitung secara tunggal, pada respons
pilihan yang paling sering dipilih (Huang et al., 2012; Meade & Craig, 2012), atau
beberapa kali, sekali pada setiap opsi untuk setiap peserta (Johnson, 2005). Selain itu, ada
jumlah cara untuk memperlakukan nilai yang dihitung ini, mulai dari hitungan murni hingga rata-rata terpanjang
string per halaman ke nilai yang ditimbang oleh panjang rata-rata keseluruhan string dari respons itu.
Misalnya, ambil pola respons berikut pada satu set 10 item, dengan asumsi 1 sampai
Skala likert 5 dari sangat tidak setuju sampai sangat setuju.
[3, 3, 4, 4, 4, 3, 5, 3, 3, 4]
Dalam hal ini, string terpanjang dari respons yang sama ada pada respons ketiga hingga kelima. Dia
urutan tanggapan '4' yang panjangnya tiga. Jika hanya memeriksa panjang terpanjang
serangkaian tanggapan, skor untuk individu ini akan menjadi nilai 3. Jika setiap opsi tanggapan
diperiksa, individu ini akan memiliki satu set skor untuk tanggapan dari 1 hingga 5 sebagai
berikut: 0, 0, 2, 3, 1. Perhatikan bahwa sebenarnya ada lebih banyak jawaban '3' dalam contoh ini daripada
ada '4' tanggapan, kebetulan ada lebih banyak '4' tanggapan yang tidak terputus
urutan. Urutan yang tidak terputus inilah yang diidentifikasi oleh metode deteksi string panjang ini.
Teknik ini cukup mudah; asumsinya adalah bahwa orang-orang yang
menanggapi sembarangan dapat melakukannya dengan memilih opsi jawaban yang sama untuk setiap pertanyaan. NS
perpanjangan dari asumsi ini adalah bahwa individu yang merespon dengan hati-hati, dan dengan cukup
upaya, tidak akan menggunakan opsi respons yang sama untuk jangka waktu yang lama. Ini menyoroti fakta bahwa
teknik ini, seperti banyak teknik yang akan dibahas dalam makalah ini, adalah bentuk-
statistik ketergantungan. Ini berarti bahwa skor mentah akan bervariasi sebagai produk dari bentuk yang digunakan untuk
mengumpulkan data. Skala 10 item memiliki 10 sebagai batas atas statistik ini, sedangkan skala 20 item memiliki
batas atas 20. Karena nilai adalah hitungan sederhana dari kecocokan berurutan, nilai akan
selalu mengambil bilangan bulat dibatasi oleh 1 dan panjang penilaian. Selain itu, skala yang
memiliki pertanyaan dengan intensitas yang berbeda-beda (misalnya 'Saya punya banyak teman' vs 'Saya berteman dengan siapa saja
orang yang saya temui') harus mendorong responden yang berhati-hati untuk lebih sering mengubah opsi respons mereka
daripada pada skala yang memiliki pertanyaan semua diarahkan pada tingkat yang kira-kira sama.
Teknik ini juga cenderung bergantung pada pilihan respon. Artinya, khas
frekuensi string panjang pada opsi respons tertentu cenderung lebih tinggi daripada yang lain; 'Setuju'
adalah pilihan yang sangat populer pada skala tipikal (Curran, Kotrba, & Denison, 2010; Johnson, 2005).
Properti ini akan bervariasi dari skala ke skala dan sampel ke sampel (Johnson, 2005). Karena
faktor-faktor ini, analisis string panjang bisa sulit untuk dibandingkan di seluruh koleksi data yang berbeda
tanpa terlibat dalam beberapa tingkat penskalaan.
Selain itu, pertimbangkan keterbatasan teknik ini pada skala yang lebih pendek (misalnya, 20-item
Mini-IPIP oleh Donnellan, Oswald, Baird, & Lucas, 2006). Kecuali pengukuran rinci dari beberapa
konstruk atau kelompok konstruksi terkait adalah fokus utama dari sebuah studi, skala yang lebih pendek dari jenis ini
kemungkinan besar akan digunakan. Ini memiliki efek kompresi, melalui efek langit-langit dan/atau lantai,
sejumlah kategori sederhana di mana individu dapat dikelompokkan. Seperti disebutkan sebelumnya,
rangkaian respons terpanjang pada skala tertentu memiliki batas bawah 1, batas atas
jumlah item pada skala itu, dan harus mengambil nilai bilangan bulat.
Teknik ini menangkap apa yang dapat dianggap sebagai buah C/IE yang menggantung rendah
responden: mereka yang mengambil sedikit atau tidak ada upaya untuk mengubah tanggapan mereka selama survei.
Mirip dengan waktu respons, bagaimanapun, kemudahan teknik ini dapat membedakan antara
responden yang valid dan tidak valid akan berkurang karena responden mulai menyimpang dari kasus ideal ini
respon yang sepenuhnya invarian. Distribusi tumpang tindih yang serupa, seperti pada gambar 1, perlu dipisahkan
untuk membedakan responden, dan kesalahan di kedua arah (Tipe I & Tipe II) harus selalu a
perhatian utama. Responden yang meluangkan waktu untuk sesekali memvariasikan respons mereka secara minimal
cara juga dapat dengan mudah menipu metode ini. Ini adalah batasan yang melekat dalam metode ini, dan setiap
upaya untuk memperbaiki cacat seperti itu mungkin lebih baik dibandingkan dengan gagasan untuk melengkapi model. Sebagai gantinya,
pengakuan bahwa setiap teknik memiliki titik buta justru menjadi alasan untuk menggunakan angka
teknik dalam konser, masing-masing seimbang untuk memberikan cakupan penuh dari jebakan potensial ini.
Analisis string panjang memiliki potensi untuk menghilangkan beberapa yang terburuk dari yang terburuk
responden, tetapi mungkin mengalami kesulitan melakukan lebih banyak. Dalam hubungannya dengan layar untuk sebagian besar
waktu respons yang ekstrem, kedua teknik ini diajukan sebagai minimum yang direkomendasikan untuk
penghapusan responden C/IE, dan awal yang baik sebelum implementasi yang lebih kompleks
teknik. Terlepas dari beberapa keterbatasan, penghapusan responden terburuk ini lebih baik daripada
tidak ada sama sekali.
Karena sifat skala khusus dari teknik ini, tidak ada pemotongan global yang mapan
skor di tempat untuk itu. Sesuai dengan pendekatan Huang et al. (2012) tentang
skor pemotongan konservatif untuk waktu respons, makalah ini akan menyarankan aturan dasar praktis bahwa
individu dengan serangkaian tanggapan yang konsisten sama atau lebih besar dari setengah panjang total
skala dianggap sebagai responden C/IE dengan teknik ini. Jelas ini bukan skor potong terbaik
untuk semua skala (terutama, ini mungkin terlalu ketat pada skala dengan item yang sangat mirip, atau terlalu
lunak pada skala dengan variasi item yang mudah dikenali), tetapi setidaknya memberikan poin untuk
peneliti untuk memulai pertimbangan yang lebih dalam.
Analisis Outlier: Jarak Mahalanobis
Analisis outlier adalah konsep yang cukup sederhana yang sering diajarkan pada tahap awal
pelatihan statistik. Secara umum, outlier dapat dianggap sebagai titik data yang tidak biasa relatif terhadap
sisa distribusi (Peck & Devore, 2012). Pencilan bisa ada karena berbagai alasan, dan C/IE
menanggapi tentu saja di antara mereka. Individu yang merespons tanpa usaha yang cukup adalah
mungkin berbeda dari rekan-rekan mereka yang bijaksana dalam beberapa hal, dan itu tidak masuk akal untuk
percaya bahwa perbedaan ini dapat terwujud dengan adanya outlier.
Metode dasar analisis outlier memeriksa satu nilai dari distribusi relatif terhadap yang lain
nilai dalam distribusi tersebut. Misalnya, nilai yang ada 1,5 standar deviasi dari mean
(atau 1,5 rentang interkuartil dari median) biasanya diperlakukan sebagai outlier saat membersihkan
data, atau menghasilkan visualisasi seperti boxplot (Peck & Devore, 2012). Teknik ini bisa
berpotensi digunakan sebagai metode C/IE untuk mendeteksi respons yang tidak biasa untuk setiap item skala, atau bahkan
untuk skor skala keseluruhan. Ini bukan praktik umum dalam deteksi respons C/IE untuk beberapa
alasan. Menggunakan teknik ini pada tingkat item menghasilkan situasi di mana hanya beberapa bagian dari
tanggapan item dianggap valid. Menggunakannya pada tingkat skala mengabaikan fakta bahwa ada
banyak alasan mengapa individu mungkin ada sebagai outlier statistik dasar. Di antara alasan tersebut adalah
posisi aktual individu pada sifat laten yang diukur. Analisis outlier sederhana di
tingkat skala juga mengasumsikan bahwa penanggap C/IE harus ada di bagian ekor distribusi skor seperti itu.
Ini hanya akan terjadi jika metode respons mereka adalah memilih banyak dari nilai tinggi atau yang sama
opsi respons rendah, taktik yang sudah ditargetkan dengan cara yang lebih tepat menggunakan
teknik seperti analisis string panjang.
Ada teknik analisis outlier yang ada di luar metode sederhana ini.
Jarak Mahalanobis, atau Mahalanobis D, adalah teknik outlier multivariat yang sederhana
perluasan analisis outlier normal ke dalam ruang multivariat (Mahalanobis, 1936). Teknik ini
telah menunjukkan beberapa janji sebagai metode deteksi C/IE (Ehlers, Greene-Shortridge, Weekley, &
Zajak, 2009; Maniaci & Rogge, 2014; Meade & Craig, 2012). Cara termudah untuk menjelaskan
Jarak Mahalanobis adalah meskipun dua variabel kasus, yang akan diuraikan di sini. Untuk banyak
penjelasan lebih dalam tentang jarak Mahalanobis, lihat Maesschalck, Jouan-Rimbaud, dan Massart
(2000).
Dalam kasus satu dimensi, outlier diperiksa dengan jaraknya ke beberapa pusat a
distribusi. Ini paling sering melalui penggunaan sarana dan standar deviasi, seperti di atas.
Titik-titik dalam distribusi ini ada dalam ruang satu dimensi (garis), dan jarak dari
pusat dapat dinyatakan sebagai perbedaan sederhana, seperti perbedaan antara pengamatan
dan artinya:
!"#$%&'( = * *
Ini adalah jarak yang masih dalam satuan skala aslinya, tetapi dapat diubah
menjadi jarak tak satuan dengan skala sederhana jarak dengan standar deviasi, menghasilkan z-
skor:
*- *
, # '-.( =
0
Konsep yang sama ini dapat diterapkan ketika memeriksa sistem multivariat. Ekstensi
Konsep-konsep ini mencerminkan pergeseran dari jarak pada garis satu dimensi ke jarak pada garis dua dimensi.
bidang dimensi, dan seterusnya. Alih-alih titik pada garis yang membentuk distribusi, dua-
distribusi multivariat dimensi (bivariat) didefinisikan sebagai titik-titik pada bidang: sebuah scatterplot. NS
jarak sederhana dari setiap titik dari pusat multivariat distribusi ini (*1, *3) dapat ditemukan
oleh:
!"#$%&'( = *1 * 3 +1 *3 *3 3
Jarak ini, seperti jarak mentah dalam kasus satu dimensi, tidak memperhitungkan
memperhitungkan standar deviasi dari masing-masing variabel ini. Gerakan sepanjang x1 diperlakukan
sama dengan gerakan sepanjang x2, bahkan jika distribusi x1 jauh lebih rapat. Di dalam
kontras, jarak Mahalanobis memperhitungkan struktur varians yang mendasari ini dengan
menggabungkan matriks kovarians dari dua variabel ini (C). Untuk sebuah nilaixSaya pada orang ini oleh
matriks item, X, Mahalanobis D dengan demikian dapat ditemukan dengan persamaan berikut (Maesschalck,
Jouan-Rimbaud, & Massart, 2000):
5%ℎ%7%&-8"# 9 = *: * ;=1 < *: * >
Sekali lagi, pembaca diarahkan ke Maesschalck, Jouan-Rimbaud, dan Massart (2000) untuk a
diskusi matematika yang lebih dalam. Yang penting untuk diskusi saat ini adalah
pemahaman konseptual bahwa Mahalanobis D dapat digunakan sebagai metode multivariat outlier
analisis dalam data survei laporan diri (Ehlers, et al., 2009; Maniaci & Rogge, 2014; Meade & Craig,
2012). Alih-alih mengetahui bahwa seorang individu berada di ekor distribusi pada satu item,
Mahalanobis D dapat memberi tahu peneliti bahwa seorang individu berada di pinggiran multivariat
distribusi yang dibentuk oleh tanggapan terhadap semua item.

Metrik ini tampaknya berkorelasi baik dengan beberapa metrik lain dari respons C/IE
deteksi (Maniaci & Rogge, 2014; Meade & Craig, 2012), tetapi memiliki beberapa keterbatasan. Pertama, sebagai
Meade & Craig (2012) mencatat, Mahalanobis D adalah prosedur komputasi intensif, dan mereka
dipaksa untuk menjalankan serangkaian perhitungan yang dikurangi pada data mereka, yang kemudian dirata-ratakan. Ini
adalah batasan yang akan berkurang oleh derap waktu dan teknologi, tetapi perlu diperhatikan.
Kedua, teknik ini dibangun dari dasar analisis outlier menggunakan spread from center
metrik, seperti skor-z. Metrik ini bergantung pada tingkat normalitas tertentu dalam data, dan dapat
dipengaruhi oleh penyimpangan dari normalitas dalam item, serta dari terlalu banyak normalitas dalam C/IE
responden (Meade & Craig, 2012). Sekali lagi, penanggap C/IE mungkin berpengalaman dalam merespons
dekat titik tengah tanggapan lainnya.
Secara konseptual, pelanggaran kewajaran ini dapat bermanifestasi dalam beberapa cara yang berbeda.
Meade dan Craig (2012) menyoroti kasus di mana distribusi barang sangat condong ke keduanya
akhir skala dengan efek lantai dan langit-langit. Dalam kasus ini, Mahalanobis D tampil
sangat baik, karena tanggapan C/IE di ujung lain skala menonjol dengan sangat jelas. Tidak seperti
contoh sebelumnya dengan outlier univariat dan garis bilangan, aplikasi praktis dari
Mahalanobis D di C/IE menanggapi harus berurusan dengan fakta bahwa tanggapan berada pada skala dengan
batas yang dibatasi. Meskipun tidak ditemui oleh Meade dan Craig (2012), situasi lain yang mungkin terjadi
adalah item di mana semua opsi respons digunakan, menciptakan lebih banyak distribusi seragam di
tingkat barang. Dalam hal ini, outlier multivariat mungkin hanya ada di luar batas skala (yaitu,
di atas dan di bawah opsi respons tertinggi dan terendah).
Jarak Mahalanobis hanya diteliti dalam segelintir kecil penelitian yang melibatkan
C/IE menanggapi poin ini, dan pemahaman penuh tentang propertinya masih belum jelas. Sebagai cukup
metrik yang belum diuji untuk respons C/IE, ini harus digunakan sebagai cara untuk menandai individu lebih dalam
pemeriksaan, tetapi mungkin belum menjadi cara yang jelas untuk menghilangkan penanggap C/IE dengan sendirinya.
Konsistensi Individu
Konsistensi individu, dalam hal deteksi respons C/IE, adalah referensi ke
konsistensi string respons dalam individu. Ada sejumlah teknik yang semuanya
mengukur konsistensi ini, dan yang masing-masing akan diperiksa di setiap bagian berikut.
Asumsi yang mendasari metode konsistensi individu ini adalah, sederhananya, bahwa
responden yang penuh perhatian memberikan pola tanggapan yang konsisten secara internal.
Pertimbangkan penelitian awal, ketika tanggapan dari individu masih dianggap hampir
sepenuhnya acak. Ini adalah asumsi yang adil bahwa pola respons lengkap individu, penuh dengan
data acak seperti itu, harus mudah diidentifikasi sebagai noise dengan latar belakang valid
tanggapan. Ini adalah asal usul teknik semacam itu, meskipun asumsi yang mendasari keacakan
tidak lagi begitu sederhana. Semua teknik yang akan dibahas dalam beberapa bagian berikutnya adalah
didasarkan pada asumsi bahwa rangkaian respons individu memiliki hubungan internal yang stabil
antara tanggapan untuk item individu. Ini berdasarkan sifat unidimensional yang diasumsikan
skala, dan korelasi antar-item positif yang disiratkan oleh unidimensionalitas ini. Banyak dari ini
teknik berasal dari langkah-langkah konsistensi dari tingkat sampel, seperti keandalan, hanya
diterapkan pada individu sebagai unit analisis.
Perlu dicatat, bahkan pada titik melebih-lebihkannya, bahwa semua teknik ini adalah
dirancang untuk membuat statistik dalam-orang yang kemudian dapat dibandingkan pada tingkat sampel. Ini adalah
pola pikir yang relatif tidak umum, dan tempat yang mudah untuk tersesat dalam diskusi ini. Di deskripsi
teknik berikut, penggunaan istilah konsistensi individu menunjukkan beberapa
konsistensi dalam diri orang. Meskipun ini secara konseptual merupakan jenis konsistensi internal, seharusnya tidak
bingung dengan teknik agregat yang lebih luas yang membahas tingkat skala atau antar-mata pelajaran
konsistensi item survei.
Konsistensi Individu: Konsistensi Ganjil-Genap dan Resampled Individual Reliability
Salah satu teknik konsistensi individu yang paling sederhana dikenal sebagai konsistensi ganjil-genap
(Meade & Craig, 2012) atau keandalan individu (Huang et al., 2012, Huang et al., 2014, Jackson,
1977; Johnson, 2005). Penggunaan kedua istilah ini untuk menggambarkan teknik yang sama adalah indikasi dari
konsep yang berpotensi hilang dalam perbedaan antara keduanya. Perbedaan ini sulit untuk dijelaskan
tanpa menjelaskan teknik saat ini yang berbagi nama-nama ini, jadi deskripsi tersebut adalah
langkah alami berikutnya.
Dalam penggunaan saat ini, konsistensi ganjil-genap (nama yang akan disarankan untuk digunakan dengan ini
versi teknik) dihitung dengan memecah tanggapan masing-masing individu pada
subskala unidimensional atau segi ukuran menjadi dua set item: satu set tanggapan terhadap
item genap, dan satu set tanggapan untuk item ganjil. Jika ada item dengan kata-kata terbalik, mereka
dikodekan ulang untuk mencerminkan arah item lain sebelum penilaian ini. Subskala yang dibelah dua ini
kemudian dirata-ratakan untuk memberikan perkiraan skor individu pada subset item tersebut.
Nilai-nilai ini dipasangkan berdasarkan skala; jumlah pasangan yang dihasilkan tergantung pada jumlah
kelompok unidimensional item yang dapat dibuat dalam skala yang lebih besar. Ini menghasilkan dua vektor
untuk perhitungan lebih lanjut, untuk setiap orang: [skala 1A, skala 2A, skala 3A…] dan [skala 1B, skala
2B, skala 3B…]. Kedua vektor ini kemudian dikorelasikan, menghasilkan korelasi untuk itu
individu yang bertindak sebagai skornya pada metrik ini. Koefisien korelasi ini dapat berupa
dikoreksi untuk penurunan panjang skala menggunakan rumus ramalan Spearman-Brown
(Johnson, 2005). Koefisien ganjil-genap yang konsisten ini dapat dihitung pada satu skala dengan
aspek berkorelasi, atau di serangkaian skala yang sama menggunakan format respon yang sama (misalnya Likert).
Meskipun Jackson (1976; 1977) memang membuat saran tentang skor potensial ini
metrik yang akan digunakan untuk menghilangkan string respons, skor potong ini tampaknya cukup bergantung pada skala,
bekerja di beberapa penelitian tetapi semuanya tidak dapat digunakan di penelitian lain (Curran et al., 2010). skala ini
ketergantungan harus terkait dengan tingkat korelasi antar item, serta jumlah
subskala yang dapat dibuat. Bahkan jika subskala ada sebagai dua pasangan item (satu subskala item
tidak berguna di sini), korelasi yang dihasilkan memiliki N maksimum setengah dari jumlah item dalam
survei total. Dalam pengaturan yang ekstrem (tidak disarankan), skor item berfungsi sebagai
rata-rata skor skala, dan teknik ini secara efektif tidak lebih dari penerapan
sinonim semantik, yang akan dijelaskan nanti dalam makalah ini. Fakta bahwa ukuran sampel untuk
korelasi ini dibatasi bukan oleh ukuran sampel, melainkan jumlah subskala
dan/atau item dalam skala, merupakan batasan penting dari teknik ini.
Terlepas dari perubahan monumental dalam daya komputasi sejak awal berdirinya
korelasi ganjil-genap, sedikit yang berubah dalam perhitungannya. Pemilihan satu pasangan tunggal
item untuk membagi skala (item ganjil vs item genap) kemungkinan besar merupakan produk sederhana saat itu,
diterima sebagai praktik terbaik selama beberapa dekade yang dihasilkan. Ada banyak ruang untuk teknologi dan
peningkatan komputasi dalam konsep ini tanpa mengubah inti gagasan: item
mengukur konstruk laten yang sama harus berkorelasi positif dalam diri orang. Ide ini adalah apa
akan dipertimbangkan di sini sebagai konsep yang lebih luas dari keandalan individu, di antaranya ganjil-genap
konsistensi adalah kasus tertentu.
Konsep menyeluruh dari keandalan individu mengambil keuntungan dari fakta bahwa item
dari skala yang sama harus mengukur konsep yang sama, dan skor skala yang dihasilkan oleh
item ini harus berkorelasi positif dalam individu. Konsistensi ganjil-genap, sekali lagi, adalah
hanya kasus spesifik dari konsep yang lebih umum ini yang hanya menggunakan satu pasangan item (konstan)
set.
Dalam kasus yang paling sederhana, mari kita mulai dengan skala unidimensional dari 18 item. Jika kita juga
bayangkan bahwa skala ini berisi tiga subskala berurutan, A, B, dan C, kita dapat menemukan
komponen dari subskala ganjil-genap untuk jth orang sebagai berikut:
Aaneh = (1J + 3J + 5J)/3 Abahkan = (2J + 4J + 6J)/3
Baneh = (7J + 9J + 11J)/3 Bbahkan = (8J + 10J + 12J)/3
Caneh = (13J + 15J + 17J)/3 Cbahkan = (14J + 16J + 18J)/3
Skor untuk orang ini dalam hal konsistensi ganjil-genap adalah korelasinya
antara vektor (Aaneh, Baneh, Caneh) dan (Abahkan, Bbahkan, Cbahkan), dikoreksi dengan Spearman-
Rumus ramalan coklat, jika diinginkan. Perhatikan bahwa ini adalah batasan matematis dari ini
teknik bahwa varians harus ada pada tingkat skala setengah ini. Untungnya, seorang individu yang
tidak memberikan varians (dan dengan demikian tidak dapat dinilai pada teknik ini) akan mudah ditangkap oleh orang lain
teknik, seperti analisis string panjang.
Sekali lagi, ini tampaknya merupakan penyederhanaan yang cerdas dari era tersebut, yang tidak lagi
diperlukan. Perlu diingat, ini bukan korelasi sampel, tetapi korelasi yang dihitung untuk masing-masing
individu dalam sampel. Meskipun mungkin tampak cukup mudah untuk melakukan ini
korelasi untuk setiap individu dalam sampel hari ini, bayangkan melakukannya hampir 40 tahun yang lalu (seperti pada
Jackson, 1977). Pemilihan satu kasus spesifik yang stabil (konsistensi ganjil-genap) akan memiliki
menjadi usaha yang mengesankan dengan sendirinya, dan tidak mengherankan bahwa para peneliti dari
zaman berhenti di sini.
Yang mengatakan, peneliti modern dibanjiri dengan kekuatan komputasi, dan tidak lagi membutuhkan
dibatasi hingga 20 seperti ituth pemikiran abad. Ketika mempertimbangkan konsep yang lebih luas dari
keandalan individu, skor subskala yang dihasilkan dari setengah acak dari setiap subskala yang dipasangkan dengan
subskala dari separuh yang tersisa masih harus menilai konsistensi mendasar yang sama seperti apa adanya
dinilai dengan konsistensi ganjil-genap. Misalnya, item dalam contoh di atas dikaitkan
dengan timbangan sebagai berikut:
Aaneh = (1J 3J 5J) Abahkan = (2J 4J 6J)
Baneh = (7J 9J 11J) Bbahkan = (8J 10J 12J)
Caneh = (13J 15J 17J) Cbahkan = (14J 16J 18J)
Tidak ada yang khusus secara inheren tentang pengelompokan ini, dan perhitungan yang sama
harus berlaku untuk bagian subskala yang ditarik secara acak yang dipasangkan dengan bagian yang tersisa, seperti pada
mengikuti:
Aaneh = (1J 2J 4J) Abahkan = (3J 5J 6J)
Baneh = (10J 11J 12J) Bbahkan = (7J 8J 9J)
Caneh = (13J 16J 17J) Cbahkan = (14J 15J 18J)
Ide inti dari keandalan individu adalah gagasan bahwa tanggapan harus serupa pada
item mengukur konstruk yang sama, dan dua set pasangan ini masih menghormati gagasan ini. Bukan itu
secara sederhana ini pasang item, namun, melainkan mekanisme yang dihasilkan.
Dengan pengambilan sampel secara acak, tanpa pengembalian, distribusi bilangan bulat antara 1 dan
jumlah item di setiap subskala, peneliti dapat membuat sejumlah besar pasangan ini.
Tidak ada pasangan acak dari item ini yang lebih baik dari yang sudah ada
praktek: penggunaan standar set ganjil dan genap berpasangan dalam setiap subskala. Manfaat dari
kekuatan komputasi modern adalah bahwa kita tidak perlu menggunakan hanya salah satu dari yang dihasilkan secara acak
pasangan. Kami malah dapat menggunakan sebanyak yang kami inginkan, lalu rata-rata hasilnya. Ini hanyalah
penerapan resampling dan bootstrap ke inti asli Jackson (1976; 1977)
metodologi dimaksudkan untuk menilai konsep yang lebih dalam dari keandalan individu.
Metode baru ini Contoh Keandalan Individu (RIR), diusulkan di sini, menyediakan
gambaran yang lebih kuat tentang konsistensi dan keandalan respons individu terhadap item
mengukur setiap konstruksi unidimensional yang diberikan. Penggunaan satu set pasangan item ini dapat
dipengaruhi oleh pasangan ganjil acak; teknik resampling ini seharusnya memungkinkan kesalahan acak ini
untuk membatalkan rata-rata beberapa undian.
Barang-barang acak ini tidak terlalu penting seperti halnya sistem yang digunakannya
dihasilkan. Melalui ini, RIR disajikan sebagai implementasi yang lebih ketat dari aslinya
semangat keandalan individu daripada yang dapat diperoleh dengan implementasi kasus spesifik yang sederhana
konsistensi ganjil-genap. Sementara nilai dari RIR harus berkorelasi tinggi dengan nilai yang dihitung
dari konsistensi ganjil-genap, memvalidasi RIR sebagai sarana deteksi C/IE berada di luar cakupan
makalah ini. Tolok ukur skor potongan awal harus identik dengan yang digunakan dalam ganjil-genap
konsistensi, tetapi diinformasikan oleh pengalaman dan praktik di masa depan. Peneliti tertarik untuk menggunakan ini
metode dapat mengeksplorasi pertanyaan ini, dan untuk saat ini, gunakan teknik baru ini dengan hati-hati.
Konsistensi Individu: Antonim/Sinonim Semantik dan Psikometrik
Keluarga teknik berikutnya melibatkan empat teknik yang merupakan hasil dari persilangan dua
ide-ide dikotomis. Bagian pertama dari ini adalah perbedaan sederhana antara antonim dan
sinonim. Antonim menggunakan pasangan item yang berlawanan, sedangkan sinonim menggunakan pasangan yang serupa
item. Perbedaan kedua adalah antara pasangan semantik dan pasangan psikometrik. Pasangan semantik
adalah mereka yang dipasangkan dari pendekatan linguistik murni (misalnya, senang/sedih), sedangkan
pasangan psikometrik adalah pasangan yang dipasangkan dari pendekatan berbasis data yang akan dijelaskan di bawah ini.
Persilangan konsep-konsep ini menghasilkan empat metrik C/IE yang berbeda: (1) antonim psikometrik,
(2) sinonim psikometrik, (3) antonim semantik, dan (4) sinonim semantik.
Munculnya keluarga teknik untuk deteksi C/IE ini tampaknya telah
antonim semantik, yaitu pasangan item yang berlawanan secara semantik (Goldberg & Kilkowski,
1985). Pasangan ini bertekad untuk menjadi berlawanan hanya pada konten mereka, dan pasangan seperti itu bisa
(dan harus) dibuat tanpa adanya data. Antonim semantik, dan semantik terkait
sinonim, adalah pasangan apriori. Ekstensi alami dari pasangan apriori ke data-driven
pasangan mengarah pada pemeriksaan antonim psikometrik, pasangan item berlawanan yang ditemukan
dengan mencari korelasi negatif yang besar antara item individual dalam sampel penuh atau dalam a
kumpulan data sekunder (Johnson, 2005). Tidak ada nilai konkrit besaran korelasi yaitu
dianggap cukup besar, meninggalkan pasangan item ini hingga korelasi terbesar yang ditemukan di
data. Menurut pendapat penulis ini, korelasi ini harus memiliki besaran setidaknya
. 60, tetapi tidak ada dasar yang kuat untuk aturan praktis ini.
Mengingat makna linguistik yang berlawanan ini antara item dalam pasangan, dan/atau negatif
korelasi dalam sampel non-C/IE, dapat diasumsikan bahwa responden yang lebih berhati-hati harus menjawab
berlawanan dengan pasangan antonim ini, sedangkan lebih banyak responden C/IE seharusnya tidak. Itu adalah
korelasi dalam-orang antara semua item pertama dalam pasangan antonim ini terhadap semua
item kedua dalam pasangan antonim ini harus negatif. Sebaliknya, korelasi ini seharusnya
positif untuk sinonim. Perhitungan ini pertama-tama akan dijelaskan untuk antonim psikometrik dan
kemudian digeneralisasikan ke kasus-kasus yang tersisa (sinonim psikometrik, antonim semantik dan
sinonim).
Nilai koefisien antonim psikometrik dihasilkan dengan membuat dua vektor
data untuk setiap responden. Pasangan di seluruh kumpulan data ini adalah masing-masing pasangan secara psikometri
item yang berlawanan, dan koefisien korelasi dihasilkan untuk setiap individu. Sebagai contoh,
pertimbangkan kasus di mana tiga pasang antonim psikometrik diidentifikasi dalam urutan sepuluh
item: (x1, x2), (y1, kamu2), dan (z1, z2). barang x1 mungkin ungkapan 'Saya bahagia sekarang,'
sedangkan barang x2 mungkin sebaliknya, seperti 'Saya sedih sekarang.' Pasangan item ini mungkin
tertanam dalam sepuluh item ini sebagai berikut:
[Item 1, Butir 2, y1, Butir 4, y2, x1, z1, z2, Butir 9, x2]
Pada skala Likert lima poin, ini mungkin menghasilkan pola respons seperti:
[4, 5, 4, 3, 2, 3, 5, 1, 3, 2]
Di permukaan, rangkaian tanggapan ini tidak banyak memberi tahu kita. Tapi, karena kita tahu
sesuatu tentang korelasi negatif antara tanggapan pada pasangan item ini, kita dapat menggunakan
informasi ini untuk menghitung antonim psikometrik. Korelasi yang dihasilkan kemudian dilakukan
antara dua vektor dari:
[x1, kamu1, z1]
[x2, kamu2, z2]
Atau, dalam contoh spesifik, antara vektor-vektor dari:
[3, 4, 5]
[2, 2, 1]
Koefisien antonim psikometrik untuk individu yang memberikan tanggapan terhadap ini
pasangan item berkorelasi negatif adalah nilai korelasi antara vektor-vektor tersebut. Di dalam
kasus, nilai ini adalah -.866. Nilai untuk semua koefisien ini dibatasi oleh nilai yang sama
sebagai korelasi, dan, seperti korelasi, nilai -0,866 cukup tinggi. Ini menunjukkan sebuah
individu yang merespon secara berlawanan terhadap item-item yang berkorelasi negatif ini.
Perhatikan bahwa n untuk korelasi ini sama dengan jumlah pasangan item yang
digunakan dalam proses ini. Maksimaln untuk setiap set item yang diberikan adalah setengah dari jumlah item,
dengan asumsi semua item digunakan untuk membuat pasangan, tanpa penggantian, dalam proses ini. Yang mengatakan, itu
tidak disarankan untuk menggunakan semua item, atau untuk item yang digunakan lebih dari sekali. Individu yang
memiliki korelasi negatif yang lebih kuat dianggap merespons lebih hati-hati daripada mereka yang
memiliki korelasi yang lebih lemah atau positif.
Ekstensi ke metrik yang tersisa cukup mudah. Sinonim psikometrik
gunakan teknik yang sama, tetapi cari korelasi positif antara orang yang tinggi antar item
untuk menghasilkan pasangan. Metode semantik cukup mulai dengan pasangan item yang sudah mapan dan lewati ini
langkah pencarian korelasi antar-orang. Sebaliknya, metode ini bergerak langsung ke menghitung
korelasi dalam-orang antara pasangan item yang sudah mapan ini.
Antonim psikometrik tampaknya yang paling populer dari teknik ini, meskipun beberapa
penelitian telah mulai juga menguji konsep sinonim psikometrik (Meade & Craig, 2012).
Menariknya, nilai tingkat sampel untuk kedua teknik ini (antonim psikometrik dan
sinonim) tampaknya hanya berkorelasi (antar individu) di R = .44 (n = 385) dalam satu studi
dimana keduanya diperiksa (Meade & Craig, 2012).
Selain itu, dan mirip dengan konsistensi ganjil-genap, teknik ini tampaknya menghasilkan
distribusi tergantung skala agak, dengan rata-rata koefisien ini didorong oleh
besarnya korelasi ini dalam data asli (Curran et al., 2010). Jika pasangan item
digunakan memiliki korelasi yang sangat tinggi, maka skor keseluruhan pada metrik ini harus lebih tinggi daripada jika
pasangan memiliki korelasi yang lebih rendah. Pemeriksaan hubungan ini berada di luar cakupan ini
kertas, tetapi tidak menghentikan teknik ini untuk digunakan dengan cara yang hati-hati dan bijaksana.
Mirip dengan waktu respons, ada skor yang hampir pasti menunjukkan C/IE
menanggapi. Misalnya, korelasi negatif dalam diri orang pada sinonim psikometrik atau
korelasi positif dalam-orang pada antonim psikometrik dapat berfungsi serupa dengan keduanya
detik per item waktu respon cutoff dikemukakan oleh Huang et al. (2012). Ini terlalu
sikap konservatif memastikan bahwa responden terburuk dihilangkan, dan juga memberikan ruang untuk
peneliti bijaksana untuk menaikkan (atau bahkan lebih rendah) skor potong ini ketika diinformasikan oleh praktek.
Konsistensi Individu: Standar Deviasi Antar-item
Di ujung yang jauh berlawanan dari analisis dawai panjang terletak metode yang relatif baru dari inter-
standar deviasi barang. Teknik ini, diusulkan dan diuji oleh Marjanovic, Holden, Struthers,
Cribbie, dan Greenglass (2015), mengukur seberapa banyak individu menyimpang dari miliknya sendiri
titik tengah pribadi di seluruh set item skala. Langkah ini dicapai melalui
rumus berikut, dari Marjanovic, dkk. (2015):
B 3
@C1 A@ A:
?09@ =
D1
Pada kasus ini, A@ mewakili respons terhadap item apa pun, dan A: mewakili
skor rata-rata responden di semua item. k hanyalah jumlah item dalam skala. sebagai
namanya menyiratkan, ini tidak lebih dari standar deviasi dalam-individu, mirip dengan bagaimana
konsistensi ganjil-genap atau antonim psikometrik tidak lebih dari di dalam individu
korelasi.
Penggunaan metrik yang disarankan ini dapat dijelaskan dengan contoh sederhana. Pertimbangkan
berikut tiga string respons:
Orang 1: 3, 3, 3, 3, 3, 3, 3, 3, 3, 3
Orang 2: 1, 2, 3, 4, 5, 1, 2, 3, 4, 5
Orang 3: 1, 1, 1, 1, 1, 5, 5, 5, 5, 5
Respon rata-rata untuk masing-masing individu ini adalah 3, meskipun ISD mereka akan sangat bervariasi.
Bahkan, untuk skala sepuluh item (k = 10) dengan 5 pilihan jawaban, orang 1 dan orang 3 mewakili
batas bawah dan atas metrik ini, masing-masing. Tidak ada perbedaan antara orang 1
tanggapan dan rata-rata orang 1, dan ISD mereka akan menjadi nol. Ada jarak maksimal (untuk
skenario ini) antara tanggapan orang 3 dan rata-rata orang 3, dan ISD mereka akan besar (untuk
mereka yang tertarik, itu adalah 2.11). Orang 2 akan berada di antara dua ekstrem ini (sekali lagi,
bagi yang berminat, ISD orang 2 = 1,49).
Hal ini dikemukakan oleh Marjanovic, dkk. (2015) bahwa nilai yang lebih tinggi pada ISD lebih indikatif
dari respon acak. Penting di sini untuk terus membedakan konsep spesifik yang lebih tua ini
respons acak dari konsep respons C/IE yang lebih modern dan umum.
Marjanovic dkk. (2015) menguji keefektifan ISD dalam mendeteksi respons acak murni
(tanggapan yang diambil dari distribusi acak yang seragam, secara independen pada setiap item), sesuatu
bahwa itu cukup mudah dilakukan dengan hampir semua metrik ini. Namun, skor pada teknik ini tidak
tampaknya tidak terkait secara linier dengan keacakan, per contoh di atas.
Perhatikan kembali ketiga kasus di atas. Orang 1 akan menerima skor terbaik pada
ISD, dan diklasifikasikan oleh Marjanovic et al. (2015) sebagai teliti, sebagai lawan dari acak. Ini
adalah penilaian yang adil selama dikotomi antara hati-hati dan acak, tapi hampir tidak
berguna jika dikotomi antara hati nurani dan C/IE. Jika ada individu dalam sampel
bunga diklasifikasikan sebagai acak, maka orang 3 juga akan (mereka memiliki nilai maksimum).
Meskipun dapat dikatakan bahwa orang 3 harus dihapus, data mereka hampir tidak lebih acak daripada
orang 1. Orang 2, yang mewakili kasus ideal dari data yang jauh lebih acak, sebenarnya jatuh
suatu tempat di tengah kontinum ini.

Teknik ini (ISD) harus digunakan dengan hati-hati. Meskipun itu menunjukkan beberapa janji potensial sebagai
metode baru deteksi C/IE, dirancang dan diuji secara khusus hanya untuk acak
kasus responden, dan memiliki kelemahan mendasar bahkan dalam situasi itu. Penggunaan aktual dalam praktik membutuhkan
pemahaman yang jauh lebih dalam tentang distribusi skor dan rekonseptualisasi yang mendasarinya
dikotomi hasil. Sebenarnya mungkin ada penggunaan untuk teknik ini di masa depan
Deteksi C/IE, tetapi pekerjaan yang diperlukan untuk menunjukkan ini berada di luar cakupan makalah ini.
Konsistensi Individu: Kesalahan Guttman Polytomous
Kesalahan Guttman (Guttman, 1944; Guttman, 1950) adalah konsep yang awalnya dirancang untuk
aplikasi pada item tes dikotomis. Premis penskalaan Guttman yang sempurna adalah ketika
item dipesan berdasarkan kesulitan, individu harus mendapatkan item mudah dengan benar sampai titik tertentu, lalu dapatkan
semua item yang tersisa, dan yang lebih sulit, salah. Istirahat dalam urutan yang diharapkan ini disebut
kesalahan Guttman.
Perhitungan statistik pada soal dikotomis (benar/salah) ini didasarkan pada
perbandingan berpasangan yang berdekatan antara item dipesan pada kesulitan. Pasangan ini tercipta
dari 1) respon setiap item dan 2) respon pada item yang langsung lebih sulit.
Setiap kali item yang lebih sulit dalam pasangan ini benar dan item yang lebih mudah dalam pasangan ini salah
kesalahan Guttman terdaftar. Hal ini dapat dinyatakan (seperti dalam Karabatsos, 2003, hal 294-295) sebagai:
F= AGH 1 AGI
HAI
Dalam situasi ini, xtidak mewakili skor peserta tes (benar = 1, salah = 0) pada
lebih sulit dari dua item, sementara xtidak mewakili skor peserta tes pada dua item yang lebih mudah.
Jika kedua nilai sama (0,0 atau 1,1), persamaan ini menjadi 0. Jika item yang lebih mudah benar dan
item yang lebih sulit salah, persamaan ini juga menjadi 0. Hanya jika semakin sulit
item benar dan item yang lebih mudah salah sehingga menghasilkan nilai 1, menandakan
kesalahan Guttman. Jumlah dari semua pasangan item ini memberikan jumlah total kesalahan Guttman untuk
seorang individu.
Meskipun metrik ini awalnya dirancang untuk item tes dikotomis, metrik ini bisa menjadi
diperluas menjadi item polytomous (misalnya, item tipe Likert) juga (Emons, 2008). Namun,
Emons (2008) perhitungan nilai ini saat ini membutuhkan pemahaman tentang penskalaan Mokken dan
Teori Respon Item Politomus Nonparametrik (Emons, 2008, Sijtsma & Molenaar, 2002).
Karena cakupan kecil dari banyak studi yang menggunakan metrik C/IE ini, implementasi
Emons (2008) metode untuk menghasilkan metrik seperti itu dalam praktik umum tidak mungkin, paling banter. Sebagai gantinya,
diusulkan bahwa metrik yang lebih sederhana dapat digunakan untuk mengukur Kesalahan Polytomous Guttman:
kesulitan item sebagaimana dioperasionalkan dengan sampel (atau populasi) sarana item.
Dengan cara ini, item dengan rata-rata '4' yang diketahui atau dihitung pada skala lima poin (dari
'sangat tidak setuju' hingga 'sangat setuju) dianggap lebih mudah daripada item yang diketahui atau
dihitung rata-rata '3' pada skala lima poin yang sama. Peringkat kesulitan relatif ini hanyalah
produk fakta bahwa item dengan rata-rata '3' lebih kecil kemungkinannya memiliki skor individu yang lebih tinggi pada
barang. Ini sangat sesuai dengan semangat kesalahan Guttman pada item dikotomis, tapi itu
juga diakui sebagai penyederhanaan.
Oleh karena itu, peserta yang aktif membaca dan memikirkan masing-masing
item akan lebih cenderung mengikuti pola umum item 'kesulitan' saat mereka bergerak
skala. Ini masih merupakan metrik konsistensi internal orang, tetapi hanya memanfaatkan
sampel tambahan (atau dalam kasus ideal, populasi) informasi agregat tingkat tentang item yang
diabaikan oleh banyak teknik lainnya. Proses dimana skor ini dihitung adalah
perpanjangan sederhana dari karya asli Guttman, dengan penambahan lebih dari dua level untuk item
skor dan pergeseran yang dihasilkan dari skor item dikotomis ke nilai dikotomis yang diperoleh
melalui perbandingan item sederhana, sebagai berikut:
F= "JAGH > AGI → 1; (7#( → 0

HAI
Perhatikan bahwa beberapa kesalahan Guttman diharapkan! Seperti teknik lainnya, metode ini
lebih tentang membangun distribusi di seluruh individu di mana keputusan dapat dibuat.
Kesalahan Guttman hanya terdaftar ketika skor individu lebih rendah pada item di setiap pasangan yang
memiliki rata-rata yang lebih tinggi, dan tidak terdaftar ketika skor pada item-item ini identik atau benar
pesanan hadir.
Ada batasan jumlah maksimum kesalahan Guttman yang dapat dilakukan pada semua
skala yang diberikan. Karena sifat perbandingan berpasangan, maksimum absolut adalah satu kurang
daripada jumlah item. Namun, ini mengasumsikan bahwa jumlah opsi respons adalah sama
atau lebih besar dari jumlah item. Jika jumlah pilihan jawaban kurang dari jumlah
item, maka kesalahan maksimal membutuhkan ruang untuk mengulang kembali ke ujung skala yang lain (yang kemudian
itu sendiri bukan kesalahan Guttman). Jikak adalah jumlah item dan x adalah jumlah pilihan jawaban,
maka Kesalahan Guttman Polytomous maksimum ditemukan dengan mengurangkan hasil bagi bilangan bulat dari k/x
dari satu kurang dari jumlah item.
Sebagai metrik baru untuk deteksi C/IE ini, sama seperti RIR, cobalah memahami praktiknya
penggunaan diperlukan, tetapi beberapa tolok ukur konservatif masih dapat disarankan. Ini adalah saran dari
makalah ini bahwa individu yang memiliki jumlah Kesalahan Guttman Polytomous sama atau lebih besar dari
setengah dari kemungkinan Kesalahan Polytomous Guttman ini dianggap sebagai penanggap C/IE oleh ini
teknik. Sekali lagi, ini jelas bukan skor potong terbaik untuk semua skala, tetapi juga di
setidaknya memberikan titik bagi peneliti untuk memulai pertimbangan yang lebih dalam.
Konsistensi Individu: Korelasi Total Orang
Seperti perluasan kesalahan Guttman ke kesalahan Guttman polytomous, ada banyak
yang dapat dipelajari dari penelitian lama tentang deteksi pola respons yang menyimpang
dalam menguji data. Salah satu teknik tersebut dari literatur pengujian adalah "biserial pribadi"
korelasi (Donlon & Fischer, 1968). Konsep ini sendiri merupakan perpanjangan dari ide item-total
korelasi, dan karena itu diskusi singkat tentang korelasi item-total diperlukan.
Korelasi item-total pada beberapa item dalam skala dihitung sebagai antar-orang
korelasi skor pada item tersebut dengan skor skala pada keseluruhan set item. Sebuah dikoreksi atau
korelasi item-total yang disesuaikan menghilangkan nilai item yang bersangkutan dari perhitungan
skor skala. Formulir yang dikoreksi ini lebih disukai, meskipun untuk kesederhanaan dalam makalah ini semua referensi
ke konsep umum akan menghapus referensi ke korelasi item-total 'dikoreksi' pada
asumsi bahwa bentuk yang tidak dikoreksi tidak pernah digunakan dan penggunaan umum 'item-total'
korelasi' menyiratkan bentuk yang dikoreksi.
Sama seperti ini memeriksa item di antara satu set item, hal yang sama dapat dibangun untuk
individu dalam sampel orang yang lebih besar. Secara konseptual, inikorelasi orang-total adalah
ukuran seberapa konsisten setiap orang bertindak seperti orang lain. Ini kemudian menjadi ukuran
tentang seberapa konsisten setiap orang, relatif terhadap pola yang diharapkan yang dihasilkan oleh semua orang lain
orang. Implementasi praktis dari korelasi person-total, berbeda dari item-total
korelasi, disorot oleh gambar 2.
Inti dari ide korelasi orang-total ini, seperti yang dinyatakan di atas, adalah perpanjangan dari pekerjaan
pada tes yang dilakukan oleh Donlon dan Fischer (1968). Donlon dan Fischer menjelaskan proses yang tepat ini di
data uji dikotomis, dan menyarankan bahwa itu dapat digunakan untuk memberikan informasi tambahan tentang
peserta ujian dan tanggapannya. Pekerjaan selanjutnya dalam literatur pengujian, terutama pekerjaan yang berhubungan dengan
deteksi respons menyimpang pada tes, telah menunjukkan teknik Donlon dan Fischer (1968) untuk
bekerja serta banyak metode deteksi lainnya (Karabatsos, 2003).
Korelasi orang-total, seperti yang diusulkan untuk digunakan dalam deteksi respons C/IE, adalah sederhana
penerapan ide ini untuk data polytomous. Tidak seperti kesalahan Guttman, yang memerlukan revisi
perhitungan, teknik ini bekerja secara identik dalam kedua situasi (dikotomis dan politomus).
Meskipun perhitungannya mungkin sama, istilah baru ini dimaksudkan untuk membedakan penggunaannya dalam hal ini
daerah yang berbeda.
Dalam praktiknya, perhitungan korelasi person-total pertama-tama melibatkan transpos sederhana dari
orang demi orang menjadi matriks butir demi orang. Korelasi item-total (sebagai bagian dari
analisis keandalan dalam perangkat lunak statistik tipikal) yang dilakukan pada matriks yang dialihkan ini (di mana:
item adalah baris dan orang adalah kolom) sekarang akan menghasilkan korelasi person-total. Ini
nilai kemudian dapat dengan mudah disimpan, dialihkan, dan ditambahkan ke data asli untuk masing-masing
individu. Sekali lagi, ini identik dengan prosedur yang diuraikan dalam Donlon dan Fischer (1968).
Jelas, ini bergantung pada satu asumsi besar: mayoritas responden di tempat tertentu
sampel menanggapi serius. Mengingat bahwa beberapa perkiraan tertinggi dari perilaku ini
sekitar 30%, ini tampaknya asumsi yang aman. Namun, kondisi yang mungkin merusak ini
asumsi dapat membatalkan metrik ini. Faktanya, jika mayoritas responden dalam sampel adalah
C/IE responders, metode ini berpotensi merekomendasikan untuk menghapus responder yang bijaksana!
Mungkin juga keefektifan teknik ini terkait dengan proporsi C/IE
responden dalam sampel, bahkan jika mereka tidak merupakan mayoritas. Dalam kedua kasus, teknik ini
harus digunakan dengan hati-hati dalam situasi di mana sebagian besar sampel diduga
Responden C/IE.
Mengingat pemahaman yang agak ada di mana-mana tentang korelasi item-total, person-total
korelasi berpotensi menjadi salah satu metrik C/IE termudah untuk dipahami, dihitung, dan dinormalkan
di seluruh sampel dan formulir. Misalnya, korelasi item-total negatif selalu bergejala
masalah, seperti yang akan terjadi pada korelasi orang-total negatif. Seorang individu dengan
korelasi orang-total negatif bertindak berlawanan dengan pola yang diharapkan yang ditetapkan oleh orang lain
individu.
Seperti RIR dan perhitungan makalah ini tentang Kesalahan Polytomous Guttman, ini adalah metrik baru
dalam kerangka deteksi C/IE, dan pekerjaan di masa depan harus memeriksa karakteristiknya dalam
penggunaan praktis di luar penggunaan yang ditetapkan pada data uji, terutama dibandingkan dengan yang lain
metode. Namun, beberapa tolok ukur konservatif dapat diterapkan dari apa yang sudah terkenal
tentang korelasi item-total. Ini adalah rekomendasi dari makalah ini bahwa individu dengan
korelasi orang-total negatif dianggap sebagai responden C/IE dengan teknik ini. Sementara ini
tidak akan menghilangkan semua penanggap C/IE, ini lagi-lagi berfungsi sebagai titik awal untuk individu
peneliti untuk melakukan diskusi yang bijaksana tentang penggunaan skor potong yang berbeda seperti yang diinformasikan oleh
pekerjaan dan praktik di masa depan.
Item Cek Palsu/Infrekuensi/Perhatian/IMC
Teknik yang dibahas sampai saat ini mengandalkan statistik post-hoc dalam-orang
dihitung dari sampel bunga. Teknik-teknik ini dapat diterapkan pada data dari yang sudah
pengumpulan data survei yang lengkap, selama jenis item yang tepat ada di kanan
kuantitas. Sederhananya, tidak banyak yang bisa dihitung dalam hal konsistensi pada a
ukuran satu item.
Sebaliknya, keluarga teknik yang berbeda menggunakan penyertaan item tertentu dalam skala
untuk memeriksa perhatian responden. Dengan menambahkan item ini sebelum pengumpulan data, tanggapan atas ini
item tertentu dapat diamati dan digunakan untuk membuat keputusan kualitas data. Konten ini
item bervariasi, tetapi tema yang mendasarinya adalah bahwa ada satu respons atau rentang yang 'benar'
tanggapan, dan satu tanggapan 'salah' atau berbagai tanggapan. Mirip dengan waktu respons, ini
keluarga teknik termasuk yang paling transparan, langsung, dan intuitif.
Salah satu teknik yang umum dan cukup transparan menginstruksikan responden untuk menjawab dengan
opsi respons tertentu, seperti "Silakan pilih Cukup Tidak Akurat untuk item ini" (Huang et
al., 2012). Individu yang merespons dengan respons yang diminta dianggap benar, dan
individu yang merespon dengan yang lain dianggap tidak benar. Asumsi sederhana di sini adalah
bahwa setiap individu yang telah membaca item tersebut harus merespon dengan benar. Meskipun barang-barang ini adalah
relatif transparan, tidak jelas bagaimana peserta melihatnya atau apa yang sebenarnya mendorong tanggapan
pada barang-barang ini. Curran dan Hauser (2015) telah menemukan, melalui analisis protokol verbal, bahwa
ada sebagian responden yang tidak menjawab pertanyaan ini dengan benar, bahkan setelah
membacanya dengan suara keras. Meskipun proporsi individu ini kecil (<10%), hal ini menunjukkan bahwa
hubungan antara sekadar membaca item-item ini dan merespons dengan benar mungkin tidak sempurna,
terutama dalam situasi berisiko rendah.
Item yang meminta jawaban yang benar dan jelas mewakili transparansi yang hampir penuh untuk
pengambil survei. Namun, ada aliran pemikiran lain: barang-barang ini harus kurang transparan
untuk bekerja tanpa menonjol dari item lain (Huang et al., 2014; Meade & Craig,
2012). Dalam kerangka ini, item dibangun agar tampak valid pada inspeksi visual cepat,
tapi jelas atau tidak masuk akal pada pemeriksaan lebih dalam. Item-item ini meliputi: “Saya tertarik untuk mengejar
gelar dalam parabanjology" (Huang et al., 2014) dan "Saya dibayar dua mingguan oleh leprechauns" (Meade
& Craig, 2012). Dikenal sebagai item palsu atau jarang, asumsinya adalah bahwa ada berbagai
tanggapan yang benar dan salah untuk item-item ini. Penggunaan saat ini membuat pemotongan pada ekstrem
akhir skala yang benar, sehingga jawaban yang benar untuk "Saya dibayar dua mingguan oleh leprechauns"
mungkin 'sangat tidak setuju' dan 'tidak setuju'. Jawaban yang salah dapat mencakup 'sedikit tidak setuju',
'tidak setuju atau tidak setuju', dan semua opsi 'setuju' dicerminkan secara identik. Hal-hal yang ditulis dalam
arah yang berlawanan (di mana 'setuju' akan menunjukkan perhatian) cukup gunakan opsi itu
akhir skala sebagai benar.
Untuk sebagian besar, barang-barang ini tampaknya berfungsi sebaik barang-barang mapan lainnya
metode dalam makalah ini (Huang et al., 2014; Meade & Craig, 2012). Dengan menggunakan sejumlah item
seluruh skala, dan menghitung skor total yang benar untuk setiap peserta, keanehan kecil dan
kesalahan dalam menanggapi umumnya dirata-ratakan. Sementara makalah ini umumnya akan merekomendasikan penggunaan
item ini untuk deteksi C/IE, ia akan melakukannya dengan sejumlah peringatan dan saran kecil
untuk penelitian masa depan.
Seperti disebutkan, beberapa pekerjaan awal telah mulai memeriksa alasan yang sah mengapa
individu memilih apa yang akan dianggap sebagai tanggapan yang tidak valid (Curran & Hauser, 2015).
Meskipun pendekatan item palsu / jarang dapat bekerja paling baik pada item yang ekstrem seperti "Saya dibayar"
dua mingguan oleh leprechauns,” seorang peserta yang bijaksana mungkin sebenarnya setuju dengan item “All my
teman-teman mengatakan saya akan membuat pudel yang bagus,” (keduanya dari Meade & Craig, 2012) memberikan
pembenaran bahwa teman-teman mereka menganggap mereka memiliki sifat seperti anjing seperti kesetiaan (Curran &
Hauser, 2015). Dalam kasus terbaik, identifikasi responden yang valid ditandai sebagai C/IE
hanya menyoroti beberapa kesalahan Tipe I yang sudah dianggap ada di semua teknik. Di dalam
sebenarnya, harus tersirat dalam penggunaan teknik ini bahwa ada potensi kebaikan untuk menjadi
dibuang dengan yang buruk. Dalam kasus terburuk, hasil seperti ini (Curran & Hauser, 2015) berarti
bahwa beberapa segmen responden tertentu dihapus karena alasan yang tidak valid. Peneliti
menggunakan item ini harus memastikan bahwa mereka digunakan secara konsisten dengan cara di mana mereka
telah divalidasi. Memetik ceri satu atau dua item dari timbangan ini untuk digunakan sebagai yang dipersingkat
metode membuka peneliti hingga risiko tinggi dari jenis kesalahan ini, karena ada lebih sedikit
item yang kesalahannya dapat dirata-ratakan.
Mungkin sebenarnya item yang bekerja paling baik dalam situasi ini adalah item yang
adalah yang paling ekstrim (misalnya "Saya tidak pernah menggunakan komputer"; Huang et al., 2014), dan pada intinya,
yang paling mirip dengan item sederhana yang menginstruksikan respons spesifik yang dijelaskan di atas (mis
pilih Cukup Tidak Akurat untuk item ini"). Item-item dengan interpretasi yang lebih longgar, yang
mungkin tampak wajah yang paling valid dalam skala kepribadian normal (misalnya “Saya bisa makan sebanyak
kuda"; Curran & Hauser, 2015), mungkin saja lebih terbuka terhadap interpretasi yang berada di luar
apa yang peneliti maksudkan. Jika barang-barang ini digunakan tanpa pertanyaan, atau diproduksi ac-hoc oleh
peneliti tanpa pertimbangan yang tepat, kesalahan ini mungkin tidak dinilai. Pekerjaan masa depan di bidang ini
harus diarahkan untuk menemukan properti dari barang-barang ini yang paling cocok untuk keseimbangan ini antara
validitas wajah dalam skala dan validitas konstruk dalam hal deteksi C/IE.
Metode lain, yang dikenal sebagai pemeriksaan manipulasi instruksional atau IMCs (Oppenheimer,
Meyvis, & Davidenko, 2009), menambahkan frasa kunci ke rangkaian instruksi yang lebih panjang, biasanya pada beberapa
item panjang dengan satu respon. Frasa ini dapat bervariasi panjangnya, tetapi secara fungsional harus terlihat adil
seperti sisa teks instruksional untuk suatu item. Frasa ini umumnya menginstruksikan responden untuk
abaikan sisa pertanyaan yang ada dan tanggapi dengan cara lain. Dari pada
merespons secara normal, maka, responden yang penuh perhatian harus merespons dengan cara yang tidak mungkin diuraikan
dalam kalimat ini. Frasa ini mungkin menginstruksikan responden untuk mengabaikan tanggapan item dan
opsi 'lanjutkan', menginstruksikan mereka untuk mengklik teks judul atau bagian halaman yang tidak biasa
(Oppenheimer et al., 2009). Responden mungkin juga diinstruksikan untuk memilih dua atau lebih yang berbeda
atau pilihan yang tidak mungkin dari daftar tanggapan 'pilih semua yang sesuai', atau untuk memilih opsi 'lainnya'
dan kemudian masukkan ke dalam pilihan itu serangkaian teks yang ditentukan oleh eksperimen (Hauser & Schwarz, dalam
tekan). Contoh bagaimana hal ini dapat disajikan kepada peserta dapat ditemukan pada gambar 3.
Di permukaan, teknik ini bisa sangat berharga jika manipulasi penelitian disembunyikan
dalam teks serupa di tempat lain dalam penelitian itu (misalnya bahasa pembingkaian tujuan). Jika peserta gagal
untuk membaca keseluruhan instruksi dari item semacam itu, kemungkinan mereka juga gagal membaca
teks instruksional yang berisi manipulasi pembelajaran. Dengan cara ini, teknik ini, seperti namanya
akan menunjukkan, cek manipulasi. Pada survei tanpa instruksi seperti itu, bagaimanapun, ini
IMC cenderung menonjol berbeda dari item lainnya.
Bahkan, bahkan digunakan dalam penelitian dengan item serupa, beberapa pekerjaan sudah mulai menemukan sampel
efek dalam hal apa yang tampaknya menjadi keterampilan yang dipelajari pada item ini. Secara khusus, Hauser dan
Schwarz (dalam pers) telah menemukan bahwa peserta dari Amazon's Mechanical Turk (MTurk)
tampaknya ditangkap oleh IMC ini pada tingkat yang jauh lebih rendah daripada peserta dari lainnya
sampel, meskipun tingkat kelulusan yang lebih rendah dari individu-individu ini hanya beberapa tahun yang lalu (Oppenheimer et al.,
2009). Ada sejumlah studi dan penjelasan yang saling bertentangan tentang topik ini, tetapi salah satunya
hasil umum tampaknya bahwa peserta penelitian yang sering (misalnya, MTurkers) memiliki, lebih dari
waktu, berpotensi mempelajari struktur barang-barang ini yang dimaksudkan untuk menangkap ketidakpedulian mereka, dan
disesuaikan. Inti dari masalah ini tampaknya adalah bahwa ada dasar
pengetahuan tentang hal-hal tersebut yang dapat dipelajari. Setidaknya sebagian dari pengetahuan ini adalah yang sederhana
fakta bahwa barang-barang ini ada di tempat pertama. Peneliti harus ingat bahwa MTurk
peserta pada umumnya berpartisipasi untuk menghasilkan uang, dan menjadi lebih berpengetahuan
peserta dapat memiliki dampak langsung pada jumlah uang yang dihasilkan. Seluruh situs web (mis
www.turkernation.com) ada untuk membantu para peserta ini mengumpulkan dan berbagi pengetahuan tentang
studi dan peneliti.

Penghapusan individu yang telah gagal dalam IMC ini tampaknya tidak ada hasilnya
efek substantif pada hasil studi, bahkan dalam sampel multi-situs besar (Klein, Vianello, &
Ratliff, 2015). Topik ini, seperti banyak topik lain dalam makalah ini, membutuhkan studi lebih lanjut, tetapi tampaknya
pengetahuan responden tentang teknik ini, khususnya pada sampel MTurk, mungkin sudah
membatalkan setiap penggunaan yang berarti yang ada pada awalnya.
Di semua teknik pemeriksaan perhatian umum ini, peneliti harus berpikir dengan hati-hati
tentang bagaimana item atau instruksi yang disisipkan akan bekerja dalam penelitian yang sedang dilakukan. Ada banyak kasus
di mana item tersebut mungkin dianggap sebagai penghinaan terhadap sampel yang sudah sangat termotivasi (misalnya, a
survei kepuasan klien). Paling tidak, barang-barang seperti itu dan waktu yang mereka butuhkan mungkin saja
tidak perlu. Selain itu, paradoks yang tidak menguntungkan muncul dalam rekomendasi praktis
mengenai barang-barang tersebut. Di satu sisi, peneliti seharusnya tidak hanya membuat jenis item ini untuk
sekali pakai tanpa validasi apa pun, tetapi harus melihat yang sudah ada
divalidasi secara psikometri atau menggunakan studi percontohan untuk memastikan item baru berfungsi seperti yang diinginkan. Pada
pada saat yang sama, penggunaan kembali item dan cek yang sama cenderung menyebabkan aklimatisasi responden untuk
barang-barang stok itu dari waktu ke waktu. Barang-barang ini mungkin paling baik dikonsep melalui lensa barang
keamanan dan eksposur item yang digunakan dalam pengujian (Davey & Nering, 2002). Misalnya, setiap responden
yang memiliki pengetahuan tentang Huang et al. (2014) atau Meade dan Craig (2012) secara efektif tahu apa yang harus
mencari dan bagaimana menanggapi item dalam skala tersebut. Ini mungkin bagian kecil dari apapun
sampel, tetapi tren keterpaparan terhadap barang-barang tersebut dianggap meningkat secara monoton.
Karena sifat transparan dari teknik ini, menghasilkan skor potong pada mereka adalah
jauh lebih sering dibiarkan (atau dibiarkan beristirahat dengan) penilaian peneliti. Tentang
cek perhatian dan item palsu/infrekuensi, makalah ini akan kembali keliru pada konservatif
saran ketidakakuratan 50% sebagai sinyal bahwa peserta harus dianggap sebagai C/IE
responden dengan teknik ini, dengan asumsi bahwa sejumlah item yang masuk akal sedang
digunakan. IMC lebih berbeda, keduanya karena kurang rentan terhadap kesalahan tipe II (lebih
sulit untuk memperbaikinya secara tidak sengaja) dan kemungkinan akan digunakan dalam jumlah yang lebih kecil dari ini
item lain yang lebih pendek. Pemeriksaan manipulasi jenis apa pun, karena keterkaitannya yang jelas dengan
manipulasi penelitian, lebih mudah untuk dibingkai sebagai keputusan semua-atau-tidak sama sekali. Karena itu
jauh lebih transparan dan intuitif dari item ini, makalah ini akan menyarankan skor potong
keputusan sepenuhnya diserahkan kepada peneliti, tetapi dengan peringatan bahwa keputusan tersebut harus
dipertimbangkan dan diputuskan sebelum data dikumpulkan.
Data Laporan Diri
Teknik lain untuk mengidentifikasi responden C/IE hadir dengan perpaduan transparansi,
kesederhanaan, dan pemikiran. Sederhananya, adalah mungkin untuk bertanya kepada responden apakah mereka telah menjawab
dengan cara yang mereka yakini valid (meskipun mungkin tidak cukup dalam kata-kata itu). Meade dan Craig
(2012) membuat dan menguji skala keterlibatan peserta yang menghasilkan dua faktor:
ketekunan dan salah satu minat. Skala ketekunan ini berkorelasi cukup baik dengan beberapa
teknik lain dari deteksi C/IE dalam studi mereka (besarnya R mulai dari kira-kira 0,16-,51),
dan mungkin terbukti berguna seperti beberapa teknik ini pada sampel yang tidak memiliki alasan untuk
penipuan. Meade dan Craig (2012) juga menguji sejumlah ukuran item tunggal perhatian dan
usaha, serta ukuran satu item hanya menanyakan “Menurut pendapat jujur Anda, haruskah kami menggunakan . Anda?
data?" Masing-masing item ini memiliki korelasi yang serupa tetapi lebih lemah dibandingkan dengan ketekunan yang lebih lama
skala.
Teknik-teknik ini tampaknya menjanjikan, setidaknya dalam situasi berisiko rendah di mana
responden tidak akan rugi dengan bersikap jujur. Bahkan dalam situasi di mana penghargaan sedang
ditawarkan untuk penyelesaian survei (misalnya, kumpulan subjek psikologi, MTurk), jujur dan terbuka
menanyai individu di akhir penelitian mungkin masih menghasilkan beberapa hal yang berguna dan dapat ditindaklanjuti
data, terutama jika dicatat bahwa penghargaan akan terpenuhi terlepas dari responsnya. Secara anekdot,
penulis ini dapat mengkonfirmasi bahwa melalui penggunaan awal dan terbatas dari skala ini beberapa segmen kecil dari
peserta (~3-5%) tampaknya bersedia mengakui bahwa data mereka mungkin layak untuk dibuang.
Jika dilakukan secara akurat, jauh lebih baik bagi peneliti bahwa seorang responden hanya mengakui bahwa
data mereka berkualitas buruk, daripada harus menentukan fakta yang sama melalui analisis
data mereka. Masalah kesalahan Tipe I yang sama (membuang data yang baik sebagai data yang buruk) berlaku, bagaimanapun, di
kemungkinan bahwa kebanyakan responden yang cermat mungkin mengidentifikasi data mereka sebagai kualitas yang buruk bahkan jika
itu adalah data yang, menurut standar yang wajar, seharusnya disimpan. Peserta mungkin juga tidak memiliki
gagasan tentang apa yang memenuhi syarat sebagai 'data yang dapat digunakan', dan tanggapan yang dianggap baik oleh satu peserta
kualitas dapat dianggap kualitas buruk oleh peserta lain. Juga, lebih sadar diri
peserta mungkin memperhatikan perhatian mereka berkurang sementara kurang sadar diri (atau lebih lalai!)
peserta tidak. Terlepas dari risiko ini, penggunaan timbangan seperti itu adalah area yang menjanjikan yang juga
berdiri untuk mendapatkan keuntungan dari penelitian lanjutan.
Faktor Tambahan: Item Terbalik Kata
Ada banyak aspek respons C/IE yang belum diperiksa secara detail
dalam penelitian sebelumnya. Mirip dengan menambahkan serangkaian kondisi lain ke eksperimen, banyak di antaranya
aspek secara efektif menggandakan kompleksitas dari setiap pemeriksaan atau pemahaman yang diberikan. Ketua
di antaranya adalah konsep item dengan kata-kata terbalik. Item dengan kata-kata terbalik hanyalah itu
yang secara terarah berbeda dari item 'normal' dalam skala. Artinya, individu dengan
tingkat yang lebih tinggi dari konstruk laten yang mendasari harus menghasilkan skor yang lebih rendah pada ini
item. Dengan demikian, item-item ini perlu diberi skor terbalik sebelum banyak jenis analisis.
Item ini juga harus dikodekan terbalik sebelum penerapan beberapa C/IE ini
teknik deteksi, meskipun tidak harus semuanya. Beberapa teknik ini dapat digunakan pada keduanya
data mentah dan recoded, untuk efek yang sama atau berbeda (Curran & Kotrba, 2012). Perbedaan ini
diringkas dalam tabel 1, yang menyoroti penggunaan yang direkomendasikan dari teknik ini dalam tiga
pengaturan yang berbeda: 1) data tanpa item dengan kata terbalik, 2) data dengan item dengan kata terbalik
yang belum dikodekan ulang, dan 3) data dengan item kata terbalik yang telah dikodekan ulang.
Dalam kasus timbangan tanpa item dengan kata-kata terbalik, teknik ini bekerja dengan cukup baik
cara langsung seperti yang dijelaskan di atas. Perbedaan penting di sini datang dalam kasus
antonim psikometrik dan semantik. Antonim semantik, menurut definisinya, menyiratkan bahwa
item dengan kata terbalik dimasukkan dalam skala (misalnya, 'Saya senang' vs 'Saya sedih'). Sebuah skala
tanpa item dengan kata-kata terbalik ini kemungkinan akan kekurangan item yang benar-benar berlawanan secara semantik. Ketika
antonim psikometrik tidak dibatasi hanya berfungsi dengan item dengan kata-kata terbalik, mereka melakukannya
memanfaatkan barang-barang tersebut dalam pencarian mereka untuk barang-barang yang memiliki negatif besar
korelasi. Dalam situasi tanpa item berkode terbalik, korelasi negatif seperti itu cenderung
menjadi lebih lemah, jika ada korelasi negatif sama sekali.
Jika item dengan kata-kata terbalik digunakan, ada informasi yang dapat diperoleh dari keduanya
data mentah sebelum item tersebut dikodekan terbalik, dan data yang sama setelah pengodean ulang. Pertama dan
terutama, sinonim dan antonim semantik dan psikometrik keduanya akan bekerja secara normal di masing-masing
dari situasi-situasi ini. Pasangan sinonim tidak mungkin dipengaruhi oleh pengodean ulang apa pun. Antonim
akan bekerja untuk menghasilkan korelasi dalam-orang dalam kedua kasus, meskipun harus dicatat bahwa
korelasi negatif yang lebih tinggi seharusnya hanya menunjukkan respons yang bijaksana sebelum item-item itu ada
dikodekan ulang. Setelah pengodean ulang, korelasi positif yang lebih tinggi antara item-item ini akan menunjukkan perhatian
tanggapan. Terlepas dari perhitungan ini, pasangan antonim psikometrik harus diidentifikasi pada data
sebelum pengodean ulang untuk mengisolasi korelasi negatif ini secara jelas dari positif normal
korelasi.
Analisis string panjang unik karena bekerja di kedua situasi juga, tetapi berbeda
efek. Sebelum pengodean ulang item dengan kata-kata terbalik, analisis string panjang akan mendeteksi individu yang
benar-benar merindukan kehadiran item dengan kata-kata terbalik ini. Ini mewakili ekstrim
kecerobohan, dan sebenarnya tidak akan terdeteksi jika tanggapan ini dikodekan ulang. Sebenarnya, seperti itu
pengodean ulang akan membuat respons ini terlihat lebih sah untuk analisis string panjang! Ini bukan untuk
katakan tidak ada tempat untuk analisis string panjang pada data yang dikodekan ulang; analisis string panjang pada recoded
data membantu mengidentifikasi peserta yang memiliki pikiran minimal untuk memperhatikan kebalikannya
item kata dan ubah tanggapan mereka sesuai (misalnya, di antara serangkaian tanggapan 'setuju'
peserta bergeser ke 'tidak setuju' untuk setiap item dengan kata-kata terbalik). Ini mungkin cukup spesifik
aplikasi, tetapi tidak sulit untuk membayangkan seorang peserta yang hanya mencari kata-kata seperti
'tidak pernah' dan 'tidak' dan 'jangan', ciri khas item dengan kata-kata terbalik. minimal ini
perhatian mungkin cukup bagi peserta untuk percaya bahwa data mereka tidak akan ditangkap oleh layar,
tetapi mungkin tidak cukup untuk dianggap bijaksana, seperti di Huang et al. (2012).
Beberapa teknik tidak bekerja dalam kedua situasi ini, atau belum teruji. Ganjil genap
konsistensi dan keandalan internal yang disampel ulang sama sekali tidak memiliki asumsi dasarnya
terpenuhi ketika item dengan kode terbalik digunakan dan tidak dikodekan ulang. Penggunaannya dalam situasi ini tidak hanya tidak
direkomendasikan, tetapi akan menghasilkan hasil yang sama sekali tidak berarti. Teknik-teknik ini membutuhkan
unidimensionalitas (bahkan jika unidimensionalitas itu agak dipaksakan, seperti dalam kasus kebalikannya
pengkodean item dengan kata-kata terbalik). Kesalahan Polytomous Guttman dan korelasi total orang, sebagai
dijelaskan di sini, tidak memiliki ketergantungan mutlak pada unidimensionalitas. Namun,
ketergantungan pada item berarti dalam proses ini menunjukkan bahwa perbedaan akan ada di antara keduanya
perhitungan. Studi lebih lanjut dapat memeriksa perbedaan ini dan bagaimana hal itu dapat dikonseptualisasikan,
tetapi teknik ini hanya disarankan untuk penggunaan saat ini dalam kasus di mana data baik
unidimensional oleh alam atau recoding. Ini mungkin berubah di masa depan karena mereka menjadi lebih baik
dipahami.
Beberapa pekerjaan awal telah menunjukkan bahwa item dengan kata-kata terbalik tidak mengurangi keberadaan
tanggapan yang tidak valid (Sonderen, Sanderman, & Coyne, 2013), dan mereka tidak boleh digunakan atau
dianggap sebagai obat mujarab untuk masalah ini. Selain itu, ada sejarah yang cukup panjang tentang
memeriksa dampak respons C/IE (dan pola tidak valid lainnya) pada item dengan kata-kata terbalik
(Schmitt & Stults, 1985; Spector, Van Katwyk, Brannick, & Chen, 1997). Baru-baru ini, Woods
(2006) memeriksa penyertaan data C/IE dalam proses konstruksi skala dan menemukan bahwa
kira-kira 10% responden C/IE sudah cukup untuk mulai menghasilkan faktor metode palsu di luar
dari kerangka unidimensional. Anehnya ini tumpang tindih dengan perkiraan terbaik untuk data C/IE secara normal
sampel, dan menyarankan motif lain untuk menghilangkan peserta ini jika kata-kata terbalik
item yang akan digunakan.
Ada masalah kompleks yang harus dipecahkan terkait penggunaan item dengan kata-kata terbalik di
proses survei, dan bahkan ada masalah yang lebih kompleks terkait hubungannya dengan C/IE
teknik deteksi. Namun, sebagai bidang penelitian tentang respons C/IE, kasus unidimensional
tanpa item kata terbalik masih belum sepenuhnya dipahami. Ini adalah rekomendasi yang kuat untuk ini
makalah bahwa penelitian masa depan tentang teknik ini pertama-tama berfokus pada kasus tanpa kata-kata terbalik
item. Hanya setelah pemahaman yang cukup tentang kasus yang lebih sederhana ini, benar-benar dibenarkan untuk pindah ke
kasus kata terbalik yang lebih kompleks.
Dalam praktiknya, timbangan dengan item dengan kata terbalik akan terus digunakan. ini sebelumnya
paragraf tidak dimaksudkan sebagai seruan untuk penghapusan total barang-barang ini. Selanjutnya, ini sebelumnya
paragraf tidak boleh menjadi alasan untuk mempertimbangkan penggunaan teknik ini tidak relevan pada skala dengan
item kata terbalik. Ada banyak alasan untuk memasukkan item dengan kata-kata terbalik selain dari
deteksi responden C/IE, dan alasan ini diserahkan kepada pertimbangan individu
peneliti. Mungkin saja item dengan kata terbalik memainkan bagian integral di masa depan penelitian ini,
atau bahwa penghapusan penanggap C/IE memperbaiki beberapa masalah saat ini dari kata-kata terbalik
item, tapi tak satu pun dari ini belum ditunjukkan.
Rekomendasi: Pendekatan Berbagai Rintangan
Sejumlah metode telah diilustrasikan di sini, dan ringkasan teknik ini dapat
dapat ditemukan pada tabel 2. Pembaca mungkin mengingat atau mengenali bahwa tidak semua teknik ini mengukur
konstruksi yang sama, dan mungkin berkorelasi positif, negatif, atau tidak sama sekali satu sama lain (Meade
& Craig, 2012). Sebagai perpanjangan dari ini, individu yang diidentifikasi dengan satu teknik tidak
harus diidentifikasi oleh orang lain. Faktanya, identifikasi dengan satu teknik terkadang berarti
mengurangi kemungkinan deteksi oleh yang lain (misalnya, analisis string panjang dan konsistensi ganjil-genap).
Karena itu, menggunakan hitungan mentah dari jumlah metrik yang mengidentifikasi individu adalah
agak merugikan diri sendiri, dan tidak disarankan.
Setiap kelas teknik ini memiliki pro dan kontra, dan dirancang untuk mengidentifikasi perbedaan
Tipe dari data yang tidak valid. Penggunaan paling kuat dari metode ini adalah menggunakannya secara bersama-sama; untuk menyeimbangkan
kelemahan masing-masing teknik dan tidak sekedar menghilangkan individu berdasarkan tolak ukur yang
peneliti tidak sepenuhnya memahami atau tidak dapat mempertahankan secara memadai. Untuk mencoba menemukan ini
keseimbangan, penggunaan metode ini secara berurutan dapat mengidentifikasi individu untuk pemeriksaan lebih dalam,
pertimbangan yang bijaksana, dan pengecualian atau penyertaan yang transparan.
Telah disebutkan beberapa kali selama makalah ini, tetapi perlu dikemukakan kembali: ada
keputusan mendasar tentang kesalahan Tipe I dan Tipe II dalam eliminasi individu dari a
kumpulan data yang harus dipikirkan secara mendalam oleh semua peneliti yang mempertimbangkan teknik ini. Itu juga harus
diakui bahwa tidak menggunakan teknik ini sama sekali default untuk kesalahan Tipe II maksimum. NS
rekomendasi keseluruhan dari makalah ini adalah untuk berbuat salah di sisi kesalahan Tipe II di masing-masing ini
teknik, kecuali penilaian individu mengungkapkan konsekuensi yang lebih besar secara drastis dari Tipe II
kesalahan relatif terhadap kesalahan Tipe I. Pendekatan konservatif ini sebagian disebabkan oleh fakta sederhana bahwa
teknik ini, bahkan yang telah digunakan selama beberapa dekade, tidak sepenuhnya dipahami. Dia
demikian juga halnya, kecuali data berkualitas sangat rendah, responden yang valid akan selalu
melebihi jumlah responden yang tidak valid. Penghapusan yang terburuk dari responden ini dari apa pun yang diberikan
teknik akan menghilangkan yang paling mudah untuk diidentifikasi, dan, berpotensi yang paling berdampak. Ini juga
meminimalkan risiko juga menghilangkan responden normal yang valid dengan membuat pemotongan yang terlalu dalam dengan apa pun
teknik yang diberikan. Semakin banyak teknik ini didorong ke batasnya (yaitu semakin banyak Tipe II
kesalahan berkurang), semakin besar akan tumbuh rasio data yang valid dibuang dengan data yang tidak valid ini.
Sebagai lindung nilai terhadap penggunaan terbatas ini (dan mengakibatkan efektivitas terbatas) dari masing-masing
teknik individu, kemudian juga disarankan agar teknik ini digunakan secara berurutan. Ini
beberapa metode dapat dilihat masing-masing sebagai rintangan yang harus dilewati responden, dan yang
paling ekstrim untuk setiap teknik diidentifikasi. Dengan menggunakan banyak rintangan, dan mengatur standar untuk
masing-masing teknik ini lebih rendah daripada jika teknik itu digunakan secara terpisah, yang paling mungkin-
individu yang tidak valid akan diidentifikasi dan dihilangkan dengan setiap teknik tanpa membuat terlalu dalam
dipotong menjadi mereka yang telah meluangkan waktu untuk memberikan data yang valid.
Misalnya, pemotongan awal pada waktu respons dapat mengidentifikasi individu-individu yang
hanya menanggapi di bawah ambang batas di mana tanggapan yang bijaksana dapat tidak pernah menjadi
diproduksi. Perhatikan gambar 1 sekali lagi. Ini digunakan untuk menunjukkan kesulitan
menghilangkan semua responden yang tidak valid tanpa menghapus responden yang valid, tugas yang
sangat sulit atau terkadang tidak mungkin dengan informasi waktu respons dari kiri
kolom gambar 1 saja. Namun, identifikasi dan eliminasi proporsi yang lebih kecil dari
responden yang tidak valid, bahkan hanya satu atau dua, hampir pasti akan menghapus beberapa responden yang tidak valid
dengan pengurangan risiko menghapus data yang valid. Proporsi yang lebih kecil ini yang dihilangkan juga
memiliki keutamaan sebagai orang-orang yang mungkin paling sedikit memberikan perhatian atau perhatian dalam hal apa pun
kelompok ini.
Jika metode digunakan sebagai rintangan berurutan, sisa individu yang lulus ini
layar waktu respon masih belum bebas dan jelas. Meninggalkan beberapa individu yang berada di perbatasan
waktu respons berarti individu-individu ini akan diuji oleh setiap metode yang tersisa secara bergantian.
Pertimbangkan seorang individu yang merespons dengan respons yang sama untuk setiap item, tetapi siapa yang melakukannya
cukup lambat untuk melewati layar waktu respons (keanehan, tetapi tentu saja bukan tidak mungkin). Ini
individu tidak akan diidentifikasi oleh waktu respons sebagai penanggap C/IE, tetapi akan mudah
diidentifikasi seperti itu dengan analisis string panjang. Individu yang melewati kedua layar ini
(semoga sebagian besar responden) selanjutnya akan diteliti selanjutnya, lanjut
melalui semua yang peneliti telah memutuskan untuk memanfaatkan.
Beberapa teknik mungkin tidak setuju dalam klasifikasi penanggap C/IE, dan ini menjadi
mengharapkan. Misalnya, individu yang memberikan rangkaian panjang dari respons yang sama mungkin sangat baik
menghasilkan string respons yang tampak sangat konsisten dengan metode lain, seperti ganjil-genap
konsistensi atau sinonim psikometrik.1 Meskipun ini mungkin mewakili bintik-bintik buta yang ada di masing-masing
teknik ini tidak mewakili cacat dalam penggunaannya secara keseluruhan. Bahkan, ia menyediakan
kasus terkuat untuk menggunakan lebih dari satu teknik ini, karena semakin banyak yang digunakan semakin sedikit
titik buta akan tetap tidak tertangani. Peneliti harus mempertimbangkan fakta ini ketika memilih
1 Perhatikan bahwa dalam beberapa situasi beberapa teknik ini bahkan tidak dapat dihitung, seperti individu yang tidak
memberikan variasi dalam tanggapan.
teknik, dan memastikan bahwa kelemahan dari setiap teknik yang diberikan seimbang terhadap
kekuatan orang lain. Menggunakan teknik yang berkorelasi positif seharusnya tidak lebih dari
memberikan beberapa redundansi di area tersebut.
Penggunaan konservatif dan serial dari setiap teknik ini mempertahankan beberapa responden yang tidak valid, tetapi
juga menyediakan teknik lain dengan kesempatan tindak lanjut untuk mengidentifikasi mereka yang tidak valid
responden yang tersisa. Proses berkelanjutan ini kemudian memiliki kekuatan untuk berpotensi menghapus lebih banyak
dan lebih banyak individu melalui proses ini. Ini keduanya mengurangi tekanan pada masing-masing ini
teknik melalui pengurangan ukuran sampel (setiap teknik dalam urutan ini berpotensi
memiliki lebih sedikit individu untuk diperiksa daripada teknik sebelumnya) dan distribusi pekerjaan (masing-masing
teknik membawa bagian dari tanggung jawab total untuk menghapus individu). Selain itu, ini
pembagian kerja juga menghasilkan spesialisasi fungsi: masing-masing teknik hanya bertugas untuk
hapus responden yang tidak valid yang dapat dihilangkan secara meyakinkan. Alih-alih menghapus
individu karena mereka diidentifikasi oleh beberapa hitungan metrik total tanpa sepenuhnya
memahami mengapa individu-individu itu dihapus, setiap individu dieliminasi karena mereka
melanggar beberapa patokan tertentu atau konseptual yang ditetapkan oleh peneliti (misalnya, selesai
Survei 50 item dalam 20 detik).
Sejumlah nilai potong telah disorot dari penelitian sebelumnya atau direkomendasikan dalam
makalah ini. Saat ini, ini telah diajukan sebagai titik awal konservatif untuk masing-masing
teknik, dan lunak sebagai pengalaman dan praktek mendikte. Di atas segalanya, peneliti menggunakan
teknik ini harus memiliki pemahaman tentang kapan dan bagaimana penerapannya, dan
bagaimana dan kemudian teknik tersebut menghilangkan individu dari kumpulan data yang lebih besar. Kapan pun
mungkin, ini harus dilaporkan seperti itu. Melaporkan proses berurutan ini memungkinkan untuk lebih dalam
pemahaman tentang mengapa setiap individu disingkirkan, terutama bila dibandingkan dengan banyak
pernyataan yang lebih sederhana bahwa jumlah X individu telah dihapus untuk merespons C/IE.
Secara umum, teknik-teknik ini, dan rekomendasi yang agak carte blanche ini untuk mereka
implementasi, tidak boleh dilihat sebagai ajakan atau kesempatan untuk P-hacking (Kepala, Holman,
Lanfear, Kahn, & Jennions, 2015) atau penyesuaian data lainnya. Peneliti harus mempertimbangkan penggunaan
metode ini di muka, dan bersedia untuk mengakui apa penghapusan orang-orang ini
mungkin lakukan untuk data mereka. Responden yang tidak valid ini mewakili bentuk kesalahan, dan manifestasi dari
kesalahan itu bisa bermacam-macam bentuknya. Penghapusan responden yang tidak valid ini dapat memperkuat efek dengan
mengurangi kesalahan, tetapi mungkin dengan mudah melemahkan atau menghilangkan efek yang hanya merupakan produk dari itu
kesalahan yang sama (Huang et al., 2015). Peneliti dalam situasi seperti itu perlu menahan godaan untuk
ganti orang-orang ini, karena penggantian semacam itu mungkin hanya dalam upaya untuk menyelamatkan secara potensial
hasil palsu.
Sebagai perpanjangan dari ini, disarankan agar peneliti menjalankan analisis pada kedua dokumen asli
data dan data dibersihkan melalui teknik ini. Situasi di mana analisis ini tidak setuju (jika
semua) dapat disorot dan dibuat transparan untuk orang lain yang mengerjakan ide yang sama. Untuk kecil
efek penyertaan responden C/IE ini berpotensi mengubah hasil, tetapi untuk sebagian besar
efek pergeseran mungkin sepele. Terlepas dari hal sepele dari perubahan ini, apakah itu nyata atau
dirasakan, teknik ini masih dimaksudkan untuk mengurangi kebisingan dan kesalahan dalam data. yang dihasilkan
data yang dibersihkan harus lebih kuat untuk pembersihan ini.
Kesimpulan
Secara keseluruhan, ada beberapa cara untuk menyaring data survei untuk responden C/IE. Kertas ini
telah menyajikan sejumlah teknik tambahan baru, dan seluruh kelompok teknik ini harus
secara teratur digunakan oleh peneliti survei. Penghapusan responden yang tidak valid ini telah ditunjukkan
untuk mengurangi kesalahan dan memberikan hasil yang lebih valid. Tebakan terbaik menempatkan inklusi rata-rata C/IE
responden sekitar 10% (Curran et al., 2010; DeRight & Jorgensen, 2015; Maniaci & Rogge,
2014; Meade & Craig, 2012), tetapi dengan varians yang berpotensi tinggi pada perkiraan itu secara normal
studi penelitian (misalnya Burns, Christiansen, Morris, Periard, & Coaster, 2014; Gough & Bradley,
1996). Sederhananya, perkiraan terbaik kami berpotensi tidak tepat, tetapi individu-individu ini dan mereka
tanggapan memang ada.
Selama dapat diterima bahwa jumlah individu yang terbatas ini ada, bahkan kecil
jumlah individu-individu ini dalam sampel telah terbukti memiliki konsekuensi yang berarti pada
sifat skala (misalnya sarana, varians, keandalan), dan hubungan antara skala
(Curran & Kotrba, 2012; Huang et al., 2015; Maniaci & Rogge, 2014; Woods, 2006). NS
penghapusan data yang tidak valid ini harus menjadi prioritas untuk semua penelitian di mana tanggapan tersebut
mungkin cukup diharapkan. Sebagai perpanjangan dari ini, pengetahuan bahwa individu-individu ini
ada dan dapat mempengaruhi hasil studi memiliki kepentingan yang mendalam untuk replikasi dari apa pun yang diberikan
efek dan/atau studi. Jika dibiarkan bebas bervariasi, sampel yang berbeda mungkin memiliki tingkat C/IE yang berbeda
responden. Sebuah studi dengan 20% responden C/IE mungkin menghasilkan efek palsu yang tidak mungkin
direplikasi oleh penelitian selanjutnya yang secara acak atau sistematis memiliki proporsi yang lebih rendah
individu. Hal yang sama dapat bekerja secara terbalik, dengan efek asli dikaburkan oleh responden C/IE di
replikasi selanjutnya. Tanpa melihat ini sebagai masalah potensial, dan tidak melihat perbedaan lain
antara sampel, kebingungan berlimpah.
Cara terbaik untuk menstandardisasi dan mempertahankan tingkat responden C/IE yang konstan di seluruh
sampel adalah melalui upaya terbaik untuk mengurangi proporsinya dalam sampel apa pun hingga mendekati nol
adalah mungkin. Untuk tujuan ini, peneliti dan praktisi harus diingat a
sejumlah poin dari sebelumnya dalam makalah ini, serta sejumlah ekstensi sebelumnya
argumen:
(1) Peneliti tidak boleh terlalu bergantung pada salah satu teknik, dan sebaliknya menggunakan host
teknik untuk mencakup berbagai kemungkinan respon C/IE.
(2) Metode tidak boleh diterapkan secara membabi buta, karena merencanakan proses ini untuk setiap metode yang diberikan
studi kemungkinan akan menghasilkan proses yang lebih akurat selaras dengan situasi itu.
(3) Response time harus selalu dikumpulkan, meskipun tidak digunakan.
(4) Pertimbangan harus diberikan, selama perencanaan studi, untuk memasukkan adat
item atau set instruksi untuk digunakan nanti sebagai metode deteksi.
(5) Setiap metode yang dipilih harus digunakan secara konservatif, secara berurutan, sebagai keluarga
teknik, daripada melihat setiap teknik secara terpisah atau mengandalkan kesepakatan langsung atau
jumlah identifikasi antar metode.
(6) Jika teknik ini digunakan untuk mengurangi ukuran sampel, analisis harus dijalankan
baik sampel asli maupun sampel yang dikurangi, dan perbedaan antara sampel ini harus dicatat.
(7) Bahkan jika penerapan teknik-teknik ini tampaknya tidak berpengaruh apa pun yang sedang dipelajari
dalam set data apa pun, peneliti harus memperhatikan bahwa pembersihan kesalahan yang penting mungkin masih ada
muncul. Data yang tidak valid ini terkadang memperkuat efek dan terkadang melemahkannya, dan
kadang-kadang efek yang berlawanan ini dapat dibatalkan begitu saja.
Para peneliti harus menyadari bahwa bahkan dengan pendekatan yang sebagian besar konservatif seperti yang digariskan
di sini, kesalahan Tipe I dalam teknik ini hampir selalu ada. Beberapa data yang bagus kemungkinan akan
dihapus saat membersihkan yang buruk. Jika menghapus beberapa data bagus saat menghapus
data yang tidak valid tidak dapat diterima dalam pengumpulan data tertentu, teknik ini sama sekali tidak
direkomendasikan. Sebaliknya, kemungkinan masuknya individu-individu ini malah harus dianggap sebagai
keterbatasan potensial (terutama sesuai dengan Huang et al., 2015), dan dicatat terus terang dan
jujur dalam mengevaluasi hasil yang diambil dari data tersebut.
Faktanya, apakah individu harus dihilangkan atau tidak, teknik ini harus diterapkan secara luas
digunakan sebagai bagian dari penyaringan dan pelaporan data normal. Melalui penggunaan teknik ini banyak
lebih banyak yang bisa dipelajari tentang proses psikologis menanggapi tindakan laporan diri.
Pemahaman umum tentang teknik ini dapat membantu memastikan tren menuju masa depan
standarisasi yang bekerja dengan baik untuk berbagai aplikasi terluas.

Referensi
Pantai, DA (1989). Mengidentifikasi responden acak.Jurnal Psikologi, 123, 101-
103.
Berry, DTR, Baer, RA, & Harris, MJ (1991). Deteksi malingering pada MMPI: A
meta-analisis. Ulasan Psikologi Klinis, 11, 585-598.
Birkeland, SA, Manson, TM, Kisamore, JL, Brannick, MT, & Smith, MA (2006). A
investigasi meta-analitik pelamar pekerjaan yang berpura-pura pada ukuran kepribadian.
Jurnal Seleksi dan Penilaian Internasional, 14, 317-335.
Jagal, JN, Dahlstrom, WG, Graham, JR, Tellegen, A., & Kaemmer, B. (1989).
Minnesota Multiphasic Personality Inventory 2 (MMPI-2): Manual untuk administrasi
dan mencetak gol. Minneapolis, MN: Pers Universitas Minnesota.
Luka bakar, GN, Christiansen, ND, Morris, MB, Periard, DA, & Coaster, JA (2014). Efek
kepribadian pelamar pada evaluasi resume. Jurnal Bisnis dan Psikologi, 1-
19.
Costa, PT, Jr., & McCrae, RR (2008). Inventarisasi Kepribadian NEO Revisi (NEO-PI-R).
Dalam DH Saklofske (Ed.), Buku pegangan SAGE tentang teori dan penilaian kepribadian. Jil.
2: Pengukuran dan pengujian kepribadian (P. 179–198). Thousand Oaks, CA: Sage.
Curran, PG, & Hauser, KA (2015). Memahami tanggapan untuk memeriksa item: A verbal
analisis protokol. Makalah dipresentasikan pada Konferensi Tahunan Perhimpunan ke-30
untuk Psikologi Industri dan Organisasi, Philadelphia, PA, 23-25 April 2015.
Curran, P. & Kotrba, LM (2012). Dampak dari respon yang tidak valid: Sebuah studi simulasi.
Disampaikan pada 27th Konferensi Tahunan Masyarakat untuk Industri dan
Psikologi Organisasi, San Diego, CA, 26-28 April 2012.

Curran, P., Kotrba, L., & Denison, D. (2010). Ceroboh menanggapi dalam survei: Melamar
teknik tradisional untuk pengaturan organisasi. Poster dipresentasikan pada 25th Tahunan
Konferensi Masyarakat untuk Psikologi Industri dan Organisasi, Atlanta, GA,
8-10 April 2010.
Davey, T. & Nering, M. (2002). Mengontrol eksposur item dan menjaga keamanan item. Di dalam
Mills, CN, Potenza, MT, Fremer, JJ & Ward, WC (Eds.), Pengujian berbasis komputer:
Membangun fondasi untuk penilaian masa depan, (165-191).
DeRight, J. & Jorgensen, RS (2015). Saya hanya ingin kredit penelitian saya: Frekuensi suboptimal
upaya dalam sampel sarjana sehat non-klinis. Neuropsikolog Klinis,
29, 101-117.
Desimone, JA, Harms, PD, & Desimone, AJ (2015). Rekomendasi praktik terbaik untuk
penyaringan data. Jurnal Perilaku Organisasi, 36, 171-181.
Donlon, TF & Fischer, FE (1968). Indeks kesepakatan individu dengan kelompok-
kesulitan item yang ditentukan. Pengukuran Pendidikan dan Psikologis, 28, 105-113.
Donnellan, MB, Oswald, FL, Baird, BM, & Lucas, RE (2006). Skala mini-IPIP:
Ukuran kecil namun efektif dari Lima Besar faktor kepribadian. Psikologis
Penilaian, 18, 192-203.
Dunnette, MD, McCartney, J., Carlson, HC, & Kirchner, WK (1962). Sebuah studi tentang berpura-pura
perilaku pada daftar periksa deskripsi diri pilihan paksa. Psikologi Personalia, 15,
13-24.
Drasgow, F. Levine, MV, & Williams, EA (1985). Pengukuran kesesuaian dengan
model respon item polychotomous dan indeks standar. Jurnal Inggris
Psikologi Matematika dan Statistik, 38, 67-68.

Emons, WH M (2008). Analisis kecocokan orang nonparametrik dari skor item politomus.Terapan
Pengukuran Psikologis, 32, 224-247.
Ehlers, C., Greene-Shortridge, TM, Weekley, JA, & Zajack, MD (2009). Penjelajahan
metode statistik dalam mendeteksi respon acak. Makalah dipresentasikan pada acara tahunan
pertemuan Society for Industrial/Organizational Psychology, Atlanta, GA.
Goldberg, LR, & Kilkowski, JM (1985). Prediksi konsistensi semantik dalam diri
deskripsi: Karakteristik orang dan istilah yang mempengaruhi konsistensi
tanggapan terhadap pasangan sinonim dan antonim. Jurnal Psikologi Kepribadian dan Sosial,
48, 82–98.
Griffith, RL & Peterson, MH, (Eds.) (2006). Pemeriksaan Pelamar Lebih Dekat
Perilaku Berpura-pura. Greenwich, CT: Penerbitan Era Informasi.
Guttman, L. (1944). Dasar untuk penskalaan data kualitatif.Ulasan Sosiologi Amerika, 9, 139–
150.
Guttman, L. (1950). Dasar untuk analisis skalogram. Di SA Stouffer, L. Guttman, EA
Suchman, PF Lazarsfeld, SA Star, & JA Claussen (Eds.), Pengukuran dan
Ramalan (hal.66–90). Princeton: Pers Universitas Princeton.
Hauser, DJ & Schwartz, N. (sedang dicetak). Peserta MTurk tampil lebih baik dalam perhatian online
cek dari peserta kolam subjek. Metode Penelitian Perilaku.
Kepala, ML, Holman, L., Lanfear, R., Kahn, AT, Jennions, MD (2015). Luas dan
konsekuensi p-hacking dalam sains. PLoS Biol, 13.
Huang, JL, Curran, PG, Keeney, J., Poposki, EM, & DeShon, RP (2012). Mendeteksi dan
menghalangi upaya yang tidak memadai untuk menanggapi survei. Jurnal Bisnis dan Psikologi,
27, 99-114.
Huang, JL, Bowling, NA, Liu, M., & Li, Y. (2014). Mendeteksi upaya yang tidak mencukupi untuk merespons
dengan skala frekuensi: Mengevaluasi validitas dan reaksi peserta. Jurnal dari
Bisnis dan Psikologi, 30, 299-311.
Huang, JL, Liu, M., & Bowling, NA (2015). Upaya yang tidak cukup untuk merespons: Meneliti dan
membingungkan berbahaya dalam data survei. Jurnal Psikologi Terapan, 100, 828-845.
Jackson, DN (1976). Penilaian keandalan pribadi. Makalah dipresentasikan pada pertemuan
Masyarakat Psikologi Eksperimental Multivariat, University Park, PA.
Jackson, DN (1977). Manual Survei Minat Kejuruan Jackson. Port Huron, MI: Penelitian
Psikolog Pers.
Johnson, JA (2005). Memastikan validitas masing-masing protokol dari berbasis web
inventaris kepribadian. Jurnal Penelitian Kepribadian, 39, 103-129.
Karabatsos, G. (2003). Membandingkan kinerja deteksi respons yang menyimpang dari tiga puluh enam
statistik kecocokan orang. Pengukuran Terapan dalam Pendidikan, 16, 277-298.
Klein, RA, Ratliff, KA, Vianello, M., Adams Jr, RB, Bahník, ., Bernstein, MJ, ... &
Nosek, BA (2014). Menyelidiki variasi dalam replikasi.Psikologi Sosial, 45,
142-152.
Klein, RA, Vianelli, M., & Ratliff, KA (2015). Perhatian memeriksa "Banyak Labs"
peserta: Apakah perhatian peserta memoderasi efek yang disertakan? Poster dipresentasikan di
Pertemuan Tahunan Keenambelas Masyarakat untuk Kepribadian dan Psikologi Sosial, Long
Pantai, CA.
Maesschalck, D., Jouan-Rimbaud, DL, & Massart, DL (2000). Jarak Mahalanobis.
Kemometrik dan Sistem Laboratorium Cerdas, 50, 1-18.
Mahalanobis, PC (1936). Pada jarak umum dalam statistik.Prosiding Nasional

Institut Sains India, 12, 49-55.
Maniaci, MR & Rogge, RD (2014). Peduli terhadap kecerobohan: Kurangnya perhatian peserta dan
efek pada penelitian. Jurnal Penelitian Kepribadian, 48, 61-83.
Marjanovic, Z., Holden, R., Struthers, W., Cribbie, R., & Greenglass, E. (2015). antar-item
standar deviasi (ISD): Indeks yang membedakan antara teliti dan acak
responden. Kepribadian dan Perbedaan Individu, 84, 79-83.
Meade, AW, & Craig, SB (2012). Mengidentifikasi tanggapan ceroboh dalam data survei.
Metode Psikologis, 17, 437–455.
Oppenheimer, DM, Meyvis, T., & Davidenko, N. (2009). Pemeriksaan manipulasi instruksional:
Mendeteksi kepuasan untuk meningkatkan kekuatan statistik. Jurnal Eksperimental Sosial
Psikologi, 45, 867-872.
Orpen, C. (1971). Fakability dari Jadwal Preferensi Pribadi Edwards dalam personil
pilihan. Psikologi Personalia, 24, 1-4.
Peck, R. & Devore, JL (2012). Statistik: Eksplorasi & analisis data. Boston, MA:
Brooks/Cole.
Schmitt, N. & Stults, DM (1985). Faktor-faktor yang ditentukan oleh item dengan kunci negatif: Hasil dari
responden ceroboh? Pengukuran Psikologis Terapan, 9, 367-373.
Spector, PE, Van Katwyk, PT, Brannick, MT, & Chen, PY (1997). Ketika dua faktor
tidak mencerminkan dua konstruksi: Bagaimana karakteristik item dapat menghasilkan faktor buatan.
Jurnal Manajemen, 23, 659-677.
Sijtsma, K., & Molenaar, IW (2002). Pengantar teori respons item nonparametrik.
Thousand Oaks, CA: Sage.
Sonder. E.v., Sanderman. R., & Coyne, JC (2013). Ketidakefektifan kata terbalik dari
item kuesioner: Mari kita belajar dari sapi di tengah hujan. PLoS SATU, 8: e68967.
doi:10.1371/journal.pone.0068967
Woods, CM (2006). Kecerobohan menanggapi item dengan kata-kata terbalik: Implikasi untuk
analisis faktor konfirmasi. Jurnal Psikopatologi dan Penilaian Perilaku,
28, 189-194.
Tabel 1
Rekomendasi penggunaan teknik pada data berdasarkan inklusi dan pengkodean ulang item kata terbalik.
Data mentah, tidak ada item Membalikkan item dengan kata-kata, Membalikkan item dengan kata-kata, setelah
metode dengan kata-kata terbalik sebelum pengkodean terbalik pengkodean terbalik
Analisis string panjang

direkomendasikan mendeteksi mereka yang melewatkan item RW mendeteksi mereka yang memperhatikan item RW
Jarak Mahalanobis
direkomendasikan gunakan dengan hati-hati direkomendasikan
Konsistensi ganjil-genap
direkomendasikan tidak direkomendasikan direkomendasikan
Contoh Keandalan Individu

direkomendasikan tidak direkomendasikan direkomendasikan
Antonim/sinonim semantik
direkomendasikan perhatikan tanda koefisien yang diharapkan perhatikan tanda koefisien yang diharapkan
Antonim/sinonim psikometrik
gunakan dengan hati-hati perhatikan tanda koefisien yang diharapkan perhatikan tanda koefisien yang diharapkan
Standar Deviasi Antar-item

gunakan dengan hati-hati tidak direkomendasikan gunakan dengan hati-hati
Kesalahan Polytomous Guttman

Korelasi total orang

Meja 2
Ringkasan metode deteksi C/IE

metode Jenis Keterangan
Waktu merespon observasional Waktu penyelesaian survei.
Analisis string panjang invarian Panjang string berurutan terpanjang dari respons yang sama.
Jarak Mahalanobis orang asing Jarak pola respons dari pusat multidimensi semua respons.
Konsistensi ganjil-genap konsistensi Korelasi dalam-orang dari skor skala bernomor ganjil dengan skor skala bernomor
genap.
Contoh Keandalan Individu konsistensi Korelasi sampel ulang pada skor skala parsial dari dua bagian acak dari tanggapan
mereka pada setiap skala.
Antonim/sinonim semantik konsistensi Korelasi dalam-orang pada set pasangan item yang cocok secara semantik dengan makna
yang berlawanan atau serupa.
Psikometrik konsistensi Korelasi dalam-orang pada set pasangan item yang cocok berdasarkan korelasi dengan makna yang
antonim/sinonim berlawanan atau serupa.
Standar Deviasi Antar-item konsistensi Derajat penyimpangan dalam respons dari rata-rata pola respons individu.
Kesalahan Polytomous Guttman konsistensi Hitung jumlah contoh di mana seorang responden memecahkan pola respons yang meningkat
secara monoton pada set item survei yang diurutkan berdasarkan tingkat kesulitan. Korelasi
Korelasi total orang konsistensi string respons individu dengan respons rata-rata semua orang lain.
Item palsu/infrekuensi cek barang Item ganjil ditempatkan dalam skala untuk meminta tanggapan tertentu.
item cek perhatian cek barang Item ditempatkan dalam skala dengan respons yang benar secara eksplisit (misalnya, Jawab dengan 'setuju')
Pemeriksaan manipulasi cek barang Butir-butir dengan instruksi tambahan yang mencakup menginstruksikan peserta untuk menjawab
instruksional dengan cara yang unik.
Timbangan laporan diri laporan pribadi Item yang menanyakan kepada peserta seberapa banyak upaya yang mereka terapkan atau bagaimana mereka menilai
kualitas data mereka.
Gambar 1. Penyertaan 10% simulasi respons ceroboh dengan besaran berbeda dalam kasus yang diketahui (kanan) dan tidak
diketahui (kiri). Catatan: di kolom kanan data normal berwarna gelap; data yang tidak valid ringan.
Gambar 2. Demonstrasi perbedaan antara korelasi item-total untuk Item 1 dan korelasi person-
total untuk Person 1.
Gambar 3. Contoh IMC berdasarkan Oppenheimer et al. (2009).

Curran PG (2016) Preprint - En.id

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Curran PG (2016) Preprint - En.id

Diunggah oleh

Hak Cipta:

Format Tersedia

Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.

Running head: MENDETEKSI KECERDASAN 1

Versi Pracetak Akhir

Jurnal Psikologi Sosial Eksperimental

berpengalaman tentang metode untuk mendeteksi pola respons ini.

penelitian psikologis untuk mengukur berbagai konstruksi psikologis. Data daring

survei atau tes.

kasus yang diberikan.

Seperti Apa Tampilan Data yang Ceroboh atau Lalai?

efek diferensial dalam hasil studi.

manifestasi dari konstruksi yang sama seperti yang diukur.

data atau menghapusnya setelah pengumpulan.

Respon dan Replikasi C/IE

tindakan” (Huang et al., 2015, hal. 9).

efek karena proporsi responden C/IE dalam sampel mereka.

'membingungkan berbahaya dalam data survei.'

Mendeteksi Responden yang Ceroboh/Tidak Memadai (C/IE)

Kecepatan respons: Waktu respons

menyelesaikan mengulur-ulur ini dengan valid menanggapi pertanyaan.

Kotrba, & Denison, 2010).

ini harus diterapkan dengan hati-hati dan penuh perhatian.

kesulitan tambahan untuk melakukannya.

Invariabilitas: Analisis Long-String

Skala likert 5 dari sangat tidak setuju sampai sangat setuju.

Teknik ini cukup mudah; asumsinya adalah bahwa orang-orang yang

tanpa terlibat dalam beberapa tingkat penskalaan.

tidak ada sama sekali.

peneliti untuk memulai pertimbangan yang lebih dalam.

Analisis Outlier: Jarak Mahalanobis

percaya bahwa perbedaan ini dapat terwujud dengan adanya outlier.

teknik seperti analisis string panjang.

Jouan-Rimbaud, & Massart, 2000):

5%ℎ%7%&-8"# 9 = *: * ;=1 < *: * >

distribusi yang dibentuk oleh tanggapan terhadap semua item.

dekat titik tengah tanggapan lainnya.

di atas dan di bawah opsi respons tertinggi dan terendah).

Konsistensi individu, dalam hal deteksi respons C/IE, adalah referensi ke

diterapkan pada individu sebagai unit analisis.

teknik berikut, penggunaan istilah konsistensi individu menunjukkan beberapa

konsistensi item survei.

Konsistensi Individu: Konsistensi Ganjil-Genap dan Resampled Individual Reliability

langkah alami berikutnya.

versi teknik) dihitung dengan memecah tanggapan masing-masing individu pada

dikoreksi untuk penurunan panjang skala menggunakan rumus ramalan Spearman-Brown

konsistensi adalah kasus tertentu.

komponen dari subskala ganjil-genap untuk jth orang sebagai berikut:

Aaneh = (1J + 3J + 5J)/3 Abahkan = (2J + 4J + 6J)/3

Baneh = (7J + 9J + 11J)/3 Bbahkan = (8J + 10J + 12J)/3

Caneh = (13J + 15J + 17J)/3 Cbahkan = (14J + 16J + 18J)/3

teknik, seperti analisis string panjang.

zaman berhenti di sini.

dengan timbangan sebagai berikut:

Aaneh = (1J 3J 5J) Abahkan = (2J 4J 6J)

Baneh = (7J 9J 11J) Bbahkan = (8J 10J 12J)

Caneh = (13J 15J 17J) Cbahkan = (14J 16J 18J)

Aaneh = (1J 2J 4J) Abahkan = (3J 5J 6J)

Baneh = (10J 11J 12J) Bbahkan = (7J 8J 9J)

Caneh = (13J 16J 17J) Cbahkan = (14J 15J 18J)

penerapan resampling dan bootstrap ke inti asli Jackson (1976; 1977)

untuk membatalkan rata-rata beberapa undian.

Konsistensi Individu: Antonim/Sinonim Semantik dan Psikometrik

Munculnya keluarga teknik untuk deteksi C/IE ini tampaknya telah

Nilai koefisien antonim psikometrik dihasilkan dengan membuat dua vektor

5%ℎ%7%&-8"# 9 = : ;=1 < : >