Berdasarkan Instrument Development and Construct Validation (IDCV) yang dikembangkan

oleh Onwuegbuzie, Bustamante, and Nelson’s (2010) mengintegrasikan kerangka kerja untuk
pembekalan peneliti (Onwuegbuzie, Leech, & Whitcome, 2008) bawah penelitian dengan
metode wawancara memberikan evaluasi obyektif terhadap akurasi keputusan yang dibuat.

Cognitive interviewing is a method commonly

applied to evaluate the quality of survey questions to minimize these errors from occurring

Wawancara kognitif adalah metode yang umum diterapkan untuk mengevaluasi kualitas survei
pertanyaan untuk meminimalkan terjadinya kesalahan (Koskey, Sondergeld, Stewart, & Pugh,
2018)

Cognitive interviewing is a method commonly applied to evaluate the quality of survey questions to minimize these
errors from occurring (for a review, see Tourangeau et al., 2000). One type of cognitive interviewing is a concurrent
think-aloud task where respondents are asked to talk aloud while they complete a survey. A researcher verbally
probes or questions respondents for elaboration on their thoughts during the task. Respondents’ verbalizations are
analyzed to determine how closely aligned respondents’ interpretations were with what the item was intended to
assess. A variety of methods exist for analyzing the resultant data (e.g., DeMaio & Landreth, 2004; Hughes, 2004;
Karabenick et al.,2007).

Salah satu jenis wawancara kognitif adalah bersamaan tugas berpikir-keras di mana para
responden diminta untuk berbicara keras ketika mereka menyelesaikan survei. Sebuah peneliti
secara verbal menggali atau mempertanyakan responden untuk menguraikan pemikiran mereka
selama tugas. Verifikasi responden dianalisis untuk menentukan seberapa erat kaitan antara
responden interpretasi adalah dengan apa item yang dimaksudkan untuk dinilai. Ada berbagai
metode untuk menganalisis data yang dihasilkan (misalnya, DeMaio & Landreth, 2004; Hughes,
2004; Karabenick et al., 2007).
Berbagai masalah dengan format survei, kata-kata item, skala respons, antara lain masalah
desain, mungkin diterangi selama wawancara kognitif dan analisis data. Model Rasch dan
wawancara kognitif keduanya biasa digunakan dalam instrumen pengembangan dan proses
validasi lintas bidang. Sebuah ilustrasi tentang bagaimana mengintegrasikan secara sistematis
bukti yang dihasilkan dari kedua metode untuk menginformasikan validitas skor masih kurang.
Demikian, kami menyajikan ilustrasi tentang bagaimana model Rasch dan wawancara kognitif
diintegrasikan untuk mengevaluasi reliabilitas skor dan validitas menggunakan kasus
Pengalaman Transformatif Kuisioner (TEQ; Pugh, Kleshinski, Linnenbrink, & Fox, 2004; Pugh,
Linnenbrink-Garcia, Koskey, Stewart, & Manzey, 2010b).

Dalam kasus ilustratif ini, ketika hasil analisis Rasch kuantitatif menunjukkan suatu item tidak
sesuai model, data wawancara kognitif memberikan informasi tentang mengapa misfit mungkin
telah terjadi dan arah pada revisi potensial.

Hasil

Misalnya, Hasil skala pemeringkatan Rasch dan data wawancara kualitatif dengan suara sama-
sama digunakan untuk menginformasikan jika skala penilaian berfungsi sebagaimana dimaksud.
Tabel 2 menggambarkan berbagai teknik analisis yang digunakan memeriksa validitas dan bukti
reliabilitas yang dibahas dalam Fase 6 hingga 9. Meskipun kuantitatif hasil ditekankan pada
waktu untuk menjawab pertanyaan penelitian tertentu (uji-tes ulang reliabilitas), data kuantitatif
dan kualitatif diberi bobot yang sama pada setiap fase dan saat menggambar kesimpulan untuk
menginformasikan pengambilan keputusan mengenai revisi instrumen. Proses ini diilustrasikan
oleh integrasi hasil ketika menjawab pertanyaan penelitian.
Sebagai contoh, siswa ini (# 120) memilih peringkat 2 (tidak setuju) karena dia tidak
menggunakan pengetahuannya pada topik ini setiap hari tetapi memberikan contoh yang
menunjukkan bahwa dia menggunakan pengetahuan dalam kehidupannya sehari-hari life (I =
Interviewer, S = Student): I: Dan apa yang akan Anda masukkan sebagai jawaban Anda: S:
Terkadang ketika saya suka, ketika saya pulang dari sekolah atau apa pun, um, saya mencoba
untuk menemukannya seperti contoh yang berbeda dari sifat materi, tetapi tidak seperti setiap
hari, kapan saja kami ada di unit itu. Seperti yang disajikan pada bagian berikutnya, siswa
menafsirkan item tersebut sebagai menanyakan apakah mereka menggunakan pengetahuan
mereka sifat materi setiap hari.

Data wawancara memberikan bukti yang mendukung validitas dari kesimpulan yang diambil dari
TEQ dalam penelitian ini untuk kedua bentuk, menunjukkan potensi untuk mengadaptasi TEQ
untuk menilai berbagai konsep sains. Pertama, skala penilaian 4-point sesuai dengan model
Rasch dan digunakan secara bermakna cara oleh siswa terbukti dengan jawaban peringkat
kongruensi digunakan untuk kode kognitif data wawancara (Koskey et al., 2018)

Koskey, K. L. K., Sondergeld, T. A., Stewart, V. C., & Pugh, K. J. (2018). Applying the mixed
methods instrument development and construct validation process: The transformative
experience questionnaire. Journal of Mixed Methods Research, 12(1), 95–122.
https://doi.org/10.1177/1558689816633310