Perkembangan berpikir kritis (CT) secara luas diklaim sebagai tujuan utama pendidikan sains (Adey &

Shayer, 1994; Bailin, 2002; Siegel, 1988). CT melibatkan kemampuan untuk menarik kesimpulan yang
valid, mengidentifikasi hubungan, menganalisis probabilitas, membuat prediksi dan keputusan logis,
dan memecahkan masalah yang kompleks (Halpern, 2014; Pascarella & Terenzini, 2005). Kemahiran
dalam CT dikaitkan dengan keberhasilan dalam pendidikan sarjana, peningkatan pengambilan
keputusan sehubungan dengan masalah kehidupan nyata yang kompleks, dan lebih umum dengan
kecenderungan untuk menjadi warga negara yang lebih aktif dan berpengetahuan (Halpern, 2014).
Sejalan dengan itu, revisi kurikulum sains komprehensif yang fokus pada perolehan keterampilan
ketrampilan siswa telah lama diminta oleh beberapa pemangku kepentingan di bidang pendidikan
(Asosiasi Kolese dan Universitas Amerika [AAC & U], 2005; Facione, 1990a; Kuhn, 1999).

Sebagian besar upaya sebelumnya untuk mengatasi tantangan pengembangan CT terjadi dalam
konteks di mana keterampilan CT umum diajarkan secara terpisah dari domain materi pelajaran
biasa (Ennis, 1989; Pascarella & Terenzini, 2005). Namun, pendekatan ini menjadi kurang dominan
dalam beberapa tahun terakhir, dan upaya empiris untuk mengembangkan CT telah bergeser
terutama ke arah menanamkan keterampilan CT dalam instruksi materi pelajaran (untuk ulasan,
lihat Niu, BeharHorenstein, & Garvan, 2013; Tiruneh, Verburgh, & Elen, 2014). Harapan yang
menyertainya adalah bahwa menanamkan keterampilan CT dalam instruksi materi pelajaran di
berbagai domain spesifik akan memfasilitasi perolehan keterampilan CT yang berlaku untuk berbagai
macam tugas berpikir dalam domain yang bersangkutan dan bahwa itu akan memfasilitasi transfer
mereka ke masalah lain. dalam kehidupan sehari-hari (Adey & Shayer, 1994; Lawson, 2004).
Pengajaran keterampilan CT yang berhasil dalam koherensi dengan pengajaran pengetahuan khusus
domain dengan kata lain diharapkan menghasilkan pengembangan keterampilan CT khusus domain
dan umum yang diperlukan untuk melakukan tugas berpikir yang memerlukan aktivitas mental yang
cukup besar seperti memprediksi, menganalisis, mensintesis, mengevaluasi, menalar, dll.

Sebagai penekanan pada pengembangan CTcontinues, kebutuhan untuk penilaiannya telah menjadi
lebih penting (Facione, 1990a; Halpern, 2010; Lin, 2014; Pascarella & Terenzini, 2005). Namun, pada
saat yang sama, gagasan CT sangat diperdebatkan, yang pada gilirannya menyebabkan kebingungan
dalam penilaiannya. Kurangnya konsepsi CT yang koheren dan dapat dipertahankan telah menjadi
salah satu masalah utama. Ketidaksepakatan antara pendidik dan peneliti sehubungan dengan
definisi CT dan apa yang harus dicapai dalam menilai secara efektif tersebar luas (Bailin, 2002; Ennis,
1993; Facione, 1990a). Sebagai contoh, Ennis (1993) mendefinisikan CTas berpikir reflektif yang
berfokus pada memutuskan apa yang harus dipercaya atau dilakukan. Ennis (1993) berpendapat
bahwa CT melibatkan proses mental seperti kemampuan untuk menarik kesimpulan, menilai
kredibilitas sumber, mengembangkan dan mempertahankan posisi pada suatu masalah, mengajukan
pertanyaan klarifikasi yang sesuai, dan merencanakan eksperimen secara sistematis. Halpern (2014)
mendefinisikan CT sebagai penggunaan strategi berpikir yang meningkatkan kemungkinan hasil yang
diinginkan. Bersama dengan definisinya, Halpern mengidentifikasi lima kategori utama keterampilan
CT yang menurutnya relevan untuk hasil yang diinginkan dalam domain apa pun: penalaran,
pengujian hipotesis, analisis argumen, analisis kemungkinan dan ketidakpastian, serta pengambilan
keputusan dan penyelesaian masalah (Halpern, 2010 , 2014).

Ada beragam pandangan yang diadakan di antara para sarjana dalam hal proses inti yang terlibat
dalam CT. Dalam upaya menilai kecakapan CT, banyak tes dikembangkan dan divalidasi. Ennis,
Millman dan Tomko (1985), misalnya, ikut menulis bersama sebuah tes CT umum domain bernama
Cornell Critical Thinking Test (CCTT) yang menargetkan elemen-elemen CT berikut: induksi, deduksi,
kredibilitas, prediksi dan perencanaan eksperimental, dan kekeliruan dan identifikasi asumsi. Di sisi
lain, Halpern, sejalan dengan analisisnya tentang konsepsi CT terbaru, mengembangkan dan
memvalidasi tes CT umum domain bernama Halpern Critical Assessmenting Assessment (HCTA;
Halpern, 2010). Tes HCTA berfokus pada pengukuran lima elemen utama keterampilan CT seperti
yang diidentifikasi oleh Halpern (2010): penalaran, analisis argumen, pengujian hipotesis, analisis
kemungkinan dan ketidakpastian, dan penyelesaian masalah dan pengambilan keputusan.
Dimungkinkan untuk menyebutkan fokus semua tes CT umum-domain lain yang ada, dan orang
dapat menyimpulkan bahwa semua tes CT umum-domain beragam dalam hal format, cakupan, dan
karakteristik psikometriknya. Variasi seperti dalam tes CT telah membuat penilaian CT bermasalah
dan kontroversial (Ennis, 1993; Pascarella & Terenzini, 2005). Secara keseluruhan, banyak literatur
CT mengaitkan CT dengan proses mental tertentu (seperti penalaran, analisis, prediksi, dll.), Yang
dapat ditingkatkan melalui instruksi, dan diukur dengan menggunakan tugas-tugas pemikiran umum
domain yang tidak memerlukan keahlian materi pelajaran khusus. Ada kecenderungan melihat CT
terpisah dari pengetahuan materi pelajaran tertentu, dan mengukur keterampilan CT dengan
menggunakan konten yang tidak melibatkan keahlian materi pelajaran tertentu. Sebagai contoh, tes
CCTT dan HCTA yang disebutkan di atas tidak bertujuan untuk mengukur kemampuan siswa untuk
berpikir kritis pada domain materi pelajaran tertentu, melainkan mereka menggunakan konten dari
berbagai situasi kehidupan sehari-hari yang peserta tes di tingkat perguruan tinggi diasumsikan
sudah akrab.

Satu kesulitan dengan konseptualisasi CT seperti itu adalah bahwa hubungan antara kinerja pada tes
CT umum-domain dan pengetahuan materi pelajaran tertentu tidak jelas. Beberapa sarjana (mis.
Bailin, 2002; Facione, 1990a; McPeck, 1990) berpendapat bahwa tes CT domaingeneral dapat
mengukur sejauh mana siswa melakukan serangkaian prosedur mental, tetapi mereka tidak cukup
untuk memastikan kecakapan CT. Sebagai contoh, ketika kita melihat definisi CT Halpern yang
disebutkan di atas, dia secara eksplisit mendefinisikan CT sebagai penggunaan strategi berpikir yang
meningkatkan kemungkinan hasil yang diinginkan. Ini menyiratkan bahwa penggunaan strategi atau
prosedur pemikiran seseorang seperti itu tidak cukup untuk CT, tetapi sejauh mana hasil yang
diinginkan dihasilkan. Oleh karena itu, kualitas hasil yang membedakan kritis dari pemikiran tidak
kritis, dan bukan pengetahuan tentang strategi berpikir.

Masalah terkait seputar penilaian CT selama beberapa dekade terakhir telah menjadi gagasan
generalisasi domain dan kekhususan domain. Fokus dari perdebatan terletak pada apakah CT adalah
seperangkat keterampilan umum yang dapat diterapkan di seluruh domain atau apakah sebagian
besar khusus untuk domain tertentu (Bailin, 2002; Davies, 2013; Ennis, 1989;

McPeck, 1990). Pandangan generalis mengklaim seperangkat keterampilan CT ada yang umum dan
berlaku di berbagai domain yang membutuhkan pemikiran kritis (mis. Davies, 2013; Ennis, 1989;
Halpern, 1998). Di sisi lain, pandangan spesivis menentang gagasan keterampilan CT umum
berdasarkan bahwa pemikiran secara fundamental terkait dengan domain tertentu (mis. McPeck,
1990). McPeck (1990) terutama berpendapat bahwa domain yang berbeda melibatkan fakta,
konsep, dan prinsip yang berbeda, dan dengan demikian, pemikiran yang menuntut kinerja dalam
satu domain sangat tergantung pada memiliki pengetahuan dan pemahaman yang memadai tentang
domain yang dimaksud daripada pengetahuan keterampilan CT umum. Posisi specific
mengasumsikan bahwa penilaian CT harus selalu dilakukan dalam konteks domain materi pelajaran
tertentu.

Sementara ketidaksepakatan sudah berlangsung lama, tampaknya ada pergeseran menuju sintesis
dari dua pandangan (mis. Davies, 2013). Telah diakui bahwa meskipun konten dan masalah terkait
berbeda dari satu domain ke domain lainnya, ada serangkaian keterampilan CT yang dapat ditransfer
ke berbagai domain. Selain itu, kemampuan untuk berpikir kritis dipahami sangat tergantung pada
pengetahuan konten domain-spesifik, dan dengan demikian pengetahuan mendalam dan
pemahaman tentang domain tertentu diperlukan untuk kinerja yang kompeten dalam berbagai
tugas pemikiran (Davies, 2013). Ini menyiratkan bahwa penilaian CT yang akurat dan komprehensif
perlu terdiri dari domain spesifik dan CT umum domain. Namun, terlepas dari klaim teoretis ini,
penilaian CT sejauh ini terutama difokuskan pada kemahiran CT umum-domain. Meskipun telah ada
penekanan kuat dalam merancang lingkungan belajar yang dapat mempromosikan kemahiran CT
khusus domain siswa (misalnya Adams & Wieman, 2011; Adey & Shayer, 1994), sebagian besar
upaya pengajaran ini belum cukup disertai dengan dapat diandalkan dan valid. ukuran kecakapan CT
khusus domain. Singkatnya, CT terutama dikaitkan dengan pemecahan masalah sehari-hari, dan ada
kurangnya pengalaman umum di antara para pendidik dan peneliti ketika datang untuk menguji
keterampilan CT dalam domain sains tertentu. Oleh karena itu, tujuan dari makalah ini adalah untuk
mengembangkan tes yang andal dan valid yang dapat mengukur CT dalam subdomain fisika. Kami
menganggap bahwa CT khusus domain adalah bagian integral dari keahlian yang diinginkan oleh
instruksi materi pelajaran khusus, dan mendefinisikannya sebagai kemampuan untuk merespons
secara wajar terhadap tugas-tugas CT yang memerlukan pengetahuan konten spesifik domain. Kami
mendefinisikan kemahiran CT umum-domain sebagai kemampuan untuk merespons secara wajar
tugas-tugas CT yang tidak perlu memerlukan pengetahuan konten spesifik domain, melainkan
pengetahuan tentang kehidupan sehari-hari.

Latar Belakang Teoritis

Telah ada gelombang minat di antara berbagai pemangku kepentingan dalam pendidikan untuk
menanamkan CT dalam instruksi materi pelajaran tertentu (untuk ulasan, lihat Abrami et al., 2015;
AAC & U, 2005; Tiruneh et al., 2014). Asumsi teoritis utama yang mendasari integrasi CT adalah
bahwa ia mempromosikan perolehan keterampilan CT yang dapat diterapkan untuk melakukan
tugas CT domain-spesifik dan domain-umum (Kuhn, 1999; Siegel, 1988). Namun, batasan utama dari
praktik penilaian CT yang ada adalah bahwa ia terutama menekankan pada keterampilan CT umum
domain. Beberapa peneliti (lihat Abrami et al., 2015) meneliti keefektifan instruksi materi pelajaran
yang disematkan CT sebagian besar dengan menggunakan tes CT domain-umum. Tidak jelas
dipahami dari literatur CT yang ada apakah kinerja dalam tes CT umum-domain berhubungan
dengan penguasaan domain materi pelajaran tertentu. Misalnya, jika keterampilan CT tertanam
dalam subjek sains tertentu dan hanya tes CT umum domain yang diberikan, tidak jelas dari jenis
desain penelitian ini tentang apakah kinerja tinggi dalam domain umum, tes CT menyiratkan
penguasaan domain materi subjek tertentu dalam pertanyaan. Demikian pula, administrasi hanya
tes CT khusus-domain tidak dapat memberikan bukti yang cukup tentang perolehan keterampilan CT
yang juga dapat melampaui seluruh domain. Mengingat pemahaman yang lebih mendalam tentang
hubungan antara perolehan keterampilan CT domain-spesifik dan domain-umum, dikemukakan
dalam makalah ini bahwa pandangan yang lebih luas dari penilaian CT diperlukan. Dengan demikian,
kerangka penilaian CT yang memberikan alasan untuk kebutuhan untuk menilai keterampilan CT
spesifik-domain dijelaskan. Lihat Gambar. 1 untuk ikhtisar kerangka penilaian yang diusulkan.
Penjelasan singkat tentang kerangka kerja dan jenis pertanyaan penelitian yang dapat ditangani
ditawarkan di bawah ini.

Seperti yang digambarkan pada Gambar. 1, sisi kiri mewakili berbagai domain subjek tertentu atau
program yang tergabung dalam disiplin ilmu tertentu seperti fisika. Asumsinya adalah bahwa setiap
instruksi materi pelajaran secara inheren menargetkan pengembangan keterampilan CT khusus-
domain. Oleh karena itu, untuk setiap domain mata pelajaran, tes CT yang sesuai yang mengukur
kemampuan siswa untuk berpikir kritis tentang tugas-tugas khusus untuk domain itu perlu diberikan
(misalnya, tes CT domain spesifik1 untuk domain subjek1, CT test khusus domain2 untuk domain
subjek2, dll. ). Melalui administrasi tes khusus domain tersebut, dimungkinkan untuk mengukur
keuntungan dalam keterampilan CT sebagai bagian dari penguasaan siswa terhadap domain subjek
yang dimaksud. Khususnya, sebuah pertanyaan penelitian yang melibatkan penilaian tentang
pengaruh instruksi domain subjek pada pengembangan keterampilan CT khusus domain dapat
diatasi dengan tes CT khusus domain tersebut. Ditampilkan di bagian tengah gambar bahwa ada
tautan dua arah antara masing-masing tes CT khusus domain. Tautan tersebut menggambarkan
bahwa keterampilan CT yang dikembangkan dalam satu domain (mis. Domain subjek1) dapat
mentransfer ke domain lain (mis. Domain subjek2), dan sebaliknya. Jenis transfer tersebut disebut
sebagai transfer jauh yang menunjukkan kemiripan yang dimanifestasikan dalam dua domain subjek
terpisah yang termasuk dalam domain yang lebih luas seperti fisika (mis. Perkins & Salomon, 1988).
Oleh karena itu, mengelola tes CT khusus-domain dapat menjawab pertanyaan penelitian yang
melibatkan siswa yang memperoleh keterampilan CT khusus domain dalam instruksi materi
pelajaran tertentu, dan sejauh mana keterampilan CT yang diperoleh dapat ditransfer di seluruh
domain subjek. Bukti empiris semacam itu dapat meningkatkan pemahaman kita tentang bagaimana
kinerja CT dalam satu domain subjek berhubungan dengan kinerja CT dalam domain subjek lain.

Sisi kanan gambar menunjukkan tes CT umum domain yang mengukur kemahiran siswa pada tugas
berpikir yang tidak memerlukan keahlian materi pelajaran tertentu, tetapi pengetahuan tentang
kehidupan sehari-hari. Seperti yang ditunjukkan pada gambar, setiap tes CT spesifik domain
dihubungkan dengan tes CT umum domain dalam arah terbalik. Pertama, kami mengasumsikan
bahwa keterampilan CT yang diperoleh dalam domain tertentu dapat ditransfer untuk
menyelesaikan tugas berpikir yang melibatkan pengetahuan tentang kehidupan sehari-hari. Kedua,
kami mengasumsikan bahwa pengajaran langsung keterampilan CT sebagai kursus terpisah dapat
memfasilitasi perolehan keterampilan CT umum, dan keterampilan CT umum-domain yang diperoleh
dapat diterapkan untuk menyelesaikan tugas berpikir di seluruh domain tertentu. Transfer tersebut
disebut sebagai "transfer jauh" karena tugas berpikir dalam tes CT umum-domain mungkin berbeda
secara signifikan dari yang ada dalam domain subjek tertentu dalam hal fitur permukaan dan
struktural (mis. Perkins & Salomon, 1988).

Kami berpendapat dalam penelitian ini bahwa baik tes CT domain spesifik dan domain umum perlu
diberikan untuk pemahaman yang akurat dan komprehensif tentang pengembangan CT, dan
pemahaman empiris yang lebih baik tentang hubungan yang ada antara domain-spesifik dan
kemampuan CT umum domain. Selain itu, untuk menguji secara akurat transferabilitas keterampilan
CT yang diperoleh dalam domain subjek tertentu (mis. Domain subjek1) untuk masalah kehidupan
sehari-hari, baik tes CT domain-spesifik dan domain-umum yang menargetkan keterampilan CT
serupa perlu dilakukan. Jika domain umum tes CT menargetkan, misalnya, keterampilan pemecahan
masalah dan penalaran dalam konteks situasi kehidupan nyata, tes CT spesifik domain paralel yang
menargetkan keterampilan CT yang sama dalam konteks domain subjek tertentu perlu diberikan.
Praktik semacam itu untuk mengembangkan tes CT khusus domain dan umum domain akan
memungkinkan bagi para peneliti dan pendidik untuk menguji transfer keterampilan CT yang dekat
dan jauh.

Mengukur CT dalam Fisika: Listrik dan Magnet

Beberapa tes CT ada dalam domain sains yang luas. The Classroom Test of Scientific Reasoning
(CTSR) dari Lawson adalah tes yang paling umum dilakukan dalam domain sains yang berfokus pada
pengukuran keterampilan penalaran ilmiah (Lawson, 1978, 2004). Ini adalah tes pilihan ganda yang
mengukur keterampilan penalaran ilmiah yang mencakup penalaran probabilistik, penalaran
kombinatorial, penalaran proporsional, dan mengendalikan variabel dalam konteks domain sains
yang lebih luas (Lawson, 1978). Responden tidak perlu memiliki keahlian dalam bidang sains
tertentu, tetapi tes ini berfokus pada masalah-masalah umum yang berhubungan dengan sains yang
siswa dapat anggap telah memperoleh dalam mata pelajaran sains tertentu. Tes ini terutama
menargetkan siswa SMP dan SMA, tetapi juga telah digunakan untuk menilai keterampilan
penalaran ilmiah di antara mahasiswa baru sains perguruan tinggi (Lawson, 1978). Tes CT spesifik
domain lainnya adalah ujian berpikir kritis biologi (McMurray, 1991). Ini adalah tes pilihan ganda
dengan 52 item yang bertujuan untuk mengukur keterampilan CT mahasiswa dalam biologi, dan
item dipilih dari kumpulan item yang tersedia yang dikembangkan untuk keperluan pengajaran
dalam biologi.

Secara keseluruhan, CT terutama dikaitkan dengan pemecahan masalah sehari-hari, dan ada
kurangnya pengalaman umum di antara para peneliti dan pendidik ketika datang ke pengujian untuk
keterampilan CT khusus domain. Sejauh pengetahuan kami, tidak ada tes CT yang tersedia di domain
fisika yang dibangun di atas penguasaan fisika siswa. CTSR Lawson tidak mengukur berbagai
keterampilan penalaran ilmiah dalam konteks domain sains dan yang didasarkan pada tahap
perkembangan intelektual Piaget (Lawson, 1978, 2004). Namun, CTSR berfokus pada penilaian
penalaran ilmiah umum dalam domain sains yang luas, bukan pada penilaian penguasaan siswa
terhadap domain fisika tertentu. Tujuan dari penelitian ini adalah untuk mengembangkan dan
memvalidasi tes yang mengukur perolehan keterampilan CT dalam fisika. Namun, pertama, fisika
adalah domain luas yang berurusan dengan berbagai subdomain di tingkat universitas: listrik dan
magnet, mekanika, fisika statistik, mekanika kuantum, dll. Oleh karena itu tidak praktis untuk
menargetkan konten dari semua subdomain (fisika) dalam satu domain. tes CT khusus karena ini
dapat menghasilkan sejumlah besar item, yang membuatnya sulit untuk diberikan dalam waktu yang
wajar. Kedua, tes CT komprehensif dalam fisika dapat diberikan terutama sebagai bentuk penilaian
sumatif setelah seorang siswa telah menyelesaikan beberapa tahun studi dalam fisika. Tes semacam
itu tidak dapat digunakan untuk mengevaluasi secara formal pengembangan keterampilan CT siswa
sebagai akibat dari instruksi di subdomain yang berbeda. Untuk mengembangkan tes CT khusus
domain, oleh karena itu kami fokus pada konten dari satu subdomain dalam fisika pengantar, yaitu
listrik dan magnet (E&M). Kami sengaja memilih E&M karena ini adalah mata kuliah dasar untuk
fisika dan jurusan sains lainnya, dan mata kuliah pengantar dipilih saat kami fokus pada
pengembangan CT siswa mulai dari tahun pertama pendaftaran di universitas. Pada bagian
berikutnya, prosedur yang terlibat dalam mengembangkan dan memvalidasi tes CT dalam E&M
(CTEM) disajikan.

metode

Perencanaan dan Pengembangan Tes CTEM

Mendefinisikan Konstruk dan Merumuskan Tujuan

Tahap pertama dalam mengembangkan tes CTEM adalah mendefinisikan CT dan memilih
keterampilan CT yang harus ditargetkan dalam tes kami. Seperti ditunjukkan dalam pendahuluan,
salah satu tantangan dalam menilai CT adalah perselisihan yang meluas di antara peneliti dan
pendidik tentang apa yang sebenarnya diwakili CT. Oleh karena itu kami awalnya melakukan tinjauan
terhadap tes CT umum domain standar yang tersedia dengan dua tujuan. Pertama, kami bertujuan
untuk mengidentifikasi keterampilan CT kunci yang umum di berbagai tes CT untuk memiliki gagasan
tentang keterampilan CT yang menjadi fokus pengujian kami dan dengan demikian menetapkan
validitas konstruk tes CTEM. Kedua, kami ingin item-item untuk tes CTEM untuk mencerminkan tes
CT umum-domain yang ada sehingga kami dapat mengukur transfer keterampilan CT yang diperoleh
dalam satu domain ke domain lain. Ulasan tes CT umum domain, seperti yang ditunjukkan pada
Tabel 1, termasuk Cornell Critical Thinking Test Level Z (CCTT; Ennis et al., 1985), California Critical
Thinking Skills Test (CCTST; Facione, 1990b), tes Esai Berpikir Kritis Ennis-Weir (Ennis & Wier, 1985),
Penilaian Berpikir Kritis Watson-Glaser (Watson & Glaser, 2002), dan Penilaian Berpikir Kritis Halpern
(HCTA; Halpern, 2010). Kelima tes ini ditinjau berdasarkan kriteria berikut: (a) adalah tes yang
didasarkan pada definisi / konsepsi CT yang jelas, (b) adalah keterampilan CT yang ditargetkan yang
umum di seluruh tes, dan (c) apakah item tes tampak cukup memadai. mengukur keterampilan CT
yang ditargetkan pada suatu tes?

Keterampilan CT yang ditargetkan dalam HCTA dipilih untuk tes CTEM setelah meninjau semua tes
yang disebutkan di atas sehubungan dengan kriteria oleh dua penulis bersama. Dibandingkan
dengan tes CT umum domain lainnya, HCTA didasarkan pada keterampilan CT yang umumnya
disebutkan dalam berbagai definisi CT, dan itu termasuk item yang cukup dan terstruktur dengan
baik yang tampaknya mengukur setiap keterampilan CT yang diidentifikasi. Selain itu, HCTA adalah
satu-satunya ukuran standar CT domain umum yang menggunakan dua jenis format item: pilihan-
pilihan dan format respons yang dikonstruksi. Tes ini berfokus pada unsur-unsur keterampilan CT
berikut: penalaran, analisis argumen, pengujian hipotesis, analisis kemungkinan dan ketidakpastian,
dan pengambilan keputusan dan pemecahan masalah (Halpern, 2010). Untuk setiap keterampilan
CT, Halpern mengembangkan lima skenario berdasarkan berbagai masalah kesehatan sehari-hari,
pendidikan, politik, dan kebijakan sosial. Setiap skenario diikuti oleh pertanyaan yang mengharuskan
responden untuk memberikan respons yang dibangun (item yang dibangun-respons), dan kemudian
memilih opsi terbaik dari daftar pendek alternatif (item pilihan-terpaksa). Secara total, 25 respons
yang dikonstruksi dan 25 item pilihan-paksa dimasukkan dalam HCTA.

Setelah keputusan dibuat mengenai keterampilan CT untuk dimasukkan dalam CTEM, tahap kedua
melibatkan menganalisis tujuan dan bentuk item HCTA. Penekanan khusus diberikan pada item
format tanggapan-dibangun HCTA (HCTA CR) karena tujuan kami adalah untuk mengembangkan
item tanggapan yang dibangun untuk mengukur CT dalam E&M. Penjabaran tujuan dari item CRTA
HCTA dimaksudkan untuk mempertahankan fitur penting dari setiap item ketika membangun item
CTEM. Konsisten dengan tujuan item HCTA, hasil CT khusus domain yang harus ditunjukkan siswa
setelah menyelesaikan kursus E&M diidentifikasi (lihat Tabel 2). Hasil pembelajaran E&M
dirumuskan dalam hal bagaimana para ahli konten dan siswa fisika yang sukses dapat melakukan
ketika dihadapkan dengan tugas-tugas CT khusus untuk E&M. Bukan niat kami untuk memasukkan
dalam tes CTEM semua hasil belajar E&M yang harus dicapai siswa dalam kursus. Tujuan
penggunaan tes ini adalah bukan untuk mengukur sejauh mana CTskill spesifik domain dapat
diperoleh sebagai hasil dari instruksi berbasis semester dalam E&M. Sesuai dengan saran
sebelumnya tentang pengembangan pengujian (mis. Adams & Wieman, 2011), kami fokus pada
serangkaian konsep yang relevan terbatas yang tergabung dalam kursus pengantar E&M yang khas.

Tabel 1 deskripsi tes CT umum domain umum yang diberikan

Instrumen CT komponen CT yang ditargetkan Format item

CCTST analisis, inferensi, evaluasi, Pilihan ganda
deduksi, pengenalan, induksi
dan keterampilan penalaran
keseluruhan.
CCTT – Level Z Induksi, deduksi, kredibilitas, Pilihan ganda
prediksi dan perencanaan
eksperimental, fallacy, dan
identifikasi asumsi
Tes esai Ennis-Weir CT Mendapatkan poin, Esai (terbuka)
mengidentifikasi alasan dan
asumsi, menyatakan sudut
pandang seseorang,
menawarkan alasan yang baik,
melihat kemungkinan lain, dan
menanggapi dengan tepat dan /
atau menghindari kelemahan
argumen
HCTA Penalaran verbal, analisis Baik pilihan yang dipaksakan
argumen, pengujian hipotesis, maupun yang dibangun
analisis kemungkinan /
ketidakpastian, dan pemecahan
masalah dan
pengambilan keputusan
 Inferensi, pengakuan asumsi,
deduksi, interpretasi, dan
evaluasi argumen
Penilaian Berpikir Kritis Inferensi, pengakuan asumsi, Pilihan ganda
Watson-Glaser deduksi, interpretasi, dan
evaluasi argumen
aTes bertujuan untuk mengukur keterampilan CT umum dan ketika item ini disiapkan, penulis
menggunakan konten dari berbagai situasi dunia nyata yang peserta tes dianggap sudah terbiasa
dengan

Format Barang. Sebagian besar tes CT yang tersedia menggunakan format item pilihan paksa.
Namun, biasanya direkomendasikan bahwa kombinasi dari kedua pilihan yang dipaksakan secara
paksa dan yang dibangun, atau yang dibangun hanya digunakan untuk mengukur keterampilan CT
(Ennis, 1993; Halpern, 2010; Norris, 1989). Dikatakan bahwa item pilihan paksa tidak secara langsung
dan efisien menguji fitur CT yang signifikan, seperti menggambar kesimpulan yang dijamin,
menganalisis argumen, dan memecahkan masalah secara sistematis (Norris, 1989). Berdasarkan
rekomendasi ini, kami memutuskan untuk mengukur hasil CT spesifik domain bertarget dengan
menggunakan item tanggapan terstruktur.

Mengukur Berpikir Kritis dalam Fisika

Tabel 2. Elaborasi hasil CT khusus domain yang ditargetkan dalam tes CTEM

Kategori CT Hasil CT khusus domain

Dalam konteks E&M, siswa akan dapat:
Pemikiran - mengevaluasi validitas data
- mengenali kesalahan pengukuran
- Menafsirkan hasil percobaan
- mendeteksi ambiguitas dan penyalahgunaan
definisi
Pengujian hipotesis - menafsirkan hubungan antar variabel
- mengenali kebutuhan akan informasi lebih
lanjut dalam menarik kesimpulan
- mengidentifikasi kapan klaim kausal dapat dan
tidak dapat dibuat
- gambar kesimpulan yang valid dari informasi
tabel atau grafik yang diberikan
- periksa ukuran sampel yang memadai dan
kemungkinan bias saat generalisasi
terbuat
Analisis argumen - mengidentifikasi bagian-bagian penting dari
suatu argumen
- mengkritik validitas generalisasi dalam
percobaan
- Menilai kredibilitas sumber informasi
- menyimpulkan pernyataan yang benar dari
kumpulan data yang diberikan
- mengidentifikasi informasi relevan yang hilang
dalam suatu argumen
Analisis kemungkinan dan ketidakpastian - memprediksi kemungkinan kejadian
 - Gunakan penilaian probabilitas untuk membuat
keputusan
- Menghitung nilai yang diharapkan dalam situasi
dengan probabilitas yang diketahui
- Memahami kebutuhan akan informasi
tambahan dalam membuat keputusan
- mengidentifikasi asumsi (mis. mengenali asumsi
apa yang seharusnya
dipertahankan dalam generalisasi dari hasil
percobaan)
Pemecahan masalah dan pengambilan - mengidentifikasi yang terbaik di antara
keputusan sejumlah alternatif dalam menyelesaikan
masalah
- memeriksa relevansi prosedur dalam
menyelesaikan masalah ilmiah
- mengenali fitur-fitur dari suatu masalah dan
menyesuaikan rencana solusi yang sesuai
- mengevaluasi solusi untuk suatu masalah &
membuat keputusan yang kuat berdasarkan
bukti

Konstruksi Barang. Konstruksi item yang dapat memperoleh hasil CT spesifik domain yang diinginkan
berkembang melalui berbagai iterasi. Upaya dilakukan untuk mencerminkan struktur item HCTA-CR
dalam menciptakan item CTEM. Di babak pertama konstruksi item, tiga item telah dibuat. Masing-
masing ditinjau oleh semua rekan penulis sehubungan dengan kriteria berikut: (a) adalah item yang
sesuai untuk memperoleh kinerja CT spesifik domain yang diinginkan, dan (b) adalah ungkapan dari
item yang jelas, lengkap, dan sesuai untuk populasi peserta tes? Delapan item tambahan selanjutnya
dibangun, dan revisi menyeluruh dibuat berdasarkan kriteria yang disebutkan di atas. Setelah
memasukkan semua revisi pada delapan item, konstruksi item tambahan dilanjutkan menggunakan
prosedur yang sama. Beberapa item dari buku teks fisika yang diterbitkan juga diperiksa dan yang
sesuai diadaptasi dan dimasukkan dalam tes. Iterasi berlanjut dan akhirnya 19 item yang sejalan
dengan hasil E&M CT yang diidentifikasi dan ditinjau oleh semua penulis bersama yang relevan
untuk memperoleh hasil yang diinginkan. Tujuh belas item dikonstruksi sebagai format respons yang
mengharuskan peserta tes untuk menunjukkan kemampuan CT khusus domain mereka melalui
respons tertulis, sedangkan dua item dipilih secara terpaksa, yang mengharuskan mereka untuk
memilih dari alternatif yang diberikan.

Membuat Panduan Penilaian. Sejalan dengan konstruksi item, panduan penilaian untuk setiap item
dibuat dan ditinjau oleh rekan penulis. Panduan penilaian HCTA berfungsi sebagai titik awal untuk
mempersiapkan kami untuk CTEM. Konsisten dengan tujuan setiap item CTEM dan jenis respons
yang diharapkan, sebuah jawaban lengkap yang ideal pada awalnya disusun. Serangkaian fitur
respons yang dapat membantu pencetak skor menentukan sejauh mana unsur-unsur tertentu hadir
dalam respons siswa dan bobot penilaian yang sesuai kemudian dibuat. Bobot item bervariasi
tergantung pada waktu yang diperlukan untuk sepenuhnya menanggapi suatu item. Item yang
disetujui oleh tim sebagai kompleks dan mungkin membutuhkan lebih banyak waktu untuk
merespons, menerima bobot yang lebih besar.
Tinjauan Pakar: Dua profesor fisika dan satu mahasiswa doktoral di departemen fisika di sebuah
universitas Flemish diminta untuk meninjau 19 item. Tiga ahli konten tidak terlibat dalam
pengembangan item. Tujuan utama dari tes CTEM pada awalnya dijelaskan kepada mereka, dan
kemudian mereka diminta untuk meninjau setiap item sehubungan dengan tujuan keseluruhan tes.
Secara khusus, ahli konten diminta untuk meninjau setiap item berdasarkan kriteria berikut: (a)
kesesuaian item dengan tujuan tes dan populasi peserta tes, (b) akurasi informasi yang disajikan
dalam item, dan (c) kejelasan kata / frasa / diagram dari setiap item. Peninjau melaporkan bahwa
sebagian besar item CTEM sesuai dan relevan untuk mengukur keterampilan CT yang ditargetkan
dalam E&M. Mereka juga telah memberikan umpan balik yang bermanfaat pada beberapa item yang
mereka pikir perlu direvisi. Sejalan dengan komentar, semua revisi yang diperlukan dibuat.

Wawancara Kognitif Siswa dan Administrasi Kertas-Pensil Skala Kecil. Wawancara kognitif adalah
metode yang digunakan untuk memeriksa apakah responden memahami dan merespons item
seperti yang diinginkan peneliti (mis. Willis, 2005). Setelah memasukkan semua komentar para ahli,
wawancara kognitif direkam dengan kelompok kecil mahasiswa jurusan fisika tahun kedua (N = 6).
Kami mengirim email ke enam siswa, yang baru saja menyelesaikan kursus E&M dan setuju untuk
berpartisipasi dalam wawancara. Tujuan dari wawancara kognitif adalah untuk memeriksa apakah
siswa akan menanggapi item CTEM sebagaimana dimaksud. Sebelum wawancara, kami menyiapkan
protokol wawancara yang mencakup meminta setiap orang yang diwawancarai untuk (a)
memperkenalkan dirinya secara singkat (mis. Nama, tahun studi, kapan tepatnya ia terdaftar dalam
kursus E&M), (b) membaca dengan keras item dan segera menyebutkan jika ada kata / frasa /
gambar yang sulit dipahami, (c) berpikir keras sambil memberikan respons terhadap item, dan (d)
memberikan estimasi keseluruhan apakah item yang termasuk dalam tes adalah mudah atau sulit
dipecahkan, dan mengapa. Seorang pewawancara, dibantu oleh salah satu penulis bersama,
melakukan wawancara. Pewawancara mulai dengan memberikan penjelasan singkat tentang tujuan
wawancara, dan meminta orang yang diwawancarai untuk memperkenalkan dirinya. Setiap peserta
kemudian diminta untuk membacakan item dan menyatakan jika ada kesulitan untuk memahami
ide-ide keseluruhan item (mis. Menggarisbawahi atau lingkaran kata / frasa yang sulit untuk
dipahami). Dua fase pertama dari protokol wawancara berfungsi untuk mengatur panggung untuk
fase berpikir keras. Setiap orang yang diwawancarai kemudian diminta untuk menyelesaikan setiap
item dengan berpikir keras. Beberapa pertanyaan menyelidik digunakan oleh pewawancara untuk
memperoleh respons yang diperlukan. Seperti yang disarankan oleh Adams dan Wieman (2011),
upaya dilakukan untuk menempatkan orang yang diwawancarai dalam mode pengambilan tes
Bauthentic ^ (hal. 14), dengan sangat hati-hati untuk tidak campur tangan dengan penjelasan siswa.
Setelah menyelesaikan tes, setiap orang yang diwawancarai diminta untuk memberikan refleksi
keseluruhan pada seluruh tes dan / atau item tertentu. Misalnya, dua orang yang diwawancarai
melewatkan beberapa pertanyaan selama fase penyelesaian masalah. Pewawancara menanyakan
penjelasan mengapa mereka melewatkan item.

Diskusi dan kesimpulan

Karena pentingnya mengembangkan kemampuan siswa untuk berpikir kritis pada bidang sains
tertentu terus berkembang, para peneliti dan praktisi perlu memiliki tes yang valid dan dapat
diandalkan untuk mengevaluasi efektivitas berbagai upaya pengajaran. Dalam penelitian ini, kami
berpendapat bahwa penilaian CT yang akurat dan komprehensif harus menekankan dimensi CT
umum domain-spesifik dan domain umum. Menyadari kurangnya tes CT khusus domain dalam
domain sains, tes yang dapat menilai elemen berguna CT dalam E&M dikembangkan dan divalidasi
secara sistematis. Analisis data kualitatif dan kuantitatif secara keseluruhan memberikan bukti yang
cukup bahwa tes CTEM pada tahap awal ini dapat menjadi dasar yang baik untuk mengukur
keterampilan CT dalam E&M. Tinjauan sistematis dari beberapa tes CT umum-domain yang tersedia
dilakukan untuk mengidentifikasi keterampilan CT inti yang umum di berbagai tes CT, dan dengan
demikian item CTEM dirancang untuk mencerminkan lima keterampilan CT yang termasuk dalam
HCTA. Ahli konten terlibat selama tahap pengembangan item dalam meninjau item, dan wawancara
kognitif dilakukan dengan siswa yang dipilih, yang memberikan bukti bahwa item tes jelas dan
memunculkan hasil CT domain spesifik yang ditargetkan. Selain itu, bukti kuantitatif menunjukkan
bahwa CTEMtest menghasilkan perjanjian antar penilai yang cukup dan koefisien reliabilitas yang
dapat diterima. Namun, perlu dicatat bahwa koefisien alpha tidak sebesar yang diharapkan. Nilai
alpha yang relatif rendah dapat dijelaskan oleh setidaknya dua faktor. Pertama, item CTEM
dimaksudkan untuk memperoleh kemampuan siswa untuk menunjukkan lima hasil CT yang
ditargetkan sebagaimana diuraikan oleh Halpern (2010): penalaran, analisis argumen, pengujian
hipotesis, analisis kemungkinan dan ketidakpastian, dan penyelesaian masalah dan pengambilan
keputusan. Ada kemungkinan bahwa proses kognitif yang diperlukan untuk menanggapi barang-
barang itu beragam. Misalnya, seorang siswa yang berprestasi baik dalam item yang berfokus pada
analisis argumen mungkin tidak melakukan dengan baik pada item yang berbeda yang berfokus pada
pengujian hipotesis karena dua komponen ini sedikit berbeda dalam hal proses kognitif yang
diperlukan. Kedua, koefisien alpha yang lebih rendah mungkin ada hubungannya dengan komposisi
kelompok uji dan jumlah peserta. Seperti disebutkan di atas, tes CTEM diberikan kepada sekelompok
siswa dengan jurusan teknik mesin dan yang terdaftar dalam E & Mcourse 6 bulan sebelum
administrasi tes. Menanggapi secara akurat dan konsisten untuk item CTEM mengharuskan siswa
untuk memiliki laboratorium yang memadai. konten E&M. Peserta tes saat ini jelas menemukan
sebagian besar item sangat sulit dan mungkin mungkin menanggapi beberapa item secara acak. Ini
mungkin telah mempengaruhi konsistensi internal tes. Jawaban untuk item CTEM diharapkan
menjadi lebih konsisten dan disempurnakan ketika tes diberikan segera setelah penyelesaian
instruksi E&M yang dirancang dengan baik. Meskipun tes ini relatif sulit, itu menunjukkan nilai
diskriminatif yang cukup, sebagaimana dibuktikan oleh indeks diskriminasi dan analisis kelompok
skor tambahan. Mengingat kerumitan konstruk yang ingin kami ukur, kami tidak menyarankan pada
tahap ini untuk mengecualikan salah satu item CTEM. Karena semua item CTEM dievaluasi sangat
berguna dalam mengukur hasil CTO yang ditargetkan selama tinjauan pakar dan wawancara kognitif
siswa, tidak termasuk a

beberapa dari mereka pada tahap ini dapat mengambil risiko validitas konten dari tes ini. Studi
validasi tambahan yang melibatkan kelompok responden yang lebih besar dan beragam yang
mewakili populasi target harus dilakukan untuk lebih memperkuat set data kuantitatif dan tindakan
terkait. Prosedur yang diuraikan dalam penelitian ini untuk mengembangkan dan memvalidasi item-
item CTEM sebagian besar sejalan dengan pedoman yang disarankan untuk persiapan respon yang
dibangun dan tes kinerja lainnya (misalnya Adams & Wieman, 2011; Aydın & Ubuz, 2014; Benjamin
et al. , 2015). Meskipun pengembangan item dan prosedur validasi didasarkan pada pedoman yang
ditetapkan dari penelitian sebelumnya, penelitian ini telah mengusulkan kerangka penilaian CT yang
dapat mempromosikan pengukuran keterampilan domain-spesifik dan domain umum CT. Harapan
kami adalah bahwa tes CTEM dapat digunakan untuk tujuan pengajaran dan penelitian. Pertama,
dapat digunakan untuk menjawab pertanyaan penelitian yang melibatkan penilaian efektivitas
intervensi instruksional pada akuisisi keterampilan-keterampilan khusus domain. Melalui tes ini,
peneliti dan pendidik dapat memeriksa sejauh mana intervensi instruksional merangsang perolehan
keterampilan CT khusus domain dalam E & Mover selama satu semester. Kami menyadari bahwa
meneliti efek intervensi instruksional yang dirancang secara sistematis untuk memperoleh
keterampilan CT khusus domain mungkin memerlukan pemberian tes CT spesifik domain, misalnya,
CTEM baik sebelum maupun setelah intervensi. Namun, mengingat persyaratan bahwa pengetahuan
konten yang memadai diperlukan untuk merespons secara memadai terhadap tes CT spesifik
domain, mengelola tes tersebut sebelum intervensi instruksional tidak praktis. Misalnya, tidak
mungkin untuk melaksanakan tes CTEM sebelum instruksi dalam kursus pengantar E&M karena
siswa mungkin belum memperoleh penguasaan materi pelajaran yang memadai.

konten. Salah satu rekomendasi yang mungkin bagi para peneliti yang ingin mengukur keterampilan
khusus domain sebelum instruksi domain subjek adalah untuk mengelola tes paralel dengan
keterampilan CT yang sama tetapi dengan menggunakan konten yang peserta tes diasumsikan sudah
akrab. Kedua, CTEM dapat digunakan untuk menjawab pertanyaan penelitian yang berfokus pada
hubungan antara perolehan keterampilan CT khusus-domain dan umum-domain. Karena item CTEM
dirancang untuk mencerminkan tes CT umum-domain yang sudah mapan dan terstandarisasi (yaitu,
HCTA), dimungkinkan untuk membandingkan kinerja siswa pada CTEM dan HCTA. Sejauh
pengetahuan kami, upaya sistematis pemetaan pemetaan CT khusus domain ke tes CT umum
domain standar belum dipublikasikan. Meskipun kami mengakui bahwa prosedur validasi yang
dijelaskan dalam penelitian ini merupakan upaya pertama, kami berharap telah menunjukkan
pendekatan yang dapat diterapkan untuk mengembangkan dan memvalidasi tes CT di domain lain
dalam sains dan seni. Praktik pemetaan CT khusus domain dan domain umum seperti itu dapat
memperkuat anggapan bahwa keterampilan CT domain-spesifik dan domain-umum perlu secara
bersama-sama ditargetkan dalam penilaian CT.