Pengembangan uji diagnostik panas, suhu, dan energi internal tiga tingkat

Latar Belakang: Kesalahpahaman adalah kendala utama dalam mempelajari fisika, dan
konsep panas dan suhu adalah beberapa kesalahpahaman umum yang ditemui dalam
kehidupan sehari-hari. Oleh karena itu, penting untuk mengembangkan alat yang valid
dan andal untuk menentukan kesalahpahaman siswa tentang konsep dasar
termodinamika. Tes tiga tingkat adalah alat penilaian yang efektif untuk menentukan
kesalahpahaman dalam fisika. Meskipun sejumlah uji tiga tingkat tentang panas dan
suhu dibahas dalam literatur, tidak ada laporan yang membahas uji tiga tingkat yang
secara bersamaan mempertimbangkan panas, suhu, dan energi internal.
Tujuan: Tujuan dari penelitian ini adalah untuk mengembangkan tes tiga tingkat yang
valid dan reliabel untuk menentukan kesalahpahaman siswa tentang panas, suhu dan
energi dalam.
Sampel: Sampel terdiri dari 462 siswa SMA Anatolia kelas 11. Dari peserta, 46,8%
adalah perempuan dan 53,2% adalah laki-laki.
Desain dan Metode: Penelitian ini berbentuk studi survei. Awalnya, tes pilihan ganda
dikembangkan. Untuk setiap pertanyaan pilihan ganda ditambahkan satu pertanyaan
terbuka yang meminta siswa untuk menjelaskan jawaban mereka. Tes ini kemudian
diberikan kepada 259 siswa sekolah menengah dan datanya dianalisis secara kuantitatif
dan kualitatif. Jawaban siswa untuk setiap pertanyaan terbuka dianalisis dan digunakan
untuk membuat pilihan untuk pertanyaan tingkat kedua dari tes. Bergantung pada hasil
tersebut, Tes Diagnostik Panas, Suhu, dan Energi Internal (HTIEDT) tiga tingkat
dikembangkan dengan menambahkan indeks respons tingkat kedua dan kepastian untuk
setiap item. Tes tiga tingkat ini diberikan kepada sampel dari 462 siswa sekolah
menengah.
Hasil: Reliabilitas Cronbach alpha untuk tes tersebut diperkirakan untuk skor yang
benar dan skor kesalahpahaman masing-masing sebagai 0,75 dan 0,68. Hasil penelitian
menunjukkan bahwa HTIEDT dapat digunakan sebagai pengujian yang valid dan
reliabel dalam menentukan miskonsepsi tentang konsep panas, suhu dan energi dalam.

Pengantar
Karena konsep sains abstrak dan disusun ulang oleh matematika, sulit bagi siswa
untuk memahami konsep ini (Wessel 1999). Meskipun pendekatan mereka berbeda
terhadap pembelajaran, sebagian besar ahli teori kognitif percaya bahwa proses
pembelajaran dipengaruhi oleh konsepsi dan keyakinan yang sudah ada sebelumnya
yang telah dimiliki siswa mengenai fakta pelajaran sains (Aydın dan Uşak 2003).
Konsep alternatif yang dimiliki siswa sebelum mereka datang ke lingkungan belajar
terbentuk sebagai hasil dari pengalaman pribadi mereka dan interaksi mereka dengan
lingkungan fisik dan sosial mereka (Özmen 2004). Beberapa ilmuwan menyatakan
bahwa pemahaman konseptual yang tidak lengkap ini harus diperhatikan karena siswa
membangun pengetahuan baru dari pengetahuan yang sudah ada (Libarkin dan Kurdziel
2001). Namun demikian, selama pembelajaran ilmiah, ide-ide yang didasarkan pada
prakonsepsi siswa dan tampak logis bagi mereka terkadang mungkin tidak sesuai
dengan informasi ilmiah yang diadopsi oleh komunitas ilmiah (Osborne 1982).
Konsepsi siswa yang berbeda dari komunitas ilmiah dan tahan terhadap perubahan
disebut miskonsepsi (Helm 1980). Namun, dalam literatur pendidikan sains, kasus
seperti itu sekarang secara luas disebut sebagai 'konsepsi alternatif' atau 'prasangka'
(Libarkin dan Kurdziel 2001).
Kesalahpahaman bukanlah jawaban yang salah karena kurangnya pengetahuan
atau karena kesalahan. Kesalahpahaman menjelaskan definisi ilmiah yang berbeda dari
konsep yang menggantikan konsep dalam pikiran manusia (Eryılmaz dan Sürmeli
2002). Hammer (1996) mengungkapkan bahwa miskonsepsi resisten terhadap
perubahan dan menghambat kemampuan siswa untuk memahami konsep ilmiah dan
membentuk struktur kognitif baru; dengan demikian, kesalahpahaman harus diperbaiki.
Untuk membantu siswa mempelajari konsep-konsep ilmiah, hubungan yang bermakna
harus dibangun antara konsep baru dan pengetahuan yang telah dimiliki oleh siswa;
selanjutnya, setiap kontradiksi harus diselesaikan (Aydoğan, Güneş, dan Gülçiçek
2003). Tujuan ini hanya dapat dicapai dengan memperoleh latar belakang konseptual
yang ada dan memverifikasi konsep-konsep tersebut (Yağbasan dan Gülçiçek 2003).
Begitu pula dengan Taber (2000a) yang menekankan bahwa guru perlu mengetahui
prakonsepsi siswa yang datang ke lingkungan belajar. Akibatnya, dengan
mempertimbangkan tantangan yang menyebabkan kesalahpahaman siswa dan
menggunakan strategi pembelajaran yang sesuai, siswa dimungkinkan untuk melakukan
restrukturisasi konseptual (Özmen 2004). Banyak peneliti menggunakan strategi
perubahan konseptual dalam memodifikasi kesalahpahaman siswa. Yılmaz dan
Eryılmaz (2010, 341) menunjukkan bahwa sebagai hasil dari strategi ini, berbagai
kemungkinan hasil, seperti restrukturisasi total atau parsial dari pengetahuan siswa yang
sudah ada sebelumnya, penugasan kembali konsep dalam skema, dan pengayaan
pengetahuan dapat dilakukan . Namun, guru harus memiliki akses ke alat pengajaran
yang berguna untuk memungkinkan siswa memahami konsep ilmiah baru dan untuk
menentukan keefektifan pembelajaran di kelas (Treagust 2006). Oleh karena itu, sangat
penting untuk mengembangkan alat penilaian yang efisien yang memunculkan latar
belakang konseptual siswa.
Masalah kesalahpahaman merupakan kendala utama dalam pembelajaran dan
sering dijumpai dalam fisika karena sifatnya yang abstrak (Aydoğan, Güneş, dan
Gülçiçek 2003; Gönen dan Akgün 2005). Beberapa studi tentang kesalahpahaman siswa
tentang fisika telah dilakukan selama 30 tahun terakhir atau lebih (Eryılmaz 2010).
Dalam penelitian pendidikan fisika, miskonsepsi dalam termodinamika dipelajari, selain
di bidang mekanika, kelistrikan, dan optik. Konsep dasar dari termodinamika: 'panas'
dan 'suhu' dimasukkan dalam kurikulum pendidikan dasar dan menengah, dan dalam
departemen sains di universitas di Turki, serta di beberapa negara lain di seluruh dunia.
Berbagai penelitian tersedia tentang kesalahpahaman siswa tentang panas dan suhu
(Erickson 1979, 1980; Appleton 1984; Thomaz et al. 1995; Harrison, Grayson, dan
Treagust 1999; Carlton 2000; Eryılmaz dan Sürmeli 2002; Aydoğan, Güneş, dan
Gülçiçek 2003; Gönen dan Akgün 2005; Yeşilyurt 2006; Eryılmaz 2010; Gönen dan
Kocakaya 2010; Tanahoung, Chitaree, dan Soankwan 2010; Alwan 2011). Selain itu,
banyak penelitian yang menangani kesalahpahaman tentang panas dan suhu (Wiser
1986; Wiser dan Kipman 1988; Wiser, Kipman, dan Halkiadakis 1988; Başer 1996,
2006a, 2006b; Başer dan Çataloğlu 2005; Başer dan Geban 2007).
Beberapa penelitian yang menyelidiki kesalahpahaman siswa tentang panas dan
suhu melaporkan bahwa siswa menjelaskan konsep-konsep ini menggunakan properti
material objek (Erickson 1979, 1980; Clough dan Driver 1985; Thomaz et al. 1995).
Menurut penelitian tersebut, siswa menganggap panas sebagai jenis materi yang berada
di dalam benda dan dapat diangkut di dalam benda dan dipindahkan dari satu benda ke
benda lainnya. Suhu, bagaimanapun, dianggap sebagai properti material yang menyusun
objek. Karena konsep fisik seperti panas dan suhu dijelaskan oleh siswa berdasarkan
sifat material atau perilaku benda, konsep ini disebut konsep berbasis zat (Reiner et al.
2000). Beberapa studi mengungkapkan bahwa siswa gagal untuk membedakan antara
konsep 'panas dan suhu' dan 'panas dan energi internal' (Warren 1972; Harrison,
Grayson, dan Treagust 1999). Beberapa siswa menganggap suhu sebagai ukuran panas
(Thomaz et al. 1995), dan energi internal adalah jumlah panas yang dimiliki suatu benda
(Warren 1972).
Beberapa faktor berperan dalam mengapa siswa mengalami kesulitan dalam
mempelajari konsep. Perbedaan antara bahasa ilmiah dan bahasa sehari-hari, dan bahasa
terminoologis yang digunakan dalam buku teks sekolah adalah beberapa faktor yang
membuat belajar menjadi sulit (Doige dan Day 2012). Ada berbagai definisi yang saling
bertentangan dari konsep panas dan suhu dalam buku teks (de Berg 2008). Misalnya,
beberapa buku teks menyertakan pernyataan yang menyatakan bahwa panas 'adalah
bentuk energi' atau 'adalah energi internal'. Pernyataan berbeda yang dibuat tentang
konsep kalor membuat siswa lebih sulit memahami konsep ini (Sozbilir 2003). Selain
itu, berbagai terminologi yang digunakan sehubungan dengan konsep panas merupakan
faktor lain yang mencegah pemahaman yang tepat tentang konsep ini. Banyak penelitian
berpendapat bahwa tidak benar menggunakan konsep panas sebagai kata benda (Doige
dan Day 2012). Sebagai contoh, sangat salah jika menggunakan pernyataan yang
berhubungan dengan konsep panas sebagai kata benda seperti 'aliran panas',
'perpindahan panas', 'kehilangan panas', dll. Karena pernyataan ini mengarah pada
kesalahpahaman bahwa suatu benda mungkin mengandung panas (Doige dan Day
2012). Akibatnya, tidak mungkin menghindari kesalahpahaman tentang konsep panas
dan suhu dan menghilangkan kesulitan belajar tanpa mencapai konsensus tentang
konsep panas dan suhu dalam definisi ilmiah dan menghilangkan kontradiksi dalam
definisi yang dibuat. Oleh karena itu, pertama-tama perbedaan antara konsep panas dan
suhu harus dianalisis secara menyeluruh. Meskipun berbagai definisi panas dan suhu
telah diajukan dalam perjalanan sejarah, orang pertama yang membuat perbedaan antara
konsep-konsep ini adalah Joseph Black (Lehrman 1973). Joseph Black mengungkapkan
hubungan antara konsep-konsep ini menggunakan persamaan ΔH = msΔt sehingga
mengungkapkan perbedaan antara konsep-konsep ini (Lehrman 1973; de Berg 2008).
Untuk mencegah siswa mengembangkan atau mempertahankan kesalahpahaman
tentang konsep panas, suhu, dan energi internal serta menghapus kesalahpahaman
semacam itu, penting untuk mengajari siswa definisi ilmiah yang benar dari konsep-
konsep ini. Definisi konsep suhu dapat dinyatakan sebagai berikut: 'Suhu adalah ukuran
energi kinetik rata-rata partikel' (Taber 2000b, 323). Di sisi lain, hubungan antara
konsep energi internal dan panas diberikan oleh Warren (1972) sebagai berikut: 'Energi
internal adalah jumlah total energi kinetik dan potensial dari partikel penyusun materi.
Panas, bagaimanapun, adalah energi yang ditransfer karena perbedaan suhu '(Warren
1972, 41). Energi internal suatu benda dapat berubah karena usaha yang diterapkan
padanya atau karena panas (Warren 1972). Kerja dan panas mengekspresikan proses
transfer energi; oleh karena itu, adalah salah untuk membicarakan suatu benda yang
memiliki panas (Warren 1972).
Wawancara (Osborne dan Gilbert 1980), tes pilihan ganda (Wiser 1986; Beichner
1994; Başer 1996), tes dua tingkat (Franklin 1992; Tan et al. 2002; Tan et al. 2005) dan
tes tiga tingkat (Eryılmaz 2010; Eryılmaz dan Sürmeli 2002; Peşman dan Eryılmaz
2010; Arslan, Cigdemoglu, dan Moseley 2012) adalah beberapa alat yang umum
digunakan untuk menentukan kesalahpahaman dalam fisika. Dari jumlah tersebut,
wawancara dapat dilakukan dengan siswa dalam berbagai usia dan memungkinkan guru
untuk menganalisis alasan jawaban siswa. Selain itu, ini lebih menguntungkan dalam
hal fleksibilitas dan kedalaman penelitian. Namun, proses wawancara, proses pelaporan
dan analisis memakan waktu (Osborne dan Gilbert 1980). Alat lain yang digunakan
untuk menentukan kesalahpahaman siswa adalah tes pilihan ganda, yang lebih
menguntungkan daripada wawancara karena dapat diberikan kepada sampel siswa yang
lebih luas dan penilaian lebih objektif (Beichner 1994). Namun Rollnick dan Mahooana
(1999) menyatakan bahwa seringkali siswa memberikan alasan yang salah untuk
jawaban yang benar, dan tes pilihan ganda tidak memberikan pemahaman yang
mendalam tentang ide siswa tentang topik tersebut. Jadi, wawancara dan tes pilihan
ganda masing-masing memiliki kelebihan dan kekurangan masing-masing. Beichner
(1994) menyatakan bahwa menggunakan wawancara dan tes pilihan ganda bersama-
sama meminimalkan kelemahan masing-masing metode. Tamir (1971) mengusulkan
penggunaan item tes pilihan ganda yang mencakup tanggapan dengan konsepsi
alternatif siswa yang diketahui, dan itu juga mengharuskan siswa untuk membenarkan
pilihan mereka dengan menjelaskan jawaban mereka. Jadi, penggunaan pembenaran
saat menjawab pertanyaan pilihan ganda bisa menjadi cara yang sensitif dan efektif
untuk menilai pembelajaran dalam populasi siswa (lihat Treagust 2006). Penggunaan
pembenaran dalam pengujian mengarah pada pengembangan pengujian dua tingkat.
Dalam tes dua tingkat, tingkat pertama dari item terdiri dari pertanyaan pilihan ganda,
dan tingkat kedua memunculkan alasan di balik tanggapan tersebut (Treagust 2006).
Dengan cara ini, alasan tanggapan siswa dalam tes dua tingkat dapat dipahami
(Eryılmaz 2010). Namun, hasil tes melebih-lebihkan persentase kesalahpahaman
(Griffard dan Wandersee 2001), dan kurangnya pengetahuan tidak dibedakan dari
kesalahpahaman (Eryılmaz 2010; Eryılmaz dan Sürmeli 2002). Ini adalah beberapa
aspek negatif dari tes dua tingkat. Hasan, Bagayoko, dan Kelley (1999) mengusulkan
agar digunakan indeks (indeks kepastian respon), dimana siswa diminta untuk
menunjukkan kepastian tanggapan mereka. Indeks ini dapat digunakan bersama dengan
tes diagnostik untuk membedakan antara kurangnya pengetahuan dan kesalahpahaman.
Mereka menekankan bahwa siswa yang mendapat nilai indeks rendah untuk jawaban
salah menunjukkan kurangnya pengetahuan, sedangkan nilai indeks tinggi untuk
jawaban salah menunjukkan kesalahpahaman (Hasan, Bagayoko, dan Kelley 1999).
Selain itu, jika responden memberikan jawaban yang benar dan memperoleh nilai
indeks yang tinggi, hal tersebut harus dianggap sebagai tanda kepastian jawaban yang
benar dari responden (Hasan, Bagayoko, dan Kelley 1999). Dengan demikian, tes tiga
tingkat dikembangkan untuk menghilangkan masalah tes dua tingkat, di mana
membedakan antara kesalahpahaman siswa dan kurangnya pengetahuan sulit dilakukan.
Dua tingkatan pertama dari tes tiga tingkat sama dengan tes dua tingkat. Namun, dalam
tes tiga tingkat - selain dua tingkat pertama - siswa ditanyai apakah mereka yakin
tentang jawaban mereka di tingkat ketiga. Menurut Peşman dan Eryılmaz (2010), salah
satu keuntungan dari tes tiga tingkat adalah kemungkinan untuk memperkirakan
persentase positif palsu dan negatif palsu, yang dapat digunakan untuk menentukan
validitas tes. Hestenes dan Halloun (1995) mengungkapkan bahwa positif palsu dan
negatif palsu terkait dengan validitas konten tes. Positif palsu menunjukkan bahwa
penjelasan yang salah diberikan untuk jawaban yang benar, sedangkan negatif palsu
menunjukkan bahwa penjelasan yang benar diberikan untuk jawaban yang salah
(Hestenes dan Halloun 1995).
 Ringkasnya, tes tiga tingkat dikembangkan untuk menilai kesalahpahaman siswa,
memahami alasan mereka, dan membedakan antara kurangnya pengetahuan dan
kesalahpahaman mereka. Namun, jumlah studi yang menggunakan tes tiga tingkat
terbatas (Caleon dan Subramaniam 2010; Peşman dan Eryılmaz 2010; Arslan,
Cigdemoglu, dan Moseley 2012). Lebih lanjut, meskipun sejumlah tes tiga tingkat
(Eryılmaz dan Sürmeli 2002; Eryılmaz 2010) dikembangkan untuk panas dan suhu,
tidak ada laporan yang ada tentang tes tiga tingkat untuk panas, suhu dan energi internal
secara bersamaan. Oleh karena itu, sangat penting untuk mengembangkan pengujian
tiga tingkat yang secara bersamaan mempertimbangkan konsep panas, suhu, dan energi
internal. Dengan menggunakan tes seperti itu sebelum dan sesudah pengajaran, akan
mungkin untuk mencapai informasi yang lebih jelas tentang apakah siswa memiliki
kesalahpahaman tentang mata pelajaran ini atau tidak, jika ada, maka guru dapat terlibat
dalam upaya yang bertujuan untuk menghilangkan kesalahpahaman ini (Treagust
1988) . Dalam ruang lingkup penelitian ini, kami bertujuan untuk mengembangkan Tes
Diagnostik 'Panas, Suhu dan Energi Internal' (HTIEDT) tiga tingkat untuk menentukan
kesalahpahaman siswa kelas 11 tentang panas, suhu dan energi internal. Akan
diusahakan jawaban pertanyaan penelitian dibawah ini sesuai dengan tujuan penelitian.

(a) Apakah HTIEDT merupakan tes yang valid dan reliabel yang dapat
digunakan untuk mendiagnosis miskonsepsi siswa di kelas 11?

Metode
Dalam proses pengembangan HTIEDT, tes pilihan ganda awalnya dikembangkan dan
diberikan, dan kemudian HTIEDT tiga tingkat dikembangkan dan diberikan.
Tes diagnostik tiga tingkat adalah tes yang mengacu pada kriteria dan dirancang
untuk mengevaluasi kesalahpahaman atau pemahaman siswa tentang konsep ilmiah.
Selain itu, penilaian yang mengacu pada kriteria harus didasarkan pada serangkaian
standar kinerja yang diakui. Selain itu, dari perspektif desain yang berpusat pada bukti,
penilaian harus dimulai dengan menanyakan pengetahuan, keterampilan,
atau sifat lain yang kompleks yang harus dinilai, mungkin karena hal itu
terkait dengan tujuan pengajaran yang eksplisit atau implisit atau sebaliknya
dihargai oleh masyarakat. Selanjutnya, perilaku atau penampilan apa yang
harus mengungkapkan konstruksi tersebut, dan tugas atau situasi apa yang
harus memunculkan perilaku tersebut? (Messick 1994, 16).

Oleh karena itu, pada awalnya, kami menetapkan standar kinerja yang diharapkan
dari siswa untuk pemahaman konseptual (lihat Tabel 2). Tujuan dari penelitian ini
adalah untuk mengembangkan tes diagnostik tiga tingkat untuk mengidentifikasi
kesalahpahaman yang diberikan dalam Tabel 1, yang kami identifikasi berdasarkan
tinjauan literatur yang relevan.

Pengembangan tes pilihan ganda

Untuk mengembangkan tes pilihan ganda, pertama-tama kami meninjau literatur
terkait dan memeriksa secara rinci semua pertanyaan konseptual dalam literatur.
Berdasarkan literatur yang ada, kami membuat daftar kesalahpahaman terkait panas,
suhu, dan energi internal. Soal tes dirancang dengan berfokus pada tiga kesalahpahaman
utama (lihat Tabel 1).
 Eryılmaz (2010) mengungkapkan bahwa tes miskonsepsi seperti Force Concept
Inventory (Hestenes, Wells, dan Swackhamer 1992) dan Thermal Concept Evaluation
(Yeo dan Zadnik 2001) memiliki keterbatasan, karena skor yang terkait dengan
miskonsepsi tertentu tidak dapat diperkirakan karena kurangnya berbagai pertanyaan
yang menilai kesalahpahaman yang sama dalam tes tersebut. Dalam kedua tes, beberapa
kesalahpahaman ditentukan oleh satu atau dua pertanyaan sedangkan yang lain
ditentukan oleh beberapa pertanyaan (Eryılmaz 2010). Oleh karena itu, dalam penelitian
ini, kami fokus hanya pada tiga kesalahpahaman untuk mempermudah memperkirakan
skor untuk setiap kesalahpahaman dan menganalisis kesalahpahaman siswa secara
mendalam.
Dalam mengembangkan tes, kami mulai dengan menulis empat pertanyaan utama
yang berkaitan dengan contoh kasus. Hanya satu dari pertanyaan ini yang diadaptasi
dari literatur (Harrison, Grayson, dan Treagust 1999); tiga pertanyaan lainnya dibuat
oleh penulis. Sebanyak 12 pertanyaan pilihan ganda berdasarkan kasus sampel dalam
pertanyaan utama disiapkan. Sebuah pertanyaan terbuka ditambahkan setelah setiap
pertanyaan pilihan ganda yang meminta siswa untuk menjelaskan mengapa mereka
memilih jawaban mereka. Selanjutnya, tes tersebut dipresentasikan kepada dua dosen
dari dua universitas berbeda dan seorang guru fisika untuk dinilai validitas wajah,
validitas isi, akurasi isi dan kesesuaian. Setelah penilaian, spesialis yang disebutkan di
atas membuat beberapa saran tentang kesesuaian pertanyaan untuk menentukan
validitas isi dan kesalahpahaman, dan perubahan yang diminta dibuat sesuai. Setelah
proses ini, tes diberikan kepada 10 siswa kelas 11 dan 12 yang telah mempelajari subjek
sebelumnya untuk memverifikasi apakah pertanyaannya dapat dimengerti dan jelas.
Perubahan yang diperlukan dibuat sesuai dengan umpan balik yang diterima dari siswa
dan versi terakhir dari tes pilihan ganda tentang panas, suhu dan energi internal
diselesaikan.

Pengembangan HTIEDT tiga tingkat

Tes pilihan ganda diberikan kepada 259 siswa SMA Anatolia kelas 11 dan 12 dan
jawaban yang diperoleh dari siswa tersebut diolah menggunakan Microsoft Excel. Skor
yang benar dan skor miskonsepsi diperoleh dengan menggunakan kunci jawaban yang
benar dan kunci jawaban yang salah. Kami melakukan analisis faktor untuk menentukan
validitas terkait konstruk tes menurut skor yang benar dan miskonsepsi. Ketika hasil
dianalisis, ditetapkan bahwa tes tersebut terdiri dari tiga faktor. Untuk kedua jenis skor,
pertanyaan faktor pertama berkaitan dengan panas, faktor kedua terkait suhu, dan faktor
ketiga terkait energi internal. Koefisien reliabilitas Cronbach alpha untuk tes pilihan
ganda untuk skor yang benar diperkirakan sebagai 0,67. Karena sampel penelitian besar,
indeks fasilitas p dan indeks diskriminasi item D dari item tes dianalisis dengan metode
kelompok atas-bawah 27% (Crocker dan Algina 1986, 314). Menganalisis tes pilihan
ganda berdasarkan skor yang benar memberikan indeks fasilitas rata-rata 0,31 untuk
pilihan ganda dan indeks diskriminasi rata-rata 0,47. Berdasarkan skor benar dan
kesalahpahaman untuk pertanyaan yang berkaitan dengan panas, indeks fasilitas rata-
rata adalah 0,09 dan 0,62, masing-masing. Hasil ini menunjukkan bahwa siswa
kesulitan merumuskan jawaban yang benar untuk soal-soal yang berhubungan dengan
panas. Selain itu, mereka menyarankan bahwa jawaban yang salah untuk pertanyaan
terkait panas diilhami oleh kesalahpahaman. Berdasarkan skor yang benar untuk
pertanyaan terkait panas, indeks diskriminasi rata-rata adalah 0,14, sedangkan untuk
pertanyaan lain dalam tes ini lebih besar dari 0,40. Penjelasan untuk yang rendah
 Indeks diskriminasi untuk pertanyaan yang berkaitan dengan panas adalah bahwa
sebagian besar siswa tidak memiliki pemahaman konseptual yang benar tentang panas
tetapi memiliki kesalahpahaman di bidang ini. Karena reliabilitas skor tes yang benar
adalah 0,67 dan hasil analisis faktor memberikan bukti positif dari validitas terkait
konstruk, kami memutuskan bahwa semua pertanyaan dalam tes harus digunakan.
Selain itu, jawaban siswa atas pertanyaan terbuka dalam tes pilihan ganda dianalisis dan
dikategorikan tergantung pada kesamaan mereka. Jawaban yang dikategorikan
dikumpulkan di bawah judul dasar dan digunakan untuk membentuk pilihan untuk
pertanyaan-pertanyaan tingkat kedua dari HTIEDT. Dalam pertanyaan tingkat kedua,
alasan jawaban siswa untuk pertanyaan tingkat pertama ditanyakan. Di tingkat ketiga,
siswa ditanyai apakah mereka yakin tentang jawaban mereka untuk dua tingkat pertama.
HTIEDT sekali lagi disajikan kepada spesialis untuk dinilai validitas konten, akurasi
konten dan kesesuaian, dan perubahan yang diminta dibuat sesuai. Akhirnya, tes
tersebut diberikan kepada lima siswa kelas 12 untuk menguji pemahaman dan kejelasan
pertanyaan. Semua perubahan yang diperlukan dibuat berdasarkan umpan balik yang
diterima dari siswa dan versi terakhir dari HTIEDT tiga tingkat diselesaikan. Tes terdiri
dari empat pertanyaan utama, yang diterjemahkan ke dalam 12 pertanyaan tingkat
pertama, 12 pertanyaan tingkat kedua dan 12 pertanyaan tingkat ketiga untuk HTIEDT.
Skor total dari tiga tingkat HTIEDT berkisar dari 0 sampai 12. Contoh pertanyaan yang
diambil dari tiga tingkat HTIEDT diberikan dalam Lampiran 1.

Populasi dan sampel

Populasi penelitian terdiri dari siswa kelas 11 dari sekolah menengah atas
Anatolia, di salah satu distrik terbesar di Ankara, Turki. Siswa di Turki memasuki
sekolah menengah atas dasar ujian seleksi siswa yang dilakukan setelah sekolah dasar.
Berdasarkan nilai mereka, mereka terdaftar di sekolah menengah sains, sekolah
menengah atas Anatolia, atau sekolah menengah swasta. Siswa yang nilainya tidak
memenuhi syarat untuk mendaftar di sekolah-sekolah ini menghadiri sekolah menengah
negeri. Sekolah yang termasuk dalam penelitian ini dipilih dengan convenience
sampling. Sampel terdiri dari 462 siswa sekolah menengah Anatolia kelas 11; 46,8%
peserta adalah perempuan dan 53,2% laki-laki. Para pesertanya berusia 17 hingga 18
tahun. Selain itu, dikumpulkan informasi tentang nilai fisika siswa dalam laporan
sekolah semester sebelumnya. Nilai Fisika 1,3% siswa adalah 1, sedangkan 3,7% siswa
memiliki 2, 18,4% memiliki 3, 48% memiliki 4 dan 28,6% memiliki 5 sebagai nilai
fisika dalam laporan sekolah mereka. Skor laporan akademik dihitung menggunakan
skala 1-5.

Analisis data
HTIEDT tiga tingkat diberikan kepada siswa kelas 11 pada tahun akademik 2011-
2012. Tes ini memakan waktu sekitar 15-20 menit, dan jawabannya dimasukkan ke
dalam spreadsheet Microsoft Excel. Seperti dalam studi percontohan, item dianalisis
dengan analisis faktor eksplorasi untuk menentukan apakah item dimuat dengan benar.
Tujuh skor berbeda diperoleh dengan menggunakan kunci jawaban yang benar dan
kunci jawaban kesalahpahaman dari tiga tingkat HTIEDT: skor benar – 1, skor benar –
2, skor benar – 3, skor kesalahpahaman – 1, skor kesalahpahaman – 2, skor
kesalahpahaman– 3 dan tingkat kepercayaan. Skor tersebut diperkirakan menggunakan
kode yang disajikan dalam literatur (Peşman dan Eryılmaz 2010). Tabel 3,
mendemonstrasikan pengkodean dan estimasi skor yang benar – 1, skor yang benar – 2,
skor yang benar – 3, skor kesalahpahaman – 1, skor kesalahpahaman – 2 dan skor
kesalahpahaman – 3. Selain itu, untuk tingkat kepercayaan, jawaban siswa dianalisis
hanya sesuai dengan soal di lapis ketiga. Jika jawaban siswa untuk pertanyaan tingkat
ketiga adalah 'Saya yakin', itu dikodekan sebagai 1; selain itu diberi kode 0. Skor siswa
untuk tingkat ketiga dijumlahkan dan tingkat kepercayaan diperkirakan. Selanjutnya
untuk menentukan validitas isi tes, dihitung persentase positif palsu dan negatif palsu.
Jika jawaban siswa untuk pertanyaan tingkat pertama benar, dan untuk pertanyaan
tingkat kedua salah, dan jika jawaban tingkat ketiga adalah 'Saya yakin', maka jawaban
siswa untuk pertanyaan tingkat tiga adalah salah. positif. Jika jawaban siswa untuk
pertanyaan tingkat pertama salah, dan pertanyaan tingkat kedua benar, dan jika jawaban
tingkat ketiga adalah 'Saya yakin', maka jawaban siswa untuk pertanyaan tingkat tiga
adalah salah. negatif (Peşman dan Eryılmaz 2010).
Kesalahpahaman yang diukur dalam HTIEDT tiga tingkat diberikan dalam Tabel
1. Tabel 2 menunjukkan secara rinci bagaimana pemahaman konseptual siswa yang
benar dapat dipahami.

Hasil
Studi ini menguji validitas terkait konstruk dan validitas konten HTIEDT. Selain
itu, kami menyajikan statistik deskriptif untuk HTIEDT, persentase jawaban yang benar
dan kesalahpahaman yang terkait dengan HTIEDT. Data dianalisis dengan tiga cara
berbeda untuk memastikan validitas HTIEDT. Awalnya, analisis faktor eksplorasi
digunakan untuk mengidentifikasi struktur faktor tes. Selanjutnya, korelasi antara skor
yang benar-2 dan tingkat kepercayaan, dan bahwa antara skor kesalahpahaman-2 dan
tingkat kepercayaan dianalisis sehubungan dengan validitas terkait konstruk. Persentase
positif palsu dan negatif palsu dihitung untuk validitas konten.
Untuk memastikan validitas HTIEDT yang terkait dengan konstruk, analisis
faktor dilakukan untuk skor yang benar dan skor kesalahpahaman tergantung pada
jawaban yang diberikan untuk pertanyaan tiga tingkat. Menurut hasil analisis faktor
untuk skor yang benar-3, pertanyaan tiga tingkat yang membentuk tes dapat
dikategorikan dalam tiga faktor: faktor pertama adalah pertanyaan tentang panas, faktor
kedua adalah pertanyaan tentang suhu dan faktor ketiga adalah pertanyaan tentang suhu
dan faktor ketiga. adalah pertanyaan tentang energi internal. Varians total yang
dijelaskan oleh ketiga faktor tersebut adalah 71,09%. Ketika analisis faktor diterapkan
pada skor kesalahpahaman-3, kami mengamati bahwa pertanyaan tiga tingkat dapat lagi
dikategorikan dalam tiga faktor. Demikian pula, pertanyaan yang berkaitan dengan
panas berada di faktor pertama, yang terkait dengan suhu berada di faktor kedua dan
yang terkait dengan energi dalam berada di faktor ketiga. Faktor yang membentuk tes
menjelaskan 67,22% dari total varian. Kesimpulannya, hasil menunjukkan bahwa ketiga
pertanyaan tingkat dalam tes tersebut dimuat di bawah faktor logis.
Cataloglu (2002) menyatakan bahwa korelasi positif antara nilai siswa untuk suatu
tes dan tingkat kepercayaan dapat menjadi bukti validitas tes tersebut. Dalam hal ini,
kami berharap bahwa siswa yang mendapat nilai lebih tinggi pada tes lebih yakin
dengan jawaban mereka daripada mereka yang mendapat nilai lebih rendah. Untuk
menganalisis validitas HTIEDT, kami memperkirakan koefisien korelasi momen produk
Pearson antara skor yang benar-2 dan tingkat kepercayaan. Sebuah hubungan positif
antara skor yang benar-2 dan tingkat kepercayaan diamati; Namun, hubungan ini tidak
signifikan (r = .051, p> .05). Karena HTIEDT adalah tes yang digunakan untuk
menentukan kedua pemahaman konseptual siswa dan kesalahpahaman mereka,
koefisien korelasi momen produk Pearson juga diperkirakan antara skor
kesalahpahaman-2 dan tingkat kepercayaan. Hasil analisis menunjukkan hubungan
positif dan signifikan secara statistik (r = .108, p <.05) antara skor kesalahpahaman-2
dan tingkat kepercayaan. Dengan demikian, kami menyimpulkan dari hasil ini bahwa
siswa dengan lebih banyak kesalahpahaman cenderung lebih yakin tentang jawaban
mereka. Dengan kata lain, siswa lebih yakin tentang jawaban mereka yang berbasis
kesalahpahaman daripada jawaban yang benar.
Mengenai validitas konten dalam tes diagnostik, Hestenes dan Halloun (1995)
menyarankan perkiraan persentase positif palsu dan negatif palsu. Lebih lanjut, mereka
menyatakan bahwa persentase positif palsu dan negatif palsu harus kurang dari 10%.
Menurut mereka, persentase negatif palsu di bawah 10% menunjukkan bahwa
pertanyaan tersebut eksplisit dan koheren untuk siswa yang memiliki pengetahuan yang
memadai. Dalam penelitian ini, persentase negatif palsu adalah 3%. Dengan demikian
kami menyimpulkan bahwa persentase siswa yang memberikan jawaban yang salah
untuk pertanyaan tingkat pertama dan jawaban yang benar untuk pertanyaan tingkat
kedua tidak tinggi. Dengan kata lain, pertanyaannya eksplisit dan koheren. Hestenes dan
Halloun (1995) lebih lanjut mengungkapkan bahwa sulit untuk meminimalkan
persentase positif palsu menurut persentase negatif palsu, karena siswa mungkin
menjawab dengan benar pertanyaan tingkat pertama tanpa mulai dapat menjelaskan
alasan mereka untuk memilih jawaban spesifik mereka. Dengan demikian, mereka
menyimpulkan bahwa siswa pasti akan memberikan jawaban yang terkira. Penelitian ini
memiliki 7% positif palsu, yang konsisten dengan kriteria yang disajikan oleh Hestenes
dan Halloun (1995) dan membuktikan validitas konten HTIEDT.
Hasil analisis item menurut skor yang benar-3 dan skor kesalahpahaman-3
disajikan pada Tabel 4. Indeks fasilitas p dan indeks diskriminasi item D dari item-item
tes dianalisis dengan metode kelompok atas-bawah 27%. Indeks fasilitas rata-rata tes
menurut skor yang benar-3 adalah 0,14, dan pertanyaan menurut skor yang benar-3
adalah 0,05 untuk panas, 0,21 untuk suhu dan 0,16 untuk energi internal. Indeks fasilitas
rata-rata dari pertanyaan menurut skor kesalahpahaman-3 adalah 0,28 untuk panas, 0,22
untuk suhu, 0,17 untuk energi dalam. Temuan ini menunjukkan bahwa siswa
mengalami kesulitan terutama dalam menjawab pertanyaan yang berkaitan dengan
panas. Lebih lanjut, mereka menunjukkan bahwa siswa cenderung memberikan jawaban
yang lebih miskonsepsi pada pertanyaan terkait panas dibandingkan dengan pertanyaan
lain. Di sisi lain, indeks diskriminasi rata-rata pertanyaan menurut skor yang benar-3
adalah 0,10 untuk panas, 0,43 untuk suhu dan 0,32 untuk energi internal, dan
pertanyaan menurut skor kesalahpahaman-3 adalah 0,56 untuk panas, .44 untuk suhu, .
35 untuk energi internal.
Menganalisis HTIEDT menurut skor yang benar-3 mengungkapkan bahwa indeks
diskriminasi rata-rata pertanyaan yang berkaitan dengan panas sangat rendah (0,10),
sedangkan, menurut skor kesalahpahaman-3, indeks diskriminasi rata-rata sangat tinggi
(0,56). Menganalisis pertanyaan yang berkaitan dengan suhu dan energi dalam menurut
skor yang benar-3 dan skor miskonsepsi-3 menunjukkan bahwa indeks diskriminasi dari
pertanyaan-pertanyaan tersebut baik. Indeks fasilitas rendah dan indeks diskriminasi
untuk pertanyaan yang berkaitan dengan panas menunjukkan bahwa tidak ada
perbedaan yang signifikan antara siswa yang mendapat nilai benar tinggi dan siswa
yang mendapat nilai benar rendah dari tes. Artinya, beberapa siswa yang mendapat nilai
benar tinggi dari tes juga memiliki kesalahpahaman tentang panas. Oleh karena itu,
alasan indeks diskriminasi rendah untuk pertanyaan dikaitkan dengan kesalahpahaman
siswa terkait dengan panas daripada struktur pertanyaan tes. Dengan demikian HTIEDT
merupakan tes yang valid, terutama untuk menentukan kesalahpahaman siswa. Namun,
indeks fasilitas yang rendah dan indeks diskriminasi yang rendah untuk pertanyaan-
pertanyaan yang berkaitan dengan panas menurunkan validitas HTIEDT untuk
digunakan sebagai tes prestasi. Eryılmaz (2010) juga mengamati bahwa persentase
jawaban benar atas pertanyaan tentang panas cukup rendah. Di sisi lain, hasil analisis
faktor eksplorasi untuk skor yang benar-3 dan skor kesalahpahaman-3 menunjukkan
bahwa item tes dikategorikan dalam faktor yang diharapkan. Hasil ini menunjukkan
bahwa HTIEDT tiga tingkat dapat digunakan untuk mendiagnosis kesalahpahaman.
Meskipun masalah disebutkan tentang validitas dan reliabilitas tes diagnostik tiga
tingkat dalam literatur, ditekankan bahwa tes ini cukup efektif dalam mengidentifikasi
kesalahpahaman (Eryılmaz 2010). Namun, indeks fasilitas rata-rata untuk pertanyaan
terkait panas untuk tiga tingkat HTIEDT adalah 0,05 menurut skor yang benar-3 dan
indeks diskriminasi rata-rata adalah 0,10 tetapi, menurut skor kesalahpahaman-3, indeks
fasilitas rata-rata adalah 0,28 dan indeks diskriminasi rata-rata adalah 0,56. Selanjutnya,
mengingat bahwa analisis faktor memberikan hasil yang diharapkan, item terkait panas
dapat digunakan untuk mendiagnosis kesalahpahaman.
Tabel 5 menyajikan statistik deskriptif HTIEDT berkaitan dengan skor yang
benar-3 dan skor kesalahpahaman-3. Reliabilitas Cronbach alpha dari tes tersebut
diperkirakan sebagai 0,75 untuk skor yang benar-3 dan 0,68 untuk skor
kesalahpahaman-3. Rentang skor untuk setiap tes adalah antara 0 dan 12. Rata-rata skor
yang benar-3 untuk HTIEDT tiga tingkat adalah 1,01. Nilai rata-rata yang sangat rendah
ini menunjukkan bahwa sebagian besar siswa memiliki tingkat pemahaman yang rendah
tentang panas, suhu dan energi dalam. Rata-rata untuk skor yang benar-3 untuk
pertanyaan yang berhubungan dengan panas, suhu dan energi internal adalah 0,10, 0,51
dan 0,40, yang menunjukkan bahwa siswa mengalami kesulitan terutama dalam
menjawab pertanyaan yang berhubungan dengan panas. Demikian pula, hasil
menunjukkan bahwa kemiringan untuk skor yang benar-3 adalah 1,79, yang
menunjukkan bahwa siswa memiliki tingkat pemahaman yang rendah tentang panas,
suhu, dan energi dalam. Skewness menentukan apakah distribusinya genap atau tidak.
Jika nilai skewness lebih besar dari satu dan positif, hal ini menunjukkan bahwa skor
terkonsentrasi pada skor yang lebih rendah sedangkan skor yang lebih tinggi sangat
sedikit (Tabachnick dan Fidell 2007). Di sisi lain, nilai skewness yang termasuk dalam
nilai benar-3, menunjukkan bahwa sangat sedikit siswa yang memiliki tingkat
pemahaman yang lebih tinggi terhadap konsep panas, suhu dan energi dalam. Di sisi
lain, rata-rata skor kesalahpahaman-3 untuk HTIEDT tiga tingkat adalah 2,53, yang
relatif tinggi dibandingkan dengan skor yang benar-3. Artinya, siswa memiliki
kesalahpahaman daripada pemahaman konseptual yang benar tentang panas, suhu, dan
energi internal. Rata-rata skor kesalahpahaman –3 untuk pertanyaan panas, suhu, dan
energi internal masing-masing adalah 1,07, 0,96 dan 0,50. Menurut hasil ini, rata-rata
skor kesalahpahaman –3 untuk pertanyaan terkait panas lebih tinggi daripada untuk
pertanyaan terkait suhu dan energi internal. Hasil ini menunjukkan bahwa siswa
memiliki lebih banyak miskonsepsi terkait panas dibandingkan suhu dan energi dalam.
Menurut skor kesalahpahaman-3, skew- ness diperkirakan 0,63 dan kurtosis -,37. Hal
ini menunjukkan bahwa skor miskonsepsi –3 mendekati distribusi normal.
Gambar 1 menunjukkan persentase jawaban yang benar untuk pertanyaan satu,
dua, dan tiga tingkat HTIEDT. Persentase rata-rata siswa yang memberikan jawaban
benar pada tingkat pertama tes adalah 29%, dan siswa yang memberikan jawaban benar
untuk kedua pertanyaan pada dua tingkatan pertama adalah 16%. Persentase rata-rata
siswa yang memberikan jawaban benar untuk ketiga pertanyaan dalam tiga tingkatan
adalah 8%. Perbedaan antara persentase rata-rata jawaban yang benar untuk pertanyaan
tingkat satu dan kedua kira-kira 13%. Dari perbedaan tersebut, 7% berasal dari
persentase positif palsu dan 6% berasal dari jawaban yang tidak konsisten. Perbedaan
antara persentase rata-rata dari jawaban yang benar untuk pertanyaan dua dan tiga
adalah sekitar 8%. Artinya, siswa menyatakan bahwa meskipun mereka memberikan
jawaban yang benar untuk pertanyaan dua tingkat dalam tes tersebut, mereka tidak
yakin tentang jawaban mereka; ini menunjukkan kurangnya pengetahuan. Selain itu,
persentase rata-rata siswa yang menjawab benar untuk ketiga butir soal tes adalah 8%.
Hasil ini menunjukkan bahwa siswa memiliki pemahaman yang sangat rendah tentang
panas, suhu dan energi dalam.
Gambar 2 menunjukkan persentase jawaban miskonsepsi untuk pertanyaan satu,
dua, dan tiga tingkat HTIEDT. Persentase rata-rata siswa yang memberikan jawaban
miskonsepsi atas pertanyaan pada tes tingkat pertama adalah 51%, dan siswa yang
memberikan jawaban miskonsepsi untuk kedua pertanyaan pada tes tingkat satu dan
kedua adalah 36%. Persentase rata-rata siswa yang memberikan jawaban miskonsepsi
untuk semua pertanyaan dalam tes tiga tingkat adalah 21%. Perbedaan antara persentase
rata-rata kesalahpahaman dalam pertanyaan satu dan tiga tingkat adalah 15%. Dari
perbedaan ini, 3% dihasilkan dari persentase jawaban negatif palsu, dan 12% dari
jawaban yang tidak konsisten. Perbedaan antara persentase rata-rata kesalahpahaman
dalam pertanyaan tingkat dua dan tiga adalah 15%. Artinya, siswa menyatakan bahwa,
meskipun mereka memberikan jawaban yang salah pada pertanyaan dua tingkat dalam
tes, mereka tidak yakin tentang jawaban mereka; ini menunjukkan kurangnya
pengetahuan. Selain itu, persentase rata-rata siswa yang memberikan jawaban
miskonsepsi untuk ketiga butir soal tes adalah 21%. Hasil ini menunjukkan bahwa
tingkat kesalahpahaman siswa tentang panas, suhu dan energi dalam lebih tinggi
daripada tingkat pemahaman mereka.
Ujian tiga lapis soal HTIEDT mengungkap hal itu memberikan jawaban yang
benar terutama untuk pertanyaan yang berhubungan dengan suhu. Tiga belas persen
siswa menyatakan bahwa, jika dua objek yang terdiri dari bahan yang sama tetapi
berbeda ukurannya dibiarkan di lingkungan yang sama untuk waktu yang cukup lama,
suhu mereka akan sama. Pertanyaan yang menurut siswa paling sulit adalah yang
berkaitan dengan panas. Ketika siswa diminta untuk membandingkan panas dari dua
benda yang terdiri dari bahan yang sama tetapi berbeda dalam ukuran dan yang
dibiarkan di lingkungan yang sama untuk waktu yang cukup lama, 3% siswa
menyatakan bahwa panas benda tidak dapat dibandingkan. karena benda tersebut tidak
memiliki panas. Dalam pertanyaan yang berkaitan dengan energi dalam, 10% siswa
menyatakan bahwa benda yang lebih besar dari dua benda yang terdiri dari bahan yang
sama dan dibiarkan dalam lingkungan yang sama untuk waktu yang cukup lama
memiliki lebih banyak energi dalam.
Menganalisis skor kesalahpahaman siswa untuk tiga tingkat HTIEDT
menunjukkan bahwa siswa memiliki kesalahpahaman terutama untuk pertanyaan tiga
tingkat yang berkaitan dengan panas: 27% siswa menyatakan bahwa panas dari dua
benda terdiri dari bahan yang sama dan dibiarkan di lingkungan yang sama selama
waktu yang lama tergantung pada ukuran benda. Demikian pula, 24% siswa
menyatakan bahwa suhu dua benda yang tersusun dari bahan yang sama dan dibiarkan
dalam lingkungan yang sama dalam waktu yang lama bergantung pada besar kecilnya
benda tersebut. Para siswa memiliki kesalahpahaman paling sedikit dalam pertanyaan
tiga tingkat yang berkaitan dengan energi internal. Dengan demikian, 13% siswa
menyatakan bahwa energi dalam dari dua benda yang tersusun dari bahan yang sama
dan tertinggal di lingkungan yang sama dalam waktu yang lama bergantung pada
jumlah panas yang dimiliki setiap benda. Faktanya, miskonsepsi tentang energi dalam
ini didasarkan pada kesalahpahaman siswa tentang panas, karena banyak siswa yang
menganggap benda memiliki panas.

Diskusi dan saran

Penelitian ini bertujuan untuk mengembangkan HTIEDT tiga tingkat yang valid
dan dapat diandalkan yang dapat mengidentifikasi kesalahpahaman siswa tentang panas,
suhu, dan energi internal. Hasil yang diperoleh dari analisis soal dan statistik uji
membuktikan bahwa HTIEDT tingkat tiga yang dikembangkan dalam penelitian ini
adalah alat yang valid, efektif, dan andal untuk mendiagnosis miskonsepsi. Selain itu,
kami mengamati bahwa siswa terutama memberikan jawaban yang benar untuk
pertanyaan terkait suhu dan memiliki lebih banyak kesalahpahaman berkenaan dengan
pertanyaan terkait panas dibandingkan dengan pertanyaan terkait suhu dan energi
internal.
Ada beberapa keuntungan dalam mengembangkan tes tiga tingkat untuk
menentukan kesalahpahaman. Misalnya, tes tiga tingkat praktis dan dapat dikelola untuk
guru dan peneliti karena mudah dilakukan untuk pengambilan sampel yang lengkap dan
tidak memakan waktu. Tes pilihan ganda memiliki keunggulan serupa. Namun, tes
pilihan ganda dan tes dua tingkat kurang efisien karena tidak mungkin untuk
membedakan antara kurangnya pengetahuan siswa dan kesalahpahaman mereka. Situasi
ini membuat tes tiga tingkat lebih baik daripada tes pilihan ganda atau tes dua tingkat
untuk menentukan kesalahpahaman.
Untuk menganalisis validitas terkait-konstruk dari HTIEDT, korelasi antara skor
yang benar-2 dan tingkat kepercayaan, dan antara skor kesalahpahaman-2 dan tingkat
kepercayaan diperiksa. Untuk menentukan struktur faktor HTIEDT, analisis faktor
eksplorasi dilakukan untuk skor yang benar-3 dan skor kesalahpahaman-3. Selain itu,
untuk menganalisis validitas konten HTIEDT, persentase positif palsu dan negatif palsu
diperkirakan.
Bertentangan dengan ekspektasi, meskipun hubungan positif tetapi tidak
signifikan secara statistik diamati antara skor yang benar-2 dan tingkat kepercayaan,
hubungan positif dan signifikan secara statistik diamati antara skor kesalahpahaman-2
dan tingkat kepercayaan. Artinya, siswa lebih yakin tentang kesalahan konsep jawaban
mereka daripada tentang jawaban mereka yang benar. Sebenarnya, siswa diberi konsep
yang benar di sekolah dan perhatian ditarik ke miskonsepsi oleh guru. Situasi ini
menunjukkan bahwa kesalahpahaman menolak struktur kognitif dan sulit untuk diubah.
Beberapa penelitian menunjukkan bahwa kepercayaan siswa terhadap jawaban yang
salah merupakan pembalikan kesalahpahaman (Odom dan Barrow 2007). Oleh karena
itu, penting untuk menganalisis korelasi antara skor miskonsepsi-2 dan tingkat
kepercayaan untuk memastikan validitas terkait konstruk. Hasil analisis faktor
eksplorasi menunjukkan bahwa pertanyaan tentang panas, suhu dan energi dalam
merupakan faktor yang tidak diharapkan. Orang mungkin berpikir bahwa hubungan
positif tetapi tidak signifikan secara statistik antara skor yang benar-2 dan tingkat
kepercayaan akan menurunkan validitas HTIEDT untuk menentukan tingkat
pemahaman konseptual siswa. Namun, hasil analisis eksplorasi memberikan bukti
sebaliknya. Ketika validitas konten HTIEDT dianalisis, kami mengamati bahwa
persentase positif palsu dan negatif palsu konsisten dengan hasil Hestenes dan Halloun
(1995). Selain itu, kami mengamati bahwa, setelah beralih dari pertanyaan tingkat
pertama ke pertanyaan tingkat ketiga, persentase jawaban yang benar dan jawaban
kesalahpahaman secara bertahap menurun. Beberapa siswa yang memberikan jawaban
benar atau miskonsepsi pada pertanyaan lapis pertama tidak memberikan alasan yang
benar untuk memilih jawaban spesifik tersebut dan alasan di balik miskonsepsi pada
lapis kedua. Beberapa siswa lain menyatakan bahwa mereka tidak yakin dengan
jawaban mereka pada tingkatan pertama dan kedua. Oleh karena itu, bergeser dari
pertanyaan tingkat pertama ke pertanyaan tingkat ketiga, terjadi penurunan persentase
jawaban yang benar dan salah paham. Menurut Eryılmaz dan Sürmeli (2002), tes tiga
tingkat lebih efektif daripada tes pilihan ganda dan tes dua tingkat untuk menilai
kesalahpahaman. Jika kesalahpahaman siswa dinilai dengan tes tiga tingkat, akan lebih
mudah untuk memutuskan apakah jawaban siswa salah karena kesalahpahaman mereka
atau kurangnya pengetahuan mereka tentang subjek. Ini karena tes dua tingkat terlalu
tinggi memperkirakan persentase kesalahpahaman dan skor yang benar (Griffard dan
Wandersee 2001). Hasil penelitian ini selanjutnya mendukung kesimpulan ini. Dengan
demikian, HTIEDT adalah tes yang valid dan efektif untuk mendiagnosis
kesalahpahaman dan pemahaman konseptual siswa tentang panas, suhu dan energi
internal.
Koefisien reliabilitas Cronbach alpha adalah 0,75 untuk skor yang benar-3 dan
0,68 untuk skor kesalahpahaman-3. Nilai koefisien reliabilitas dari tes yang
dikembangkan untuk menentukan miskonsepsi (Peşman dan Eryılmaz 2010; Arslan,
Cigdemoglu, dan Moseley 2012) konsisten dengan hasil penelitian ini.
Kesimpulannya, HTIEDT adalah tes yang valid dan dapat diandalkan yang dapat
digunakan untuk menentukan kesalahpahaman yang mungkin dimiliki siswa sekolah
menengah tentang panas, suhu, dan energi internal, dan untuk membuat perbedaan
antara kesalahpahaman siswa dan kurangnya pengetahuan mereka. Baik guru maupun
peneliti dapat memberikan HTIEDT kepada siswa sebelum dan / atau setelah mengajar
dan dapat menentukan pra-pengetahuan mereka, kurangnya pengetahuan dan
kesalahpahaman tentang panas, suhu dan energi internal. Karena Caleon dan
Subramaniam (2010) menekankan bahwa tes diagnostik dapat digunakan untuk
memantau perkembangan konseptual bertahap siswa, pemberian HTIEDT sebagai pre-
test atau post-test harus memberikan informasi tentang efisiensi pengajaran. Namun,
seperti yang dikatakan Hasan, Bagayoko, dan Kelley (1999), meskipun kurangnya
pengetahuan dan miskonsepsi memberikan data tentang pemahaman siswa tentang suatu
mata pelajaran, metodologi yang berbeda harus digunakan untuk menghilangkan
masalah yang berkaitan dengan kurangnya pengetahuan dan miskonsepsi.