KEMAHIRAN PEMIKIRAN KRITIKAL DAN PENYELESAIAN MASALAH: ISU KESAHAN DAN KEBOLEHPERCAYAAN MENGGUNAKAN MODEL RASCH.

Siti Rahayah Ariffin, Rosadah Abd. Majid, Anisah Alias, Suzana, Linda

ABSTRAK Kemahiran Pemikiran Kritikal merupakan kemahiran yang sangat penting bagi semua profesion. Untuk mengetahui tahap pemikiran kritikal memerlukan alat ukur yang jitu dari segi kesahan konstruk dan kebolehpercayaan. Alat ukur yang terdapat dipasaran adalah tidak tepat untuk mengukur pemikiran kritikal individu tempatan kerana terdapat bias budaya ( cultural bias ). Satu alat ukur perlu dibangunkan berasaskan kontek tempatan yang disokong oleh pakar kandungan dan model pengukuran dan penilaian. Kertas ini bertujuan untuk mengukur kemahiran pemikiran kritikal menggunakan pendekatan Model Rasch melalui perisian Winstep3.64.2. Soal selidik yang dibangunkan diberi nama instrument Kemahiran Pemikiran Kritikal Malaysia ( Malaysian Critical Thinking Skills Instrument- MyCT). MyCT ditadbir kepada 1511 pelajar yang berumur 16 hingga 17 tahun dari pelbagai latar belakang. Instrumen ini mengandungi 62 item yang terdiri daripada 4 subkonstruk iaitu reasoning, analitikal dan logical, dispositions dan assumption. Setelah dianalisa menggunakan Model Rasch dengan perisian Winstep didapati kebolehpercayaan item bagi keempat-empat konstruk adalah tinggi iaitu diantara 0.99 dan 1.00. Kesimpulannya instrument ini didapati amat sesuai digunakan oleh individu dan organisasi yang berminat untuk mengenalpasti tahap kemahiran pemikiran kritikal bagi keempat-empat subkonstruk kemahiran tersebut.

PENGENALAN Pemikiran kritikal yang juga merangkumi pemikiran kreatif telah mula diberi perhatian istimewa oleh tamadun manusia semenjak zaman Socrates, 2500 tahun dahulu. Socrates menggunakan soalan untuk menilai dan mempertingkatkan kebolehan seseorang menjana dan memberikan buah fikiran. Kaedah Penyoalan Socratic yang dikenali sebagai Socratic Questioning masih di anggap sebagai cara terbaik dalam pengajaran berfikir secara kritis dan kreatif yang diamalkan hingga ke hari ini. Dalam abad dua puluhan ini, ramai tokoh telah memberi sumbangan yang besar terhadap perkembangan kemahiran berfikir. Pada tahun 1956, Bloom memperkenalkan istilah aras pemikiran atau levels of thought processes dalam taksonominya yang dikenali sebagai Taxonomy of educational objectives : Cognitive domains. Bloom menyatakan bahawa pemikiran aras tinggi (higher-order thought processes) hanya boleh digembelingkan dengan penggunaan soalan atau objektif pengajaran aras tinggi. Bloom juga berpendapat kesan daripada guru menggunakan soalan dan objektif pengajaran aras rendah telah melahirkan pelajar-pelajar yang tidak kreatif dan kritis. Ini berlaku kerana guru tidak sedar tentang kepentingan penggunaan soalan dan objektif pengajaran aras tinggi bagi menjana pemikran kritis di kalangan pelajar. Terdapat beberapa ujian piawai (standardised tests) yang boleh digunakan untuk mengukur tahap pemikiran kritikal pelajar-pelajar kolej dan universiti. Antaranya ialah WatsonGlasser Critical Thinking Assessment, Critical Thinking Assessment Test (CAT) dan UNCG Critical Thinking Skills Evaluation Instrument. Walau bagaimanapun sehingga kini belum ada instrumen atau alat kajian untuk mengukur tahap pemikiran kritikal yang benar-benar sesuai

untuk kegunaan di Malaysia. Oleh itu, pembinaan MyCT adalah dialu-alukan untuk mengukur tahap pemikiran krititikal pelajar-pelajar tempatan. Fokus kertas projek ini ialah menganalisis Instrumen Kemahiran Pemikiran Kritikal (MyCT) untuk diuji kepada pelajar-pelajar sekolah dan universiti di Malaysia. Seterusnya instrumen ini ditentusahkan menggunakan analisis model Rasch yang dapat mengukuhkan kesahan dan kebolehpercayaan instrumen. Kesahan dan kebolehpercayaan instrumen amat penting bagi mempertahankan kejituan instrumen daripada terdedah kepada kecacatan. Semakin tinggi nilai dan tahap kesahan dan kebolehpercayaan instrumen maka semakin jitu data-data yang akan diperoleh bagi menghasilkan kajian yang baik dan berkualiti (Ghazali, 2002). Kesahan merujuk kepada ujian mengukur apa yang sepatutnya diukur (Tuckman, 1978). Terdapat tiga jenis kesahan iaitu kesahan kandungan, kesahan gagasan dan kesahan kriteria. Analisis Rasch boleh digunakan untuk menentukan kesahan instrumen. Keperluan pertama untuk menjadikan sesuatu ujian itu berkualiti ialah dengan menentukan bahawa item-item yang digunakan dalam ujian sah. Sesuatu instrumen dianggap sah jika ia boleh mengukur apa yang hendak diukur. Terdapat tiga garis panduan digunakan untuk menunjukkan item yang sah dalam ujian (Siti Rahayah,2008) iaitu: 1. Memastikan bahawa item bekerja dalam arah yang sama untuk mengukur konstruk yang hendak diukur. 2. Menjamin suatu item itu menyumbang dalam cara-cara yang bermakna dan berguna untuk mengukur konstruk. 3. Memastikan bahawa ujian secara keseluruhannya adalah mengukur konstruk. Dengan menggunakan analisis model Rasch, kesahan bagi sesuatu instrumen dapat dikenalpasti dengan merujuk analisis-analisis utama seperti polariti item, peta item-individu, ketidaksepadanan item-individu, pengasingan item-individu, unidimensi, kesepadanan itemindividu dan skala pemeringkatan (Siti Rahayah,2008). Namun demikian, untuk menguji kesahan instrumen MyCT, analisis yang dilakukan hanya terbatas menggunakan analisis keboleh percayaan item ( item reliability) dan peta Item-Individu (Item-Person Map). Dalam kertas kerja ini, saya akan membincangkan bagaimana instrumen pemikiran kritikal Malaysia (MyCT) ditentusahkan supaya dapat memberikan pengukuran yang mempunyai kesahan yang tinggi dan boleh dipercayai. Oleh yang demikian satu instrumen yang berkualiti tinggi perlu dibangunkan supaya kita boleh mengenalpasti tahap kemikiran kritikal pelajar. Instrumen ini perlu bebas daripada bias jantina dan bias kategori sekolah supaya ia boleh digunakan secara lebih praktikal dan menyeluruh untuk pelajar-pelajar di Malaysia.

OBJEKTIF Objektif kajian adalah untuk mengenalpasti kebolehpercayaan item (item reliability) untuk konstruk MyCT. Kajian ini juga menganalisis pemetaan kesukaran item dan individu. Pemetaan dapat menunjukkan dengan jelas hierarki kesukaran individu dan item dalam bentuk garis lurus. Kaedah ini akan dapat membantu pengkaji mengenalpasti aras kesukaran item. Analisis pemetaan akan menunjukkan sama ada item sesuai atau tidak dengan kebolehan sample.

METODOLOGI Kajian ini menggunakan kaedah tinjauan jenis deskriptif. Populasi adalah terdiri daripada 1511 orang pelajar ( 603 lelaki dan 908 perempuan ) berumur antara 16 hingga 17 tahun dipilih secara rawak dari sekolah-sekolah seluruh Malaysia yang berada di sekitar Kuala Lumpur, Selangor, Negeri Sembilan, Melaka dan Pulau Pinang. Data dianalisis menggunakan Winsteps versi 3.64.2. Instrumen Kemahiran Pemikiran Kritikal Malaysia (MyCT versi 1) telah dibangunkan oleh sekumpulan penyelidik UKM yang di ketuai oleh Siti Rahayah Ariffin. Instrumen tersebut terdiri daripada 62 item yang menguji empat konstruk iaitu 36 item reasoning, 10 item analytical dan logical, 12 item disposition dan 4 item assumption. Seterusnya, analisis dilakukan menggunakan model Rasch untuk mengenalpasti kebolehpercayaan item dan kesahan instrumen. Langkah ini penting untuk meningkatkan kualiti instrumen agar ianya menepati untuk mengukur sesuatu konstruk.

KEPUTUSAN Jadual 1 menunjukkan komposisi pelajar yang terlibat dalam kajian ini. Seramai 1511 orang pelajar yang terdiri daripada 603 ( 39.9% ) orang pelajar lelaki dan 908 pelajar perempuan (60.1%). Dari segi bangsa pelajr terdapat 964 pelajar Melayu ( 63.8% ), 311 orang pelajar Cina ( 20.6%), 207 pelajar India ( 13.7% ) dan 29 orang pelajar bangsa lain ( 1.9% ). Dari segi kategori sekolah terdapat 702 pelajar ( 46.5% ) sekolah bandar dan 809 pelajar ( 53.5% ) sekolah luar Bandar. Dari aliran kelas pula, seramai 846 pelajar ( 56.0%) aliran sains manakala 665 pelajar ( 44.0% ) terdiri daripada pelajar aliran bukan sains. JADUAL 1 : Profil Responden Kekerapan Peratus % JANTINA lelaki 603 39.9 perempuan 908 60.1 Total 1511 100.0 BANGSA melayu 964 63.8 cina 311 20.6 india 207 13.7 lain-lain 29 1.9 Total 1511 100.0 KATEGORI bandar 702 46.5 luar bandar 809 53.5 Total 1511 100.0 ALIRAN sains 846 56.0 bukan sains 665 44.0 Total 1511 100.0 Jadual 2 menunjukkan indeks kebolehpercayaan item ialah 1.00. Nilai kebolehpercayaan adalah tinggi (Wright & Masters 1982). Ini bermaksud jangkaan pengulangan semula susunan kedudukan item konstruk reasoning adalah tinggi jika set item ini dijawab oleh kumpulan sampel yang lain tetapi sepadan dari segi kebolehan (Wright & Masters 1982). Nilai pemisahan item ialah 8.58 yang bermaksud item item konstruk reasoning di dalam skala ini dapat dibezakan secara statistik kepada 9 aras kesukaran.

JADUAL 2 : Item Reliability Reasoning skills RAW MODEL INFIT OUTFIT SCORE COUNT MEASURE ERROR MNSQ ZSTD MNSQ ZSTD MEAN 866 1511 0 0.06 0.99 -0.7 1.04 0 S.D. 349.1 0 1.22 0.01 0.14 4.7 0.34 6.1 MAX. 1370 1511 2.09 0.09 1.39 9.9 1.83 9.9 MIN. 275 1511 -2.13 0.06 0.82 -9.9 0.67 -9.8 SEPARATION REAL RMSE .07 ADJ.SD 1.22 8.58 ITEM RELIABILITY 1.00 MODEL RMSE SEPARATION .06 ADJ.SD 1.22 9.03 ITEM RELIABILITY 1.00 S.E. OF Item MEAN = .21 Rajah 1 menunjukkan analisis Rasch dapat menghasilkan satu pemetaan bagi taburan item-item dengan taburan kebolehan pelajar. Tujuan pemetaan ini adalah untuk menunjukkan hubungan antara kebolehan pelajar dengan aras kesukaran item ( Bond & Fox, 2001). Individu dengan kebolehan tinggi dan item dengan aras kesukaran tertinggi terletak di bahagian atas skala kerana pengukutan yang menggunakan skala logit ditunjukkan dari aras paling mudah kepada aras paling sukar. Rajah 1 menunjukka kebanyakan individu berada di sekitar nilai min logit 0.4 bagi aras kebolehan individu iaitu menghampiri nilai min logit 0 yang ditetapkan untuk item. Ukuran min aras kebolehan individu dan nilai min item boleh dilihat dalam jadual 2 dan 3. Pemetaan ini menggambarkan kebanyakan individu mempunyai aras kebolehan yang jauh lebih tinggi untuk menjawab item paling sukar yang terdapat dalam ujian itu. Item paling sukar (I31) terletak paling atas skala dan item paling mudah (I2) terletak di bahagian paling bawah skala.

INPUT: 1511 persons 36 items MEASURED: 1511 persons 36 items 2 CATS ----------------------------------------------------------------------persons - MAP - items <more>|<rare> 3 . + | | | . | | |T . | | .# | I31 2 T+ I36 | I24 I26 I30 .## | I11 | .### | |

3.64.2

######## | | I17 .######## S|S I32 I4 .########## | 1 + I23 .########### | I13 | I22 ############ | .########### | | .############ M| .######### | I14 I20 I34 | .######## | I33 0 .####### +M | I35 .####### | I16 .######## | I9 S| ##### | I25 I27 ##### | I19 | I29 .##### | I15 I28 I8 ### | I18 I6 I7 -1 + I21 .## | I5 T|S .## | . | I10 | . | | I12 I3 . | | I1 -2 . + | I2 | | |T | . | | | | -3 + <less>|<frequ> EACH '#' IS 10. RAJAH 1 Jadual 3 menunjukkan indeks kebolehpercayaan item ialah 0.99. Nilai kebolehpercayaan adalah tinggi (Wright & Masters 1982). Ini bermaksud jangkaan pengulangan semula susunan kedudukan item konstruk dispositions adalah tinggi jika set item ini dijawab oleh kumpulan

sampel yang lain tetapi sepadan dari segi kebolehan (Wright & Masters 1982). Nilai pemisahan item ialah 13.58 yang bermaksud item item konstruk dispositions di dalam skala ini dapat dibezakan secara statistik kepada 14 aras kesukaran. JADUAL 3 : Item Reliability Analytical and Logical Skills RAW SCORE COUNT MEAN 540.5 1499.0 S.D. 254.5 0 MAX. 1107.0 1499.0 MIN. 318.0 1499.0 REAL RMSE .06 ADJ.SD MODEL RMSE .06 ADJ.SD S.E. OF Item MEAN = .28 MODEL INFIT ERROR MNSQ 0.06 1.00 0.00 ,02 .07 1.04 .06 .97 SEPARATION 13.58 SEPARATION 13.64 OUTFIT ZSTD MNSQ ZSTD -.1 1.01 .1 .8 .06 1.4 1.3 1.12 2.2 -1.0 .95 -1.5 ITEM RELIABILITY .99 ITEM RELIABILITY .99

MEASURE .00 .83 .78 -1.85 .83 .83

Jadual 4 menunjukkan indeks kebolehpercayaan item ialah 0.99. Nilai kebolehpercayaan adalah tinggi (Wright & Masters 1982). Ini bermaksud jangkaan pengulangan semula susunan kedudukan item konstruk dispositions adalah tinggi jika set item ini dijawab oleh kumpulan sampel yang lain tetapi sepadan dari segi kebolehan (Wright & Masters 1982). Nilai pemisahan item ialah 13.22 yang bermaksud item item konstruk dispositions di dalam skala ini dapat dibezakan secara statistik kepada 13 aras kesukaran. JADUAL 4 : Item Reliability Disposition Skills RAW SCORE COUNT MEAN 355.5 1247.0 S.D. 205.3 .0 MAX. 815.0 1247.0 MIN. 94.0 1247.0 REAL RMSE .08 ADJ.SD MODEL RMSE .08 ADJ.SD S.E. OF Item MEAN = .32 MODEL INFIT ERROR MNSQ .08 1.00 .02 .07 .11 1.14 .06 .91 SEPARATION 13.22 SEPARATION 13.40 OUTFIT ZSTD MNSQ ZSTD -.1 1.02 .0 1.9 .13 1.9 3.5 1.27 3.6 -3.0 .80 -3.1 ITEM RELIABILITY .99 ITEM RELIABILITY .99

MEASURE .00 1.07 1.68 -2.09 1.07 1.07

Jadual 5 menunjukkan indeks kebolehpercayaan item ialah 1.00. Nilai kebolehpercayaan adalah tinggi (Wright & Masters 1982). Ini bermaksud jangkaan pengulangan semula susunan kedudukan item konstruk assumption adalah tinggi jika set item ini dijawab oleh kumpulan sampel yang lain tetapi sepadan dari segi kebolehan (Wright & Masters 1982). Nilai pemisahan item ialah 15.01 yang bermaksud item item konstruk assumption di dalam skala ini dapat dibezakan secara statistik kepada 15 aras kesukaran. JADUAL 5 : Item Reliability Assumption Skills MODEL INFIT COUNT MEASURE ERROR MNSQ ZSTD 1394.0 .00 .06 1.00 -.2 .0 .97 .00 .09 2.9 1394.0 1.67 .07 1.14 4.2 1394.0 -.74 .06 .90 -3.8

MEAN S.D. MAX. MIN.

RAW SCORE 803.5 267.9 1003.0 342.0

OUTFIT MNSQ 1.01 .18 1.31 .85

ZSTD -.4 3.6 5.3 -4.4

REAL RMSE .06 ADJ.SD .97 MODEL RMSE .06 ADJ.SD .97 S.E. OF Item MEAN = .56

SEPARATION 15.01 ITEM RELIABILITY 1.00 SEPARATION 15.28 ITEM RELIABILITY 1.00

PERBINCANGAN Secara keseluruhannya, instrumen MyCT mempunyai kesahan yang baik dan sah mengukur kemahiran pemikiran kritikal bagi empat konstruk iaitu Reasoning, Analytical & Logical, Disposition dan Assumption. Kesahan ini dinilai berdasarkan analisis menggunakan model Rasch iaitu nilai kebolehpercayaan (item reliability ) dan peta taburan item (item mapping). Kesemua item-item yang dianalisis memenuhi nilai atau julat yang diterima dan peta item memaparkan taburan kebolehan pelajar bersesuaian dan sepadan dengan tahap kesukaran item. Nilai kebolehpercayaan item MyCT bagi semua subkonstruk adalah tinggi iaitu reasoning (1.00), analytical dan logical (0.99), disposition (0.99) dan assumption (1.00). Nilai-nilai ini adalah lebih besar dari 0.8 dan dianggap nilai kebolehpercayaan yang boleh diterima kuat (Bond & Fox, 2007). Analisis item MyCT juga menunjukkan nilai MNSQ infit dan outfit mematuhi nilai MNSQ yang diterima iaitu 0.7-1.3 untuk data dikotomus dan 0.6-1.4 untuk data politomus ( Wright dan Linacre 1994 ). Ini membuktikan kesahan konstruk MyCT tidak perlu dipertikaikan lagi.

KESIMPULAN DAN CADANGAN Kajian ini menunjukkan bahawa instrument MyCT boleh dibuat penambahbaikan dengan cara menggugurkan dan mengubahsuai beberapa item untuk meningkatkan lagi kesahan dan kebolehpercayaan instrument. Analisis statistic model Rasch digunakan didalam kajian ini. Kajian ini amat penting terutamanya bagi membolehkan instrument ini digunapakai oleh pengkaji-pengkaji pemikiran kritikal selepas ini dan juga sebagai panduan kepada pembinapembina instrument yang akan datang. Pengkaji harus memastikan setiap item adalah unidimensi dan memiliki aras kesukaran yang berbeza dan adil kepada setiap individu yang mengambil ujian ini. Kebolehpercayaan dan kesahan item amat penting bagi meningkatkan kualiti instrument agar ianya menepati untuk mengukur sesuatu konstruk. Hasil kajian kesahan dan kebolehpercayaan item ke atas keempat-empat konstruk didapati 30 item perlu digugurkan daripada 62 item MyCT kerana ia tidak bersifat uni-dimensi dan tidak mempunyai aras kesukaran item yang berbeza. Kajian seterusnya harus melihat perbezaan item berdasar GDIF untuk menggugurkan item yang bias berdasarkan gender, aliran dan bangsa

RUJUKAN Azizi Yahya, Nordin Yahya & Zurihanmi Zakariya.2005. Psikologi Kognitif. Skudai. Penerbit Universiti Teknologi Malaysia. Azizi Yahya, Asmah Suboh,Zurihanmi Zakariya &Fawziah Yahya.2005. Aplikasi Kognitif Dalam Pendidikan. PTS Profesional

Bond T.G & Fox C.M. 2007. Applying the Rasch Model:Fundemental Measurement in the Human Sciences.London. Lawrence Erlbaum Associates. Cohen, R.J. & Swerdlik, M.E. 2002. Psychological testing and assessment: An test and measurement. Ed. Ke-5. Boston: Mcgraw-Hill. Facione Peter A.1990.The Delphi Report. The California Academic Press. Facione Peter A.2007.Critical Thinking: What It Is and Why It Counts. California Academic Press Hanizah Hamzah. 2007. Kebezaan kefungsian item berkaitan gender dalam peperiksaan matematik peringkat kebangsaan: kewujudan dan perkaitan dengan jenis item. Tesis Dr. Falsafah, Universiti Kebangsaan Malaysia. Kamus Dewan.2005.Kuala Lumpur. Dewan Bahasa dan Pustaka. Linacre, J. M. 2006. WINSTEPS Rasch measurement computer program. Chicago: Winsteps.com Siti Rahayah Ariffin.2008. Inovasi dalam Pengukuran & Penilaian Pendidikan. Bangi. Fakulti Pendidikan Malaysia. UKM Tuckman, B.W. 1978. Conducting educational research. New York: Harcourt Brace Javanovich, Inc. The Critical Thinking Community.2008. Electronic sources: A Brief History of the Idea of Critical Thinking.www.criticalthinking.org/aboutCT/briefHistoryCT.cfm California Critical Thinking Disposition Inventory .1992. Electronic sources. www.insightassessment.com/test-cctdi.html A Theory of Critical Thinking.2000. Electronic sources: www.cog-tech.com/projects/CriticalThinking/CriticalThinkingTheory.htm introduction to